秦始皇在大规模南征过程中，曾被越人打败过。在中国东南及广阔的南方，是传统上的蛮夷区，这里文化落后，民风强悍，又称为“百越之地”，这些蛮人又统称为越人。
第一次南征百越，秦军大败
秦始皇二十六年（前221年），秦始皇挟灭六国之威，派尉屠睢统率五十万大军，兵分五路，大举进攻东南与岭南，先后征服瓯越、闽越等。然而，在征服岭南时，秦军却遇上大麻烦。一方面南方多河流，且山深林密，士兵容易染疾，后勤补给跟不上。
再者，生活在岭南的越人十分骁勇，《淮南子》一书曾这样写：“越人皆入丛薄中，与禽兽处，莫肯为秦虏。”他们过惯自由的生活，现在有人想统治他们，当然得奋起反抗。在越人英勇的抵抗下，一向战无不胜的秦军竟然吃了大亏，“夜攻秦人，大破之”，“杀尉屠睢，伏尸流血数十万”。说秦军死了数十万，这夸张了，但秦军久战无功，却是事实。
开挖灵渠，为平定南方作准备
要解决南方战事，就得解决运输问题。为了解决这个问题，秦始皇想到用水运的方法，沿着河流用船运输。只是长江水系与南方珠江水系并不相通，怎么办呢？为了打通长江水系与珠江水系，秦始皇派史禄主持开挖灵渠。
秦始皇
要选择在哪下手呢？史禄经过考察后，找到两条水系距离最近的一处。长江支流湘水与珠江支流漓水相距很近，从这里开挖一条运河便可连接两河。理论上是简单，实际操作却非常复杂，因为两条河流的高差是不同，而且这条运河的目的是运载物质与粮食，航行一定要平稳，因此有许多工程细节必须逐一论证。如何分流，如何排泄汛期的洪水，这都大有学问。
经过三年多的艰苦建设，灵渠终于顺利开通，这是中国水利工程史上的又一杰作，长江水系与珠江水系由是得以通航。
灵渠确保后勤补充，秦军平定南越
秦始皇三十三年（前214年），灵渠通航后，秦始皇再次发兵攻打南越。有了源源不断的后勤补给，征服南越并不难。越人虽悍勇，但没有强有力的政权，很容易被秦的优势兵力一一击破。在秦的铁拳之下，南越被征服，分置为桂林、南海、象郡三个郡。秦始皇把国内五十万罪犯迁移到岭南，与越人同居。