咸熙二年(265年),司马炎以“禅让”的方式代魏称帝,国号晋,史称西晋。西晋灭吴后,结束了自东汉末年以来的分裂割据局面,实现国家统一,社会比较安定。但西晋建立之初,就为其灭亡埋下祸根。先是分封宗子弟为诸王,掌地方重权。西晋的统治阶级从皇帝到大地主、大商人生活奢侈、腐败,对百姓的压榨愈加深重。最终,爆发了八王之乱,整个北方地区被战火席卷,损失惨重。这也激化了阶级矛盾和民族矛盾。一些内迁的少数民族也纷纷反抗,而少数民族的首领、贵族趁机起兵,逐鹿中原。建兴四年(316年),匈奴王刘曜攻陷长安,俘虏晋憨帝,西晋灭亡。建武元年(317年),晋元帝司马睿在建康(今南京)建都,随后,中原汉族的一些士族和百姓都随之南迁到江南。唐代刘知几在《史通》里记载:“异哉,晋氏之有天下也!自雒阳荡覆,衣冠南渡,江左侨立州县,不存桑梓。”这是中国历史上的第一次人口大规模南迁。
在风雨飘荡的北方,大部分留在北方的百姓都因为战乱损失惨重,甚至丢到性命。他们多选择依附大族生活,成为少数民族或是汉族士族的部曲。而留在北方的汉族大族豪强多筑起坞壁,聚族而居,多着四五千,少者几百上千家。这时大族豪强既是宗族的宗主,又是大地主,而投靠他们的宗亲乡党,则失去了土地的私有权,成为了依附民。如李显甫聚宗亲数千家,占地方圆五六十里。崔、卢、郑、王等北方门阀大族也多是如此。这种宗主制,使得北方的汉人得以保存实力。而各少数民族政权也一般采取与之合作政策。