两晋南北朝时期，是士族贵族最为活跃的时期。东晋时还出现了“门阀政治”这一皇权变态，门阀士族甚至与皇权共治。其中琅琊王氏和陈郡谢氏是其中的顶级世家。《南史·侯景传》：“请娶于王谢，帝曰：‘王谢门高非偶，可于朱张以下访之。’”后常常以“王谢”来指代名门望族。
在东晋之前，琅琊王氏和陈郡谢氏并不算显赫，但颇有名望。琅琊王氏相传是秦朝名将王翦的后代，为避秦乱，迁于琅琊。魏晋时，以孝悌闻名。王祥的卧冰求鲤、王览友悌的故事流传在外，王家得到百姓的爱戴。西晋末年，八王之乱的爆发，整个北方地区混乱不堪。天灾人祸之下，北方少数民族趁机南下中原，永嘉之乱后，北方的诸多士族都选择了南迁。陈郡谢氏在东晋中叶之前，并不是一流的世家。有史可循的谢氏官员是曹魏时期的长安典农中郎将谢缵，之后谢家子弟多有在魏晋时期做官的，世家规模初显。永嘉之乱后也跟随迁往南方。
王氏的崛起是在乱世之中抓住了机遇。王导说服了江左士族支持司马睿，并为北方士族在南方立足，促成南北士族的合作付出了巨大努力。东晋初年，王氏一族备受皇族重用，王导为宰相，王敦掌军权，两人内外结合把持朝政，王氏一跃为顶级门阀，时有“王与马，共天下”的传言。后来，招致皇族的猜忌，皇帝重用侍中刘隗等人，向牵制王导。永昌元年（322年），王敦上疏刘隗罪状，并以此为名，在武昌起兵叛乱。皇族兵力不抵，元帝忧愤而死。明帝上位后，恰王敦病重，讨伐王敦大获全胜。王家势力有所减弱。
谢氏家族的上位是几代谢家子弟努力和时势造就的结果。东晋初期，谢家的谢安、谢尚、谢玄等都是杰出的人才，在官场上有一定的地位，特别是有出色政治才能的谢安登上了宰相之位。适逢前秦入侵东晋，爆发了淝水之战。谢安担任东晋方的总指挥官，临危不乱，机智指挥，取得了战争的胜利。一时间，谢氏成为士族之首。那是谢氏最辉煌的时期。东晋灭亡后，王谢的权势不再，在南朝时不断衰败，但并没有断绝流传，反而历经南朝四朝，依然传承。这一时期王谢家族在政治上作为不大，庶族出身的南朝皇帝只是需要世家大族的名望，并不会给很大的实权。在文学上倒是出了很多的名人，如儒学家王俭、创作永明体的王融、谢家的谢灵运、谢朓等，为我国的文学发展做出了贡献。
南朝末年，侯景之乱对世家大族是致命打击。侯景进入建康之后，烧杀抢掠，大肆屠杀，特别是世家大族被屠杀、被饿死的不计其数。颜之推曾云：“中原冠带，随晋渡江者百家，故江东有《百谱》；至是，在都者覆灭略尽。”这就导致王谢世家元气大伤，特别是陈郡谢氏基本消失。隋唐时期，王谢家族虽然存活下来，但沦落为不入流的家族。陈朝灭亡后，琅琊王氏的族人多生活在江南和关中，也有族中子弟入官场，但担任的官职都不高。比较出色的子弟就是由陈降隋的王猛、王胄、王眘，是隋朝的猛将。隋唐时期，琅琊王氏的旁支太原王氏更为显赫，琅琊王氏已经彻底退出了政治中心。唐朝刘禹锡的《乌衣巷》诗中感叹：“旧时王谢堂前燕，飞入寻常百姓家。”读起来让人唏嘘不已。