安禄山兵变后，李白心说危险，自己的家人得赶紧接过来。但夫人在河南，儿子在山东，先接谁呢？这时，门人武谔赶了过来，说愿意打扮成叛军士兵，去接李白儿子，李白安心接夫人即可。李白大喜，还写了《赠武十七谔》夸他。李白在河南睢阳接到了夫人，他们躲过了一场大劫，再晚走几个月，雎阳将爆发安史之乱中惨烈的一战，老百姓将无处容身。为躲避战乱，李白带着夫人，逃到了江苏溧阳。李白在酒楼里，碰到了草圣张旭，两人悲愤莫名。后来，李白定居庐山。
757年，唐朝永王听说李白在庐山，特地邀请他做幕僚。李白正愁报国无门，欣然前往。当时，唐肃宗已经登基，命令永王撤到成都，永王不听。唐肃宗宣布永王叛乱，派人围剿，永王兵败。李白作为叛军，被流放夜郎（贵州西部）。一年以后，天下大旱，唐肃宗下令大赦。李白坐着船，东下江陵，写下了千古名篇《早发白帝城》:朝辞白帝彩云间，千里江陵一日还。两岸猿声啼不住，轻舟已过万重山。