廖汉生将军在动荡时的日子并不好过，他在1966年到1972年间，反复受到居心叵测者的迫害，一直郁郁不得志。至1972年，在周总理的帮助下，他这才被召回北京，他本以为自己接下来就要复出工作了，但谁料国务院和军委却一直没有明确发布任命文件，只是让他耐心等待。
这让廖汉生很是心急，但又无可奈何，只能去找老战友宋时轮诉苦，彼时宋时轮正在军科院工作，身边正好缺几个助手，于是宋便询问廖愿不愿意到军科院任职，廖对此求之不得，当即答应下来，于是宋时轮便向军委打报告，提议让廖汉生担任军科院的政委。可廖将军此前从未接触过军科院的工作，对于一些事项不甚了解，只能从头学起，一点点摸索正确的处事方法。
等到他好不容易适应了军科院的工作，军委却又要调他去南京军区任职。临走之前，叶帅代表军委和他谈了一次话，叶帅告诫他，南京军区的情况比较复杂，为人处世一定要万分小心，不能有半分的马虎。另外，上海是个“是非之地”，没事不要过去，以免惹上麻烦。
上海在动荡时期被称为“革命大本营”，此地是王洪文、张春桥发迹的地方，“左倾”现象非常严重，处处充斥着斗争和矛盾，情况十分复杂。廖汉生对于上海有所了解，也清楚对此能不招惹就不招惹，所以当场向叶帅保证，如果没有什么特殊情况，自己一定不去上海！
受动荡影响，南京部队的武备已经非常松弛了，训练活动几乎全部停滞，基层部队不是在搞斗争，就是在“摸鱼”混日子，而南京军区的首长更是目无纪律，懒散到了极点，明明是工作日，却连家里的大门都不出，有什么文件就在家里批阅，如果没事干就在家里看报纸、读小说打发时间，毫无革命军人做派，倒像是昔日国民党的腐败官僚！
廖汉生将军为了整治这一现象，便立下规矩，要求所有干部往后必须按时到军区总部办公楼坐班，谁迟到就批评谁。除此之外，他一再强调，文件必须要办公室处理，不能带回家，有什么问题就在总部开会解决。而下班之后出了总部办公楼，都必须遵守保密规定，谁也不许谈及公事，否则严惩不贷！
时间来到1976年，廖汉生意外患上了皮肤病，被迫离岗到医院疗养，当年9月，毛主席离世的消息传到了南京，南京军区办公处立即给廖汉生打电话通报了此事，廖汉生敏锐的意识到接下来会有大事发生，连忙办理出院手续，返回军区总部坐镇。10月初的某一天，廖汉生接到军委急电，让他迅速进京一趟，他不敢怠慢，马上坐飞机北上。
总政部的同志早已在西苑机场等候多时，廖汉生刚一下飞机，就被接到总政部办公大楼，与叶帅、华国锋同志等同志会面。叶帅告诉廖汉生，王洪文等人已经被逮捕，上海那边大概率会闹乱子，南京军区要做好准备，随时武力介入。当天下午，廖汉生返回南京，连夜召集军区所有高干开会，并向大家通报了王洪文等人被捕一事。
紧接着，廖汉生话锋一转，要求军区立即进入战备状态，随时准备处置突发情况，与此同时，他还命令驻扎在江苏的部队向上海移动，一旦发生变故就立即采取强制措施。不久之后，党中央派出工作组进驻上海，很快便将局势稳定下来，廖汉生这才长舒一口气，解除了军区战备状态。1979年，军委打算安排他到沈阳军区任职，他此时已经年逾六旬，无力再继续工作，于是便上书党中央请辞，可党中央不予批准，坚持让他到沈阳军区赴任，他只能“被迫从命”。一直到1982年，为革命事业奉献了大半辈子的廖汉生才终于退出现役，转往全国人大挂职，实际上已经不再参加军政决策工作。
晚年的廖汉生很喜欢写书法，几乎每天都要上百字的楷书，练习运笔、行笔。每逢春天和夏天，廖汉生都会到基层走一走，了解群众们的生活状况，感受国家日新月异的变化。2006年，他因病离世，时年95岁。他的妻子白林在他离世之后，便过起了隐居般的生活，从来不再公众场合露面，一直寓居在干休所，平日里与花草为伴，2021年，白林病故，时年99岁。