可没想到，安庆绪竟然杀了安禄山，自立为帝。
要消灭叛军，这本来是个好机会。但是，肃宗急于回长安，不听李泌的计划，把郭子仪的人马从河东调回，强攻长安，结果打了一个败仗。
后来，郭子仪借了回纥的精兵，集中了十五万人马，才把长安攻了下来。接着，又收复洛阳，使得叛军头目安庆绪逃到河北，而史思明也被迫投降。
唐军收复了长安和洛阳，肃宗觉得心满意足，用骏马把李泌接到长安。
长安和洛阳，虽然属于二十位国王的共同财产，不过既然是肃宗将其收复的，自然会从中捞点好处。而且，玄宗和别的国王，也不会有什么意见。
肃宗的宠妃张良娣和宦官李辅国，嫌李泌权大，早就互相勾结，想把李泌除掉。
太子李俶，发现张良娣等人想害李泌，就告诉了李泌。
李泌笑道：“不打紧。我和陛下有约在先，等收复长安和洛阳，我就会归山，不会有事的。”
如今，他见唐军收复长安和洛阳，算是了却一个心愿，决心离开朝廷。
一天晚上，肃宗请李泌喝酒，并且留他一起睡。
李泌乘机对肃宗道：“我已经报答了陛下，请让我回家再做个闲人吧！”
肃宗：“唉，我和先生曾一起共患难，现在正想跟你一起享受安乐，怎么你倒要走了呢？”
李泌恳切的道：“我和陛下结交太早，陛下太重用我，信任我。因此，我不能不走。”
肃宗：“今天先睡吧，隔天再说。”
李泌：“今天我跟陛下坐在一个榻上谈话，你不答应我；将来到了公堂之上，就没有我说话的余地了。如果你不让我走，那就等于杀我了。”
肃宗虽然不愿让李泌离开，但是经不住他的一再请求，只好同意。
李泌到了衡山，在山上造个屋子，重新过着隐居生活。