李隆基回到长安后,被尊为太上皇,居住在兴庆宫,无权再过问政事,杨贵妃之死李隆基始终耿耿于怀,想要将贵妃的遗体风光大葬,然而被李辅国制止。后又在李隆基生病时,李辅国将李隆基强行移驾到冷宫居住,还将李隆基可以信赖的陈玄礼、高力士等人尽数赶走,只留下李隆基一个人在冷宫孤苦无依,李隆基的晚年生活可以说非常凄凉。终日郁郁寡欢的李隆基在西内冷宫两年后便黯然而逝。
当然,李隆基有此凄凉的下场也冤不得别人,晚年的李隆基宠幸杨贵妃,整日同杨贵妃寻欢作乐,任用杨氏外戚才导致的人心尽失,潼关之战李隆基更是胡乱指挥最终让他丢失了长安,给已经陷入穷途末路的安禄山有了反扑之机,最终只能带着心爱的贵妃踏上逃亡之路,"马嵬驿之变”李隆基不得不以杨贵妃的死还来军心的安定,其实从这一刻开始,李隆基就已经注定了悲惨的结局。
回到长安的李隆基被尊为太上皇后,原本是可以安享晚年的,但也许是因为没有了杨贵妃的陪伴,李隆基对单调的生活感到乏味,又萌生起了重掌大权的念头,在唐朝名将郭子仪得胜回朝的时候,李隆基在长庆楼设宴拉拢郭子仪,李隆基的这一行为引起了唐肃宗的深深猜忌,随后,唐肃宗就任由李辅国打压李隆基,流放高力士,罢免陈玄礼,软禁玉真公主,切断了李隆基和所有人的联系。
从此李隆基被正式软禁,之后冷宫的两年,李隆基的儿子唐肃宗也从来没有去看过他,李隆基只能在冷宫中吃糠咽咸菜。直到驾崩,李隆基再也没能踏出过冷宫一步,曾经叱咤风云的大唐明皇在凄凉痛苦中度过了人生的最后两年。