玄宗住在兴庆宫，寂寞无事时就常常站在长庆楼上徘徊观览。过路的父老百姓看到太上皇在楼上，往往前来瞻拜，高呼“万岁”。唐玄宗不忍拂大家的好意，便经常在楼下置酒食赐给这些参拜的民众，剑南来京办事的官员，由于玄宗有流亡成都的一段经历，也拜舞于长庆楼下，玄宗则命玉真公主和如仙媛招待他们。
有一次，玄宗召羽林军大将军郭英义于长庆楼，赐宴款待，本是正常的人际交往，但这一切，在唐肃宗那里，却产生了“与外人交通”的疑虑。
网络配图
上元元年(公元760年)四月，郭英义被外放，离开京城，改任陕州刺史，这多少反映了肃宗对玄宗的提防。
肃宗对玄宗的猜忌日益明朗化，李辅国又不断挑拨两人之间的关系。
李辅国出身于飞龙小儿，属于卑贱之列，唐玄宗身边的高力士、陈玄礼等人都不看重他。因此，李辅国对玄宗身边的这班人马都怀恨在心，伺机报复。
他公开给肃宗上奏说：“上皇居兴庆宫，日与外人交通，陈玄礼、高力士谋不利于陛下。今六军将士尽灵武勋臣，皆反仄不安，臣晓喻不能解，不敢不以闻。”
如此危言耸听，几乎等于明确指斥太上皇与手下谋反。他进一步建议肃宗迫使玄宗迁居太极宫(西内)甘露殿，断绝玄宗与外界的联系。
在肃宗的默许之下，李辅国于七月“矫称”圣旨，迎太上皇游幸西内太极宫。行至睿武门，李辅国率领事先安排在那里的500骑射，突然露刃遮道，奏曰：“皇帝以兴庆湫隘，迎上皇迁居大内。”
玄宗面对挥刀逼人的武士，蓦然一惊，几乎从坐骑上掉下来，幸亏高力士大喝一声：“李辅国何得无礼!”强迫李辅国下了马，并代表玄宗向各位将士问好，才使气氛缓和下来。
