既然金军走了，按道理，他应该回来。但对宋徽宗来说却有一个亟待解决的问题：他的儿子到底会怎样对待他？
在历史上，太上皇都摆脱不了孤独的命运。在北魏时期献文帝拓跋弘（年仅十七岁）被文成文明太后逼迫退位，将皇位让给了他儿子元宏（孝文帝）。但由于年轻的太上皇不肯完全放弃权力，最后被太后毒杀了。唐太宗逼迫父亲唐高祖退位，因为他杀死了哥哥和弟弟，成了不二的接班人。唐高祖郁郁退位，度过了九年的孤独光景，但至少还是个善终。唐玄宗与宋徽宗的情况最像，都是在大敌当前时逃跑，将御敌的责任留给了儿子，唐玄宗退位后也脱离了社会中心，变成了寂寞老人。
宋徽宗意识到，回到首都汴京，等待他的一定不是鲜花和赞美，而是耻辱的指指点点和冷嘲热讽。他在是否回汴京的问题上犹豫不决。但他一天不回汴京，宋朝的权力中枢就会紊乱一
太上回銮
金军虽然撤离，却给宋钦宗留下了三个问题。其中两个和人相关，一个和地相关。
和人相关的第一个问题是作为人质的肃王赵枢的安全问题。肃王本来是替代康王前往金军营地做人质的，按照双方约定，一旦金军退兵，就会将肃王送回。
二月十二，当金军渡黄河时，皇帝派出使臣王俅前往金军营地迎接肃王，但考虑到当时情况危险，金军并没有答应。
金军在河北地区时，皇帝第二次试图要回肃王。[1]但由于李纲、种师道等人坚持军事打击，斡离不更不敢将肃王放回。于是，肃王就成了靖康年间第一个被金军带走的亲王，再也没有回到中原故土。
肃王最初被扣押在燕京的悯忠寺，[2]一年后，徽、钦二帝作为俘虏也开始了屈辱的北行，肃王在燕京加入了他们，被送到了五国城。
建炎四年（公元1130年）十月，肃王死在了五国城。
肃王北狩最大的受益者是康王。如果不是姚平仲劫营，很可能康王会作为人质被金军带走，也就没有了后来的南宋高宗。在肃王怆然离去时，康王却接受了一系列的荣誉，就在二月初十金军退兵的当天，康王被封为太傅、静江奉宁军节度使、桂州牧兼郑州牧、康王。[3]
肃王离开的同时，还有另一个更重量级的人物需要回来，他就是宋徽宗。[4]
金军来到时，满怀艺术天赋的宋徽宗躲到了南方。最初的恐慌驱散后，他将扬州作为自己的驻地安定下来。太上皇一到扬州，东南方立刻乱了套，援助汴京的勤王军大都来自西部，东南部的军队没有一支到达，其原因在于太上皇在扬州断掉了与首都的联系，截留了通往首都的租税，并阻止了东南的勤王之师。他的做派并不像一个退位的皇帝，竟有将北宋政权一分为二之势。
