王安石有点烦躁起来，回答说：“当然，当然。今天的话，出在安石口，入在子瞻耳。”他意思是二人所言，切勿传出此屋，因为他曾一度为吕惠卿所卖，所以如此小心。
二人漫谈下去，王安石有点儿前言不搭后语。他说：“‘行一不义，杀一不辜，得天下弗焉。’人非如此不可。”
东坡说：“今之君子，争减半年‘磨勘’，便不惜杀人。”
王安石笑而不语。
根据好多当代人的记录，在这一段期间，可以常看见王安石在乡间独自骑驴闲行，“喃喃自语，有如狂人”。他有时想到当年已经背弃他的老友，便突然拿起笔来，面色凝重，立刻开始写一封信。但是片刻之后，他又把笔放下，好像也颇以自己为耻，这些信没写完，就
子由时，三个侄子迎接他，他们是走出八里地前去迎接的。兄弟们已经四年没见，子由肥胖了些。他看来并不太健康，因为他夜里费好多时间练瑜珈术。监酒官的办公室就在一所小破房子里，既露风露雨又摇摇欲坠，俯首便是江边。据子由说：“旧以三吏共事，余至，其二人者适皆罢去，事委于一。昼则坐市区震盐沽酒，税豚鱼，与市人争寻尺以自效。夜归筋力疲废，辄昏然就睡，不知夜之既旦。旦则复出营职。”
苏东坡在那儿住了六七天，然后顺流而下到九江，好与家属相会。和家属一同顺长江下行，七月到南京。在南京，朝云生的儿子才十个月大，患病而死。这对父母是个极大的打击，尤其是对年轻的母亲。苏东坡在一首记孩子死的诗里，他说孩子的母亲终日在床上躺着，精神恍惚，东坡虽然能擦干自己的眼泪，听见朝云哭，实在难过。东坡有“我泪犹可拭，母哭不可闻”诗句。朝云没有再生第二个孩子。
在南京时，苏东坡去看王安石，王安石已经是疲惫颓唐的老人。苏东坡和他讨论诗与佛学多日，因为二人都是大诗人并深信佛学，自然有好多话说。有一个故事流传，说苏东坡一次按固定的韵脚和题目和王安石作诗，胜过了王安石，王安石便中途作罢。二人谈话时，苏东坡直言责备王安石不该引发战事，不应该迫害读书人。
苏东坡说：“我有话要跟你说。”
王安石立刻脸上变色道：“你要提起往事？”
苏东坡说：“我要说的是国事。”
王安石才镇静了一点儿说：“说吧。”
苏东坡说：“汉唐亡于党祸与战事，我朝过去极力避免此等危机。但是现在却在西北兵连祸结，很多书生都被送往东南。你为何不阻止？”
王安石伸出二指向东坡说：“这两件事是由惠卿发动，我今已退休，无权干涉。”
苏东坡说：“不错，不在其位，不谋其政。不过皇上待你以非常之礼，你也应当以非常之礼事君才是。”
