哲宗绍圣元年（一○九四）四月，章惇为相，他首先向苏东坡开刀。苏东坡是贬谪到广东高山大庾岭以南的第一个人。他被罢黜，剥夺了官阶，调充英州太守。他并非不知道会有这类情形，不过不知道第二次迫害会严重到什么程度。皇太后去世后，在往定州就职前，他正式辞行时，皇帝未允谒见，他就觉得危险即将到来了。他曾先后教过那个年轻皇帝八年之久，对他很了解。一年以前，他曾在一道表章里向小皇帝说得很露骨，倘若他不纳臣子的忠言，苏东坡宁愿做“医卜执技之流，簿书奔走之吏”，也不愿在朝中担任侍读之职。
可是来日如何，他并不真知道。左降英州太守并没有什么特别苦吃。章惇也算他的故交之一。在年轻时他和章惇往陕西山中游历，苏东坡曾戏称章惇将来会杀人不眨眼，不过二人还始终算是朋友。他自己的遭罢黜失官，他倒不以为奇。向朝廷弹劾他的数十条罪名，也是旧有的，而且已经弹劾多次。不外乎是“毁谤先王”，这个罪名是攻击元佑旧臣的陈词滥调。而罪证是在皇太后摄政期间，他代拟圣旨罢黜王安石一派小人。他代拟一般的圣旨倒无何重要，因为他是奉太后之命行事的。罢黜苏东坡的圣旨如下：
若讥朕过失亦何所不容，乃代子言低诬圣考。乖父子之恩，绝君臣之义，在于行路犹不戴天，顾视士民，复何面目？汝斌文足以惑众，辩足以饰非，然而自绝于君亲，又将谁态？
苏东坡现在要跋涉一千五百里，自中国的北部到中国的南部。他觉得他一生只是一站一站的往前走，而现在只是在他人生旅途中的另一步，这旅程是他狐狐落地时已由神灵决定，不过到现在他才充分明白罢了。在他五十七岁时，他已经饱历命运的荣枯盛衰，现在命运的转变，在他也不以为奇了。命中注定他最后要完全与政治断绝关系，要符合他的宿愿，使他去度求之已久的常人生活。他现在向前行进，无忧无惧，心中一片安温宁静。在过去的日子里，不管遇到何等问题，何等情形，他都以真诚勇敢之态度相向；他愿把一切付诸天命。
苏东坡以第一个牺牲者的身份，横越中国南部巍峨雄伟的山脉，受难之中却有一分卓然不群的优越感，他与家人启程南下。他弟弟子由已然在汝州上任，离国都很近，苏东坡先去看他，在金钱上弄得些接济。苏东坡对理财一事，并不见长。虽然在皇太后摄政九年期间，他走过一段好运，但时常各地调动，俸禄随即花光。另一方面，他弟弟子由宦途较为平稳，直升至宰相之位。苏东坡前去时，子由只能给他七千缗，供他家人在宜兴安居之用。他从子由处回来，发现又官降一等，但到南雄的派令并未改变。他给皇帝上了一道使人读之恻然
