则失臣，臣不密则失身。事君之时，当以事国为先，欲事其国，则必保其身。”两年之内，他“四遭毁谤”，由他推荐为官之人，亦遭受无故的污蔑。他曾提醒皇太后，在前一派人当政时，他曾遭受李定的弹劾。他曾写过讽喻诗，希望皇帝知道民间的疾苦而改变政策，而御史却把他忠直的批评叫“毁谤”，而在控告他的文字里也有些说得“近似”真实之处。而现在则连一丝毫近似之处也没有了，像批评他用“民亦劳止”，完全捕风捉影。他对太后说：“臣以此知挺之险毒，甚于李定、舒亶、何正臣……古今有言曰：‘为君难，为臣不易。’臣欲依违苟且，雷同众人，则内愧本心，上负明主。若不改其操，知无不言，则怨仇交攻，不死即废。伏望圣慈念为臣之不易，哀臣处此之至难，始终保全，措之不争之地。”在此表章里，他写了四个附启，注明“贴黄”、“又贴黄”、“又又贴黄”、“又又贴黄”（表示摘要）。最后一条说，如果皇太后不以他之所奏为实，可交宰府相公开调查。如果相信他之所奏真实无误，请即密藏。他还要再上正式辞表，请求外放，那份表章，可以公开。
表示他坚决求去的表章写于元佑六年（一○九一）五月，那时他的杭州太守任期届满，他请求续任一期。这是具有自传性质最长的一道表章，历述所有过去他所遭遇的不幸，包括他的遭受逮捕和审讯。那些党人对他的“嫌忌”重于对子由。在陈述他的政治生涯的梗概之后，他说：“陛下知臣危言危行，独立不回，以犯众怒者，所从来远矣。”他怒斥周穜的信，惹恼了敌人，使他们越发痛恨，他们发狠攻击他。古谚云：“聚蚊成雷，积羽沉舟，寡不胜众也。”
他继续写下去：
臣岂敢以哀病之余，复犯其锋。虽自知无罪可言，而今之言者，岂问是非曲直。今余年无几，不免有远祸全身之意。再三辞逊，实非矫饰……臣若贪得患失，随世俯仰，改其常度，则陛下亦安所用巨？若守其初心，始终不变，则群小侧日，必无安理……所以反复计虑，莫若求去。非不怀恋天地父母之恩，而衰老之余，耻复与群小计较短长曲直，为世间高人长者所笑。伏望圣慈……早除一郡。所有今未奏状，乞留中不出，以保全臣子。着朝廷不以臣不才，犹欲驱使，或除一重难边郡，臣不敢辞避……惟不愿在禁近，使党人猜疑，别加阴中也。
在苏东坡再三恳请之后，在元佑四年三月十一日，朝廷终于允其所请，任命他以龙图阁学士出任杭州太守，领军浙西。浙西太守管辖六区，包括现在的江苏在内。临行前，皇帝赐予茶叶、银盒、白马及镀金的鞍鞯、他的官服上的金腰带等礼品。马对他无用，他转送给穷门人李廌去卖钱
