情形恶化的，是苏东坡在神宗熙宁四年一月起任告院权开封府推官，在任期内，他出了一道乡试考题《论独断》（全题是：晋武平吴，以独断而亡；齐小白专任管仲而霸；燕哙专任子之而败。事同而功异，何也？）这激怒了王安石。
苏东坡立遭罢黜。正如他所预期，虽然皇帝对他的忠言至为嘉许，王安石的群小之辈会捏造藉口，陷他于纠纷之中。王安石的亲戚兼随员谢景温，挟法诬告。当时流传一个谣言，说苏氏兄弟运父灵乘船回四川原籍途中，曾滥用官家的卫兵，并购买家具瓷器，并可能偷运私盐从中牟利。官方乃派人到苏氏兄弟运灵所经各省路途上，从船夫、兵卒、仪官搜集资料。苏东坡也许真买了不少家具瓷器，但并不违法。官差回去报称无所搜获，如有所获，必然带回京师了。
苏东坡的内弟，那时住在四川，苏东坡有信给他，信里说：“某与二十七娘甚安，小添寄叔并无恙……某为权率所嫉久矣。然抢拾无获，徒劳掀搅，取笑四方耳。不烦远忧。”
司马光回洛阳之前在京都时，皇帝对他说：
“似乎苏轼人品欠佳，卿对他评价过高。”
司马光回答说：“陛下是指有人控告他吗？我对他知之较深。陛下知道谢景温为安石亲戚，控告也是王安石煽动而起。再者，虽然苏东坡并非完美无疵，他不比隐秘母丧不报的畜牲李定好得多吗？”
按苏东坡的政绩说，他而今应当官居太守才是，皇帝也有此意。王安石与谢景温反对，使之任附近一县的判官；但是皇帝予以改动，任命他为风景秀丽的杭州太守。苏东坡对御史的弹劾不屑于置理，连修表自辩也不肯，任凭官方调查，自己携眷径赴杭州上任去了。
