密州是一个很穷的县分，主要只长麻、枣、桑树，此地的生活和杭州有天渊之别。当时*员的薪俸已经减低。苏东坡在他《菊赋》的序言中说：“余仕宦十有九年，家日益贫，衣食之俸，殆不如昔。及移守胶西，意且一饱，而斋厨索然，不堪其忧。日与通守刘君延式循古城废圃，求花菊食之，如腹而笑。”
王安石已去职，现由吕惠卿当权，创行了新所得税法。免役税的分派远非县中人民所能负担。孩童死于道边。这一时期苏东坡写的诗中曾说绕城而走，葬埋尸体，热泪盈眶，几年后，他在一封信里曾提起他救了三四十个饥饿的孤儿，在自己家里抚养。
这是苏东坡最难过最沮丧的一段时光；说也奇怪，这位大诗人在最难过的日子却写出了最好的诗歌。按照中国的标准说，到了这一时期，他的诗才达到完全成熟的地步。这时愤怒与苛酷的火气已无，只剩下安详平和与顺时知命的心境。甚至他对大自然之美的喜悦与生活中的乐事的享受，也比以前更洒脱而不执着。显然和他在杭州年轻时之富有火气大为不同了。他对陶渊明的诗越发爱好，他那首《西斋
遇见一只鸟，那个鸟儿向他们说：‘近来我们没有看见凤凰。有的鸟说他请假不在，有的说他正在睡一大觉。现在夜枭正在代替他的职位。你们去问他也没有用。’”
苏东坡写的那首诗，是给周邠的，诗里显出消沉失望，大有退隐之意：
年来战纷华，渐觉夫子胜。
欲求五亩宅，洒扫乐清净。
独游吾未果，觅伴谁复听。
吾宗古遗直，穷达付前定。
奈何效燕蝙，属欲争前瞑。
后来，这些诗都被当权派搜集去仔细研究。内容并无煽动叛乱，没有公开批评，没有公然反对当局。但是这些诗却如蚊叮虫咬，令人觉得刺痛、烦扰、不安；这种刺激若是过多，也会扰人通宵，难以入睡。再加上苏东坡的一位好友王诜驸马把这些诗刊印出来，可就更使人烦恼。在诗是表情达意最通俗的文学形式的时代，两行巧妙的诗，比长篇大论的表章更有力量。而苏东坡当时是家喻户晓；他的诗在文人雅集时是要歌诵的。对苏东坡的呼声不能再置之不理了。
在神宗熙宁七年（一○七四）九月，苏东坡在杭州的任期届满。他弟弟子由那时正在山东济州任职，苏东坡已经呈请调到山东去。他所请照准，这次他是升任密州太守，密州高青岛很近。他在济州只有两年，然后又调到徐州任太守，在徐州是从熙宁十年（一○七七）到元丰二年（一○七九）三月。
苏东坡在向杭州南山、北山上寺院的方丈至交告别之后，携眷启程北上。他妻子已经买了一个非常聪明的丫鬓，才十二岁，名叫朝云，她以后在苏东坡的生活里非常重要。
