中砍柴，背到市镇去卖。所有的金属用具如斧子、刀、五谷、布、盐、咸菜，都自内地输入。他们用乌龟壳和沉水香来交换，沉水香是中国应用甚广的有名熏香。甚至米也自内地输入，因为当地人只吃芋头喝白水当做饭食。在冬天自大陆运米船不到时，苏东坡也得以此维持生活。
当地居民非常迷信，患病时由术士看病，没有医生。土人治病的唯一办法是在庙中祷告，杀牛以祭神。结果，每年由大陆运进不少的牛专为祭神之用。苏东坡是佛教徒，设法改变此一风俗，但风俗改变，谈何容易，他曾写过下列文字：
岭外俗皆杀牛，而海南为甚。客自高化载牛渡海、百尾一舟。遇风不顺，渴饥相倚以死者无数，牛登舟皆哀鸣出涕。既至海南，耕者与屠者常相半。病不饮药，但杀牛以祷，富者至杀十数牛。死者不复云，幸而不死，即归德于巫。以巫为医，以牛为药。间有饮药者，巫辄云神怒，病不可复治。亲戚皆为却药禁医，不得入门，人牛皆死而后已。地产沉水香。香必以牛易之。黎人得牛皆以祭鬼，无脱者，中国人以沉水香供佛燎帝求福，此皆烧牛肉也，何福之能得？
内地人始终不能征服那些丛林中的居民。官兵一到，他们只要退入丛林中，官兵根本不想到山中居住，自然不肯深入。黎民有时因与汉人有争吵纠纷，也偶会进袭市镇。有时被商人所欺，在衙门得不到公道审判，他们唯一的办法，就是把此人捉住不放，然后将金钱索回。苏过后来写了两千字一篇长文，论此种情形，并表示对此丛林蛮族无法征服，只有公平相待，公正管理。他认为此等土著是老实规矩的百姓，因为官府不替他们主持公道，他们才被迫而自行执法。
这次到海南岛，以身体的折磨加之于老年人身上，这才是流放。据苏东坡说，在岛上可以说要什么没有什么。他说：“此间食无肉，病无药，居无室，出无友，冬无炭，夏无寒泉，然亦未易悉数，大率皆无尔。惟有一幸，无甚瘴也。”
但是他那不屈不挠的精神和达观的人生哲学，却不许他失去人生的快乐。他写信给朋友说：“尚有此身付与造物者，听其运转流行坎止无不可者，故人知之，免忧煎。”
使章惇和苏东坡的其他敌人烦恼的，是他们竟无奈苏东坡何。在哲宗元符元年（一○九八）十二月十二日，他在日记中写自己的坎坷说：
吾始至南海，环视天水无际，凄然伤之曰：“何时得出此岛也了”己而思之：天地在积水中，九洲在大赢海中，中国在少海中。有生孰不在岛者？譬如注水于地，小草浮其上，一蚁抱草叶求活。已而水干，遇他蚁而泣曰：“不意尚能相见尔！”小蚁岂知瞬间竟得全哉？思及此事甚妙。与诸友人小饮后记之
