一听这话苏轼就知道这是上头派来害他的人，不等他说话，彭子民把手一摆，几个当兵的上来扭住苏轼拖出房去，再进驿站，把苏轼父子带的行李都扔出来，锅碗等物砸得粉碎。这时苏过正从外头回来，见这事忙上来问，苏轼一把扯住，摆手不让他说话。两人在边上袖手观看，任凭这些人乱砸乱打。
彭子民果然有“分寸”，只让人把苏轼的行李扔了，其他的没做什么，也没向苏轼问话，办完事就进官署休息去了。苏轼父子立在道边面面相觑。这时苏过才问父亲：“到底怎么回事？”
苏轼轻叹一声：“闭门家中坐，祸从天上来。不必问，也不要多说话。”
“驿站不让住，咱们到哪去？”
“此身尚在，万事不愁，听天由命就是了。”说到这里苏轼忽然一笑：“多亏章宰相关照，把咱们贬到岭南，这地方热得像个炉灶，露宿也无妨，就在路边找个地方睡吧。”
当天夜里，苏过搀着父亲走到驿站边一处桄榔林里，在地上铺了层草席子，父子二人就在桄榔树下露宿。这一夜苏过勉强睡了半宿，苏学士却睁着两眼到天亮。
第二天，苏轼的朋友黎子云、姜唐佐、符林等人听说消息都赶来了。见苏轼父子露宿在桄榔林里，二话不说，上来就拉着苏轼到他们家住，苏轼忙说：“这些人从京城来找我的麻烦，你们这时候出来帮手，只怕要受连累。”
姜唐佐高声道：“做人但求问心无愧，我等死都不怕，还怕什么连累？”
若换了朋友遭难，苏轼也会这么说，可现在是他被人陷害，却不能不替别人考虑：“我知道各位不怕连累，可我被贬以来连累了不少朋友，若再因为我的关系害了诸位，于心何忍？请大家体谅我的苦衷，不要劝我了。”见几个人都不肯走，又笑着说，“岛上天气炎热，睡在外头比在屋里还舒服。这几个人大老远渡海而来，能呆多久？等他们走了，我也就没事了。”
见苏轼死活不肯到朋友家去住，几个人也没办法，商量一下，决定各家轮流给苏轼父子送来饮食，到了晚上，姜唐佐和黎子云轮流守在桄榔林里，说什么也不肯走，苏轼没办法，只好由他们了。
好在彭子民这帮人闹得不凶，在儋州呆了五天就转到万安去了。苏轼怕这些人再回来，仍然露宿桄榔林，又熬了些日子，琼州主簿黄宣义派人悄悄给苏轼送了个信，说彭子民等人已坐船回雷州了，苏轼这才放心。
经过这件事，苏轼知道驿站住不成了。好在海南天气热，一间草棚子也能栖身，就和几个朋友商量，在桄榔林里的荒地上盖个房子。
一听这话，黎子云、姜唐佐都带着家人朋友踊跃而来，十几个人一起编草折篱盖起房子来。昌化军使张中也出来帮着苏家盖房，只用了半个月，已经建起五间茅草为顶、竹篱为墙的房子，又搭了个炉灶让他们做饭用。
桄榔林中的五间茅屋，是苏学士一辈子住过最简陋的居所。然而唐人刘禹锡说得好：“斯是陋室，惟吾得馨。”苏夫子对这个新居十分满意，取了个名字叫“桄榔庵”，乐呵呵地住了进去。一群朋友都来贺他的“乔迁之喜”，送来不少吃食，苏轼摆酒和众人同醉，当场赋诗一首：
“贫家净扫地，贫女好梳头。下士晚闻道，聊以拙自修。
叩门有佳客，一饭相邀留。春炊勿草草，此客未易偷。
慎勿用劳薪，感我如薰莸。德人抱衡石，铢黍安可瘦。”
“贫家净扫地，贫女好梳头。”苏学士的胸襟已到了一种境界，天下事再无挂碍。正所谓“看山还是山，看水还是水”，从心之所欲，世人很难比得上了。
到这时张中才对苏轼说：“我蒙朝廷恩典，放回大陆去做官，以后不能陪伴大人了。”
张中这话说得含糊，苏轼却已猜到，张中必是因为照顾他们父子，被掌权的人仇视，罢了官，心里十分难过，不知说什么好。
张中是个爽快人，见苏轼难过就哈哈一笑：“我本不是做官的材料，与其在海南受苦，不如回老家当个农夫。只可惜没机会和公子下棋了。”指着跟在身边的乌嘴说，“乌嘴不会说话，却十分忠勇，就留在夫子身边看守门户吧。”
张中意思诚恳，苏轼推辞不得，只能道谢。
