张旭打赏了苏如是和柳如烟各一百两银子，感谢她们给自己提供了一个重要的消息，然后结账离开了西子酒楼，但立刻赶回到怀远驿，汇集了众手下，当即宣布回家。
当然，现在要走，也不能光明正大的说走就走了。谁知道临安朝廷的人，是不是正日夜盯着自己，只要自己一露出想回去的意思，就将自己逮捕入狱或者格杀。
不过好在，南宋朝庭的人虽然盯着他，不过那些官员们似乎真的没有把他这个土里土气，懵懵懂懂的使者放在心上，也没有把他那些手下放在心上。平时张旭和那些手下，想要上街什么地，开始还很严格地登记在案，严加盘问，但一两个月下来，就渐渐地流于形式了，只要晚上有那么多人回来，就不管了。现在甚至几天夜宿在外面，基本上也都没人过问。
于是张旭让众人悄悄地收拾好一些金银珠宝等比较贵重的细软，又约好合面的地点之后，就先后分批离开了驿馆，悄无声息地离开了临安城。
由于每个人都只带了一些随身物品，尽最大可能地轻装而行，没有那么多东西拖累。于是，一出临安城，张旭便下令众人一齐跑步前进，已尽可能地加快速度。因此，来时因为带了大车小车的礼物，再加上下雨的缘故，用了十天的路程。现在张旭一众人等，昼夜不停，只用了两天多一点，便从临安到了明州。接着，很快又从明州上船。
呆在明州一个多将近两个月，闲得浑身骨头发痒的秦大胡子，一看张旭等到人慌慌张张地上船，上船之后，只说一句话：“开船。”便个个都横七竖八地躺下了，吓了一大跳，连忙紧张升帆启航，把飞剪船迅速地驶向大海。
当时海面上正顺风，飞剪船张大了帆，鼓足了劲，很快驶出了明州海面。张旭一看船到大海上，就算是南宋明州水师来追，也不可能会追上自己这艘飞剪船时，终于放下心来。几天不停地奔跑积累下来的劳累，疲倦袭来，张旭终于沉沉睡去。
张旭随从和秦大胡子及其手下水手，对张旭如此慌慌张张地逃亡很是不解，但张旭如此也并非没有用。两天过后，那怀远驿管事龙飞，发现张旭等一干人等，丢下礼物和一些笨重的东西，逃之夭夭，吓了一大跳，急忙将此事上报。他上头将他破口大骂一通之后，没办法，只好再往上报。这样层层上报，最后上报到临安朝廷当权的丞相，平章军国事韩侂胄手里，韩侂胄下令将张旭等人截住。等几天后报上来说张旭等人已经逃入大海了，韩侂胄也不以为意，轻蔑地说道：“贼匪就是贼匪，居然如此以使臣身份而来，又偷偷摸摸而逃。不用太过在意计较，以后总有抓住他的时候，那个时候再好生招待他也不迟。现在还是北伐中原，收复汴京要紧。”然后就把这事轻轻放下了。
张旭睡了一觉醒来，已经是下午时分，太阳在天空中已经开始斜斜向西滑去。起来后，走到甲板上，下午的阳光照在身上，仍有一股烫烫地感觉。腥咸的海风吹来，却又有一种清凉舒适的味道传遍全身，让人不由得心旷神怡。这种又烫又凉的体验，只有初夏的海面上，才可能品味得到。
张旭正在细细品味着这种独特的滋味，突然，前方出现了五艘大小不一，模样各不相同的海船，拦住了前面水道去路。这五艘船两大三小，其中那两艘大船，一艘很新，有成新，一艘却很旧，好像快要报废了那种，该是在海上行驶了很久了。那三艘小船也都只是五六成新。
秦大胡子一看，紧张地对张旭说道：“小后生，糟了。我们遇上海盗了。那些船只大小不一，新旧不一，形状不一，一定是海盗。只有海盗，抢一艘，算一艘，才会弄出这样的船队阵势。”
张旭问道：“那你知道对面是那伙是那里的海盗不？”
秦大胡子说道：“我们船只已经过了明州地界，进入了台州地界海面。这台州海面大小岛屿海礁无数，常有大批海盗在此落脚，打劫过往客商。不过，我以前毕竟不是干海盗这一行，再加上一直只是在流球岛附近海上打转，对这儿不熟。不知道这股海盗是什么来历。”
