这日众水手因等的心焦，大家约齐，来至船中，向林之洋道：“这座大岭既无人烟，又多猛兽，我们每夜提着器械，轮流巡更，还不放心，何况唐相公一人独往？今已去了多日，即不遭猛兽之害，就是饿也饿死了，何能等到今日？我们再不开船，徒然耽搁。趁着顺风不走，一经遇了逆风，缺了水米，只顾等他一人，大家性命只怕都要送在此处了。”众人说之再再，林之洋只管搔首，毫无主意。吕氏在内说道：“你们众人说的也是。但俺们同唐相公乃骨肉至亲，如今不得下落，怎好就走？倘唐相公回来不见船只，岂不送他性命？你们既要回去，俺们也不多耽时日，就以今日为始，再等半月，如无消息，任凭开船就是了。”众人无可奈何，只得静静等候，每日怨声不绝。林之洋只作不知，仍是日日上山。不知不觉，到了半月之期，众水手收拾开船。林之洋心犹不死，务要约了多九公再到山上看看，方肯开船。多九公只得同了上山，各处跑了多时，出了几身大汗，走的腿脚无力，这才回归旧路。
行了数里，路过小蓬莱石碑跟前，只见上面有诗一首，写的龙蛇飞舞，墨迹淋漓，原来是首七言绝句：
逐浪随波几度秋，此身幸未付东流。
今朝才到源头处，岂肯操舟复出游？
诗后写着：“某年月日，因返小蓬莱旧馆，谢绝世人，特题二十八字。唐敖偶识。”多九公道：“林兄可看见了？老夫久已说过，唐兄必是成仙而去，林兄总不相信。他的诗句且不必讲，你只看他‘谢绝世人’四字，其余可想而知。我们走罢，还去痴心寻找甚么！”回到船上，将诗句写出，给吕氏诸人看了。林之洋无可奈何，只得含着一把眼泪，听凭众人开船。兰音望着小蓬莱惟有恸哭。婉如、若花也泪落不止。登时扬帆往岭南而来。一路顺风。
走有半年之久，于次岁六月到了岭南。多九公各自交代回去。林之洋同妻女带着兰音、若花回家，见了江氏，彼此见礼。众水手将行李发来。再细细查点唐敖包裹，所有衣履被褥都在行囊之内，惟笔砚不知去向。林之洋夫妇睹物伤情，好不悲感。江氏问知详细，也甚叹息，因说道：“姑娘那边这两年不时着人问信，并嘱如有回来之期，千万送个信去，以免悬望。”林之洋不觉顿足道：“这事教俺怎对妹子！他埋怨还是小事，倘悲恸成病，又送一条性命，这便怎处？”吕氏道：“此时莫若暂且隐瞒。俺们见了姑娘，就说姑爷已上长安，等赴试后，方能回来。如此支吾，且保眼下清静。俟过几时，再作商量。”林之洋道：“你身上有孕，不便前去。明日俺去见见妹子，只好权且扯谎。但妹夫包裹须要藏好，惟恐妹子回来看见，不大稳便。”
吕氏道：“刚才兰音甥女要去见他寄母，明日就便把他带去。”林之洋道：“论理自应把他送去，倘他口角不稳，露出话来，那便怎好？也罢，俺同九公商量，且把兰音、若花暂寄九公家内，同他甥女且去作伴，俺们慢慢再议长久之计。”当时同多九公议定，把兰音、若花送了过去。二人摸不着头脑，又不敢违拗，只得暂且住下。喜得多九公把两个甥女也接来作伴，一名田凤翾，一名秦小春，幼年都跟多九公读书，生得品貌俊秀，诗书满腹，而且都是一手好针黹，兰音、若花就便跟着习学。好在四人年纪相仿，每逢闲暇，谈谈文墨，倒也消遣。林之洋谆托多九公一切照应。回到家中，嘱付丈母、女儿千万不可露风。次日，雇了小船，带了水手，把女儿国所送银子发到船上，向唐家而来。
那唐敖妻子林氏自从得了唐敖降为秀才之信，日日盼望。后来得了家书，才知丈夫虽回岭南，因郁闷多病，羞归故乡，已同哥嫂上了海船，飘洋去了。林氏听了此信，恐丈夫受不惯海面辛苦，不时焦心，常与女儿小山埋怨哥嫂不了。就是唐敏夫妇，也是时常埋怨。不知不觉，过了一年。这日，唐小山因想念父亲，闷坐无聊，偶然题了一首思亲诗，是七言律诗一首：
梦醒黄粱击唾壶，不归故里觅仙都。
九皋有路招云鹤．三匝无枝泣夜乌。
