李彦直淡淡道：“不急，也不用我们动手，界镇易手之日，就是他们受死之时，会有人帮我们杀他们的。”
过了不久，又闻正东大门外出现了武田信玄、上杉谦信的大军，一时之间，烽火四起，李义久等都颇为忧心，但看李彦直神色如常，这才镇定了一些，心里都暗暗佩服：“都督果然有非常之能！”
“界镇守不住了。”李彦直道：“准备撤退吧。”
诸将一听，都又是不舍，又是不忿，不舍的是界镇乃万里奇袭而得，如今忽然要放弃，如何舍得？不忿的自然是大明主力军尚未与倭军接战，如此就退却，未免显得怯懦。
但李彦直军令如山，他们却也不敢违拗，当晚大军便分部上船，撤往淡路、四国。
周文豹率众断后，吴平在海上放炮掩护，藤道三等不愿意冒死进镇，都打算等叛降的鸠山罗、三岛忠胜先消耗掉明军的锐气与火力，然后再进城收取战果。
李彦直传言城中商民：“愿意追随我的，就跟我到四国去暂歇，不想离开的，就留下吧。”
城中商民接到消息后都想：“你们这一走，以后未必还能回来，说什么暂歇呢！”因此大多不肯离开。
宗易也不肯走，今井宗久劝道：“我看李公必非半途而废之人，今日虽退至四国、淡路，他朝必卷土重来。千君还是与我一起走吧，走了未必有祸，留下未必有福。”
宗易却不肯，道：“自古大兵一退，势难卷土重来，他在本州岛都无法立足，去了四国还能有什么作为？我不想去大明做异国遗民。今井兄要走，我不拦，但你也别逼我上船。”
今井宗久嗟叹不已，与好友握手而别。
这一撤退，虽在暗夜之中，却也井井有条，今井宗久看出显然是早有准备。那些难以搬运的东西如大炮、粮食，早已搬到界镇去了，也不必此刻才仓皇动手，城中之人多是带了细软就上船，天尚未亮，愿意追随李彦直上船的都已上船了，却只有不到总人口的三成。
内五中，又有两，只有飞蜂的蜂须贺正胜不肯背叛，吴平便给了他五艘大船三十艘小船，容他一起退入四国。
运民之船穿梭于淡路与界镇之间，商民运罢，士兵才陆续撤走，明军一退，背叛的拥王军就涌了进来，接掌各处据点，
三岛忠胜扑往李彦直的行邸，想要搜寻珍宝，行邸之内，竟留下了无数珍宝、丝绸、南蛮奇货，飞鱼的将兵如入天堂，一边抢劫一边放火，把这座今井宗久经营多年、李彦直入住后又善为修饰的豪邸洗劫一空！
飞鸟的将兵进入较迟，听说飞鱼的收获后无不又羡又妒！鸠山罗则率兵冲向粮仓，但他打开粮仓后却呆了：偌大个粮仓，那个一直供养着环界镇数十万人的粮仓，竟然只剩下四石四斗四升大米！
就在这时，武田信玄和上杉谦信联袂进城了。
