林士弘离开莲花塘之后，带着亲兵扈从，昼伏夜出，沿着无人的苇荡、滩涂之地前进，终于到达长江边上。
这里隋军的势力难及，林士弘寻得船后，便立刻渡江南下，到达九江郡。
此时林士弘尚不知晓王戎已经投降隋军的消息，因为他刚到达九江，就被一个惊天动地的消息给镇住了。
林士弘的老巢豫章城丢了。
原本投降林士弘的盗匪张善安率部反叛，秘密投降萧梁，联合萧铣派出的大将苏胡儿攻取豫章郡，林士弘在豫章的将领或死或降，整个林楚小朝廷几乎是完全覆灭。
张善安是彭城郡方与县人，占据方与作乱。后来张善安在兖州地区被李凤阳打得站不住脚，遂一路南逃，流落江淮。不过张善安到了淮南地区也不安稳，他先是袭击并攻陷庐江郡，但之后为陈棱所击败，无法在淮南立足，遂带领旧部南下投奔林士弘。
林士弘身边之人都是江州诸郡本地人，所以他并不信任这个南来的北伧，先是让他在南塘扎营，之后又趁机夺取了张善安的兵马。
张善安纵横江湖多年，对手都是黄明远、李密这些人，本就看不起沐猴而冠的林士弘。于是他虽明着归顺林士弘，却暗地里联络萧铣。
萧铣本就有心江州诸郡，于是派遣苏胡儿来援。此时林士弘倾巢而动，主力而至淮南，国中空虚，于是在张善安的带领下，苏胡儿长驱直入，兵临豫章。
镇守豫章的林震死守，但林震本身能力一般，先是让张善安烧毁外城，接着又被击破内城。林震兵败，只得逃至余干县。
苏胡儿占据豫章郡，张善安也趁机南下，占领了庐陵郡，并自领吉州总管。
至此，整个江州地区的一大半完全落入苏胡儿、张善安二人手中。而鄱阳郡素来是操家人的势力地盘，南康、临川二郡为梁军阻隔，情况难料，到现在林士弘手中，就只剩下九江一郡了。
面对这种结果，林士弘甚至都想死在江北，也好过现在。
林士弘暗暗想着自己的处境，他决定还得要夺回豫章。
首先他现在所在的九江郡，并不是一个根基之地。九江郡地辖二县，人口不过七八千户，西通荆襄，东至江淮，乃是四战之地。
而且隋军不知何时就会南下，现在九江郡的兵力不足万人，没有后援，根本不是隋军的敌手。
他要是不投降，就非得南下不可。
其次林士弘并不是很相信唐野。
唐野是楚军第一大将，但他原来是操师乞的部下，并不比林士弘地位低。而且唐野和操天成关系很好，虽没有支持对方，但也护着对方。
此时林士弘手中不过数百人，一旦待在九江，就完全至于唐野的手中。即使唐野忠心，难保其部下没有野心，拿主上的人头到对手那里换个前程的事还少吗？
而且林士弘想从唐野手中夺取这支部队的军权，若是继续待在九江，则完全没有可能。
唐野也觉得九江不可守，又听闻隋军攻破彭泽县的消息，遂同意了林士弘的南下之策。
林士弘在九江大肆搜刮一番之后，带着九千余人一路南下，大军经建昌县转道鄱阳（治今江西省鄱阳县东北古县渡）。
林士弘本准备前往鄱阳郡，招抚操家，可还没赶到，便遇到惶惶然南逃的操天成，这时他才得到消息，从宣城郡来的隋军突袭鄱阳，操天成不备，将鄱阳郡给丢了。
林士弘大惊失色。鄱阳可不同其他地方，这里是操师乞和林士弘的老家，整个楚军内部，其高级将领多是鄱阳人。
而且林士弘准备前往临川，今鄱阳丢失，临川空门大开，亦不可保矣。
林士弘此时已经不敢再往临川郡了，谁知道半路会不会遇到隋军。
四面八方，俱是敌人，林士弘感觉天都要塌了一半，有些不知所措。平日里身边还有一个王戎可以咨询，可现在连王戎也没了。
林士弘一夜没睡，到了第二日天明，他决定召回逃往余干县的林震，立刻攻打豫章城。
豫章从两汉时期就一直是江州诸郡的首府，其地位就像长沙之于荆南，成都之于巴蜀，山阴之于浙东，番禺之于岭南一般，政治意义重大。
只有夺回豫章城，他才能重新号令江州诸郡，然后和萧铣谈判，联合萧铣，抵挡大隋。
