刘牢之回到会稽之后，指示何无忌替他守上虞。何无忌得令，整装离开了小溪。
虽然刘牢之率兵打击孙恩、镇守海防，然而所到之处，无论是吴郡、会稽还是上虞，许多百姓对刘牢之并不感恩戴德。
原因不外乎在百姓们的眼中，刘牢之与孙恩的治下并无二致。自刘牢之到江南以来，军纪越来越差。所过之处，无异于蝗虫扫过，百姓能保住的唯有性命和余粮而已。在某些地方，甚至连余粮都不保。
从吴郡南下会稽郡之前，我对这样的流言只是耳闻，以为是夸大其辞，不屑一顾。我知道百姓们对王朝之统治是三缄其口，敢怨不敢言。明里不敢说什么，可私下里常常将一些微不足道的小事渲染成天大之事。
到会稽乃至到句章之后，我才对实情有了切身的体会。百姓对军队的印象也越来越差，甚至在谈到军纪时，已不再隐晦。当然，仅仅百姓之间的市井闲谈，是不足以如何的。这样的渲染，多半是那些清谈客们在酒足饭饱后的所为。
他们虽居高位，但以清廉自居，虽然从不与百姓相处，却一向以为民请命、为百姓说话的形象来抨击当朝者。司马道子、元显之流对这样的清谈客痛恨之至，然而讽刺的是，偏偏这两位却正是这些清谈客的首领。
两个司马也知道，这些清谈客们说的也的确是实情，但是王朝自南迁以来，所辖不过数州，民众稀少。如果不加税赋，连皇朝的威严尚不能保全。
那些清谈客们不作为，只是动动嘴皮说说，这未必太容易了。不为朝臣，谁能解其中之难、其中之忧？偶尔，两司马在高朋满座之时，也说些针贬时弊、大谈变革之辞，但那也只是安慰安慰，顺便制造一些他们为国为民鞠躬尽瘁的舆情而已。
对此，刘牢之不止一次地向我发牢骚说：上面的这二位也太会做人了，好处自己全得了，坏处便都是地方官僚、军队的不是。他也知道自己的军队做了一些对不起百姓的事，但好些都是在两司马的授意或影响之下做的。他率的是大晋国的军队，国家不养军队，难道还要他一个将军来养？对于刘牢之的抱怨，我虽不能苟同，但是也不便反驳。
来句章之初，看到句章城外一片荒芜，就想当然地以为这是源自孙恩贼军的残暴。上次问过驻军之后才知道孙恩之暴不足道，刘牢之军之所为才令人心悸。
当年在京口设北府军时，这支军队是大晋国所有军队中军纪最好的。每一个立志上阵杀敌的大晋国子民都以入北府军为荣。一人入北府，不仅全家荣耀，连家乡地方上的士绅、土豪也异常恭敬。一时间，北府人才济济、将才累累。所有的军官都是礼贤下兵、亲兵如子，所有的士兵都是以保民安家为己任。
也正因为北府军在晋国军中的地位，也正因为淝水之战后无大仗可打，使得北府军可以倚重那成名的一战而使将领们日益目空一切、士兵们目益骄纵难调。北府主将谢玄、谢琰在世之时，尚且有所抑制。谢氏兄弟调离北府之后，北府将士们则似脱缰之马一般，再也无人能制了。
除此以外，北府军将士虽多出自寻常百姓家，但是士族子弟亦不少。一个看似普通的士兵，也许就是某位大臣、将军的亲友。他们犯纪，谁敢随意开罪？
刘牢之等谢玄旧将尚且还能恪守北府之纪、之礼，但那些新募的官兵们，则实难恭维。原来是少数人的不良行径，如同瘟疫一般，没过几年就传染了整个军队。病入膏肓之际，再想大治，已然是困难重重了。刘牢之、孙无终等也曾下过工夫治军，但是收效甚微。最后的所为，只不过是偶尔剔除些芥蒂，而却无奈于疾瘤。
刘牢之并没有完全忽略我的进谏，但是他一心想的是如何扑灭孙恩之乱，无心于此。再说，国家久欠北府将士的军饷，没无法真的下狠心去治军纪。虽然不能说军纪之坏是刘牢之纵容的，但至少他是睁一只眼闭一只眼。他管不了，也不想管。后来我见劝说了也没用，也就干脆不再说了。
