此时在庐州城内，已经危机四伏。
五月底，都督府对淮西大军进行了整编。淮西的行营左护军原有十军，整编后变为六军，淘汰了一批不称职的将领。然而谁知道张浚前脚刚走，淮西大军便开始动**不安。首先，右军统制郦琼上书吕祉，控告新任都统制王德于绍兴六年煽动刘光世弃守庐州，并在巢县大肆掳掠，杀死有妇之夫，且将其妻占为己有。
吕祉拿着郦琼的状词，沉着脸问：“此事当真？”
郦琼掏出一道书札道：“右军副统制赵买臣有证词在此。”
见吕祉不语，郦琼又道：“选锋军统制靳赛也可以做证。”
吕祉挥挥手道：“当职已然知晓，你去吧。”
对于行营左护军的军纪，吕祉早有耳闻，但败坏到如此地步是他万万没有想到的。自幼便饱读圣人书的吕祉虽然自视清高，喜欢高谈阔论，甚至好大喜功，但做人的道德水准还是具备的，对那些背离三纲五常的忤逆之举深恶痛绝。待郦琼走后，吕祉怒气填膺，对参谋陈克道：“若非国家用人之际，这种军贼理应送大理寺严惩！”
陈克原是都督府准备差遣，被吕祉举荐为幕府参谋一同来到庐州，见状劝道：“相公跟这种人生气不值。”
吕祉长叹一声道：“我哪里是生气！我是觉得与这种人为伍可耻！”
没过几天，王德也递上一份状词。状告郦琼于绍兴六年九月间，北上迎击刘麟，与副统制赵买臣在安丰、霍丘二县屠戮平民三千余人，上报都督府邀功请赏。
吕祉一拍桌案喝道：“属实吗？”
王德一拍胸脯道：“有半个假字，砍我脑袋！”
郦琼获知王德状告自己，当即找到吕祉，说王德的状词不实，是血口喷人：“若朝廷不处分王德，自家们将上呈都督府，请求调离左护军。”
吕祉感到了事态的严重，七月下旬，他决定回建康面见张浚，同时请教机宜。
郦琼和王德在向吕祉呈递状词的同时，也将申状上送到了都督府。张浚料到郦琼与王德会有矛盾，没想一下子竟闹到了如此地步。
“吕尚书以为该如何处置？”在都督府，张浚绷着脸问吕祉。
吕祉道：“下官以为应双双罢免。”
张浚摇头道：“国难未除，领兵打仗还须王德、郦琼等人。”
吕祉激愤道：“杀良冒功，避敌畏战，这种人不罢，何来军纪？”
张浚依然摇头：“淮西军的根子在于帅。犹如梁，梁不正则房斜，帅不正则军废。”
吕祉不语了，他从张浚话里听出了弦外之音，可他这根梁柱至今在淮西并没有正式头衔。
张浚洞悉吕祉的心情，安慰道：“吕尚书也无须焦躁，职衔一事待下官奏请圣上后予以定夺。”
数日后，赵构召集众宰执到朝殿面对。由于不久前沈与求病逝了，宰执大臣只剩下张浚、张守、秦桧和陈与义四人。未等张浚开口，赵构首先向他们出示了御史台的奏本。原来郦琼和王德的告状书不仅上送都督府，还呈给了御史台。
“众卿以为该如何措置？”赵构问。
张浚回道：“淮西军的病症是王德与郦琼不和。臣以为只要将王德调走，矛盾即可迎刃而解。”
行营左护军两员主要战将如此不合，使得赵构十分不快，然而却无法倾吐。遴选左护军统兵人选，张浚推举吕祉，得到了他的首肯。既为首肯，怎么怨得了他人？赵构不免想起岳飞，若是将左护军托付给了他，会不会出现今日局面？
张浚说完，见圣上不语，又道：“陛下，为稳定淮西军，臣建议调走王德。”
赵构赶紧收回思绪，问众人道：“此议如何？”
秦桧道：“此议可行。王德调走，升郦琼为都统制。”
“不，”张浚摇头，“王德调入行在，郦琼只能除授副都统之职。”
“这是为何？”赵构问。
“郦琼出身军贼。”
“张卿所言极是。”赵构赞同道。
议完对王德与郦琼的安排，张浚又道：“吕祉六月间就已在淮西宣抚司署理军政要务，朝廷应该给一个正式职衔。”
赵构望着众人，问：“比照张宗元，授予宣抚判官如何？”
张守道：“陛下，吕祉乃一书生，不可轻付兵权。”
张浚见张守第一个站出来反对，脸一冷辩驳道：“张参政，当年陆逊不也是一介书生吗？”
