吴充虽然厚道，但他也有主意。眼看王安石罢相了，“三司系”几个重要头目都倒了，吴充就理所当然地认为朝局已经改变，“三司系”已经失宠，该是招回旧臣重振朝纲的时候了，于是在皇帝面前奏了一本：请求招回司马光、吕公著，重新起用苏轼、苏辙、陈襄、孙觉等一班旧臣。
吴充对朝局的考虑一半是对的，另一半却错了。
神宗皇帝想不想招回能臣重振朝纲？他当然希望如此。所以当年神宗皇帝在贬逐这些大臣的时候都留了情面，让他们到要紧的地方担任州府官员，时常还给些升迁，目的就是笼络他们，为后面的重新起用打好伏笔。可眼下王安石倒了，“三司系”散了，神宗皇帝能不能立刻把这些旧臣招回来呢？又难……
当年神宗皇帝扶植王安石和“三司系”打倒旧臣的时候，他的想法比较简单：先把朝廷的权柄从旧臣手中夺到皇帝手里，同时借王安石之手推行新法，待新法大局已定，王安石和他的“三司系”官员们可用的则用，不可用则废。到那时，朝廷上的空缺可以用那些被贬到地方的能臣充任。于是皇帝权柄在握，变法基本完成，而朝廷仍然如仁宗、英宗时一样人才济济，皇帝再与这些能臣们一起把新法推行下去，完成继位之初定下的“富国强兵”的宏愿。
然而事与愿违，当皇帝借王安石之手打击旧臣的时候，“三司系”却无形中坐大了。等神宗觉得王安石讨厌，决定把他清除掉的时候，又无意中纵容了吕惠卿这个奸佞小人。最终，神宗皇帝不得不把吕惠卿和王安石一起打倒，结果是，曾经作为皇帝左右手的“三司系”从上层被彻底打散！
神宗皇帝上台后只做了一件大事，就是“变法”，所以新法的信誉与皇帝本人的威信是一体的，如今“三司系”从上层被打散，《青苗法》、《市易法》、《手实法》先后失败，新法信誉丧失殆尽，新法没信誉，皇帝怎么能有威信？皇帝没能建立足够的威信，他又怎能服众？
——招回旧臣，皇帝威信受损；维持现状，朝中无人可用！神宗皇帝陷入了两难。
现在宰相吴充公开建议招回司马光、吕公著等旧臣，这等于是在皇帝背后又推了一把。可神宗皇帝满心顾虑，根本不敢往前迈步儿，再被人从后头一推，顿时一个踉跄，连站都站不稳了！
进退两难之际，神宗越发焦虑，甚而有些懊恼了。
神宗皇帝心里的烦恼吴充猜不出来，另一位宰相王珪却猜透了。
朝堂上自古就有两种大臣，一种是“办事”的，一种是“办人”的。吴充是个“办事”的宰相，王珪却是个“办人”的宰相。看出皇帝对重新起用司马光等人的请求十分反感，忙在旁奏道：“自从河湟一战朝廷夺了青唐之地，设立熙河路，对西夏形成两面夹击之势，西贼腹背受敌，寝食难安。如今西夏大将青宜结鬼章率军数万进逼洮州、岷州一带，与朝廷争夺河湟之地，当地部落也有人叛变从贼。此事不可小视，请陛下早做定夺。”
王珪一句话，把正在讨论的“人事任命”扔出十万八千里去。神宗也正想丢开这个话题，就故意不理吴充，只问王珪：“依卿之见该如何御敌？”
王珪忙说：“臣以为河湟战事拖延数年不能决胜，原因是兵将不能统一调动，臣请陛下派心腹之臣到熙河路直接指挥各路军马，或可收到奇效。”
宋军攻取河湟之地，建立熙河路，西夏方面极为惶恐。然而宋军虽然夺了河湟，却因为部队缺少骑兵，多以重装步兵为主，没有长途奔袭之能，攻不能直取西夏腹地，守则犄角突出，不断与西夏军摩擦。而神宗皇帝又和真宗、仁宗、英宗一样，对将领极不放心，不肯放权，结果宋军几员猛将只能各自在有限的地区内作战，不能合力进退。西夏却仗着快马长枪来往如飞，时时杀进河湟地区，如此一来宋军表面占据主动，其实与西夏完全是个“平手”态势，反复拉锯在所难免，导致河湟一带连年战祸。加之当地羌人游牧部落朝秦暮楚，谁胜了就追随谁，谁败了就背弃谁，如此一来乱局更难收拾。
