在对付金兵、收复失地这些重大问题上，史浩与大将军张浚等人意见不一。张浚一心想北伐，想报仇雪恨。但史浩反对贸然出兵，也认为宋孝宗不能亲征。这些主张为主战派所反对，并遭到他们的弹劾。史浩因此辞去了宰相职务。有关史张辩论的情况将在第四章详说。
两年以后，即1165年，刘蕴古原形毕露，他私派仆人向金朝密献南宋军机，这是多年多次传送中的又一次情报。仆人却在传送过程中被当场捕获，并如实交代了自己的任务、上级领导，以及刘蕴古的真实身份，事发后刘蕴古伏诛被处决。这时，人们皆称佩已经离任的宰相史浩的先见之明，以及他在宋金关系上的独特见解。
史浩辞职之后，以观文殿大学士出知绍兴府并浙东安抚使。观文殿大学士是皇帝对于曾经担任过宰相的人所授予的官职，表示对其罢相后的尊崇。史浩又因母亡归家治丧，所以回归乡里奉亲。服丧三年后才去福州任职。
史浩自1163年正月受命首次为帝师宰相到同年五月罢右仆射、离职，前后任职时间不足四个月。
宋孝宗是个渴望恢复中原的君主，他相继任命多位大臣为相，继续实现他收复失地的抱负。
1163年（隆兴元年）五月，陈康伯、汤思退、张浚相继为相，继续执政。张浚，四川人，政和进士。他力主抗金。1135年入相。秦桧当权时，遭排斥二十年。1163年再次入相，又遭排挤，没有发挥主战的应有作用。汤思退，浙江人，原曾依附于秦桧。1163年复相时，又力主和议，许割地，提出撤战备等误国主张。
1166-1167年（乾道二年到乾道三年），由洪适、叶顒、魏杞为相。洪适，江西人，以其父洪皓有功而受宋高宗荫补为修职郎。宋孝宗时任司农少卿，究心调度，供应无缺，做得很圆满。1165年（乾道元年）十二月，自参知政事除左通奉大夫，守右仆射兼枢密使，入相。在战争事务上也无助于天子，次年三月罢职。叶顒，福建人，绍兴进士。为人简易清介，自初仕至宰相多有善政。1166年十二月，自参知政事除左通奉大夫、左仆射、同平章事兼枢密使，入相。他以为：当朝费财养兵太多，兵多则有冗卒虚籍，无事则费财，有事则不可用，应当严格淘汰、采取节用而爱人的办法。他还提出一些备战、节用等建议，得到了皇帝的认可。魏杞，因祖荫入官。曾授命出使金朝，宋孝宗面谕：一正名，二退师，三减岁币，四不发归附人。魏杞不辱使命。1166年，自参知政事除左正议大夫、右仆射、同平章事兼枢密使，入相。1167年罢相。
1168年（乾道四年），史浩出任绍兴知府并两浙东路安抚使，他为当地做了一些兴修水利、减免租税、赈恤贫苦等兴利除弊的事，深得群众拥护。这一年，由蒋芾、陈俊卿为相。
蒋芾，江苏人，绍兴进士。他注意边防与精兵省费，曾上书孝宗皇帝，认为：当今财政上最费钱在于养兵，建议培养精兵的主张，得到宋孝宗肯定。1168年二月，蒋芾自参知政事除左正议大夫守右仆射兼枢密使，拜相。此时，宋孝宗正想大举攻金，群臣争议不决，或主和，或主战，让蒋芾做出最后决定，他以“天时人事未至”为由，不同意出兵。遂以抗旨不遵为由将其罢相。陈俊卿，福建人，绍兴进士。因不依附于秦桧，只准他从事教授工作。宋孝宗即位后，因其曾在普安郡王府任教，1166年（乾道二年）开始担任同知枢密院事兼权参知政事，他提出：用人、赏功、罚罪治国三策。对于汤思退的专权也表示不满。1168年（乾道四年）十月，自参知政事转任左正议大夫、右仆射、同平章事兼枢密使，拜相。他注意荐举人才，积极贯彻执行孝宗三策。后因与主战派意见不合，杜门请去，宋孝宗虽然要挽留他也无结果，最后罢相，知福州。后在建康十五年，为政宽简，罢无名之赋，深得群众的赞许。
