南宋末年的战争直接破坏了家族的组织力和凝聚力。随着南宋的灭亡，史氏家族又一次遭到削弱。战争时期，社会经济破坏，财力无法坚持，家族成员自顾不暇，尤其是他们之中拥有南宋时期担任高官的人，更成了蒙古军队清算的对象，他们只得各自奔命，当时人们能够采取的唯一办法就是逃难。不少人逃离明州自谋生路，各奔东西求业，或弃学经商，或下乡务农，或去香港、新加坡等地寻找出路，作为群体的家族观念开始削弱、瓦解。同时，由于战事频繁，武人开始专权，出现武人世家，重文好学型的家族必然受到排挤，一个久负盛名的史家望族就此走向衰落。
在由盛转衰的历程中，史氏家族子孙中一些人的作为也会造成较大的影响。史嵩之依靠自己的努力，从进士直至独相，付出了不少艰辛。随着史弥远遭到非议，史嵩之也遭到了弹劾，史氏家族由于连续两起大的变故，对家族发展造成了负面影响。尤其是史嵩之的一生遇到不少麻烦和难题，一是因主和而遭人反对（详见第四章战与非战中），二是他还涉及命案。
史嵩之除因对战争态度而“为公论所不容”外，又有史嵩之从子史璟卿的命案相联系。事见《宋史·史嵩之传》，即史璟卿鉴于叔侄的情谊，以书谏的形式，向史嵩之提出了包括政出多门、用人之法、退师于鄂之失、内地失护等一些批评意见。认为：“伯父秉天下之大政，必办天下之大事；膺天下之大任，必能成天下之大功。”还从“吾族”“天下生灵”、“我祖宗社稷”出发，以动之以情，晓之以理的高度论事，希望他不要忽视少年的想法。这些意见有的属于“痛心疾首”，有的是“苦口极言”，也有一些言过其实。作为叔侄对话都是可以理解的。但不久，“璟卿暴卒”，相传为“嵩之致毒”所致。[10]史嵩之就此开始涉及命案，最后被罢相，以至“闲居十三年”。
事情并未到此为止，由此为起点，不断有冤情与史嵩之相联系。我们从一些历史资料中可以见到更多的没有头绪、没有结果的命案，以《宋史翼》中所提的例证为最多。
一如在《李昴英传》中说：李昴英进士出身，敢于直谏，“时丞相杜范、侍御刘汉弼、祭酒徐元杰相继暴卒，人皆疑史嵩之执仇，廷臣莫敢言”。唯独李昴英斥言不避，请正史嵩之的罪，以便“伸三贤之冤”，“上喜其直书”。[11]不久，史嵩之服丧终了，皇帝预定要谋其复任。“昴英复奏嵩之罪浮四凶，当远窜荒裔，不报，又率同列抗疏，亦不报，于是自再疏。”[12]李昴英激励地说，“臣疏嵩之奸状，逾旬不报，陛下一则曰保全大臣，二则曰保全大臣，何敢不将顺然事有害大祸，深与国家不两立者，嵩之包藏祸心，乃误国臣奸贼民巨蠹”，又说“嵩之无父无君”，“乞断以春秋之义，亟赐裁处”。这番言论说得“上为之动容”，但因无确切的罪证，不可能办罪，联系到史嵩之在执政时曾“刚愎自用”，于是，宋理宗决定命嵩之以观文殿大学士致仕，不复用。[13]
这里又说史嵩之是谋害丞相杜范、侍御刘汉弼、和祭酒徐元杰的嫌疑人。
二如《陈振孙传》中说：陈振孙曾在宁宗与理宗之际任职于诸王宫大小学教授，最高官至知府、侍郎，以从事学术为主。他不知以何根据，也认为“徐元杰暴亡或谓史嵩之毒之”。[14]反正有人怀疑史嵩之，之后，大家都可以怀疑，人云亦云，言过其实，在所难免。
