有人认为“理宗之世，误于二史：前有史弥远弄权，后有史嵩之误国”。也有人认为，史嵩之“初处理军政有能名，绍定六年，打蔡州，金亡”，有战功。但他与君子之士不能融洽，“一时杜范、刘兴起、李韶等以不合而去”。杜范，字成之，号立斋。嘉定进士。曾为吏部侍朗兼侍讲，敢于上疏言事，曾针对时弊，建言十二事，“抨击朝政无一事不弊，无一弊不极”；李韶，字元善，亦是嘉定进士。平时为右正言，“屡劾宦官、女道招权纳贿”，曾要求宋理宗卧薪尝胆，崇尚节俭，改革弊政。他与杜范一样是个大胆敢言的官，并称“李杜”。后因言事不被采纳，辞官而去。1244年（淳祐四年），进士徐霖说：“史嵩之挟边功要君，植党专国”，对他发动攻击。但他功大于过，“他被排挤实是当时政治是非混沌，内幕复杂，还有门户之见，党派的倾轧，或是群众起哄心理作怪”。[18]
1275年，在南宋即将灭亡之际，史嵩之又被夺去“庄肃”谥，这对于史氏家族也是一次打击，标志着史氏家族地位的挫落。
其实，明州史氏家族由盛转衰、出现分化还有其自身的原因，它是由明州史氏家族本身特点所决定的。
从某种意义上说，家族本身并无明显的社会性与阶级性，它既能适应于封建社会，也可在其他形式社会中发挥作用，有较强的适应性。一般家族都有聚族而居的特点，同一家族的男性都是同一比较清楚的血缘关系的后裔，有约束家族成员的规则，有一定的组织系统，都是世代聚居在一起，甚至有家族共有财产的要求，这就决定它们存在天然的互助性。然而，明州史氏家族的构成与其他宗族又有所不同。作为外来移民、外来户，他们既无“同居共财”的积累，又无“聚族共处”的可能。史氏家族散居于明州的城乡各地，由于地区生存空间的不足，或由于生存的急切，或由于任职的需要，他们从溧阳迁来明州只能随遇而安。他们虽然相对集中于明州的东钱湖、王家湾、月湖与古藤、贤良一带。这些居住地都是比较分散的，并不完全集中在一起，有的属于城中心，有的属于乡间，有的属于城区或城乡结合部。由此就形成城内与乡间两大部分族人，他们的经济都是相对独立，有的以农耕为生，靠天吃饭；有的外出为官，收取官俸银子；或离家经商，靠行商度日；有些子孙会因各种原因迁居外地，因此他们不可能形成共有财富的基础。明州史氏家族这种松散的宗族组织系统决定它有宗亲活动，但缺少固定性与强制性。由此原因又造成的他们没有族产可用，家族内虽有相互帮助、休戚与共的风气，但是“救急不救穷”，长此以往，有时他们会向两极分化，造成不可避免的贫富差距拉大。家族中有的高官授封赐，富者多良田，有的成为仕官地主，有的却贫者无立锥之地，为人佣、作人佃也是常有的现象。以至形成家族内部有官绅地主和赤贫雇农的区别。
家族内部由于经济条件的不相同，以至在族内造成不同阶层，这一趋势从南宋时代就已开始，从家谱记载中也可得到证明。
在1902年（光绪二十八年）《清光绪年重修宗谱序》中，作者袁政襄写了一段非常有意思的话，他说：“余观史氏宗谱，予窃不解于天矣。史氏由慈迁鄞，其始祖为三十世祖，讳惟则公。惟则公生一子讳成公，成公生二子，长讳简，次讳翰。”这一记载与《四明史氏谱序》中所记略有不同。《四明史氏谱序》中说：惟则“初居慈溪县，公避世不屈，富人余氏奇之，妻以女。生二子：曰某，失其行。曰成，行十二，幼有学识，长有贤行”。接着又说：史成“生四子，曰十九，曰二十，曰简，曰翰。”
