当宋高宗渡过长江，决定向东南沿海逃跑时，史氏家族与明州百姓就开始受到一路南下的宋朝官兵的搔扰。十二月初五日，在高宗由越州逃往明州之前，习惯于躲避灾难的族人们就开始了逃难的准备。十五日，金兵攻下临安府，宋高宗慌忙逃至镇海（今浙江宁波），明州百姓全体出动迎接“惊驾”了的皇帝。同时各自筹备足够的财物，以备路途的急需。当宋军护送高宗渡海抵达昌国县（浙江定海）时，明州史氏家族最后作出生死的抉择。这时的当家人是八行先生史诏，他与三儿子史木商量，决定把自家人及各房儿子都散置于他处，自己带领族人们外出逃难。于是，四处联络，招集到族人兼有亲朋、好友、姻族、同乡共计二百余人，他们雇用三艘大船渡海，来到舟山群岛，躲避金军。史诏为带领家族驾船入海外逃做了充分的准备，不仅有舟船用具、行囊，还为各家供给粮食和食物，想尽各种办法，尽到自己的能力来资助众人，还“惟恐推存不至”，让族人受难。就这样他们在岛上坚持了一个多月。直到1130年（宋高宗建炎四年，金天会八年）二月，金兵北撤、退走。是年三月，宋高宗离开温州，由余姚（今属浙江宁波）回到越州（今浙江绍兴），明州史氏家族的人们才返回故乡。明州史氏家族为了避难，这次共计花费资产数以万计，用尽了多年的积蓄。
金兵退走后，史氏家人得知同去避难的诸家亲友都安全无恙，自然备感欣慰。作为长房长子长孙的史浩身上的担子更加沉重。他是一个孝敬父母、关心家人的人。在全家族外出逃难之时，年轻的史浩接受家人的瞩托，留守在明州月湖家中，坚守家园，护卫家业。在此期间，他为家人和明州市民做了两件大事：一是留心家庭周围动静，减少全家和族人的财产损失；二是想方设法帮助城南以至近邻解决困难。帮助群众处理了当地流行的疫病，送医送药，使疫情得以缓解，并自出经费割山买地，设法掩埋病故者的尸体，使难民得到救济，人心得以安定，明州人民称赞他为百姓做了善事、好事。
史氏家谱中记载了在此期间明州地区发生的一件怪事。1130年（建炎四年）正月十六日，金兵攻下明州后，准备继续乘船三百里，活捉宋高宗。但宋高宗已从明州海上逃至台州（浙江临海）。南下的金兵因一路孤军深入，又受到不断的抵抗，且后方空虚，补给困难，在海上又遇到大风暴，只得退回明州。在明州，他们就放火烧城，大肆掳掠，杀伤百姓无数。在撤退与返回途中，也是一路纵火、掳掠。当金人仰马掠掳路过史家时，询问被抓的邻居：这是什么人家？被俘者说，这是史孝子的家。金兵得知这一消息后，于是就用白灰在史家的门口写上：勿犯善人家。以此告知其他金兵不要抢夺这家的粮饷与财物。可能是史浩的孝心与爱心感动了金军，使明州史氏家族和周围近邻未受或少受损失。联系后来金世宗严格军纪的史实，说明金人这一行动有其可信度。
明州史氏家族的族人们从海上逃难回家后，由于生活的颠簸，劳心又劳神，终于击垮了史浩的爷爷——84岁老人八行公史诏，本来他就年老、体弱多病，终因经不住逃难的折腾，便在不久辞世。同样由于海上生活紧张和劳累过度，这次逃难的总管、史诏的三儿子史木亦从此一病不起，父亲的故去，一恸三日，更是加重了他的病情，史木也于当年六月二十八日病逝，享年仅44岁。战争的摧残、难民生活的艰辛使家族连续失去了两位亲人，宋初的这场战争对于史浩的影响实在是太深刻了。
