在空空****的南京城，梁漱溟勉强住了一个晚上，第二天（11月22日）一大早，梁漱溟与尚未撤走的人们一起匆忙离开南京。当时已找不到汽车，梁漱溟借用国防最高会议参议会秘书长甘乃光的车去下关车站。车站一片混乱，已无车票可买。设法过江后，浦口车站更乱，随处是抛弃的行李，真是堆积如山，像一座座小楼房。人们只顾逃命，已顾不及行李了。车厢里挤满了人固不用说，车厢顶上，甚至车厢下也有人设法攀附着什么，想让列车将自己带走。梁漱溟及其随行无法上车，找到一位铁路工人帮忙引到调车场，上了尚未编组的空车，等候挂钩开行。
24日一大早，梁漱溟回到济南，借住在何思源坐落在小车门外的住宅里。当日中午就同何思源去千佛山看韩复集。他们乘轿上山后，看到韩复集正在住房前来回徘徊。
见到梁漱溟他们来了，韩复架便对梁说：你看我还没有走吧！这显然是针对着四十多天前梁漱溟在他面前所表示的疑虑而说。而按照梁漱溟的判断，韩复架此时退出山东的想法更加急切。
26日，梁漱溟与山东乡村建设研究院院长梁耀祖、济宁行政专区专员王绍常及何思源、余心清等山东政界重要人物聚会于何思源家，就如何收拾人心、挽回山东危局，特别是对韩复集的部队乱抓壮丁、收缴民间自卫枪支等事项有所讨论，提出对策。由于乡农学校负有训练壮丁的任务，平素壮丁集合训练在此，枪支也很现成，于是每每整批被韩复架的部队带走。有时更使用欺骗手法，最初只说集中训练，几日以后，忽然一道命令，几十人即全部带走，而事前乡农学校向乡民所作“绝不带走”的保证，全无法兑现，自己也落于欺骗民众的地位。
经过讨论，他们最后共同拟出向韩复集提出这样几个建议：
一、亟应切实收拾人心，安定人心，然后才能完成军民合作，一致抗敌。为此应做到：
1.将地方自卫组织与国民兵役区分开来。国民兵役（即各县现有之国民兵、义勇壮丁队）其目的专为补充部队，地方自卫组织的任务是专为保护地方，搜查汉奸、流窜盗匪及敌人别动队，并负有战时交通运输，以及经济节制之责。凡加入国民兵、义勇壮丁常备队者，不加入自卫组织；凡已加入自卫组织者，得暂免补充兵役。
2.征集壮丁和补充兵役，应有计划有系统进行。请通令本战区各部队，并布告民众，对于地方自卫组织，如乡农学校受训壮丁，不得任意抽调；对于其枪支，不得任意征用。
3.通令本战区各部队，凡遇有前方（黄河以北）退来的民众武装，应予优待保护，不得没收枪支及有搜索事情，并随时向上呈报，指示收容办法。
4.通令本战区各部队，凡行军驻防需用民房及民佚者，应向地方行政机关或乡区负责人员接洽办理，不得自行占用及拉佚。
二、本省划分三个地带，进行工作。
1.黄河北岸各县地方政治军事工作，除省政府韩主席直接指挥之各部分外，其余均责成黄河北岸游击总司令负责处理。工作重点即在黄河以北敌占区，并推王绍常为游击司令，在此地区与敌人相周旋。
2.第一、二、三各行政专区（济宁、菏泽、临沂），亟应加紧政训工作，广泛动员民众参加抗日救亡。参照政训处颁发的民众组织大纲，及第一专区各县自卫组织进行计划大纲办理之。
3.历城、泰安等26县地方，应设特区政训处，拟请民政厅李树春厅长为正处长，何思源、余心清为副处长，调用民教政训各厅处人员负责进行工作。
他们当时还商定与韩复集的谈话分两次进行，提出以上建议。27日，梁耀祖与韩复集进行了谈话，只粗陈大意，无结果。
28日，韩复架以第五战区副司令长官的身份陪同从徐州前来济南的第五战区司令长官李宗仁视察，谈话无法进行。第二天，即11月29日，梁漱溟受各位与会者的委托携带他们拟就的建议去千佛山找韩复集细谈，从上午十时谈至午后三时。韩复集对梁漱溟等人的建议不表示接受或不接受，只是再三强调他本人不能胜任，不能做头子，因为他不如宋哲元将军能够服众，而部下也无能力强的干部等。在梁漱溟的观察，韩复架的这些说法其实都是托词，因为韩复集此时只想急切退走，自然无意发动民众，也不会顾惜地方，而一心想如何在退走时将壮丁带走，将枪支、财款携去，以扩充自己实力。
这是梁漱溟与韩复集的最后一次谈话。恰好在这天返回驻防地徐州的李宗仁来电报要梁漱溟去徐州，梁漱溟遂于11月30日经兖州到济宁看视，12月3日抵达徐州。
在徐州，李宗仁对梁漱溟说，他在济南视察时，韩复集当面部署其部队撤往周家口、偃城一带，对他毫不回避。梁漱溟也将韩无意作战，而一心西撤，以保存自己的种种事实与想法详细地告知李宗仁，请李以战区长官的身份制止其西撤。
与李宗仁谈话后，梁漱溟于12月5日离开徐州前往武汉，因为国民政府几经播迁，此时已至武汉办公。9日，梁漱溟至武汉，开始全力投入国防最高会议参议会的活动。
在国防最高会议参议会上，梁漱溟依然念念不忘山东等地的抗战，曾就韩复架不积极作战，急切退走之事报告一次。12月21日，梁漱溟在湖北省府官邸见到蒋介石，也将韩复集的问题告诉了蒋。蒋听后笑答全已知道。1938年初，蒋介石以召开军事会议为名召韩复集到开封，将其逮捕，押往武汉，在作军法审判一次以后，将其处决，以此为那些心怀不战而退之思的军政要员戒。
