第三十一集团军1938年6月8日奉令组建，首任集团军总司令为汤恩伯，下辖张轸的第十三军、张刚的第九十八军、关麟徵的第五十二军及李仙洲的第九十二军，其中第十三军为该集团军的基本部队。抗日战争爆发时，汤恩伯率其基本部队第十三军赴北平南口布防，在南口保卫战中顽强抵抗日军，坚守南口20余天，其第八十九师罗芳的第五二九团在战斗中几乎全部阵亡，其第四师第十二旅副旅长张本禹亦阵亡殉国。后第十三军的部队自北平、河北至山东，1938年1月18日扩编为第二十军团，汤恩伯任军团长，下辖第十三军、第九十八军和第八十五军。隶属第五战区，曾参加台儿庄会战。1938年6月8日又扩编为第三十一集团军，调归第九战区指挥管辖，并参加武汉会战。由于该集团军系gmd中央嫡系部队，曾作为机动部队，辗转于第五、第九战区作战，参加过随枣会战、第二次长沙会战等战役，被日军内部文件称为“精锐的中核兵团”。1940年初，该集团军调归军事委员会直接指挥管辖，下辖张雪中的第十三军、陈大庆的第二十九军和李楚瀛的第八十五军。1941年后，第三十一集团军调至河南，属第一战区指挥管辖，汤恩伯升任第一战区副司令长官，集团军下辖部队未变。后王仲廉任第三十一集团军总司令，下辖贺粹之的第十二军、石觉的第十三军和马励武的第二十九军。1944年夏的中原会战中，该集团军部队在与日军作战中损失惨重，汤恩伯被撤去第一战区副司令长官职务，调往贵州任黔桂湘边区总司令，第十三军及第二十九军随其前往贵州前线。自1945年起，第三十一集团军王仲廉在第一战区指挥下只管辖吴绍周的第八十五军和赖汝雄的第七十八军。
第三十二集团军1938年6月24日奉令组建，首任集团军总司令由第三战区副司令长官上官云相兼任，下辖夏楚中的第七十九军、刘多荃的第四十九军和王东原的第七十三军，属第三战区指挥管辖，驻防安徽、江西、浙江一线。1939年4月，该集团军总司令上官云相指挥陈安宝的第二十九军参加第九战区反攻南昌的战斗，第二十九军军长陈安宝在战斗中阵亡殉国。1940年后，该集团军下辖第四十九军、李觉的第七十军和莫与硕的第八十六军。1941年初，该集团军下辖陶广的第二十八军和张文清的第二十五军，后在上官云相的指挥下，该集团军4个师的部队参加了围攻新四军的“皖南事变”，挑起**摩擦。1942年8月，李默庵任第三十二集团军总司令，后指挥刘雨卿的第二十九军、第二十五军和余念慈的第六十七军及相当于一个军编制的突击总队游击武装，负责浙东一带防务。1944年初，该集团军总部移至闽北蒲城。1945年夏，该集团军的突击总队下辖的三个突击队缩编为预三师和预四师，后这两个师组成段茂霖为军长的第九十八军。
