３月２３日，日军濑谷启旅团一部开始从正面攻打台儿庄，立即遭到守城的中国军队的抵抗。随后濑谷旅团暂停对台儿庄的攻击，集中所有日军和蒋介石嫡系部队汤恩伯部队一决高下，汤部此时准备包围攻打台儿庄的濑谷启旅团。
２７日，日军见汤军攻势缓和后，又命荣福联队再次向台儿庄发AE？猛烈进攻，为配合荣福联队。濑谷启为其配备了一个大队重机枪、轻重装甲车两个中队、野炮兵两个中队及１５厘米榴弹炮两门。为迅速拿下台儿庄，日军首先用重炮对台儿庄猛轰，台儿庄城墙被炸开了口，日军开始突入城内，但立即遭到中国守军顽强抵抗，很快被赶了出来。一次又一次的冲进城内，一次又一次被中国守军击退。双方战斗异常激烈。
４月３日，日军占领四分之三的台儿庄地势。池峰城师伤亡惨重，池峰城请求孙连仲让其部退至运河南岸。孙连仲断然向池峰城命令道：“部队决不许撤，打到最后为止，胆敢退过运河者，杀无赦！”
随后，孙连仲顶着炮火冲向台儿庄，亲临第一线。并下令炸毁所有的船只，准备背水一战，死守不退。５日拂晓，第五战区司令长官李宗仁亲临前线督战，并令汤恩伯部于６日拂晓赶到台儿庄，否则军法从事。
４月６日拂晓，汤恩伯率部赶到台儿庄。日军向台儿庄攻打正欢，眼见要拿下台儿庄。忽然日军腹背受敌。矶谷师团原本想喘口气调整之后再与李宗仁战区官兵决一雌雄。不料，中国军队没有给日军以喘气的机会，乘胜猛追，日军溃不成军，矶谷师团长率残部逃进峰县城闭门死守不出。
台儿庄一战，日军共损失第５、第１０两个师团的主力，伤亡２００００人以上，损失坦克３０余辆，火炮７０余门、战车４０余辆、机枪数百挺、步枪万余支。
台儿庄战役的失败，使日本东京军统高参们沮丧不已，坐立不安。可日军统帅部还硬着头皮说：“这不是一个败仗，只是指挥官的一次小小的失误，第５、１０师团的余部不是溃败逃跑，而是做新的战略转移。”
恼羞成怒的日本政府，立刻召开紧急会议表示：日本政府不能蒙受如此羞辱。日本天皇原在２月１６日的御前会议上说：“在８月以前决不向新地区发动进攻。"台儿庄惨败后，日本天皇立即决定：迅速向中国大规模增加兵力，发动更大的进攻，誓报台儿庄惨败之仇，以雪奇耻大辱。
４月中旬，侵华日军华北方面军和华中派遣军，集结了１３个精锐师团，约３０万军队，并配有各种重武器，飞机数百架，采取南北对进，侧翼迂回的战术，分六路向徐州地区包抄而来，企图围歼云集在徐州一带的中国第三战区的重兵集团。
日军一路杀来，于５月底扑到徐州城下，发现国民党唱了一出空城计，日军官兵叫苦连天。结果，日军伤亡了万余人的代价，得到了一座空城。
日军大本营对武汉会战又做了周密的布置，制定了明确的作战方针：华北方面军第二军团在华中方面军一部配合下，向西追击从徐州退下的中国军队主力。然后挥师南下进军武汉；华中方面军第十一军则溯江而上。两军从北、东两方夹击，攻取武汉。
６月６日，华北方面军第２军和华中方面军一部占领开封，逼进郑州。６月９日蒋介石下令掘开郑州东北花园口处的黄河大堤，造成了豫东、皖北的大面积黄泛区，形成郑州至蚌埠地区长１０００英里的大地障。阻止了日军自北南下的包围进攻。
６月１８日，日军大本营又下达命令：以华中派遣军新编成的第１１军所属５个师团，１个支队（一旅团级）担任长江方面作战，该军司令官为冈村宁茨中将；以第２军所属４个师团担任淮河方面作战，该军司令官为东久迩宫稔彦亲王中将；陆军部派出１４０个大队，约３５万余人。航空兵团５００多架飞机配合进攻，海军第三舰队１２０余艘舰艇，从长江水路进攻，以配合陆军参战。并要求于初秋占领武汉。
