台儿庄位于徐州东北30公里的大运河北岸，临城至赵墩的铁路支线上，北连津浦线，南接陇海路，战略地位十分重要。日军如攻下台儿庄，既可南下赵墩沿铁路西进，攻取徐州，又可北上策应坂垣师团，断张自忠、庞炳勋各军后路。
在进攻滕县之时，日军濑谷支队于3月17日攻陷临城。18日矶谷师团分兵南下，直扑韩庄、峄县，咄咄逼人。此时汤恩伯兵团奉命从河南归德和安徽亳县驰援临城。由于路途遥远，仅先头部队到达临、峄地区。守峄县的第二十二集团军之八十五军一个团伤亡惨重，团长阵亡。敌人占领韩庄后企图渡过运河，直取徐州。
蒋介石判断日军志在争夺徐州，便带着副总参谋长白崇禧来到徐州视察。李宗仁将台儿庄战役的腹案向蒋介石作了报告后，蒋十分赞同。他说:“打仗气可鼓不可泄。日军有‘不可战胜‘之神话，我认为要通过台儿庄战役，打破这个神话！且见今日之事态，只要我们有最后五分钟之坚，则此神话必破无疑。”
李宗仁向蒋提出了要将白崇禧留下，协助他运筹台儿庄战役的要求，蒋介石考虑后，同意了他的请求。
白崇禧认为日军在徐州有可能要采取南北夹击中国军队的企图，中国军队兵力数量上虽多于日军，但日军兵员的素质相对比中国军队要高，在他们的头脑中，有武士道精神作支撑，中国军队难以阻挡日军的步伐。因此，他前往徐州之前，有着重重的顾虑，他担心这一仗凶多吉少，对能取胜日本人更是没有把握。行前，白崇禧主动到八路军驻武汉办事处，向周恩来、叶剑英请教对敌作战的方略。当时的国共两党，正处于双方第二次合作的蜜月期，高层官员之间的互相公开造访，并不稀奇，军统也对此不加监视。
周恩来提出三点建议:一是日军占领济南后南下，几乎是**，不把中国军队放在眼中，气焰非常嚣张。周恩来认为，骄兵必败，加上日军孤军深入，有利于我诱敌深入歼敌一部；二是济南以南，徐州以北的地形很好，尤其是津浦路东的台儿庄、张庄之间，这一带是鲁南山区的边缘，地形极其复杂。日军不熟悉这个地形，我可以利用熟悉地形的长处，打个歼灭战；三是鲁南山区有八路军部队的配合作战，加上广西部队的战斗力素来尚好。打胜仗本身也是提高战斗力的推进器。
滕县失守以后，南北两路日军加紧了攻势，接着官桥、薛城、峄县失守，日军第五师团和第十师团对台儿庄形成了两翼包围的态势。
早在3月15日，李宗仁得知蒋介石为加强第五战区的防守力量，将驻河南的第一战区汤恩伯第二十军团和孙连仲的第二集团军东调徐州，心中十分高兴。这两个集团军共计四个军5万兵力，且装备齐全，有四个炮兵团。李和白商量后决定，将四个军布防在台儿庄一线，伺机围歼第五、第十师团。为了加强台儿庄一线的力量，李宗仁决定抽调正在商丘进行训练的新编十四师部队，由火车运输经过徐州转向北面，布防于台儿庄附近大运河南岸，作为战役的预备部队，随时准备增援台儿庄内的守军。前面，即使临沂，滕县打得那么热火朝天，李宗仁也没有决定调动这支新组建的部队。可是，现在，台儿庄这里的战事，容不得他有任何的闪失了。他也只好把一切能够抽得动的部队都用上了。眼下，他手里的各部队都各有负责，无法调动，只有正在整训的新编十四师没有任务，可以调动了。
