3月17日，日军第10师团在攻占滕县后，不顾其左翼第5师团被阻，也不待蚌埠方面援军北进呼应，却孤注一掷地向台儿庄扑来，以期一举而下徐州，夺取打通津浦线的首功。“将军，孤军深入，乃兵家之大忌呀！”参谋长提醒矶谷廉介。“支那军队，不堪一击!”矶谷不屑一顾地说。“王铭章怎么样?够硬的了吧?可最后还不是被我砍得光光，落了个全师覆灭?!”此时的矶谷廉介变得骄狂无比，除了台儿庄，眼前已没有中国军队的阻力了，迫不及待、不顾一切地要把屠刀砍向台儿庄。尤其是得知他的兄弟部队板垣师团在临沂战败而不能南下台儿庄会师时，他更是冲动异常，当即决定：挥师南下，迅速攻占台儿庄！他不仅要独占台儿庄、徐州，而且企图一直打过淮河，夺取独占贯通中国南北战场的赫赫战功!
台儿庄为山东南部峄县境内的一个小镇。位于津浦线台枣（庄）支线和台淮（坊）公路交叉点上，西临大运河，是徐州的门户，也是滕县失守后，屏护徐州的最后一道防线，战略地位十分重要。为了确保徐州安全，战前，中国守军在此构筑了一定的防御工事，筑石墙两英里，内设碉堡70余座。
日军第10师团长矶谷廉介中将，根本就不把中国军队放在眼里，他所率领的第10师团，是一支重装备的机械化部队，又拥有空军协同作战的能力，他在攻占滕县之后，又攻克临城，这是日军大本营给华北方面军的南下禁止线。但是矶谷判断李宗仁手边的部队不足，可以调动的部队，已经先在右翼与板垣的第5师团缠上了，所以他决心大胆深入，越过临城与枣庄前线，准备直捣徐州，一举攻占中国军队第5战区司令部，好为自己建立一个显赫无敌的战功，所以他率部全速南下，根本不接受大本营设给日军在鲁南作战的禁止线。
对于台儿庄会战的前景及其战法，当时的国民政府最高统帅部副总参谋长白崇禧心里并没有底，他深知中共内部有高。