日军“华北方面军”根据大本营的命令及指导方案与“华中派遣军”联系后，于4月10日制订了徐州会战的指导方案。主要精神是将中国军队吸引于徐州附近及津浦路以东地区，在徐州西方及西南方切断退路，尔后攻占徐州、歼灭中国军队。为此，将会战分为三个阶段：第一阶段实施抑留作战，对由台儿庄追击北进的中国军队进行有限攻势作战，与之保持接触，将其抑留于韩庄、峄县、临沂之线；同时，“华中派遣军”以一部兵力由淮阴方面向西北方前进，占据要点，将中国军队牵制于徐州东南地区，以争取时间并掩护主力集中及进行包围徐州的部署。准备就绪后立即开始第一阶段作战。第二阶段实施包围作战，在发动大规模攻势的同时，以有力兵团从微山湖西侧，用迅速、突然的进攻，切断徐州以西及西南的退路；“华中派遣军”配合行动，将徐州完全包围，尔后攻占徐州，歼灭徐州附近的中国军队。预计在4月下旬开始第二阶段作战。第三阶段实施巩固占领区的作战，以第2军占领兰封以东陇海路，确保既占领区的安全。航空兵团在第一、二阶段以主力支援第2军的作战。在第三阶段，主要攻击中国军队后方要地及击灭中国空军，并以一部直接支援各兵团。
由于徐州会战的主要任务由第2军承担，所以“华北方面军”重新调整了战斗序列，先后将方面军直属的第16师团（1938年1月5日由“华中方面军”归还“华北方面军”）、第114师团（欠1个大队，1938年2月10日由“华中方面军”转隶“华北方面军”）、战车第2大队、野战重炮第3联队、野战重炮第6联队、后备兵1个大队以及独立工兵联队等配属于第2军。此前，已于3月15日将独立混成第5旅团（新编成不久）配属于第2军。至此，第2军已有4个师团、1个混成旅团及炮兵、战车等部队。
4月12日，“华北方面军”按照制订的作战指导方案下达了作战预令，并规定“第1军司令官应作好准备：以一部由兰封附近至范县之间渡黄河，切断兰封附近的陇海路，为第2军的作战创造有利条件”。
4月17日、18日，日军在济南召开了徐州会战作战会议，“华北方面军”、“华中派遣军”主要主持作战策划的作战课长、副参谋长及大本营直接指导两方面军作战的大本营派遣班负责人（作战部部长）参加了会议。经协商后，“华北方面军”及“华中派遣军”于4月23日和24日分别下达了作战命令，制订了作战计划。
“华北方面军”的“作命”甲第294号命令的主要内容为：“（1） 在徐州以北挫败敌人的进攻，但敌人正在兰封以东、陇海沿线及其以北增加兵力，有阻止我南进的企图。（2） 方面军必须在敌人战役布势完成前击破徐州方面之敌，占据兰封以东、陇海路以北地域。华中派遣军与方面军相策应，约以两个师团从蚌埠、怀远附近发起行动，由津浦路以南地区切断除州附近敌主力的退路。另以一部兵力于4月24日从东台北上，策应方面军作战。（3） 第2军在集结兵力的同时，务须尽快开始攻势行动，争取以徐州以西地区为主要决战地，对当面之敌进行攻击，并须占领徐州。（4） 第1军以有力之一部渡过黄河，首先迅速切断兰封、归德间的陇海路，并向归德方向挺进，与华中派遣军的一部密切协同，使第2军的作战得以顺利进行。掩护第1军渡河的部队由火车输送至济宁附近，立即由该处开始行动。另外，在兰封以西黄河沿岸，尽可能以佯攻牵制敌人。（5） 临时航空兵团，应以主力支援陇海路方面的作战，特别注意将攻击重点指向第2军的正面，与华中派遣军第3飞行团及海军航空队密切协同。”
华中派遣军的徐州会战计划主要内容为：
第一方针
军与华北方面相策应，将徐州附近之敌人捕捉击歼于徐州以西地区。决战时间，概略预定在5月中旬。
第二指导要点
军预定于5月5日前后开始前进，根据情况，亦准备可能在4月底前开始前进。
军以第9师团、第13师团并列作战，首先击破当面之敌，迅速向赵家集—蒙城一线附近进出，此时的重点保持于左翼师团。
进至赵家集—蒙城一线后，究应向归德、亳县方面还是向砀山、永城方面，或者向徐州方面前进，当视情况发展而决定。但不论何种情况，都必须以一部兵力占领宿县附近。
派遣军为保证军的主力作战，在军主力行动前，先派出下列部队：4月21日，令第101师团从现驻长江北岸，警备东台、通州的部队中抽调尽可能多的兵力，向阜宁方面逐次推进，俾军将来之作战有利；4月23日，令第6师团派出以步兵约4个大队为基干的部队，迅速沿和县—巢县—庐州大道地区作战，抑留庐州方面之敌，毂（彀）之作战容易。
为指挥徐州会战，“华北方面军”司令官寺内寿一的指挥所推进至济南；“华中派遣军”司令官俊六的指挥所推进至蚌埠。
台儿庄战斗胜利之后，受命追歼败退残敌的中国军队未能以战斗行动保证第五战区战役企图的实现，与日军濑谷支队、坂本大队相持于峄县以南、以西一带。中国统帅部判断敌军必将增援反攻。军令部主管作战的第一厅厅长刘斐根据当时部队的战斗力情况，主张鲁南的作战改为机动防御，除以一部分军队和敌保持接触外，主力集结于机动有利的地位，再相机打击敌人；建议缩小战场正面，后退至运河沿线布防，控制强大的预备兵团于徐州以西，用以应付各方面的情况。蒋介石勉强同意了机动防御及运动战制敌的方针，但在具体部署兵力方面不肯放弃现有各要点，并要求第一线作持久防御的部署。4月21日统帅部以蒋介石的名义，用训令的形式向第五战区下达命令。“训令”如下：
（1） 鲁南之敌，仍系板垣、矶谷两师团，济南敌援军万余，其半部已到兖、济、滕接防。
（2） 决依机动防御及运动战击灭敌人。
（3） 张自忠军并指挥李仙洲军，在临沂东南侧，主力置于沂河左岸牵制该敌，并向敌后方莒县、费县一带发动游击。
（4） 庞炳勋军调郯城马头整补，并掩护铁道。
（5） 孙连仲军附张轸师及周？军，在刘庄、高皇庙、十字路楼北侧高地各附近之线占领纵深据点式阵地，持久抵抗；但须控制有力预备队于南、北洛附近，并以一部加强台儿庄阵地。
（6） 于学忠军附139师，以主力在常沟、红瓦屯之线占领纵深据点阵地，持久抵抗；以一部在作字沟、兰陵镇附近监视向城之敌，但须控制有力预备队于张楼东侧。该军统归孙连仲指挥。
（7） 孙震部任韩庄南方运河守备。
（8） 汤恩伯军（欠张轸师）在四户镇、大小良壁、岔河镇间整补。
（9） 卢汉军在台儿庄南侧集团。
（10） 第3、第9、第50、第92、第140师为总预备队，位置于砀山、商丘，但须以一师位置丰县。
第五战区的作战指导思想与统帅部收缩战线、控制强大机动兵力、实施机动防御的思想存在分歧。根据台儿庄战斗的经验，第五战区主张将主要力量投入第一线，在以正面吸引住敌人的同时，以强大兵团拊敌侧背，主动攻击，力求以攻势作战歼敌一部，从而达到防御的目的。这一思想与蒋介石的“积小胜为大胜”、“以攻为守”〔67〕的指导思想相吻合。4月23日，统帅部又制订了一个结合两种指导思想的折中方案——《徐州会战作战指导方案》。战略主要方向仍在鲁南，作战指导方面强调攻势歼敌，增加了不得已时实行机动防御的内容。
第一方针
（1） 国军以确保徐州之目的，应对津浦铁道及沂河南下之敌切实阻止，并以有力部队威胁敌人侧背，俟迂回部队达到临沂、费县、滕县线上并集结相当兵力于徐州附近（后），然后以主力由南面转取攻势，歼灭敌军。至万不得已时，则用逐次抵抗，退守洪泽湖至微山湖中间地区。第二、第三战区，除以一部直接或间接支援徐州方面作战外，主力应积极进攻当面之敌，使敌不得放胆转用其兵力于津浦北段。
第二指导要领
（2） 第五战区之部队，应以主力固守郯城以南经邳县至韩庄之线，并以四师以上兵力，由济宁至东平间地区突入敌后方，对峄县、郯城之敌攻击，并以集结之兵力加入南北夹击，以收歼灭当面之敌之效。至不得已时，我当面部队须利用逐次抵抗，退守洪泽湖、微山湖中前地区，待机转移攻势。迂回部队则专任敌后方之游击。
（3） 第一战区部队，主力积极向济南方向活动，破坏津浦铁路北段交通，并向敌军后方发动游击战，一部攻击当面之敌。第二战区部队应积极攻击当面之敌，牵制当面敌军之转移，并抽调一部向徐州附近集结。
（4） 第三战区应抽调一部控制于相当地点，作战略预备队，主力努力攻击当面之敌。
（5） 即以现在控制于后方之部队向徐州附近集结，准备将来之攻势转移。
此时，由各战区增调至第五战区的部队已有第46军、第60军、第22军的第50师、第69军及骑兵第9师、骑兵第13旅等。第五战区根据统帅部攻势歼敌的精神调整了部署，将所属部队按作战地区分为鲁南兵团、鲁西兵团、淮南兵团、淮北兵团及战区总预备队。重点是鲁南兵团。鲁南兵团的军队区分为：右翼军，军长樊松甫，辖第46军；中央军，军团长汤恩伯，辖第20军团（欠第110师）、第27军团（第92军仍属之）、第50师、第139师；左翼军，总司令孙连仲，辖第2集团军、第51军、第60军、第75军（欠1个师）、第110师、第93师；挺进军，军长石友三，辖第69军、骑兵第9师、骑兵第13旅（第69军进出郯城以北后归石军长指挥）；韩庄守备军，代总司令孙震，辖第22集团军（第51军之1团仍属之）。
4月25日，第五战区下达了“作命”第6号命令。其主要内容为：〔68〕
（1） 临沂、峄枣之敌合约两师团，其主力似已深入我四户镇、台儿庄间地区。
（2） 战区以消灭敌主力之目的，拟以鲁南兵团向左旋回攻击该敌，并与鲁西兵团相策应，围困之于峄县附近山地而逐次击破之。第一攻击目标为向城、傅山口、响连屯、獐山之线，攻击开始预定27日早。鲁西兵团（以孙、曹、刘三部编成，由李副司令长官品仙指挥之）以全力西出津浦线，阻止敌南下之增援及遮断其补给，并以有力之部队南下与鲁南兵团策应，夹击峄枣附近之敌。
（3） 挺进军应速集结于沭河、沂河间陇海（路）沿线地区，向郯城、临沂方面挺进，掩护兵团之右侧，阻止敌之增援，并切断其后方之交通。
（4） 右翼军应集结于运河以东、陇海线北侧地区，速进出于马头镇、后湖以北之线后向左旋回，即向向城、青山之线攻击前进。
（5） 中央军速夹击、驱逐正面之敌后，与右翼军联系，向傅山口、鹅山之线攻击前进。
（6） 左翼军集结主力于其右翼，与中央军联系，向响连屯、獐山之线攻击前进；其左翼应保持现在之线，施行佯攻。
……
（8） 韩庄守备军固守韩庄附近运河之线，阻止敌之突进。
（9） 战区总预备队（约三师及炮兵若干）分置于徐州、归德间，策应两兵团之作战。
统帅部对第五战区的部署及预定作战行动基本同意，但在集中使用兵力及控置机动兵力方面稍作了一些补充指示。蒋介石于4月26日致电李宗仁：“（1）部署适当，希坚决实施。（2）须着眼求敌主力包围于战场而歼灭之，勿为作战地境及到达线所限制，以免樊军扑一大空再回转攻击之烦。（3）外翼如有少数敌人，须由石军驱逐，勿分割樊军兵力。（4）马头镇及其以南之敌，须由张自忠及吴良琛部阻止之，攻击军应果决向敌侧背迈进。（5）须尽量由左翼于孙军抽出有力部队以供机动使用。”
在战略上，中日双方虽然完全不同（日军是进攻，是企图消灭徐州附近的中国军队，从而攻占徐州；中国军队是防御，是企图消灭进攻徐州的日军一部，从而保卫徐州）。但在战役上，双方的作战指导都是企图以攻势作战、以迂回包围行动歼灭对方。
（二） 徐州外围作战及弃守
台儿庄战斗后，中国追击部队与日军濑谷支队、坂本支队相持于峄县附近的期间，日军第2军得到了加强。西尾寿造将第114师团的约4个大队及第16师团的约1个大队等配属给第10师团，将独立混成第5旅团的约2个大队等配属给第5师团，并令第114师团接替了第10师团第8旅团的后方警备任务，从而使第一线的兵力大为增加。
4月10日，第10师团师团长矶谷廉介由兖州进至枣庄指挥作战。18日开始转为攻势，使用于攻击的部队为：以濑谷启步兵第33旅团为基干的濑谷支队，以长濑武平步兵第8旅团为基干的长濑支队和由第5师团转隶的、以坂本顺步兵第21旅团为基干的坂本支队。矶谷廉介的部署是：濑谷支队在右，沿枣台铁路向台儿庄进攻；长濑支队在中，先向兰陵镇、甘露沟，再向禹王山进攻；坂本支队在左，先向向城，再向四户镇进攻。3个支队并列攻击前进，我第2集团军及第52军、第60军等部队坚决抗击，不断反击。至4月底时，双方激战于兰城店、禹王山、泥沟一带，对当地的一些要点均进行多次的反复争夺。日军不仅难以进展，而且3个支部队基本上均陷于被围的困境，后方联系常被切断。日军第10师团师团长矶谷廉介为援救处境危急的濑谷支队，4月28日将刚刚由第2军增加配属的步兵第16师团的草场辰巳第19旅团（以步兵第20联队、野炮兵第22联队第1大队为基干）编为草场支队，令其由濑谷支队右翼投入战斗，向台儿庄地区进攻。但进至金陵寺、白山西附近即遭到第110师、第30师的顽�