1941年4月25日，华中局和新四军军部鉴于第4师的危急处境，并为照顾抗战大局，指示留一部分主力及地方武装坚持豫皖苏边区的游击战争，主力转入皖东北地区，巩固和扩大皖东北根据地。但由于形势的继续恶化，武装坚持已不可能，第4师不得不告别豫皖苏边区的广大群众，于5月份先后撤至皖东北地区。至此，艰苦创建的豫皖苏抗日民主根据地，除睢杞太及肖县的部分地区尚有党的组织和部分武装公开活动，永城等县党的组织转入地下活动外，其余全部丧失。

在3个月的反顽斗争中，豫皖苏边区的党政军民各机关部队共伤亡、失踪四千余人，撤到皖东北的不足万人，枪不足五千支。

第4师撤到皖东北后，遵照华中局的指示，于七月中旬在洪泽湖东岸淮宝地区之仁和集召开了军政委员会扩大会议，在新四军政治部主任邓子恢同志参加下，师长作了专题报告，认真总结与检查了反顽斗争失利的经验教训。这次会议，对于尔后巩固和扩大皖东北根据地有着十分重要的意义。

仁和集会议之后，邓子恢同志任第4师政治委员、淮北（即皖东北）区党高官，加强了党的领导。取消了第4师党政军委员会，改为中共新四军第4师党委会。在淮北区党委的领导下，成立了皖东北行政公署（后改为淮北行政公署），作为皖东北的最高行政机构，先后由刘玉柱、刘瑞龙同志任主任。工、农、青、妇等群众组织，也得到了巩固和加强。

第4师大力开展了建军和作战训练等项工作，进行整编，充实连队，将12旅两个团补充第10旅；以师特务团与11旅、12旅各一部成立“宿东游击支队”，开辟宿县地区的游击战争，吸取了平原作战的教训，成立了骑兵团，作为师的机动力量。

反共军汤恩伯集团，在侵占我豫皖苏根据地后，又妄图东犯我淮北及苏北根据地，江苏省顽主席韩德勤亦调动兵力接应汤恩伯部东进。