1939年3月下旬，八路军一一五师政治委员罗荣桓受中共中央委托，从泰(山)西地区来到沂水县王庄，向中共山东分局和山东纵队机关干部传达中共六届六中全会精神，这是他首次到达沂蒙山区。6月21日，毛泽东致电八路军总部，指出：在日军“扫荡”后，鲁南局面混乱，我应趁此机会将一一五师师部及六八六团和萧华纵队一部开赴鲁南，以巩固鲁南抗日根据地。此后，一一五师主力分三批先后进入鲁南地区。一一五师于9月1日到达大炉(今属苍山县)。当时，日本侵略军侵占了卞庄、郯城、枣庄、泗水、滕县等城镇；国民党东北军五十七军一一二师占据抱犊崮东部地区；以刘桂堂为首的大小几十股土匪和当地地主武装各霸一方，斗争局面非常复杂。面对这种形势，如何打开局面成为罗荣桓考虑的首要问题。在12月26日一一五师召开的干部会议上，罗荣桓指出：目前，我们的任务，是建立以抱犊崮山区为中心的鲁南抗日根据地，以后再向东北发展，与山东纵队活动地区连成一片。

      1940年1月6日和15日，一一五师召开军队和地方干部联席会议，罗荣桓和代师长陈光分别传达了中共中央指示精神，作了《关于创建抱犊崮山区根据地》和《坚持我们的阵地》的报告。他们在报告中特别强调创建鲁南抗日根据地的重要性和有利条件，努力坚持和巩固自己的阵地；主力部队的任务不仅要搞好对敌斗争，建立政权并广泛地建立抗日民族统一战线；要积极建立和扩大抗日武装。通过这两次会议，坚定了部队和地方干部为建立鲁南抗日根据地的信心和决心。1月26日，罗荣桓指挥鲁南军民攻克了郯城，占领了郯马平原，使部队获得了大量军需品。2月间，一一五师三次夺取鲁南战略要冲白彦镇，毙伤日伪军800余人，控制了抱犊崮与天宝山之间的战略要地。至6月间，中共鲁南区参议会和鲁南专署宣告成立。9月中旬，鲁南军政委员会成立，罗荣桓任书记。

      罗荣桓根据毛泽东关于“发展进步势力，争取中间势力，孤立顽固势力”的策略方针，在9月召开的一一五师师直机关、各支队主要负责人和中共鲁南区党委负责人参加的高干会议上(亦称桃峪会议)，提出“插、争、挤、打、统、反”的六字方针。插，即插入敌人后方及一切空隙地区；争，即

      争取立足点，建立根据地；挤，即排挤敌伪及顽固势力，扩大进步势力；打，即打击日本侵略军和汉奸武装；统，即坚持统一战线，与国民党特别是在鲁南的东北军疏通关系，搞好团结，孤立顽固派；反，即反“扫荡”、反摩擦。他还在会议上发出“建设铁的模范党军”的号召，提出五条具体要求。会后，罗荣桓和陈光深入到基层连队，对射击、刺杀、投弹、近迫作业等进行具体指导，以提高部队的政治素质和军事技术。10月4日，罗荣桓向中央军委电告一一五师入鲁以来的工作：一一五师和中共鲁南区委经过一年的努力，开辟了根据地，坚持了对敌斗争，执行了党的抗日民族统一战线政策，主力部队与地方武装已发展到7万人。11月8日，根据中共中央的指示，罗荣桓、陈光率一一五师师部离开鲁南，转移到中共山东分局驻地鲁中区青驼寺西聂家庄(今属沂南县)。从此，山东分局、一一五师师部和山东纵队指挥部便驻在一起，为统一山东抗日根据地的领导奠定了基础。