抗日戰爭爆發後,向毛澤東請纓上前線,於1938年被任命為八路軍第129師386旅副旅長。
1939年2月參與指揮香城固伏擊戰,並在戰鬥中親率新編第1團出擊,切斷了日軍退路。後與王新亭率386旅一部在邯鄲、廣平等地開展平原遊擊戰爭和反“掃蕩”鬥爭。
1942年任膠東軍區司令員,率部多次挫敗日偽軍的“掃蕩”,鞏固和發展了膠東抗日根據地。
1944~1945年指揮部隊攻克和收複文登、榮城、威海衛(今屬威海市)、牟平、龍口、招遠、黃縣、萊陽、蓬萊等縣城,並解放煙台市和平度縣。 [1]