1970年的一天，張洛在林彪的另一位愛將李作鵬家裏，偶然看到了林彪寫的那首《重上井岡山》，當時是寫在條幅上的。張洛便將它抄下，回沈陽時，帶給了李劫夫。
為毛澤東詩詞譜曲譜上癮了的李劫夫，主動為林彪的這首《重上井岡山》譜了曲。後來，6月底李劫夫因病去北京301醫院治病時，黃永勝與吳法憲、葉群便特地又接見了他一回，並請吃了一餐飯。其間，李劫夫便向黃、吳、葉展示了他為林彪詩詞所譜之曲，並當場演唱了一番。黃、吳、葉聽後，都很滿意，說曲子“很雄壯”。
1971年9月下旬，李劫夫從偷聽到的外蒙古電台所播的信息中得知，中國有一架飛機飛到外蒙古時墜毀了，但飛機上有許多文件，是中國內部出了事，毛澤東病危了。到了國慶那天，李劫夫又看到北京沒有像往年那樣舉行慶祝，便愈來愈猜想高層出了事，但見報上報道了周恩來總理依然如舊，他便猜想可能是毛澤東病重，已由林彪戰勝了江青集團而接了班。
於是，李劫夫想提前操作一首慶祝林彪接班的歌，因而，在一張紙上寫出了《緊跟林主席向前進》的歌曲題目，其他歌詞尚未想好而正在思考時，他的夫人張洛進來看見了，問他寫什麽，李劫夫就告訴她：主席病危，林彪就要接班了，現在寫一首歌，一旦正式接了班就拿出去。
