紅軍血戰湘江突破第四道封鎖線後,一軍團奉命突破烏江天險,於1935年1月7日攻取黔北重鎮遵義。1月15日至17日,在中共黨史上具有劃時代意義的遵義會議勝利召開,這次會議是一個偉大曆史轉折,確立了毛澤東在全黨全軍的領導地位。劉輝山時任紅一軍團直屬警備連副連長,主要負責中革軍委機關的警衛工作。15日早上,警備連的官兵剛剛吃過早飯,時任紅軍總參謀長兼遵義警備司令部司令員的劉伯承帶著警衛員來到連隊,他將劉輝山和指導員姚誌和叫到連部,把門掩上,顯得十分嚴肅,然後布置了警衛任務。室外的警衛戰士預感到一定有非同尋常的重要警衛任務。果然,劉伯承剛離開,劉輝山就召集全連警衛戰士開緊急動員會,他首先布置了警衛任務,並告訴戰士們,從今天晚上開始,中央將在紅軍總部駐地、原黔軍二十五師師長柏輝章的公館裏召開一個重要會議,中央和軍委領導以及各軍團主要負責同誌都要參加,我們要搞好公館內衛,警衛任務特殊而艱巨,要求大家一定要以百倍的警惕完成這一神聖而光榮的任務。接著,指導員姚誌和作補充,強調在執行任務過程中,一定要小心又小心,警惕又警惕,不能有半點閃失,遵義城雖然已拿下,但敵情還複雜得很,敵人的特務隨時都會伺機作亂。
中央對這次會議的警衛工作很重視,除劉輝山的警備連負責柏公館內衛外,城區四周又部署了近4個團的兵力,幾個山頭上還有高射機槍陣地,嚴防敵機偷襲。外圍還有周興的警衛部隊警戒。
劉輝山的警備連隸屬中央警衛局,是個加強連,有150多人。他製訂了詳細的警衛方案,按照方案,從大門到一樓再到二樓會場,關鍵位置都布了崗哨,幾乎是崗哨林立,24小時輪流站崗。會議定於晚上召開,天剛擦黑,柏公館大門上的煤油燈就被點亮了。劉輝山看到會議代表陸續步入公館進入二樓會議室。去得最早的是博古,他披著大衣,沉著臉,表情凝重,在公館門口下馬後,警衛員就把馬牽走,他則低著頭,緩緩走進院子,就連警衛戰士持槍敬禮,他也仿佛沒有注意到。隨後,毛澤東與張聞天也趕去了。毛澤東披著一件綴了補丁的單襖,長長的頭發分在兩邊顯得特別清瘦。他夾著一支煙卷,與張聞天並肩而行,低聲交談,張聞天不時點頭。等他們進去公館不一會兒,王稼祥被擔架抬進去了。他用肘部支撐起半個身子,衝警衛戰士點頭微笑。李德和伍修權去得最晚。李德穿著一雙看起來很沉的大皮鞋,一改以前走路愛指手畫腳,高談闊論的神態,變得緊握煙鬥,一言不發。
遵義會議連續開了3天,每天都是晚上進行,淩晨結束。劉輝山率領戰士們克服了許多困難。早春的遵義陰雨連綿,寒氣逼人。警衛戰士沒有棉襖,更沒有大衣,尤其是夜間,冷徹骨髓,但每個警衛戰士都保持著高度警惕。由於頭腦中的弦繃得太緊,以至於鬧出一場誤會。1月15日,會議剛開始不久,劉輝山檢查崗哨離開柏公館後突然聽見一陣緊過一陣的防空號。“有情況!”他大吼一聲,忙帶著警備連的官兵趕回柏公館。可是到了那裏什麽情況也沒有發生。一查,原來是由於負責“高射機槍陣地”的一個名叫邵永清的司號員太緊張,把一隻飛來的貓頭鷹誤認為敵機,吹響了防空號,使大家虛驚一場。這位戰士事後懊惱不已,而聽到警報迅速趕去的劉伯承卻誇他警惕性高,並向連長劉輝山和指導員姚誌和交代,不得處分那名戰士。
17日晚上,會議結束時,毛澤東步履輕鬆地走出會場,其他領導人也陸續離去。走得最晚的博古,站在大門口,低著頭默不作聲,離開時,步履沉重。
由於追兵在即,會議精神來不及向部隊傳達。從1月19日開始,紅一軍團繼續護衛中央領導機關北上,經過四渡赤水、二打遵義、巧渡金沙江、強渡大渡河、飛奪瀘定橋、翻越夾金山、通過一望無垠的大草地,激戰臘子口,終於到達陝北。劉輝山參加了直羅鎮戰役後,任紅一軍團警備連連長,參加了東征戰役。