1966年文革爆發後,在“破四舊”運動中,河南豫劇團幾乎所有的老藝人、名演員全部遭到批鬥、侮辱,常香玉自然在劫難逃。她首當其衝地被造反派批判為“大戲霸”、“反動戲劇權威”,遭剃頭、畫臉、掛大牌子遊街,而且在她經常演出的鄭州人民劇場前開批鬥大會,當場燒毀包括“木蘭從軍”、“紅娘”在內的珍貴的古戲裝行頭。
那時,常香玉還被定成中統特務。有一天,她被4個人五花大綁的架出去要槍斃,後來等了2個鍾頭也沒見動靜。就在常香玉驚恐不安的時候,一個炊事員走過來,說那是鬧著玩的,給她鬆了綁。也因為被長期批鬥關押,常香玉連父親臨終前都未能見上最後一麵。
1968年,常香玉和其他豫劇演員統統被趕到鄉下進行勞動改造,而她下放的地點就是中共前高官萬裏的兒子萬伯翱當知青的地方,他後來寫的一篇文章還原了當時常香玉的處境。