應該是劉少奇把他拋棄了，因為組織部副部長安子文有劉少奇撐腰，有嚴重錯誤卻不認錯，還天天和饒吵架

劉少奇過去一直支持饒漱石，但是，在饒漱石指責安子文後，安子文當晚就來到劉少奇處，詳細匯報了饒漱石的言行，並且分析說，我估計饒漱石如果不是精神失常，就是把你、我和彭真、薄一波四個人劃成了一個圈圈，存心要把我從組織部趕走。

當時正好薄一波被高崗批評，於是，劉少奇聯係到批薄倒劉，批安伐劉，認為饒漱石背叛了自己，就決定拋棄饒漱石，把高崗和饒漱石放在一起打倒