1949年10月任中央人民政府文化教育委員會委員。任第2至4屆全國政協委員,後任中央民族學院專門教授。1957年反右派鬥爭中被錯劃為右派分子,是人類學、民族學界五大右派(潘光旦、吳澤霖、黃現璠、吳文藻、費孝通)之一,因在土家族民族識別研究的成果而成為“破壞民族關係”的“罪名”。潘光旦和費孝通愛散步,傍晚時分,二人常到校門外散步,有些小學生爭相圍觀,呼叫著那個大胖子(費孝通)是右派人物,並向他們扔石塊。文革時被抄家、批鬥,在醫院,潘光旦因膀胱及前列腺發炎成為危重的病人,卻無任何治療。
1967年6月10日晚上,老保姆看到潘光旦情況不佳,急請隔壁的費孝通過來,潘光旦向費孝通索要止痛藥,費孝通沒有,他又要安眠藥,費孝通也沒有。隨後,費孝通將潘光旦擁入懷中, 潘光旦遂逐漸停止呼吸,費孝通哀歎“日夕旁伺,無力拯援,淒風慘雨,徒呼奈何”。 潘光旦一生學術涉及廣博,在優生學、人才學、家譜學、家庭製度、社會思想史、民族曆史、教育思想、性心理學等眾多領域都有很深的造詣。1979年右派問題獲得改正。