1949年5月28日,上海市人民政府成立,首任市委書記由中共中央華東局書記饒漱石兼任。1950年1月,饒漱石不再兼任此職,由時任市長的陳毅兼任上海市委第一書記。
接替陳毅任上海第一書記的是柯慶施,他是任職時間最長的市委書記。從1954年10月到1965年4月病逝於任上,此前三個月,他剛被任命為國務院副總理。
柯慶施病逝後,陳丕顯主持上海市委的工作。次年席卷全國的“文化大革命”爆發, 1967年,市長曹荻秋和市委書記陳丕顯被打倒,張春橋“踢開黨委鬧革命”,擔任上海市革委會主任直到1976年10月。