1952年赫爾辛基奧運會舉行之前，中華人民共和國當時尚未獲得國際承認，故而未接獲邀函，遂在蘇聯協助下，逕向國際田徑聯合會及國際籃球總會繳交會費，試圖參加奧運。當時兩會的57位委員結果以33票對20票決議通過，兩岸體育運動隊伍可以同時參加該屆奧運會，但中華民國代表團受政府指令，以“漢賊不兩立”的原則退出比賽。另一方麵當時奧運會主辦國芬蘭希望邀請中華人民共和國組成代表團參加奧運會，但基於國際奧委會承認中華民國代表參加該屆奧運會，中華人民共和國方麵拒絕與中華民國一同參加比賽。經過多時的爭議，奧運會舉行前一日，中華人民共和國決定接受邀請參加比賽，但奧運會舉行在即中華人民共和國仍未組成代表團。奧運會舉行第五日，中華人民共和國組成40人的臨時代表團，成員包括一支足球隊，一支籃球隊以及一名曾經代表中華民國出席1948年倫敦奧運會遊泳選手吳傳玉，代表團於25日正式從北京出發至芬蘭赫爾辛基，可惜的是代表團趕到之時奧運會隻有五日就結束，當時大部分比賽已經完成，隻有吳傅玉參加翌日舉行的男子100米仰泳預賽，以1分12秒9得到第5名，雖然未能晉級複賽，但為中華人民共和國在奧林匹克運動會寫下新的一頁。
由於國際奧委會繼續承認中華民國的資格，中華人民共和國於1958年8月19日宣布與國際奧委會斷絕關係。直到1979年10月25日中華人民共和國正式與國際奧委會達成協議，國際奧委會以中國的名稱確認使用於中華人民共和國，而中華民國則以“Chinese Taipei”（洛桑協議）（1988年正式將中文譯名命為中華台北）的名稱確認使用於台灣，並且禁止使用中華民國的國旗與國歌。
1980年，因蘇聯入侵阿富汗，中國抵製莫斯科奧運會。
1984年，中華人民共和國首次以中國名義參加夏季奧運會，當屆賽事首麵金牌由中國射擊選手許海峰憑男子50米手槍60發奪得，並且為中國代表團取得在夏季奧林匹克運動會首麵奧運金牌；體操選手李寧以驚人的演出一人獨得男子體操單項自由體操、鞍馬和吊環共3麵金牌，以3金2銀1銅成為該屆奧運奪得最多的運動員。總結該屆洛杉磯奧運會中國代表團一共取得32麵獎牌的不俗的佳績，當中包括15麵金牌（射擊3麵，跳水1麵，體操5麵，舉重4麵，擊劍1麵，排球1麵），獎牌榜隻僅次於主辦國美國，羅馬尼亞及西德。
1988年漢城奧運會，中國代表團未能發揮出最佳水準，在獲得28麵獎牌中隻有5麵金牌，當中2麵來自新加入成為奧運會項目的乒乓球，另外3麵金牌分別在跳水及體操項目奪得。
1992年巴塞羅那奧運會，中國代表團共合取得54麵獎牌，當中的16麵金牌顯示出在個別比賽項目有突破性的水準，並且冒出了不少後起之秀：有“五朵金花”之稱的王曉紅、楊文意、莊泳、錢紅與林莉在該屆遊泳項目大放異彩，莊泳在女子100米自由泳決賽中，意外地壓倒當時世界紀錄保持者Jenny Thompson，為中國奪得首麵遊泳金牌，及後楊文意、錢紅與林莉先後奪得50米自由泳、100米蝶泳以及200米混合泳金牌；年僅14歲的跳水選手伏明霞首次參加奧運便獲得女子10米高台項目金牌，成為中國及奧運會跳水曆史上最年輕的奧運金牌得主；體操項目中，陸莉在高低杠項目以10分滿分贏得金牌，李小雙獲得男子個人全能亞軍，自由體操冠軍及男子團體冠軍；乒乓球選手鄧亞萍成功為中國隊奪得女子單打及女子雙打冠軍；陳躍玲在女子10公裏競走亦為中國隊取得史上首麵田徑奧運金牌。
1996年亞特蘭大奧運會，中國代表團在該屆奧運會取得16麵金牌，成績雖然與上屆賽事相同，半數金牌來自跳水及乒乓球，其中乒乓球項目憑劉國梁及鄧亞萍帶領奪得四項所有單項比賽；“跳水王後”伏明霞連同熊倪取得3麵金牌。可惜的是隨著“五朵金花”的隱退令中國隊在遊泳項目表現失色，隻能憑樂靖宜奪得女子50米自由泳銀牌及女子100米自由泳金牌。反觀中國隊在球類運動獲得不錯的成績：女子足球項目雖然分組賽階段壓倒主辦國美國，但在決賽階段以一比二不敵主隊；新加入的壘球項目中國再一次落敗於美國之下獲得銀牌；曾奪得1984年奧運金牌的中國女排亦屈居於世界冠軍古巴女排。
2000年悉尼奧運會，中國以28麵金牌首次躋身奧運會金牌榜前三名，取得了曆史性的突破，主要原因的是中國隊在部分強項取得成功，包括乒乓球、舉重、射擊、體操、跳水，其中7人蟬聯9個小項奧運金牌。伏明霞在女子3米跳板達成連續兩屆奧運會奪得金牌的創舉；中國體操隊在前兩屆屈居亞軍的陰影下，終於在男子團體體操首次奪得金牌。
2004年雅典奧運會，中國派出運動員407人、官員226人，參加除了棒球和馬術之外其他所有比賽項目。代表團在該屆奧運會取得了32枚金牌，首次超越俄羅斯位居金牌榜第二位，落後金牌大戶美國隻有3塊金牌，獎牌總數亦達到63塊，分別在19個分項目奪得，當中部分金牌為中國隊在奧運曆史上取得重大的突破：劉翔乘著美國選手阿蘭·約翰遜未能出線決賽，在男子110跨欄決賽以平世界紀錄成績奪得中國首麵男子田徑奧運會金牌；李婷夥拍孫甜甜勇奪女子網球雙打金牌；在首次參加的皮劃艇項目，孟關良與楊文軍奪得男子雙人劃艇500米金牌；羅雪娟以打破奧運紀錄奪得女子100米蛙泳金牌；被視為中國強項的舉重項目亦奪得5金3銀的佳績；中國女子排球隊在陳忠和帶領下，事隔二十年後再次成為奧運冠軍；張怡寧在女子乒乓球單打決賽首度摘下奧運金牌，該麵金牌除了是該屆奧運會第20麵金牌，同時達成中國代表團自1984年後第100麵的裏程碑，亦是繼日本後第二個亞洲國家達成該個裏程碑。
2008年北京奧運會，中國隊借東道主之力，派出了1099人的代表團參賽，其中運動員639人，首次參加全部28個大項的比賽，其中馬術和棒球兩個項目是首次參賽。代表團在該屆奧運取得了51金21銀28銅共100枚獎牌，在金牌榜上首次超越美國，列第一，但獎牌仍列第二。在本屆比賽中，中國隊在多個單項上實現了金牌或獎牌的突破，其中，仲滿奪得中國男子擊劍首枚金牌；殷劍奪得中國首枚帆船金牌；陸春龍和何雯娜奪得中國首麵男女子蹦床金牌；中國藝術體操隊和花樣遊泳隊分獲銀牌和銅牌，實現了這兩個單項上獎牌的突破；中國女子曲棍球隊獲得首枚曲棍球獎牌。在傳統優勢項目上，男子體操隊包攬了除跳馬單項(因動作相同認定程度原因未參加)以外的所有金牌，中國乒乓球隊包攬了2枚團體金牌和6枚個人獎牌，中國跳水隊獲得了除男子單人10米跳台以外的7枚金牌。此外，錢震華在男子現代五項比賽中，以2分之差列第四，創造了中國代表團的最好成績。而在男子4X100米接力跑中，由於預賽多個隊伍犯規或失誤，中國隊創紀錄地進入決賽。在男子遊泳比賽中，張琳獲得中國首枚男子遊泳獎牌。
2010年4月28日，國際奧會宣布，因參加2000年悉尼奧運會的中國女子體操隊中包括了當年未滿16周歲的選手董芳霄，剝奪中國隊所獲得的體操女子團體銅牌，改授美國。
2012年倫敦奧運會上，中國代表團共派出396名運動員，參加23大項31分項212小項的比賽，最終取得了38金27銀23銅共88枚獎牌，在11個大項獲金牌，在17個大項73小項獲獎牌，是中國代表團在境外參加奧運會的最好成績，其中中國選手打破6項世界紀錄和6項奧運會紀錄。在本屆奧運中中國代表團取得眾多突破，有8個單項首次獲得奧運會金牌，17個單項首次獲得奧運會獎牌。本屆賽事中，遊泳隊締造了自“五朵金花”時代以來的最好成績：孫楊、葉詩文各獲兩金，並且都打破了奧運會紀錄和世界紀錄；焦劉洋獲得了200米蝶泳比賽金牌。羽毛球隊雖受到消極比賽事件的影響，但最終史無前例地實現了對所有單項金牌的包攬。乒乓球隊也繼續捍衛了其霸主地位，繼續包攬了男女子單人、團體的全部四麵金牌。田徑賽場上，中國隊共獲得1金5銅，創下了單屆奧運田徑獎牌數量之最。擊劍賽場上，雷聲奪得第一枚男子花劍金牌，彌補了昔日男子花劍“三劍客”（葉衝、董兆致、王海濱）留下的遺憾；女子重劍團體則在決賽上擊敗韓國隊，首次獲得擊劍項目的團體金牌；中國體操男隊雖開局不佳，僅取得預賽階段的第六名，但在隨後的決賽階段中以零失誤的表現奪冠；單項賽事上，鄒凱衛冕了自由體操冠軍，成為史上獲得奧運金牌數量最多（5枚金牌）的中國運動員。馮喆也在雙杠項目上奪冠。陳一冰在吊環決賽上表現近乎完美，卻輸給了表現明顯存在瑕疵的巴西選手阿圖爾·紮內蒂，但他在賽後的大度作風贏得了讚譽。鄧琳琳則在平衡木項目為表現低迷的體操女隊奪得唯一一枚金牌。董棟獲得男子蹦床冠軍。徐莉佳獲得的帆船單人艇鐳射雷迪爾級金牌，是中國選手首次獲得的帆船項目金牌。射擊隊的表現相比前幾屆有所回落，但易思玲獲得了本屆奧運會賽事的第一枚金牌，郭文珺成為繼楊淩之後第二位在射擊項目實現衛冕的中國選手，都是本屆賽事的亮點。被譽為“夢之隊”的跳水隊獲得6枚金牌，其中陳若琳在女子單人十米跳台項目獲得的金牌，是中國代表團在夏季奧林匹克運動會賽場上獲得的第200枚金牌。另一支奪金大戶——舉重隊取得了5金2銀的成績。另外，場地自行車組合郭爽/宮金傑雖因被判犯規屈居亞軍，但先後兩次刷新女子團體爭先賽的世界紀錄；劉鷗/黃雪辰獲得花樣遊泳雙人項目的銅牌；中國團體獲得花樣遊泳團體比賽的銀牌；曹忠榮成為第一位獲得現代五項奧運獎牌的中國選手，都是中國代表團在本屆賽事的重要突破。
