1939年4月，日軍占領太平島，將其取名為“長島”，納入日治台灣高雄州高雄市轄下的新南群島所管理。期間日本曾在島上駐紮過陸戰隊、氣象情報隊、通信派遣隊和偵察機部隊[9][10]。
1944年，日本在島上建立了潛艇基地。
1945年二次大戰後，先由台灣省行政長官公署接收管轄南海諸島。12月12日，中華民國政府設立“南沙管理處”，隸屬廣東省政府管轄，並修建電台、氣象台。
1946年10月5日，法國軍艦Chevreud號登陸南威島和太平島，在島上建立石碑，當時中華民國政府提出抗議，並與法方決定於該月及翌年1月4日進行談判，但因法越戰爭緊張，法國自行放棄談判。
1946年11月24日，中華民國政府派出“中業號”、“永興號”、“太平號”、“中建號”等4艘軍艦，由指揮官林遵、姚汝鈺率領南下，並有內政及陸海空各部代表隨往視察，會同海軍在廣州出發，前往西沙、南沙進駐接收。12月12日，接收南沙群島的“太平”、“中業”兩艦由林遵率領，抵達太平島。為了紀念“太平”艦接收該島，即以“太平”為該島命名。在島西南方的防波堤末端豎立起“太平島”石碑，並在島之東端，另立“南沙群島太平島”石碑。立碑完後，乃於碑旁舉行接收和升旗典禮。之後在太平島設立“南沙群島管理處”，隸屬於廣東省政府管轄。
