1、由於取得了重大進步，重新訓練 GPT-4 現在隻需要五個人。
2、該公司表示，GPT-4.5 於 2 月推出，是 OpenAI 迄今為止最強大的模型。
3、它的突破將使重建 GPT-4 變得更加容易。
構建 GPT-4 需要大量人力。現在，OpenAI 表示，它可以用最少 5 個人重建 GPT-4，這一切都歸功於它從最新模型 GPT-4.5 中學到的東西。
在週五發佈的公司播客節目中，OpenAI 的首席執行官山姆·阿爾特曼 （Sam Altman） 向 GPT-4.5 背後的三位關鍵工程師提出了一個問題：今天可以從頭開始重新訓練 GPT-4 的最小 OpenAI 團隊是什麼？
阿爾特曼說，構建 GPT-4 需要“數百人，幾乎是 OpenAI 的所有努力”——但一旦模型不再處於前沿，事情就會變得容易得多。
領導 GPT-4.5 預訓練機器學習的 Alex Paino 表示，現在重新訓練 GPT-4 “可能”隻需要 5 到 10 個人。
“我們訓練了 GPT-4o，這是一個 GPT-4 口徑的模型，我們使用 GPT-4.5 研究計劃中的許多相同內容對其進行了重新訓練，”Paino 說。“進行那次運行本身實際上需要的人數要少得多。”
OpenAI 致力於數據效率和演算法的研究員丹尼爾·塞爾薩姆 （Daniel Selsam） 同意，現在重建 GPT-4 要容易得多。
“隻要發現別人做了什麼——就會變得容易得多，”他說。“我覺得某件事是可能的這一事實就是一個巨大的作弊碼。”
2月，OpenAI 發佈了 GPT-4.5，稱這是該公司迄今為止最大、最強大的模型。
Altman 在 X 上的一篇文章中將其描述為「第一個感覺像與一個有思想的人交談的模型」。
Paino 表示，GPT-4.5 的設計比 2023 年 3 月發布的 GPT-4 “聰明 10 倍”。
“我們的規模比以前通過這些 GPT 預訓練運行擴展了 10 倍，”Paino 說。
“不再受計算限製”
阿爾特曼還表示，OpenAI 不再受其所能產生的最佳模型的“計算限製”——他認為世界還沒有真正理解這一轉變。
對於許多 AI 公司來說，構建更好模型的最大障礙是擁有足夠的計算能力。
“這是一個瘋狂的更新，”阿爾特曼說。“長期以來，我們生活在一個計算始終是限製因素的世界裏，”他補充道。
大型科技公司一直在向 AI 基礎設施投入數十億美元。Microsoft、Amazon、Google 和 Meta 預計今年將總共花費 3200 億美元的資本支出來擴大其 AI 能力。
OpenAI 在 3 月份宣佈，它已經完成了有記錄以來最大的一輪私人科技融資，其中包括來自軟銀的 300 億美元和其他投資者的 100 億美元，使公司的估值達到 3000 億美元。
該公司當時在一份聲明中表示，新資金將説明 OpenAI 進一步擴展其計算能力。
英偉達首席執行官黃仁勳在 2 月份的財報電話會議上表示，對 AI 計算的需求隻會增長。
“推理模型可以消耗 100 倍以上的計算。未來推理會消耗更多的計算，“黃仁勛在電話會議上說。
至於實現下一個 10 倍或 100 倍的規模躍升需要什麼，OpenAI 研究員 Selsam 表示，是數據效率。
GPT 模型在處理資訊方麵非常有效，但“它能從數據中獲得多深的洞察力存在上限，”他說。
“在某些時候，隨著計算的不斷增長，數據的增長速度會慢得多，”他說，並補充說“數據成為瓶頸”。
他說，超越這一點將需要「一些演算法創新」，以便從相同數量的數據中榨取更多價值。
來源：
