未完的歌

浮生若夢 為歡幾何 踏實做事 有趣做人
個人資料
正文

終於有人把我說了無數次的比喻形象用圖表達出來了,今天網上到處都是這個圖。

(2025-01-30 04:46:13) 下一個

數據訓練是構建高效準確的AI模型的核心過程,也是最耗時間,耗算力過程。

當初得瑟問咋做到的時候,我去讀了DS的論文,DS論文也明確說是基於開源的meta模型Llama。

當時沒想去想在meta模型基礎上數據訓練的數據是那裏來的,現在答案或許已呼之欲出。

DeepSeek依靠 “蒸餾”OpenAI 模型的數據來幫助開發自家技術,這個當然低成本啊。

DS低成本和快速突破根植於高質量數據投喂,60萬條核心推理數據/20萬條監督微調數據/300-500萬的RLHF人工偏好數據集,如此規模的優質合成數據,究竟從何而來? 答案或許已呼之欲出。

DS=?meta開源模型 + OpenAI高質量數據 + 自己的工藝。

這樣,的確是快速而低成本。

?

[ 打印 ]
評論
目前還沒有任何評論
登錄後才可評論.