2019 (18)
2024 (691)
數據訓練是構建高效準確的AI模型的核心過程,也是最耗時間,耗算力過程。
當初得瑟問咋做到的時候,我去讀了DS的論文,DS論文也明確說是基於開源的meta模型Llama。
當時沒想去想在meta模型基礎上數據訓練的數據是那裏來的,現在答案或許已呼之欲出。
DeepSeek依靠 “蒸餾”OpenAI 模型的數據來幫助開發自家技術,這個當然低成本啊。
DS低成本和快速突破根植於高質量數據投喂,60萬條核心推理數據/20萬條監督微調數據/300-500萬的RLHF人工偏好數據集,如此規模的優質合成數據,究竟從何而來? 答案或許已呼之欲出。
DS=?meta開源模型 + OpenAI高質量數據 + 自己的工藝。
這樣,的確是快速而低成本。
?