Deepseek，豆包和Perplexity 的模型訓練

對Deepseek的一個主要指責是他的訓練數據用了ChatGPT的輸出，這個指責也延伸到豆包。搜索了一下發現矽穀的另一個當紅炸子雞Perplexity也不是完全用原始數據訓練自己的大模型，而是在ChapGpt, Claude和其他大模型的基礎上再訓練，因為這樣成本低很多。豆包好象現在是否認他們用了Chatgpt的輸出做訓練。不知道用其他模型的輸出做訓練有沒有侵權的問題。

問題是這樣一來做基礎訓練還有什麽價值，訓練結果不都成了給其他次級訓練公司買單嗎？可是OpenAI，穀歌和Anthropic 卻在成百上千億做基礎模型訓練，目的是什麽？將來怎麽掙錢？

所有跟帖： 

• 所以國人聰明 -凊荷- ♀ (45 bytes) () 01/25/2025 postreply 08:36:40

• 美國很多startup比如Perplexity也這麽做，問題是這麽做違法嗎。 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:39:08

• 所以應該有law 和規則 -凊荷- ♀ (33 bytes) () 01/25/2025 postreply 08:43:41

• 都是占著便宜再說，OpenAI也是偷偷用New york Times的文章訓練不付錢，沒好東西。 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:47:08

• 秦朝咋掙錢？隋朝咋掙錢？局麵開創，江山一統，成本自己扛，甜頭別人嚐，長江前浪推後浪，前浪死在沙灘上。 -phobos- ♂ (0 bytes) () 01/25/2025 postreply 08:41:00

• 參見Best Buy與亞麻 -我是誰的誰- ♂ (0 bytes) () 01/25/2025 postreply 08:42:32

• 有點象。亞麻現在還拉著Anthropic，出了成果他還能摘桃。 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:45:03

• 這就是一種變相的拷貝抄襲。但是AGI的核心突破是在基礎訓練上，不是這種二次盜取模式 -ClearCase- ♂ (0 bytes) () 01/25/2025 postreply 08:48:00

• 不能說是盜取，隻是接近於應用層次。矽穀這類公司也很多 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 09:01:49

• 這就是一種變相的拷貝抄襲。但是AGI的核心突破是在基礎訓練上，不是這種二次盜取模式 -ClearCase- ♂ (0 bytes) () 01/25/2025 postreply 08:48:00

• 這就是一種變相的拷貝抄襲。但是AGI的核心突破是在基礎訓練上，不是這種二次盜取模式 -ClearCase- ♂ (0 bytes) () 01/25/2025 postreply 08:48:00

• deep seek牛逼的地方是 -大宋- ♂ (658 bytes) () 01/25/2025 postreply 08:51:37

• Deepseek R1確實很厲害。reinforcement learning在機器人應用上很重要 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:57:42

• 好問題 穀歌OpenAI 繼續基礎模型訓練意義重大 主要目標是建立生態係統 同時底層的技術有很大的不可複製性 -Zhivago- ♂ (0 bytes) () 01/25/2025 postreply 08:52:24

• 對。美帝對中國AI的優勢是在這個層麵上 -whaled- ♂ (0 bytes) () 01/25/2025 postreply 08:59:10