所有的成功都是站在巨人的肩膀上負重而來，沒有什麽捷徑。剛讀完DS第一版發布的技術論文，就對LLM作了很多工程改進，

 

花了很多精力探索、調試最優宏觀參數組合。而且花了很多精力prepare培訓數據(The filtering stage enhances the density of information). 拋棄了簡單以參數量度量模型複雜度，改用 IsoFLOP。拋棄了簡單的Cosine學習速度計劃，改用多級進階式學習速度計劃。等等等等。

成功絕非偶然，也不是一蹴而就。

這還隻是第一版，引起轟動的DS R1是其第四版。

 

 

 

所有跟帖： 

• 讚passion. 以後抬杠底氣也足些。 -靜靜的頓河02- ♀ (0 bytes) () 01/28/2025 postreply 09:10:12

• 也讚你抬杠的passion，LOL -成功的飛過- ♂ (0 bytes) () 01/28/2025 postreply 09:10:55

• 你倆像極了魯直懟東坡，佛印撫掌大喜 -phobos- ♂ (0 bytes) () 01/28/2025 postreply 09:12:00

• 理不辯不明。 -靜靜的頓河02- ♀ (0 bytes) () 01/28/2025 postreply 09:13:00

• 飛過哥雖然灌水多，那還是因為讀的多有積累 -oryzivore- ♂ (0 bytes) () 01/28/2025 postreply 09:12:28

• 賈島的孤寒、香山的搗練婦人，或東坡魯直佛印的synergy？ -phobos- ♂ (0 bytes) () 01/28/2025 postreply 09:11:00

• 雲深不知處 -成功的飛過- ♂ (0 bytes) () 01/28/2025 postreply 09:13:15

• 看來數據培訓還是中國人占優勢。 -amiyumi- ♀ (0 bytes) () 01/28/2025 postreply 09:13:42

• 我覺得更大的因素是他們一步一步地提高了模型的底層結構和算法 -成功的飛過- ♂ (0 bytes) () 01/28/2025 postreply 09:15:11

• 應該是這樣的 -amiyumi- ♀ (0 bytes) () 01/28/2025 postreply 09:18:17

• 做得早，體量大，數據海就是人工智能的養分，根據要求一個受精卵能裂變分化到孕育胎兒，養分就是數據喂出來的 -想做土家人- ♀ (0 bytes) () 01/28/2025 postreply 09:16:24

• 隻有你一個人去看paper了？或者就是看明白的人都不說話。lol -Bailey4321- ♀ (0 bytes) () 01/28/2025 postreply 09:15:53

• 好奇害死貓 -成功的飛過- ♂ (0 bytes) () 01/28/2025 postreply 09:21:52

• 紫檀派你繼續去學習。拍杏！ -Bailey4321- ♀ (0 bytes) () 01/28/2025 postreply 09:23:24

• 我前幾周就掃過幾眼，看不懂：）需要從transformer 那篇補課 -專業潛水媽- ♀ (0 bytes) () 01/28/2025 postreply 09:33:02

• 你太強了。這裏除了你倆，可能還有幾個。其他人都在拍腦門 -Bailey4321- ♀ (0 bytes) () 01/28/2025 postreply 09:47:29

• 網上傳言，有一個本科北師大的女孩主導了DS的第二版本，現在被小米以千萬人民幣（還是4千萬？）聘用。 -正園- ♂ (0 bytes) () 01/28/2025 postreply 09:16:17

• 真金實銀最有說服力 -成功的飛過- ♂ (0 bytes) () 01/28/2025 postreply 09:17:36

• 留下來股票 -京男- ♂ (179 bytes) () 01/28/2025 postreply 09:20:19

• 小豬爸深度學習後值200萬，保守估計。 -靜靜的頓河02- ♀ (0 bytes) () 01/28/2025 postreply 09:19:19

• 金豬馬米，那是麵筋媽，LOL -成功的飛過- ♂ (0 bytes) () 01/28/2025 postreply 09:20:41