LLM隻不過是從token串預測下一個token，最準確的ground truth還是原始數據，而不是什麽學到的東西

但OpenAI不願意跟大家share 它偷到的原始數據，DS 退而求其次，用OpenAI來生成訓練數據，基於的假設是OpenAI所生成的數據跟原始數據差別不是很大。

所有跟帖： 

• 預測是需要reward反饋的，原始數據需要標記才能參與訓練。 -BeyondWind- ♂ (0 bytes) () 01/29/2025 postreply 19:24:19

• 就說時壇對立的兩派，誰說的話是ground truth？ -Bob007- ♂ (0 bytes) () 01/29/2025 postreply 19:43:49

• 每一句都是ground truth，LLM學到的是the distribution of the next token -IT-guy- ♂ (39 bytes) () 01/29/2025 postreply 20:26:00

• 就是這個distribution需要大量原始樣本，能call OpenAI當然可以走捷徑得到這個distribution -Bob007- ♂ (0 bytes) () 01/29/2025 postreply 20:31:11