GPT的創造原理是根據詞之間聯係的probability的大小來生成下一個詞

來源: testmobile 於 2024-02-12 06:11:16 [] [舊帖] [給我悄悄話] 本文已被閱讀： 次 (713 bytes)
本文內容已被 [ testmobile ] 在 2024-02-12 09:56:05 編輯過。如有問題，請報告版主或論壇管理刪除.

GPT在訓練過的文檔或代碼裏總結出詞之間的聯係的多少，在生成文檔或代碼時根據詞之間的聯係的probability的大小來生成下一個詞， 其實是一種變相的COPY&PASTE，比如他經常把NY time的文檔大段不改變的抄過來，就是NY time的文檔在他訓練的文檔中比重很大。文檔中的詞之間關聯度的probability大。

 

另外他用人工加tag的方法來糾錯， 比如夫妻肺片訓練的結果不是個菜名，他就得人工加tag的方法point到人工指定的詞，就是一種變相的IF else， 有專門的公司雇各領域的專業人員去檢查訓練的模型結果， 不對就打個TAG.

請您先登陸，再發跟帖！

發現Adblock插件

如要繼續瀏覽
請支持本站 請務必在本站關閉/移除任何Adblock

關閉Adblock後 請點擊

請參考如何關閉Adblock/Adblock plus

安裝Adblock plus用戶請點擊瀏覽器圖標
選擇“Disable on www.wenxuecity.com”

安裝Adblock用戶請點擊圖標
選擇“don't run on pages on this domain”