稍稍地學習了一下GPT，供有興趣的參考。

要點

- GPT-3模型是通過收集2021之前45TB文本數據訓練出來的。

- 這45TB文本數據不包括人類所有的知識，但以後會不斷地更新。

- 語言的生成是基於45TB文本數據，即便沒有答案，目前不會去互聯網上收索。

- GPT-3模型擁有巨大1750億模型參數和96個模型層數，1750億模型參數有點類似於人類大腦的神經元（？），人類大腦的神經元100億個。

- 模型參數決定了模型的複雜度和表示能力，而模型層數決定了模型的抽象能力和處理複雜任務的能力。

- GPT-3 使用了一個大型的自注意力神經網絡，模型結構有 96 層。每一層都用於學習語言的更複雜的模式，因此 96 層可以將語言的許多不同方麵整合在一起。生成語言的時候，模型會計算出語境下最可能的回答，並在多層的模型中進行處理，以找到最終的回答。

- GPT-3是已經被預先訓練好的模型，用戶使用GPT-3並不會直接對模型進行訓練（原以為自己在訓練它）。

- 用戶使用GPT-3產生的數據和反饋信息可以幫助開發者對模型進行改進和優化。

 

GPT-3 論文網址，有興趣的可以細讀。

https://arxiv.org/pdf/2005.14165v3.pdf

 

所有跟帖： 

• 悄悄地學，不是大張旗鼓地學，因為寢室熄燈了，隻能在被窩裏打著手電筒看書嗎 -有個用戶名- ♀ (0 bytes) () 02/10/2023 postreply 18:09:05

• 你眼花了，是“稍稍” -未完的歌- ♂ (0 bytes) () 02/10/2023 postreply 18:10:50

• 哎呀..真的..他奶奶的，手機屏幕太小 -有個用戶名- ♀ (0 bytes) () 02/10/2023 postreply 18:12:07

• 我很少用手機上網，不是電腦就是ipad -未完的歌- ♂ (0 bytes) () 02/10/2023 postreply 18:14:43

• 手機可以到處帶嘛，有時候等娃上課，買菜排隊交錢，我就掏出來吵一會兒架 -有個用戶名- ♀ (0 bytes) () 02/10/2023 postreply 18:17:30

• 不是灌一下水嗎？XD -帶娃是持久戰- ♂ (0 bytes) () 02/10/2023 postreply 22:46:01

• 給有些人灌是水，給有些人灌是酒。茶越衝越淡，酒越釀越香 -有個用戶名- ♀ (0 bytes) () 02/11/2023 postreply 06:24:17

• 酒不醉人人自醉 -未完的歌- ♂ (0 bytes) () 02/11/2023 postreply 08:13:03

• 沒錯，不會醉的給他些水就行 -有個用戶名- ♀ (0 bytes) () 02/11/2023 postreply 08:32:37

• 什麽是XD, please？ -xia23- ♂ (0 bytes) () 02/11/2023 postreply 11:49:30

• XD is an old emoticon -有個用戶名- ♀ (284 bytes) () 02/11/2023 postreply 14:20:19

• 謝謝。但是，是中文的縮寫嗎？因為英文裏以x打頭的字不多。 -xia23- ♂ (0 bytes) () 02/12/2023 postreply 08:25:15

• 帶娃不常來，我好心替他回答一下 -有個用戶名- ♀ (0 bytes) () 02/11/2023 postreply 14:21:30

• 讚，獎勵一朵小紅花！ -帶娃是持久戰- ♂ (0 bytes) () 02/11/2023 postreply 23:13:14

• 沒問題，收下！ -有個用戶名- ♀ (0 bytes) () 02/12/2023 postreply 07:18:18

• 今天開會見到一個賣教育軟件的，問她們提供的答案和CHAPTGPT 提供的答案比較如何？ -攀登2022- ♀ (635 bytes) () 02/10/2023 postreply 21:01:52

• "富人在受苦，窮人在享樂" 終於發現我為什麽那麽快樂啦 LOL -帶娃是持久戰- ♂ (0 bytes) () 02/10/2023 postreply 22:48:11

• 現代社會富人在受苦，窮人在享樂。你又出驚人之語了，好！：） -燕然山- ♀ (0 bytes) () 02/11/2023 postreply 05:36:34

• 讚。我同事有搞 AI 的，天天討論。LOL -帶娃是持久戰- ♂ (0 bytes) () 02/10/2023 postreply 22:47:05

• 哇！這麽一個龐然大物，是好多人參與造出來的，又是控製在少數人手中？ -燕然山- ♀ (0 bytes) () 02/11/2023 postreply 01:29:18

• Nice job! -LittleEasy- ♀ (0 bytes) () 02/11/2023 postreply 05:10:07

• 謝謝未版分享，cGPT隻是從45TB海量數據訓練，目前看來並不把和客戶互動的數據也作為訓練集作加強訓練 -jinjiaodw- ♂ (0 bytes) () 02/11/2023 postreply 09:49:17

• 96層的神經網絡模型，設計真夠複雜的 -jinjiaodw- ♂ (0 bytes) () 02/11/2023 postreply 09:50:54

• 可以用“熟讀唐詩三百首，不會吟詩也會吟”去理解GPT。 -未完的歌- ♂ (298 bytes) () 02/11/2023 postreply 15:01:00