字節跳動公布大語言模型 chatbot 豆包達到chtgpt4的水平，訓練成本隻要6百萬。難怪MSFT放棄OpenAi

https://youtu.be/MozJ43LMR6I?si=-8mjn8HJG9vpF2vE

看來也不需要那麽多的核電站和上千億的投資也可以做高質量的LLM和AI。

所有跟帖： 

• 那個隻是訓練成本，隻是一次性的，不是訓練好後deploy運作的成本。AI數據中心主要是deploy後運作的算力。 -大觀園的賈探春- ♀ (0 bytes) () 01/23/2025 postreply 18:36:25

• 實在忍不住。你懂你自己mumbling bumbling的東西麽？ -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 18:42:09

• 她連啥叫checkpoint 和 inference都不懂，就知道嚷嚷data center, power plant -bagel_bites- ♂ (0 bytes) () 01/23/2025 postreply 19:03:09

• 先裝上再說，嗬嗬 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 19:06:21

• 嗯， 隻要能偷到就行 -湖上散人- ♂ (0 bytes) () 01/23/2025 postreply 18:36:44

• WTF is wrong with you? -bagel_bites- ♂ (83 bytes) () 01/23/2025 postreply 18:42:42

• 這裏太多了 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 18:45:10

• 一群既不懂行又看不起中國人智商的弱勢群體 -bagel_bites- ♂ (0 bytes) () 01/23/2025 postreply 18:59:21

• 這裏某些人設連AI是什麽都搞不懂，一直喋喋不休，煩死了 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 19:03:04

• 這個冒傻氣了 -凊荷- ♀ (131 bytes) () 01/23/2025 postreply 19:18:52

• 哈哈,在美華人自恨的真多啊!和烙印對比真是鮮明。看數據所有美國亞裔rank眾多亞洲國家都是 -tidytiger- ♀ (164 bytes) () 01/23/2025 postreply 19:19:32

• 這個是中國人的問題，還是中國政府的問題，還是文化的問題，還是都有問題？ 赫赫。。 -Midwestrural- ♂ (0 bytes) () 01/23/2025 postreply 19:25:44

• 不知道原因,但有人認為可能是被survey的在美華人人年齡偏大。就紫檀看,這個數據還是比較真實的。 -tidytiger- ♀ (0 bytes) () 01/23/2025 postreply 19:32:14

• 這些年齡偏大的人三十年前也是這樣的認識麽？赫赫。。現在年輕的三十年後又會有多少保存現在的想法呢？ -Midwestrural- ♂ (220 bytes) () 01/23/2025 postreply 19:34:25

• 跟這種賴在我們美國的中國人浪費什麽口舌麽。嘿嘿 -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 19:43:39

• 赫赫，三十年前我在同學家的飯桌上把我同學的爹說得是滿臉通紅，隻因他去了趟日本回來後，飯桌上說起中日的不同。。 -Midwestrural- ♂ (641 bytes) () 01/23/2025 postreply 19:54:55

• 你和我黨極力宣傳的越出國越愛國背道而馳啊。嘿嘿 -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 19:58:41

• 現在這些年輕人多是還沒有真正進入過中國的社會就出來了，沒有體會和見識過我黨的黑。。赫赫。。其實隻要回去工作個三五年。。 -Midwestrural- ♂ (205 bytes) () 01/23/2025 postreply 20:03:17

• 我不覺得，因為中國人民斯德哥爾摩症多啊 -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 20:07:00

• 賴在美國?您臉真大,可真會侮辱人。我真於自己的本心,身份認同上沒有覺得自己是個真正的美國人, -tidytiger- ♀ (59 bytes) () 01/23/2025 postreply 20:05:29

• 兔媽，快來，這位在說你無傲骨不誠實呢。嘿嘿 -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 20:08:51

• 你個大男人,行事如此不磊落,我鄙夷你。我說你呢,你導向兔媽。 -tidytiger- ♀ (0 bytes) () 01/23/2025 postreply 20:14:01

• 所有有野心的人都是這樣吧？美國偷英國紡織技術，台積電偷TI，華為偷思科，關鍵是把偷的東西變成自己的然後超越前人 -Amita- ♂ (0 bytes) () 01/23/2025 postreply 20:18:30

• 是挺散的 ：）老了就老了，跟不上就跟不上了。。自愛一點。 -DukeAB- ♂ (0 bytes) () 01/24/2025 postreply 18:28:21

• 你這也信？ -12度圓缺- ♂ (0 bytes) () 01/23/2025 postreply 18:37:26

• 雖然對祖國的東西絕大部分不信。但字節跳動還是很牛的。居然這麽多美國高科技公司幹不過它。讓我百思不得其解。 -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 18:42:49

• 這個我同意 -12度圓缺- ♂ (0 bytes) () 01/23/2025 postreply 18:48:37

• 有什麽百思不得其解？共黨邪惡唄 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 18:50:45

• 希特勒不邪惡麽？德國那時出多少牛科學家？我黨治下10來億人，才出幾個？ -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 19:34:32

• 這。。。那些科學家幾乎都是猶太人。難道是希特勒培養的？他說量子力學是猶太人的科學。所以不相信核武研究 -Bailey4321- ♀ (33 bytes) () 01/23/2025 postreply 19:43:03

• 誰說幾乎都是猶太人的？諾獎近半德裔，近1/4猶太裔。當然按人口比例還是猶太人牛些 -Feinbery- ♂ (0 bytes) () 01/23/2025 postreply 19:45:58

• 這個不是孤立的，不太像依次放衛星 -古代的事物- ♂ (0 bytes) () 01/23/2025 postreply 18:43:55

• 也要open minded. Alex Wang這樣的專家都認為測試結果在同一檔。也許不是通用，但這種開源係統，公司可 -quantnj- ♂ (38 bytes) () 01/23/2025 postreply 18:43:56

• 有本事讀code去呀。中國的是open source，已經放出來了 -凊荷- ♀ (56 bytes) () 01/23/2025 postreply 19:20:51

• 去看看美國人的評價，不要一說起中國的東西好像一文不值 -lionhill- ♂ (164 bytes) () 01/23/2025 postreply 19:37:22

• 自己上X去讀讀評論，不要忘自菲薄！ -lionhill- ♂ (0 bytes) () 01/23/2025 postreply 19:39:15

• 這是豆包和GPT-4兩種不同的approach的優劣比較，according to ChapGPT: -大觀園的賈探春- ♀ (28775 bytes) () 01/23/2025 postreply 18:44:19

• OpenAI以前指責過豆包用它的API輸出訓練模型。豆包承認是有一個小組用OpenAI訓練很小部分但後來把數據清理出來了 -whaled- ♂ (0 bytes) () 01/23/2025 postreply 18:49:45

• 但根本問題是OpenAI花幾百上千億做訓練路子對不對 -whaled- ♂ (0 bytes) () 01/23/2025 postreply 18:51:32

• AI Infrastructure花的錢建的數據中心的算力主要不是做訓練，而是訓練後deploy持續運作的算力。 -大觀園的賈探春- ♀ (0 bytes) () 01/23/2025 postreply 18:58:13

• 英偉達和幾個頭部AI公司股票懸了 -青裁- ♂ (0 bytes) () 01/23/2025 postreply 19:01:00

• 我估計是用它的輸出逆向工程，揣摩OAI的架構 -bagel_bites- ♂ (533 bytes) () 01/23/2025 postreply 18:57:34

• 這個和我兒子說的一樣，他也說RL才有課題可做，GenAI做得太多了 -whaled- ♂ (0 bytes) () 01/23/2025 postreply 19:02:18

• 同意，RL是主方向 -青裁- ♂ (0 bytes) () 01/23/2025 postreply 19:04:00

• Hinton 的 Boltzmann Machine 實踐上落後了，理論還是站得住的 -bagel_bites- ♂ (210 bytes) () 01/23/2025 postreply 19:14:46

• RL隻能是domain narrow，所以不會有什麽AGI -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 19:16:42

• policy是可以學習和鞏固的，這就是人腦學習的過程 -bagel_bites- ♂ (51 bytes) () 01/23/2025 postreply 19:18:51

• 產生聯想是不可逾越的鴻溝，因為電腦沒有自主意識，人腦才有 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 19:21:39

• 這個將來的事情不好說，我覺得可能。 -bagel_bites- ♂ (84 bytes) () 01/23/2025 postreply 19:24:10

• 情感是關鍵詞here。。。哪天電腦有了情感，人類就準備後事吧。不過我認為不可能。 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 19:25:46

• 顯而易見 -bagel_bites- ♂ (201 bytes) () 01/23/2025 postreply 19:05:33

• 這裏大部分連皮毛都沒有搞懂 -我是誰的誰- ♂ (0 bytes) () 01/23/2025 postreply 19:07:46

• 穀歌DeepMind的Demis那個是RL，和Altman的Generative AI是AI裏不同的兩個門派。 -大觀園的賈探春- ♀ (0 bytes) () 01/23/2025 postreply 19:03:54

• Demis也搞生成式人工智能的，大姐 -bagel_bites- ♂ (0 bytes) () 01/23/2025 postreply 19:06:39

• 一年後達到便宜的多，超過更貴 -wass- ♂ (0 bytes) () 01/23/2025 postreply 21:18:00