成本僅50美元,性能媲美Deepseek-R1,李飛飛帶著S1來炸場了

成本僅50美元,性能媲美Deepseek-R1,李飛飛帶著S1來炸場了 

S1的研究團隊表示,s1模型是以穀歌推理模型Gemini2.0 Flash Thinking Experimental為基礎模型,通過蒸餾法提煉出來的。

他們采用了一種名為test-time scaling的方法。研究團隊構建了一個小型數據集s1K,通過難度、多樣性和質量三個標準來篩選,其中包括1000個經過精心挑選的問題以及相應答案,並附上了“推理”過程,僅使用了16台英偉達H100 GPU,耗時26分鍾就完成了訓練。


 

https://wallstreetcn.com/articles/3740484

所有跟帖: 

簡單總結 是蒸ChatGPT 需要5百萬美元 蒸阿裏的 隻需50 美元 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 09:43:38

不是蒸餾阿裏的,而是蒸餾穀歌的。Gemini 2.0是穀歌的,不是阿裏的。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/06/2025 postreply 09:50:09

說的是這個 s1模型的訓練並非從零開始,而是基於阿裏雲通義千問(Qwen)模型進行監督微調。二級蒸餾 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 09:53:55

報道裏我沒看到提到阿裏的Qwen,隻提到穀歌的Gemini 2.0。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/06/2025 postreply 09:58:12

那你現在看到了 再評論一下? -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 09:58:57

在你主帖鏈接的那篇報道裏還是沒看到。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/06/2025 postreply 10:01:55

是蒸餾阿裏Qwen, 這是李飛飛的論文。 -Knight_2024- 給 Knight_2024 發送悄悄話 (81 bytes) () 02/06/2025 postreply 11:33:34

哈哈,被打臉的不出聲了 -manyworlds- 給 manyworlds 發送悄悄話 (0 bytes) () 02/08/2025 postreply 23:11:03

基礎模型是千問。準備的1000條推理訓練數據是從Gemini Flash爬下來的。 -林誠毅德-Lincoln- 給 林誠毅德-Lincoln 發送悄悄話 (0 bytes) () 02/08/2025 postreply 09:51:44

看來DeepSeek也不需要象Alex Wang說的用了幾萬塊H100也能訓練成功 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:25:50

AI 版本 的水變油。 -jason1020- 給 jason1020 發送悄悄話 (0 bytes) () 02/06/2025 postreply 09:45:14

是有這個感覺 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 09:46:00

這個蒸餾能夠work的前題是已經有了穀歌的Gemini 2.0的大模型。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/06/2025 postreply 09:52:34

DS 的前提是? -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 09:54:56

據說是OpenAI的GPT。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/06/2025 postreply 09:59:22

openAI可是非法使用了無數版權作品培訓,不僅官司纏身,還有吹哨人莫名其妙死亡。這是問題最大的一個。 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:09:43

穀歌Gemini的信息是向有執照的信息供應者購買的,沒有版權爭議。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/06/2025 postreply 10:12:44

不了解,應該比openai 幹淨 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:14:21

沒ChatGPT 哪來的DS?DS應感恩前輩… -BeKindPerson- 給 BeKindPerson 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:00:00

評論講 各路牛鬼蛇神閃亮登場 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:03:26

天下文章一大抄的AI版 -Sweetiemm- 給 Sweetiemm 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:02:28

X -bia- 給 bia 發送悄悄話 (10 bytes) () 02/06/2025 postreply 10:03:07

哈哈 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:07:07

AI ethics 應當是最大的挑戰了 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:08:22

蒸餾不涉及版權問題,用版權文章作培訓則涉嫌侵權 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:12:33

你的意思是說侵權是別人的事,使用侵權的結果來蒸一次就洗白白了? -jit- 給 jit 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:18:24

洗白個球,但要把事實講清楚 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:19:32

以後這個行業就得細分,象石油行業一樣,挖油-初煉-精煉, 沒有必要造肥皂的得從挖油幹起。數據也一樣 -幸福象花兒一樣- 給 幸福象花兒一樣 發送悄悄話 幸福象花兒一樣 的博客首頁 (495 bytes) () 02/06/2025 postreply 10:14:04

有道理 -挖礦- 給 挖礦 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:33:35

問題是AI訓練結果沒有版權,沒法收費。而且Openai用版權材料訓練也沒付費,真要付版費不會少 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:41:59

這不是剛興起嘛,以後肯定會規範的。 -幸福象花兒一樣- 給 幸福象花兒一樣 發送悄悄話 幸福象花兒一樣 的博客首頁 (0 bytes) () 02/06/2025 postreply 10:43:41

我支持建立規則保護各方利益 -whaled- 給 whaled 發送悄悄話 (0 bytes) () 02/06/2025 postreply 10:46:48

避免大忽悠們把政府和大家的錢都卷走然後人間蒸發或實行獨裁統治 -julie116- 給 julie116 發送悄悄話 julie116 的博客首頁 (0 bytes) () 02/06/2025 postreply 10:33:52

小聲說50刀。現在掏糞工一小時都不夠這個價格LO L -mom2023- 給 mom2023 發送悄悄話 (0 bytes) () 02/06/2025 postreply 11:01:53

拿著百萬年薪的AI PHD 情何以堪 -Zhivago- 給 Zhivago 發送悄悄話 (0 bytes) () 02/06/2025 postreply 12:01:05

五十刀是cloud computing 的租用費,說明蒸餾不需要多少算力。女大又要跌。那幾個炒股的又要出來混淆視聽了。 -SabrinaD- 給 SabrinaD 發送悄悄話 (0 bytes) () 02/06/2025 postreply 11:58:00

請您先登陸,再發跟帖!