為什麽電力漲, 女大起伏不定

本帖於 2025-01-30 15:57:45 時間, 由普通用戶 亞特蘭蒂斯 編輯

 

花街認可堆算力是方向,電力公司是算力的糧食,必須漲。

 

但算力是不是都落到女大頭上,花街就舉棋不定了。

 

兩天前,我曾寫文說明大集群gpu可靠方案隻有女大,cuda是女大的護城河,難以撼動。

 

不幸的是,DS可能填上了這條河。有科技博主研究了DS,發現為了解決低性能GPU Cluster帶寬低的問題,DS另辟蹊徑,在cuda下麵的準匯編語言發力,將部分算力轉換成數據交換處理器,繞過了cuda。

 

既然cuda可以繞過去,芯片市場必定群雄並起,進入戰國時代。

 

那,為什麽美國廠商沒想到這法子呢?

 

首先,老一輩的程序員把匯編語言打入冷宮。精巧的匯編性能無敵,但是難寫難調,20行的匯編程序都能玩出各種花樣。 幾年前我還在AI芯片上寫過匯編,寫一次足夠讓我發誓終身不碰匯編。

 

其次,在集群大係統中,匯編沒有成功的先例。 大多數時候都是混雜情況, 匯編寫一小塊性能要求高的核心算法,其他用高級語言實現。

 

那DS為什麽打破常規呢? 原因有三,

 

第一,DS拿到的芯片是二級貨,隻能在軟件上出奇招。

 

第二, DS工程師太年輕,沒吃過匯編的苦,無知無畏,敢想敢幹。

 

第三, 我認為可能性很大,這個準匯編就不是人寫的,而是AI寫的,人隻提供了思路,AI“自舉”迭代,自我進化,完成了用匯編實現大集群的壯舉。

 

這個技術可能是DS優化訓練的核心技術。應該沒有開源。

 

但這不足以成為DS的護城河。美國以“猶太人+東歐人+華人+印度人”的startup公司並不缺聰明的大腦,有點子就能實現。

 

DS是算力肌餓極限狀況下的草根突圍。逼急了超水平發揮而已。

 

所以即使長期投資,在女大上是不是重倉,還要留個心眼。女大的護城河沒那麽寬了。

所有跟帖: 

這個帖子值得置頂 -沉默的老農民- 給 沉默的老農民 發送悄悄話 (0 bytes) () 01/30/2025 postreply 14:20:37

已經破了 -青裁- 給 青裁 發送悄悄話 (0 bytes) () 01/30/2025 postreply 14:24:00

”數據交換處理器” 的功能就是不用自己思考,讓別人思考,假裝自己會思考吧?別人思考能力不提高,它就沒法提高了。 -QinHwang- 給 QinHwang 發送悄悄話 QinHwang 的博客首頁 (0 bytes) () 01/30/2025 postreply 14:36:48

想歪了,這裏的帶寬是指GPU與GPU交換數據的速度,有的時候他比計算能力還讓人頭疼。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:28:50

謝科普。 -QinHwang- 給 QinHwang 發送悄悄話 QinHwang 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:34:05

用PTX還是NVDA的芯片啊,就好比我不用java和.net編程,直接用匯編語言一樣,隻是提高了效率,但是你和這款芯片綁 -BrightLine- 給 BrightLine 發送悄悄話 BrightLine 的博客首頁 (30 bytes) () 01/30/2025 postreply 14:36:56

關鍵是這個idea, 可能用到別的GPU上也可以顯著提高性能, 反正ai寫具體代碼 -mobius- 給 mobius 發送悄悄話 (0 bytes) () 01/30/2025 postreply 15:09:24

有什麽用呢,工作量更大,不用現成的庫全部自己寫?這些年計算機的學科的發展白幹啦?哈哈 -BrightLine- 給 BrightLine 發送悄悄話 BrightLine 的博客首頁 (30 bytes) () 01/30/2025 postreply 15:14:25

不白幹,AI用我們以前寫的程序學會了編程。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:38:04

每個AI芯片廠商都有自己的底層匯編語言,以前想賣芯片,一心想與cuda兼容。現在等於有了新路子。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:25:05

很有道理,我不知道DS使用了匯編語言,但通常匯編語言比高級語言效率高也隻是稍許高一些啊!? -parentb- 給 parentb 發送悄悄話 parentb 的博客首頁 (0 bytes) () 01/30/2025 postreply 14:38:06

是在底層更細的顆粒度上做優化,不是用匯編重寫一遍cuda. -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:23:19

如果海量的算力需求一直存在,未來一定會出現ASIC,針對性優化 -Wakeland- 給 Wakeland 發送悄悄話 (0 bytes) () 01/30/2025 postreply 14:44:00

Jensen 黃好像還沒出來公開發聲。是不是市場在等他說啥?H800是他特意為中國設計,算力不減隻減帶寬的芯片。 -加州lalin- 給 加州lalin 發送悄悄話 加州lalin 的博客首頁 (0 bytes) () 01/30/2025 postreply 14:45:02

木桶短板理論,限製帶寬就降低了芯片的整體性能。DS用多餘的計算能力彌補瘸腿的帶寬。好的AI芯片是平衡帶寬和計算。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:27:04

謝謝大拿科普。有道理。 -aloevera- 給 aloevera 發送悄悄話 (0 bytes) () 01/30/2025 postreply 14:57:00

哇!內行! 讚! -猛牛- 給 猛牛 發送悄悄話 猛牛 的博客首頁 (57 bytes) () 01/30/2025 postreply 15:10:45

剛開始玩錢,花街的操作水深,還看不太懂。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:31:06

應該不可能 -cnrhm2017- 給 cnrhm2017 發送悄悄話 cnrhm2017 的博客首頁 (387 bytes) () 01/30/2025 postreply 15:28:13

現在的玩法是“人+AI”,人要敢想,AI做粗活累活。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 15:30:17

你這個idea倒是可以 -cnrhm2017- 給 cnrhm2017 發送悄悄話 cnrhm2017 的博客首頁 (0 bytes) () 01/30/2025 postreply 16:17:36

不用擔心飛飛李,新一代比老一代強多了。抗癌藥還在忽悠階段。 -mobius- 給 mobius 發送悄悄話 (0 bytes) () 01/30/2025 postreply 17:09:24

做IT的沒有護城河,基本是越年輕越牛逼,蓋子小紮都是年少成名。我們隻能忘記經驗,更年輕人硬抗,現學現賣。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/30/2025 postreply 19:10:07

請您先登陸,再發跟帖!