花街認可堆算力是方向,電力公司是算力的糧食,必須漲。
但算力是不是都落到女大頭上,花街就舉棋不定了。
兩天前,我曾寫文說明大集群gpu可靠方案隻有女大,cuda是女大的護城河,難以撼動。
不幸的是,DS可能填上了這條河。有科技博主研究了DS,發現為了解決低性能GPU Cluster帶寬低的問題,DS另辟蹊徑,在cuda下麵的準匯編語言發力,將部分算力轉換成數據交換處理器,繞過了cuda。
既然cuda可以繞過去,芯片市場必定群雄並起,進入戰國時代。
那,為什麽美國廠商沒想到這法子呢?
首先,老一輩的程序員把匯編語言打入冷宮。精巧的匯編性能無敵,但是難寫難調,20行的匯編程序都能玩出各種花樣。 幾年前我還在AI芯片上寫過匯編,寫一次足夠讓我發誓終身不碰匯編。
其次,在集群大係統中,匯編沒有成功的先例。 大多數時候都是混雜情況, 匯編寫一小塊性能要求高的核心算法,其他用高級語言實現。
那DS為什麽打破常規呢? 原因有三,
第一,DS拿到的芯片是二級貨,隻能在軟件上出奇招。
第二, DS工程師太年輕,沒吃過匯編的苦,無知無畏,敢想敢幹。
第三, 我認為可能性很大,這個準匯編就不是人寫的,而是AI寫的,人隻提供了思路,AI“自舉”迭代,自我進化,完成了用匯編實現大集群的壯舉。
這個技術可能是DS優化訓練的核心技術。應該沒有開源。
但這不足以成為DS的護城河。美國以“猶太人+東歐人+華人+印度人”的startup公司並不缺聰明的大腦,有點子就能實現。
DS是算力肌餓極限狀況下的草根突圍。逼急了超水平發揮而已。
所以即使長期投資,在女大上是不是重倉,還要留個心眼。女大的護城河沒那麽寬了。