“反英偉達聯盟”背後,是AI的第三場戰爭

文章來源: - 新聞取自各大新聞媒體,新聞內容並不代表本網立場!
(被閱讀 次)


本文係基於公開資料撰寫,僅作為信息交流之用,不構成任何投資建議。

人類社會正在悄然從互聯網時代切換到算力網時代。

鮮有人感知到的是,時代轉折序曲中,遇到的第一批實體障礙,除了GPU、HBM,還有交換機——此前市場鮮有關注的交換機,正在扼住AI算力的咽喉。

全麵出擊的英偉達VS蓄勢反擊的聯盟,是GPU、HBM之後AI的第三場戰爭:一場科技史上圍繞交換機的精彩對決即將上演。

01 思科後遺症

如果用人體結構來類比AI算力,可以做如下理解:AI芯片(由GPU+HBM+CoWoS組成)是心髒,CUDA等加速軟件是大腦,光模塊是關節,線纜光纖是血管,以交換機為代表的網絡設備是咽喉。不同的設備合集,最終呈現的是整個服務器集群。

其中AI芯片、CUDA、光模塊、線纜,都已經被翻來覆去的討論過無數回,成為陽謀。但令人詫異的是,為什麽交換機作為核心的組網設備之一,卻一直備受冷落,隻能充當AI暗器。

根據定義,交換機(Switch),工作於OSI網絡模型中的數據鏈路層,智能地決定將數據幀從哪個端口轉發出去,從而實現網絡中的數據交換和流量管理。因此,交換機的核心作用是提高網絡的性能和效率,並支持網絡的擴展和管理。通俗理解,交換機就是“網絡效應”的硬件載體。

而且從市場規模來看,交換機也相當之重要。根據IDC《2023年網絡市場跟蹤報告》的最新數據,2023年全球網絡設備市場規模為714億美元,其中交換機超過400億美元,是僅次於AI芯片、服務器的核心算力組件,規模甚至要遠大於近期被火熱討論的光模塊和高速存儲HBM。

黃教主其實在公開場合也表達過交換機的核心地位。老黃曾透露,在AI整個集群投資中,InfiniBand網絡(以下均簡稱IB)約占總成本的20%。這裏簡單科普一下,IB網絡是英偉達在子公司Mellanox的幫助下,自己搭建的用在服務器之間的算力通信網絡,其中所使用的核心交換機為自產的IB交換機。

既然從技術角度來看如此重要、從市場規模看也不小,怎麽交換機就始終不被大家重視呢?

筆者認為,最主要的原因在於交換機被成見式的認為是網絡架構中配角的存在,畢竟HBM、CoWoS這些新名詞一聽就是十倍空間起跳的宏大故事。而一提交換機,大家條件反射式的想到:這不就是2000年互聯網泡沫時的思科的產品麽,還能炒嗎?

20多年前思科作為全球網絡設備的絕對龍頭,與現如今的英偉達享受的是一樣的地位。在2000年,思科的網絡交換機市場份額超過6成,路由器份額超過8成,可以說沒有思科的網絡設備,就不會有後來的互聯網蓬勃發展,當年思科被譽為互聯網賣鏟人。

後來的故事大家想必每個人都知道了,隨著互聯網泡沫的破滅,思科的股價遭受了重創,從高點下跌了超過70%。公司後來用了20年,才勉強填平當年估值帶來的狂熱泡沫。科技行業天然“喜新厭舊”,交換機這個老麵孔自然被繞著走,何況當年被深套的恐懼還深深刻在每個投資人的反射弧裏。

但成見已經是過去式,當下時點,勢必要重新審視對交換機、尤其是AI交換機的理解了。原因無他,各方麵的信號已經非常明顯,隨便舉出兩例:

全球龍頭企業,已經開始在新型交換機和網絡架構上正麵激烈交鋒。除了上麵提到的英偉達,其實超以太網聯盟的動作也非常之大,後文會具體分析。

美股投資人也開始追捧交換機標的。在最新的AI交換機中,龍頭毫無疑問是英偉達的子公司Mellanox,但是由於不單獨上市和披露財務數據,看不到太多細節;第三方AI交換機的龍頭不是前文提到的思科而是後期之秀Arista,其股價在2023年上半年第一輪AI浪潮中之中沒有跑贏納斯達克,但是自2023年底開始加速上漲,這顯示美國投資人正在重新審視它的重要性。

圖:高速交換機龍頭Arista股價開始加速上漲

02 第三堵牆

今天再度重新認識交換機必要性,就緣自交換產品的本身發生了重大變化,而且交換機在網絡中的重要性也在明顯提升,甚至已經成為AI基礎設施中的三堵高牆之一。

1、AI催生算力網革命

似乎網絡架構已經停滯很久了。如果深究網絡架構的變遷史,不難發現OSI網絡模型上一次大的變革,還要追溯到十多年前雲計算爆發時期的“網隨雲動”。在停滯十多年後,我們觀察到,AI將催生互聯網絡設備的最新革命,將促使網絡架構從互聯網時代切換到算力網時代。

算力網該如何理解?首先說以前互聯網中網絡設備的核心任務,是完成即時通信,所以交換機本質上是一個通信設備;而現在AI算力中心中網絡設備的構建邏輯,在於集中力量辦大事,即集合越來越強大的算力,交換機不再僅僅是通信設備,而變成了算力設備本身。

想必有很多人在這兒會持反對態度。不用著急,請繼續看後麵的解釋。

眾所周知,這一輪AI能夠成功是大力出奇跡的工程學突破,背後的指導法則是“scaling law”,scaling law描述的模型性能與模型規模之間的冪律關係,這一法則表明,當模型的規模(例如參數數量、數據集大小和計算資源)增加時,模型的性能將得到提高。

換句話說,為了得到AI大模型智能的湧現,scaling law告訴你要不停的堆算力和數據。這也是為什麽,在2024年3月初,黃仁勳斯坦福大學演講時提到,在未來的10年裏,英偉達會把深度學習的計算能力再提高100萬倍。這並不是泡沫時期的大放衛星,而是AI智能湧現的必要條件。

算力要實現如此恐怖的提升幅度來滿足scaling law,從硬件的角度來分析,路上有三堵牆:

1)算力牆: 核心圍繞GPU,也是大家在AI算力硬件中關注度最高的產品。破除算力牆最關鍵的技術手段是製程和芯片架構的升級。但製程帶來的單芯片算力提升麵對著黑洞般的AI需求,已顯得蒼白無力。畢竟現在的蘋果最新的3nm的A17芯片,升級的效果已經微乎其微。實際上,英偉達的GPU,采用的隻是4nm製程,甚至下一代產品B100,也不會升級到3nm。每一代際算力倍增可能已經是單芯片算力提升的極限了。

2)存儲牆 :核心圍繞HBM。單芯片算力跟不上,可以靠HBM來大大緩解,在《AI國力戰爭:GPU是明線,HBM是暗線》一文中有詳細討論,可以移步於此。HBM反倒成為一個飛速進步的環節,海力士和美光最近股價飆升便是市場開始認知到這一方向的重要性。

3)通信牆: 算力和HBM結合在一起解決單卡的問題,但單卡再強也遠遠跟不上下遊的算力需求。進一步的解決方法是堆料,拋開複雜的技術名詞,其實原理就是簡單粗暴的大力出奇跡,把盡量多的優質的算力卡連起來組成算力集群,這與獵鷹火箭裝27台發動機本質上是一個道理,其中的關鍵技術就在於數據中心的組網技術,因此,交換機的地位今時不同往日。

從最新的英偉達GB200計算集群網絡架構中,我們能夠非常清晰的看到多處堆料組網的技術:1)GPU卡與GPU卡之間,基於NVLink協議的卡間互聯,這部分配套的switch芯片,由於被英偉達壟斷,沒有太多產業鏈探討的意義,因此不再展開。2)再往上一層,就是IB交換機,它連接起多個GPU卡群,構成一個完整的機櫃Rack。3)多個機櫃再通過交換機互聯,形成強力的AI算力中心。後麵兩個環節,都離不開AI交換機的支持。

這種架構就能非常清晰的看到,為了突破通信牆打造強大的算力基座,交換機不僅僅是充當算力網絡中的通信設備,而自身也變成算力設備的本身。正是這一產業鏈環節定義的變化,給了整個交換機產業鏈拔估值的基礎。

在這一輪算力網革命中,交換機正式與GPU、HBM、先進封裝、光模塊一道,站到了產業鏈的C位。

圖:GB200計算集群網絡架構,來源:英偉達官網,中金公司

2、初聽不識曲中意,再聽已是曲中人

其實,產業鏈的這一變化不是2024年英偉達通過GB200才向全世界攤牌的,最早的信號發端於5年前。

2019年,英偉達豪擲69億美元,擊敗英特爾和微軟收購了彼時絕大部分都還比較陌生的Mellanox。筆者當年也是不理解一個芯片廠玩什麽交換機,隻是覺得這對於財大氣粗的英偉達來說,算一個不大不小的收購,自然也是沒有仔細分析產業鏈上的協同效應。

但隨著AI算力爆發,Mellanox的重要性飆升,成為英偉達IB交換機、Spectrum-X以太網交換的禦用供應商,占據了AI網絡設備中的最高份額。毫不誇張的說,現在Arista市值接近1000億美元,Mellanox可以輕鬆給到3000億美元,較當年看似極其溢價的69億美元升值43倍,遠超這5年英偉達的市值上漲幅度。

老黃當時就對這筆收購非常得意,曾說這是兩家全球領先高性能計算公司的結合,早在5年前就已經把Mellanox放在與英偉達同等重要的位置上,回頭來看不得不感歎老黃的眼光確實毒辣。

Mellanox,憑什麽能跟英偉達平起平坐?Mellanox提供的主要產品是數據中心內的通信互聯解決方案,而其中最為核心的又是基於IB協議開發的一些列網絡設備產品,這兒有必要展開說一下IB協議。

1999年,北美計算機巨頭們牽頭組織IB聯盟,目的是為了取代PCIe總線協議,成為智能設備之間互聯的新的協議標準,IB內嵌了RDMA(Remote Direct Memory Access)功能,能將服務器間內存、GPU內存直連;比如在AI的GPU集群中,RDMA技術能加速卡之間的交互,大大節省時延。

但IB後來聲音日漸變小,而智能設備之間的互聯,仍然是由性價比更高的PCIe協議牢牢占據了核心位置。這是由於IB協議需要專門的網卡和交換機來支持,導致了居高不下的硬件成本,因此在跟以太網的方案中競爭中敗下陣來。頭等艙是好,但沒有幾個人坐得起。

後來連IB首發者英特爾都選擇了退出,最終隻有Mellanox苦苦的在這條“錯誤”的路線上堅持。Mellanox公司成立後不久,便加入了IB聯盟並推出相關產品,到2015年,Mellanox在全球IB市場上的占有率達到80%,雖然領先但在這一小眾市場不被人注意。2019年被英偉達收入囊中,而這之後,IB基本從一個公開協議變成了英偉達的私有協議,更不為人關注了。

直到2023年這個算力為王的時代,IB協議才一飛衝天被廣為人知。AI大模型的橫空出世,算力的缺口一下子被放大到無限大,而作為並行計算中關鍵加速器的IB協議,成了最優解決方案,這一協議的硬件載體,正是IB交換機。

在英偉達及旗下Mellanox的強勢帶領下,市場紛紛上調高速交換機的出貨量,IDC預計2023-2024年,市場高速交換機增速分別為54%和60%,2024年甚至還呈現加速的跡象。由於Mellanox是英偉達的子公司沒法直接投資,美股投資人轉而追捧最純正的交換機標的Arsita,畢竟它雖然不如Mellanox優秀,但也是各大雲廠商高速交換機的最大供應商。

以點帶麵,通過高速交換機這個紐帶,我們不難發現,信息革命已經從互聯網進入到算力網的時代。如果在今年,你還隻在聊互聯網,顯然已經被時代甩下了車;同樣,如果聊算力還隻在聊GPU,顯然三大重點你隻抓住了一個。

03 “失意者聯盟”

1、英偉達+mellanox在幹什麽:意欲吃幹抹淨

從交換機的產品譜係圖,我們更能讀懂英偉達的布局。這張圖其實信息含量極大,建議反複觀看。

首先說,英偉達的野心很大,它從來都不是隻想做一個賣卡的芯片公司,而是想做AI時代的算力方案解決商。或者說英偉達商業模式的變化:從來不隻是想賣鏟子,是賣給你整個礦山,別再用“賣鏟人”來形容英偉達了。

英偉達2021-2025年的產品路線圖,昭昭然的將這個野心公示全球。其中標粗的是其核心的GPU產品,從A100迭代到H100,然後再到今年的B100,再到2025年的X100,路線非常清晰,也是AI產業鏈關注的焦點。

但經常被忽略的是圖表的下半部分,英偉達同時標注出了配套的交換機型號變化,分為兩個IB和以太網兩個係列方向:

選用英偉達IB協議的,配套的是由Mellanox提供的Quantum係列交換機,將依次對應從400G升級到今年的800G,再到明年的1.6T。值得一提的是,在這個過程中,光模塊也需要對應從800G升級到1.6T然後到3.2T,Mellanox也可以部分提供。

現在很多客戶由於隻能采購英偉達的GPU,已經非常被動了,因此很多企業並不情願采購IB方案,仍堅持以太網方案。對於這種客戶,英偉達也可配套提供Spectrum-X係列的以太網交換機,同樣也是將依次對應從400G升級到今年的800G,再到明年的1.6T,隻不過互聯效率要弱於IB方案;這幾款交換機也是由Mellanox來提供。

所以,在老黃的構想裏,如果一個超算中心是專門為AI建的,那就用最快的IB交換機方案;對於存量的以太網算力中心,如果客戶扭扭捏捏,英偉達也能匹配提供以太網方案,就用Spectrum-X交換機。簡單來說,就是麵向現在和未來的生意英偉達給你包圓了。

從圖中也能看到,英偉達不僅僅隻是想同時賣芯片和交換機,它的野心遠超於此。

如果客戶同時選購了英偉達的芯片、交換機,就離采購英偉達AI算力集群方案不遠了(圖表的上半部分)。在整體方案中,英偉達給下遊客戶推自有GPU+自有網絡設備+自有CUDA搭建的整個AI算力集群。這就是AI工廠的模式,價值量將是隻賣GPU卡的數倍以上。

更為重要的是,如果整個圖實現,這一輪的AI大潮將被英偉達實現新版的軟硬件解構,軟件企業如雲廠商負責瘋狂氪金和試錯商業模式,硬件企業英偉達負責建AI全算力和旱澇保收。

有必要提的一句題外話是,這張圖也能看出英偉達並不準備染指HBM和先進製程,台積電和海力士目前來看還是非常安全的。

圖:英偉達產品路線圖

2、英偉達恐懼症:反擊者聯盟

別看各大廠的老板,求著老黃買卡是對英偉達態度非常好;但實際上,對英偉達恐懼在矽穀正與日俱增,大佬們都在牌桌底下熱議如何擺脫。麵對英偉達如此淩厲的明牌攻勢,此前一盤散沙的非英偉達陣營也展示出了空前的團結。

GPU芯片和CUDA網絡,似乎壁壘過高,盡管比如穀歌已經死磕TPU多年,但收效甚微,更多人是選擇了躺平接受了英偉達在GPU上壟斷的現實,所以英偉達的GPU才能毛利率高達90%以上,堪稱有史以來最暴力的硬件。

而交換協議和交換機,由於技術壁壘相對低,且處於產業變革的早期,成為眾人攻破英偉達堡壘最優的一致選擇。

至此,交換機這一長久以來不被重視的網絡設備,一下子躍升為AI算力基礎中的暗戰高地。為了追趕英偉達IB方案,2023年7月,“超以太網聯盟”(Ultra Ethernet Consortium)正式成立,這一聯盟迅速成為各個大廠的救命稻草。英特爾、微軟、Meta、博通、AMD、思科、Arista、Eviden、HP等陸續加入。

超以太聯盟成立後,便馬上推出了RoCEv2(RDMA over Converged Ethernet)方案,在軟件層吸收了前文提到的關鍵技術RDMA,劍指的方向非常明確,那就是力爭對標IB性能。

以太網的後發優勢目前看有兩個:

根據產業鏈調研,英偉達的IB方案比以太網方案貴20-30%。以太網方案可以通過主打性價比來扳回一局。

人多勢眾。傳統的數據中心,基本都是以太網協議,對於升級到超以太,兼容性要好得多,畢竟協議就是硬件對話的語言,用的人多自然就成了主流。

在超以太聯盟中的GPU全球老二AMD,把這兩點說得更加清晰:以太網將成為AMD構建算力集群的基礎協議,因為以太網擁有更好的性能、更強大的大規模集群能力,以及最為核心的開放性,希望與頭部交換機廠商一起,降低組網成本,打造更具性價比的網絡。

也正是基於這兩點原因,不少人對於超以太網聯盟還是很有信心的。到底是以太網勝出,還是IB一統天下,最終答案隻能留給時間來驗證。但不管怎麽樣,英偉達與超以太聯盟的這輪對壘應該是非常精彩的,必將成為科技史上日後被人反複提及的經典橋段。

但筆者傾向於認為超以太網的勝算還是被高估了。因為Scaling Law的指導之下,AI算力網絡比拚是速度不是價格,人多如果不是最優方案,那可能也隻是烏合之眾。這就像自行車肯定是更經濟的出行方式、騎的人也多,但是沒有人會用它來上高速,留給以太網聯盟的時間其實不多。

圖:超以太網聯盟

3、國產還落後以太網聯盟半個身位

本來行文至此就可以收筆了,但估計還有不少人關注國產算力網絡中交換機的進展,在此再贅述一二。

在互聯網時代的算力基礎設施投資中,得益於運營商的超前投資,我國的基礎網絡速度、滲透率在全球都處於領先地位,這也在後麵直接催生了中國的移動互聯網繁榮,中國的互聯網公司,也因此具備全球競爭力。

不少人認為,我們在AI時代,也可以依葫蘆畫瓢,上演後來者居上的戲碼。

但不得不直麵的遺憾現實是,而在算力網絡時代,我們的算力基礎設施處於全麵落後狀態。我們不僅僅在GPU、HBM、先進封裝方麵有不少課要補,代表著算力集群能力的交換機我們也並沒有什麽優勢可言。一方麵我們並沒有IB交換機,隻能做以太網交換機,而且以太網交換機的代際更迭上也落後於海外1代,也就是落後超以太網聯盟半個身位。

好在和其他網絡設備一樣,中國在交換機上其實一直具備很強的競爭力,這還要得益於華為20多年前的努力,以及孵化了後來的新華三。時至今日,國內的AI算力網絡中的交換機仍然沿襲了骨幹網和數據中心網絡中的格局,新華三和華為依舊是主要的玩家。

種一棵樹最好的時間是十年前,其次是現在。雖然在AI交換機上我們落後了不少,但依靠曆史積累和集體的力量,如果從現在開始追趕,這一場對弈,我們未必不能上桌。