近日,英偉達CEO黃仁勳做客知名科技播客Lex Fridman Podcast,圍繞AI縮放定律(Scaling Laws)、算力與電力瓶頸、AI工廠、公司未來展望以及AI對人類社會的影響等核心議題,進行了超兩小時的深度對話。
黃仁勳的一個核心觀點是,計算的本質已經發生了根本性的躍遷從過去人類預先錄製、計算機負責檢索的存儲係統,轉變為具備上下文感知能力的生成係統。
更重要的是,計算機在現實經濟中的角色變了。過去的計算機是檢索係統,主要功能是文件存儲。黃仁勳將其比喻為倉庫,而倉庫本身是不直接產生高額利潤的。
而現在的AI計算機變成了工廠,並直接與企業的收入創造掛鉤。他認為,AI代工廠正在製造一種名為Token的商品,且這種商品已經被細分和定價。
我們不僅看到這家代工廠在生產人們想要消費的商品,而且這些代工廠製造的Token對許多不同受眾都極其有價值,甚至開始像iPhone一樣出現分層:你有免費的Token,有高級Token,還有處於中間層級的Token。黃仁勳表示,有人願意為每一百萬個Token支付1000美元,這個想法就在不遠的將來,這不是會不會發生的問題,而是何時發生的問題。
基於這種Token工廠模式,計算設備完成了從成本中心向利潤中心的跨越。
黃仁勳篤定地推演了這一宏觀趨勢:如果生產力大幅提升,全球GDP將加速增長。我完全確信,未來用於計算的GDP占比將是過去的100倍。
基於Token的經濟理論,黃仁勳回答了,英偉達能否邁向10萬億美元的新市值巔峰的討論。
他表示:這個數字(10萬億)隻是一個數字。但他明確指出:英偉達的增長極大概率會發生,在我看來是必然的。未來實現3萬億美元營收的體量並非不可能。
關於AI擴張的瓶頸,黃仁勳直言:電力是個擔憂,但不是唯一擔憂。他給出兩條並行路徑:一是把能效繼續推高;二是想辦法獲得更多電力。
在能效上,他強調指標是每瓦每秒token數,並稱通過極致協同設計提升能效:我們的計算機價格在上升,但token生成效率上升得更快,所以token成本在下降每年下降一個數量級。
在如何獲得電力上,他給出一個更具體的思路:電網按極端峰值設計,絕大多數時間有閑置。黃仁勳稱:目前的電網是按照極端天氣的最高峰值(加上安全餘量)來設計的。99%的時間裏,我們的電網都沒有達到最壞情況。大多數時候可能隻在峰值的60%左右運行。
為利用這部分閑置能源,他認為需要改變雲廠商與電力公司之間嚴苛的供電合同,放棄對六個九(99.9999%)絕對可用性的盲目追求。
我們需要構建能夠優雅降級(gracefully degrade)的數據中心。黃仁勳解釋,當電網說我們需要把你的電力降到80%時,數據中心可以把關鍵負載轉移,或者降低計算速率。計算服務質量會輕微下降,但我們消耗的能源減少了。
麵對市場對ASML光刻機、台積電CoWoS先進封裝等環節可能製約AI產能的擔憂,黃仁勳表示並不焦慮。他說:我告訴他們我需要什麽,他們告訴我打算怎麽做,我相信他們。
在係統工程上,英偉達正在深刻改變基礎設施的製造模式。黃仁勳透露,僅一個Vera Rubin機架就包含130萬到150萬個組件,背後匯聚了200家供應商的技術。
為了匹配這種極高的互聯密度(如NVLink-72),過去在數據中心現場拚裝零組件的傳統模式已徹底失效。英偉達將數據中心的超算組裝前置到了供應鏈的超算製造環節。現在,機架必須在供應鏈中建好,每次以兩三噸的重量整機發貨。這意味著供應鏈在整機出廠前的測試階段,自身就需要具備吉瓦(GW)級的龐大電力儲備。
而在最容易卡脖子的內存(Memory)領域,黃仁勳透露,大約三年前,HBM(高帶寬內存)的使用率極低,幾乎隻在極少數超算中露麵。但他當時就成功說服了多家內存大廠的CEO,讓他們相信HBM將是未來數據中心的主流,並促使產業鏈果斷投資擴產。
此外,他還打破常規,推動供應商將原本專屬於手機的低功耗內存(LPDDR)改造並引入超算領域。
對於AI縮放定律(Scaling Laws),黃仁勳把AI擴張拆成四條擴展規律:預訓練、後訓練、測試時擴展、代理式擴展。
他回顧數據枯竭擔憂時稱:我們會繼續擴大訓練數據很多會是合成數據。並給出判斷:訓練不再受數據限製,數據將受限於算力。
對推理側的算力強度,他說得更直接:推理就是思考,我認為思考很難怎麽可能是算力輕的?他認為測試時擴展包含推理、規劃、搜索等,會推動推理算力需求上升。
當被問及英偉達最大的護城河時,黃仁勳明確指向了CUDA龐大的裝機量與信任生態。
這不是3個人成就的CUDA,而是43000名員工共同推動的。黃仁勳強調,這種護城河建立在數百萬開發者對英偉達持續優化底層的信任之上,輔以橫向整合進入全球各類雲廠商、OEM和邊緣設備的極廣生態。
在算力基建的前沿探索上,針對將數據中心搬上太空以解決能源分配的設想,黃仁勳證實英偉達GPU已經進入太空,但當前主要用於衛星高分辨率圖像的邊緣端篩選。
對於構建大規模太空數據中心,黃仁勳直言其存在核心的物理痛點:太空中沒有傳導,沒有對流,隻能靠輻射散熱。雖然極地有24/7的太陽能,但我們需要巨大的散熱器。現階段最務實的做法,仍是先榨幹地球上的閑置電力。
此外,任何算力藍圖的落地都需要極致的工程執行力。針對馬斯克旗下xAI僅用4個月便建成了擁有10萬塊GPU的Colossus超算中心,黃仁勳在市場化基建層麵給出了極高評價。
他將馬斯克的成功歸結為第一性原理思維與極簡主義。他質疑一切:這有必要嗎?必須這樣做嗎?需要花這麽長時間嗎?
黃仁勳表示,埃隆在眾多不同領域都有極深的造詣,同時他也是一個非常優秀的係統思考者。他繼續評價道,他能夠質疑一切,直到把一切縮減到不能再減的最低必要限度他親自出現在行動的第一線。當你以如此強烈的緊迫感親自行動時,會促使其他所有人也以緊迫感行動。
針對全球勞動者對AI技術的焦慮,黃仁勳給出了一個非常務實的標準。他直言,如果今天要在兩名應屆畢業生中做選擇,他一定會雇傭那個AI專家,而非對AI一竅不通的人。
黃仁勳強調,這一準則不僅限於技術崗位,而是涵蓋了會計師、律師、銷售人員、供應鏈經理、藥劑師,甚至是電工和木匠。在他看來,每個職業、每個層級都沒有例外,善用AI的人將展現出更高的交付價值。
他進一步厘清了被取代的邊界:如果一個人的工作本質上就是一係列任務(Task),即任務本身就是你貢獻的全部價值,那麽被AI顛覆幾乎是必然的。但如果你的工作具有更深層的目標(Purpose),你就可以利用AI自動化處理那些常規瑣事,從而從一名單純的執行者跨越成為所屬行業的創新者。
對於那些尚未起步的人,黃仁勳給出了最 disarming(令人寬慰)的建議:如果你不知道如何使用AI,你大可以去問AI我該如何使用你。它會從頭開始引導你完成全過程。他認為,現在起步的門檻已經降至零,唯一的障礙隻在於你是否決定開始。因為在這個時代,等待的成本正在隨著AI的進化而與日俱增。
對於程序員,黃仁勳拋出了一個震撼的觀點:英偉達軟件工程師的數量將會增長,而不是減少如果編程的定義是描述規範讓計算機去構建,那麽能做到這一點的人數,剛剛從3000萬變成了可能達到10億。未來每個木匠都會是程序員,每個水管工都會因此瘋狂。
在談及AGI(通用人工智能)的時間表時,如果將AGI定義為一個能夠自主開發應用並實現盈利的係統,黃仁勳表示:我認為就是現在。我認為我們已經實現了AGI。他設想了一個由AI自主創建的Web服務或數字影響力應用,突然獲得數十億用戶使用並賺取利潤的場景,這在當下已經具備技術可行性。