2011 (1)
2018 (69)
2019 (93)
2020 (151)
2021 (88)
2023 (106)
2024 (110)
遠望 CPU、GPU 與 TPU——為什麽 Google 重拾市場信心
牛經滄海
TPU（張量處理單元）與 GPU（圖形處理單元）是現代高性能計算領域中兩種最重要的加速器。它們雖同為“算力發動機”，但在架構設計、應用場景及效率取向上卻截然不同。正是這種差異，構成了今天 AI 時代裏的一條關鍵分水嶺。
TPU 與 GPU：本質上的優劣對比
TPU 是 Google 為神經網絡推理與訓練而專門設計的 ASIC（專用集成電路）。它本質上並非追求“通用”，而是圍繞最核心的任務——矩陣乘法與張量運算——進行極致優化。
TPU 采用脈動陣列結構，使數據在計算單元之間像血液在血管中流動一樣反複被利用，大幅減少了對外部內存的訪問需求。其結果是：在更低功耗下，獲取更高吞吐量。這使 TPU 在大規模、批量化的神經網絡任務上具備令人驚歎的能效比。當然，這種“專一”也帶來了代價——TPU 的通用性較弱，主要服務於 TensorFlow / JAX 等特定生態下的神經網絡任務。
相比之下，GPU 則是一種曆史更悠久、適應性更廣的並行處理器。它最初為圖形渲染而生，卻意外地在深度學習時代大放異彩。其成千上萬的並行線程能夠在極短時間內完成海量浮點運算，加之 CUDA 等成熟的生態支持，使其成為科研、工程、AI 訓練等領域的“通用重裝力量”。但 GPU 的功耗較高，在極大規模且高度規則的矩陣計算中，其能效往往不及 TPU。
矩陣乘法、稠密與稀疏
矩陣乘法的時間複雜度為 O(n^3)，這是典型的計算密集型任務，對算力和帶寬都有極高要求。在稠密矩陣中，幾乎每個元素都要參與運算，而在稀疏矩陣中，大量元素為 0。
稀疏性雖然降低了理論計算量，但同時也帶來了不規則訪問和負載不均的問題。這意味著硬件不僅要“快”，還要“聰明”，能夠跳過無效數據，並保持數據流水的順暢。
GPU 借助 CSR、ELL 等稀疏存儲格式，利用其強大的並行和緩存能力來緩解這些問題；而新一代 TPU 則開始在硬件層麵支持結構化稀疏與權重剪枝，在“專注稠密運算”的基礎上，也逐步具備了處理稀疏問題的能力。
一個醫療體係的不恰當（剔除這些頭銜的高下之分）比喻
如果把芯片世界比作醫療體係：
• CPU 是家庭醫生：知識麵廣，但樣樣不專。當問題規模巨大時，就會力不從心。
• GPU 是綜合醫院的普專科醫生：能夠並行處理大量相似問題，但成本和能耗巨大。
• TPU 則是專科醫院裏的專家：整個機構隻為一種“疾病”服務——神經網絡的矩陣運算。它的每一處設計都圍繞這一目標展開，效率接近極致。
而人工智能，尤其是大規模模型，所患的正是“海量矩陣計算”這種特殊的“疾病”。
當你使用 Google 搜索、翻譯，或被 YouTube 精準推薦內容時，你其實正是在接受這家“專科醫院”的服務。TPU 這位你從未謀麵的專家，正在為你完成億萬次計算。
Google 為什麽因此重拾市場信心？
第一，它提前預判了“疫情”的爆發。當其他公司還在不斷擴建“綜合醫院”（堆疊 GPU）時，Google 已經看到“神經網絡疾病”將成為主流，並率先布局了專屬的“專科醫院”。
第二，它實現了診療一體化。從 TPU（硬件）到 TensorFlow / Gemini（軟件與模型），再到 Google Cloud（平台），構成一個高度閉環的體係。這種縱向整合所帶來的效率與護城河，遠非單純購買 GPU 所能達到。
第三，它掌握了算力自主權。當全球因 GPU 短缺而倍感焦慮時，Google 卻擁有屬於自己的“私有油田”。這使其在 AI 競賽中的底氣與日俱增。
TPU 從 v1 演進至 v5，如今已形成可以調度成千上萬芯片協同工作的超級 Pod，成為世界最強算力集群之一，並在蛋白質結構預測、大模型訓練、自動駕駛等領域不斷刷新人類邊界。
最後一層現實
當然，大多數“病人”仍會走進綜合醫院的門診部。英偉達的市場地位依舊穩固，短期難以撼動。但與此同時，Google 所構建的“專科醫院”網絡也正在悄然擴張，形成另一種無法忽視的未來力量。
通用與專用的博弈，正是當下世界技術演進的縮影。而 TPU，正是這場變革中最安靜、卻也最堅決的奠基者。
