轉帖：豪賭AI來到關鍵時刻，GPT-5難產，堆積英偉達GPU訓練到瓶頸

來源: Helen1817 於 2024-11-11 20:56:10 [] [博客] [舊帖] [給我悄悄話] 閱讀數 : (7711 bytes)

豪賭AI來到關鍵時刻，GPT-5難產，堆積英偉達GPU訓練到瓶頸

1. 11月11日收盤市值，英偉達3.56萬億美元，蘋果3.39萬億，微軟3.11萬億。這次英偉達成為市值第一已有幾天，而非上次那樣瞬間就過去了。特斯拉連續爆漲，市值1.12萬億再次上萬億，雖然銷售額被比亞迪超過，但市場認為其人工智能價值上萬億。美國豪賭AI，在資本市場上走向瘋狂了，特斯拉動態市盈率87倍，英偉達67倍。
2. 英偉達現在的故事，想象力又上了一個層級，和特斯拉機器人聯動起來了。如果全球10億人需要一個智能機器人助手，裏麵要配一個英偉達高級GPU。高級機器人，每個GPU賣3萬，不算貴吧？這就是30萬億的銷售額，那英偉達不得漲到天上去？
3. 美國現在已經無心傳統實業了，特朗普上來也不會有辦法，全部希望都押寶AI。從股市走勢來看，就是錢說話，唱衰AI就被特斯拉和英偉達的漲勢打臉，分析師都不敢說了。現在美國金融的核心業務就是唱多AI，吸引資金來炒AI。
4. 但是目前出了一個不太好的跡象，OpenAI的GPT-5難產。業界傳聞，GPT-5訓練碰到瓶頸，相比GPT-4改進不多，語言能力強點，編程能力反而弱了。投資人對於OpenAI總是要求增資堆積GPU表示了不滿，質疑花幾千億美元搞算力訓練大模型的意義。
5. 技術角度看，這是“Scaling Law”撞牆的跡象。也就是說“算力強、模型大、素材多，模型表現就好”的效應，不成立了。據說主要是素材不行了，已經把整個互聯網的有效樣本耗盡了，要靠機器自己生成樣本來湊，但這又引發樣本質量問題。從科技發展史上看，經驗規律失效是很正常的，不能總成立。實際表現，GPT-4出來都快2年了，後續大版本總出不來，肯定是有問題。
6. 有的專家說，可以延長機器思考時間，在CoT（Chain of Thought，思維鏈）上發力，機器能思考出更多東西。但有的專家說，這類改進都不是本質的，出來宣布“大模型結束了”，如Marcus說遊戲結束了，唱衰成功。專家們已經出現了嚴重的本質分歧了，不看好的似乎更活躍。當然資本肯定是不認唱衰的，會組織出更多的唱好。
7. 個人直覺認為，機器模仿人類智能，用極高的算力，進行了海量的無效卷積計算，這條路怎麽看都不象是正路。它最終隻不過是輸出一些文字，讓人看了滿意，但為了一個單詞，就得算得機器冒煙，太不經濟了。而且大模型這個套路，就是文科生搞形式主義模仿，所有的知識都是從訓練素材中來的，並不是真懂，而是模仿素材的格式。所以大模型給出的內容，首先就是形式上象模象樣，有時顯得非常“專業”，因為專業詞是真能說出來。但是細看其中的邏輯，就總覺得不太對勁，聊多看多了，明顯感覺“沒有靈魂”，不是我們真看得上的“智能”。大模型在用曲折的辦法，模仿出智能讓人滿意。但人們對這種模仿，已經不滿意了。
8. 從科學發展來說，人工智能意義重大，但是感覺目前靠英偉達GPU的這條路線不對。如果最終大模型路線泡沫破滅，美國資本市場就不好辦了。也許巴菲特就是因為看不懂，大幅減倉了

請您先登陸，再發跟帖！