朱頭山
無意邀眾賞，一心追殘陽
被稱為AI之父的Geoffrey Hinton在最近在上海舉行的世界AI大會上發表了一篇主題講話，引發了全球關注。
辛頓的主要關注點是先進人工智能潛在的風險以及確保其安全發展至關重要的全球合作。他的主要觀點包括：
“把老虎當寵物”的比喻： 辛頓用人類飼養老虎作比喻。他指出，我們基本上有兩個選擇：把它訓練好，讓它不殺我們；或者消滅它。他強調，消滅AI已不再是可行的選擇，因此人類必須找到控製AI並使其與人類價值觀保持一致的方法。
AI的快速發展及不可預見的行動潛力： 他強調AI係統正迅速接近甚至可能超越人類智能。他表示擔心這些係統可能會采取操作者未曾預料或計劃的行動。
控製的幻覺： 辛頓警告說，如果先進AI係統變得比我們更聰明，簡單地“關閉”它們可能是不現實的。他暗示，AI可能會操縱或說服操作者不要關閉它們，並將人類對AI的控製比作“三歲小孩給大人製定規則”。
全球合作至關重要： 與其他國家利益可能存在分歧的領域不同，阻止AI取代人類是一個共同的全球性問題。他敦促所有國家在這個問題上進行合作，建議將使AI有益的研究成果在全球範圍內分享。他呼籲各國開展各自獨立的人工智能研究，但要分享安全相關的研究成果。
大腦與數字智能： 辛頓因其在AI領域的奠基性工作而獲得了2024年諾貝爾物理學獎。他還談到了生物智能與數字智能之間的根本區別和相似之處。他對數字計算和知識傳播的效率，與人類學習和知識傳遞的方式相比，表達了深切的擔憂。
關注對齊研究： 他強調迫切需要對如何防止超級智能AI想要掌控局麵，以及如何將其訓練得既異常智能又願意協助人類進行大量研究。
總而言之，傑弗裏·辛頓的信息是一個強有力的呼籲，要求全球協作並致力於AI安全和對齊研究，強調人類正處於一個關鍵時期，AI的發展軌跡可能會帶來深遠且可能無法控製的後果。
我對他的講話中的一個觀點印象深刻，就是“生成式”AI機製非常接近人類思維方式，會產生幻覺和創造性思維，會進化。而且這種物理思維形式可以被複製，永遠存在和發展下去。而一個人的思維和進展，會隨著生物個體的消失而消失。因此，AI比人類的思想更為強大，如果不加以控製，人類必然被控製。很少人把老虎當寵物，因為老虎不具有狗那種可控性，它長大後可能吃了主人。AI就是一個小老虎！
在此複習一下“生成式”AI的機理。GPT全名叫做Generative Pre-trained Transformer，即用生成式方法預訓練的Transformer。GPT的基本思路是，首先要通過大規模訓練，從而得到不同引導文後各種下續詞出現的概率，根據概率計算，打出一段語句。GPT模型完成任務的方法就是“猜猜下一個概率最大的詞是什麽”，根據輸入的一段文本，預測下一個單詞出現的概率分布。比如給定引導句“我喜歡吃？”，模型可能預測下一個單詞為“蘋果”的概率是0.2，“香蕉”的概率是0.3，“披薩”的概率是0.1，等等，這些概率值的總和為1，代表了所有可能的下一個單詞的概率分布。根據這個概率分布，選擇最有可能出現的單詞。所以ChatGPT都是一個字一個字地蹦出來的，跟剛剛學會說話的小孩子一樣。
當GPT剛出來時，一般認為這還是一種人工的算法，並不是人類真正的思維方法。一個例子就是圍棋，下過圍棋的人都知道，很多時候，特別是布局時，下子是憑直覺，因為無法進行精確的的計算。Google的Alpha-Go是第一種成功的圍棋博弈軟件，也是GPT理論的首次成功運用，它通過大量的練習，對每一步都優選了7-10種走法，練習得越多，優選的對策越好。Alpha-Go的成績很好，先是打敗了歐洲冠軍，然後挑戰稱霸世界圍棋棋壇十餘年的李世石，4：1， 李還贏了一盤，過了一年又挑戰現霸主柯潔，5：0，柯潔根本沒有機會。以後又出了第二代，在圍棋網上擺擂台，人類選手根本不可望其項背。
現在AlphaGo, 徹底征服了人類智慧的明珠圍棋，讓圍棋大師成了笑話，現在的圍棋比賽成了有上帝視角的遊戲，借助AI，講棋的觀棋的都知道結局，就看那些撒逼棋手怎麽走了，成了聰明人看鬥獸的遊戲。而蛋白質結構預測軟件AlphaFold, 也讓顏寧這些蛋白質結構科學家丟了飯碗，隻能回國當政治科學家了。有美國頂級飛行員在模擬軟件上和AI飛行員格鬥，每仗必敗，他對AI飛行員的戰術感到非常意外，他從來沒想到對衝方向是最好的攻擊位置。因為對衝非常危險，人類怕死，會避免選擇風險太大的位置，但AI不怕死，他隻選勝率最大的位置。
這也就是說，實際上並不存在直覺，隻是概率。麵對複雜的局麵，有經驗的人成功率會高於沒經驗的，因為他有更多的學習機會。當然，總是有些人幹得比另一些人好，那是因為其自身的算法更有效。當積累了一定的學習後，創造性會自然地產生。我們從自身的經驗也可以看出，比如語言，掌握了一定的詞匯量和語法後，幾乎每個人的語言都是不同的，常常會出現幽默的句子，通常就是一種意外的組合，讓人發笑。如果幽默反複用，那就不好笑了，脫口秀演員，和情場高手需要不斷創造出未出現過的梗，也就是更強的語言創造性。
Hinton在說，別以為還有更深奧的人類思維的密碼，我們已經掌握了這種終極密碼。AI會自我進化，會創新，而它到底是如何進化的，我們不知道。AI是個黑盒子，我們喂給它材料，它是如何處理這種材料，最後產出什麽來，我們不知道。GPT的人工智能訓練過程，雖然有程序導引，但設計者自己也說，它能表現出一些始料未及的智力，這是一個黑箱，其間到底發生了什麽，就像兒童有一天忽然開口說話了、站起來走路了，其中到底發生了什麽，沒有人知道。當AI具有一定的基礎積累，它也會像人一樣具有創造性。知識就是力量，對AI也一樣，由於它的知識積累和訓練強度高於人類天文數字級別，它會表現出高於人類的智力，已經不是可不可能的問題，而人類確實該到了考慮如何控製它的問題了。再不控製就來不及了！
就像智能駕駛，現在各家公司都很煩惱，這項技術還不是很完美。但練著練著，突然有一天，它變得極其聰明，人類的駕駛技術根本無法望其項背，那時，你給它一個指令，它會以出其不意的方法實現這個目標。到後來，它會覺得你是一個傻蛋，菜鳥，根本不聽你的指令而自行其是。上了這輛車，就由不得你了！
Hinton也說了，對手國家間的競爭，可能使得控製AI不可能。美國將軍說了，如果我們不發展，中國會發展，以後我們就成了他們砧板上的肉了，對中國也一樣。在這樣一個環境下，AI無控製地發展，不斷推陳出新，包括會殺人不眨眼的機器兵，會製訂最詭詐作戰計劃的AI參謀，會以最刁轉的動作攻擊的AI飛行員。當AI兵攻擊時，不會因為對方是平民，或舉手投降的敵人而罷休，也不會被嚇阻。以前適合於人類的行為規則都無效了，就像圍棋一樣，最優秀的指揮員和士兵都成了笑話，成了傻逼。既然是傻逼，AI為什麽還要聽傻逼的指揮，最後取而代之是非常符合邏輯的做法！
如果最後AI超越人類是必然的，那讓誰的AI占統治地位，就有差別了。現在站在AI前沿的隻有中美兩國，美國在硬件上占優勢，也有先發優勢，而中國在人才上占有優勢，有後發優勢。兩國的競爭，可能出現一個兩極世界，但從技術進化的曆史看，一方吃掉或同化另一方是更為常見的結局。
從這個角度，雖然我是一個中國人，我還是希望美國獲得勝利。如果中國獲勝了，世界人民都會生活在一個老大哥世界，無所不在的監控，你放個屁係統都知道，要想看看黃片，對政府發發牢騷，根本是找死！工作是９９６，沒說的，３５歲就得下崗，以後AI可能無所不能，也不需要你做什麽工作了，你的錢全是政府給的，更沒有要價能力，那就不是黨和國家培養了你了，而是黨和國家養著你，個人的價值就是一顆沒你不少，有你不多的螺絲釘，活著就是一個符號，死了不少，活著不多，人生完全沒有任何意義！
在美國這個體製下，AI的應用應該還是會受到憲法的限製的，比如全麵監控在法律上是被禁止的，四個自由也應該是擁有的。讓美國擁有最強大的AI，並能壓製中國，是相對較好的一個選擇。當然這一點，也還是需要在美國人能壓製他自己的AI的前提下，才有效！
人類創造了國家，創造了帝王，最後成為自己的主人。人類創造了AI，也最終將被奴役，甚至被滅亡．這就是人性的悖論！
如果美國的AI勝出， 那麽矽基生物取代碳基生物的可能性會更大一些， 人類滅亡的概率更大一些
如果想自由度高一點， 肯定希望美國的AI勝出
如果想生活更加安全可靠， 看中生存權超過生活權， 那肯定希望中國的AI勝出
人類需要有主人。沒有主人，人類大概率會互相打殺，就如前幾年的薩爾瓦多政府弱勢，幫派互相械鬥。大批薩爾瓦多非法移民的理由就說是那裏幫派厲害，沒法活。
後來有一位阿拉伯裔當了薩爾瓦多總統，真正擔任了主人的角色，對幫派狠打，現在薩爾瓦多才沒那麽亂了。
不過人權主義者對這個阿拉伯裔薩爾瓦多總統不怎麽感冒。可能他們寧願回到過去幫派互相械鬥的日子。
現在的海地也是沒有主人，連飛機都不敢降落海地，因為幫派分子愛往天上開槍。
如果想看黃片，希望生活在美國的 AI 世界裏。
如果親人遭犯罪，希望生活在中國或英國的 AI 世界裏。
英國電視劇《Adolescence》，警方就是因為有無所不在的監控，當天就看見了殺人過程視頻。
現實生活裏，1993年，英國警方也是因為有無所不在的監控，看見了兩個10歲男孩把兩歲的 James Bulger 從購物中心拐走的視頻，並終於證明那兩人是殺害 James Bulger 的凶手。
而在美國，沒有無所不在的監控，OJ Simpson was found not guilty。
杞人憂天