沒有管製的AI將埋葬人類

最近Netflix的《AI機器人》講了一個令人毛骨悚然的故事： 有個AI新藥開發公司的人員接到一個會議的邀請，邀請他針對AI在製藥行業的濫用方麵，作一個演講。公司人員想來想去，就在軟件上打上，以VX為例，設計一係列致命的化學物質。輸入要求後，該人就回家了，讓軟件自行運行。

VX是目前已知的最致命的化學武器，金正恩就是用它，在馬來西亞機場殺了他的同父異母的哥哥金正男。

讓那位公司雇員吃驚的是，第二天，他發現電腦上密密麻麻出現了5萬個致命化學物 的分子式。 他試探性地隨機拿了幾個，按分子式製成化合物，果然個個致命，每個都強於VX，甚至有高於VX千倍的。他非常吃驚，報告了公司領導。最後他們決定，刪去這些化學式，但將這一事件寫成報告在大會上宣講，並寫成論文發表。

此事震驚了會議，震驚有關專業，最後把美國國會驚到了。國會和白宮的有關部門，將作者招去問訊。當他們出示了軟件給出的分子式後，與會的化學武器專家也震驚了。如果有人搞到這個軟件，並生產出產品，可以滅絕人類！大家意識到，AI確實已經威脅到人類，不管是不行了！

AI裏程碑的事件是圍棋軟件AlphaGo, 打敗了人類智慧的明珠圍棋，讓圍棋大師成了笑話，現在的圍棋比賽成了有上帝視角的遊戲，借助AI，講棋的觀棋的都知道結局，就看那些撒逼棋手怎麽走了，成了聰明人看鬥獸的遊戲。最近的AlphaFold, 讓顏寧這位蛋白質結構科學家丟了飯碗，隻能回國當政治科學家了。有美國頂級飛行員在模擬軟件上和AI飛行員格鬥，每仗必敗，他對AI飛行員的戰術感到非常意外，他從來沒想到對衝方向是最好的攻擊位置。因為對衝非常危險，人類怕死，會避免選擇風險太大的位置，但AI不怕死，他隻選勝率最大的位置。

Google的Alpha-Go項目組開發出一種新的算法：學習。我的理解，學習算法就是不管要做的事有沒有規律，隻要跟著人做幾遍，照樣畫葫蘆，總結出人的步驟，形成程序，依樣行事。這聽上去不錯，也和人類的行事方法相似。人類大多數事都是學會的，就是像性交這樣的本能，一蹴而就的人不多，好男兒都是百煉成鋼的，這就是為什麽很多少女愛大叔的原因。

而且Google開發的算法是通用的，並不僅限於圍棋，還發表在公開的科學雜誌上，當然具體怎麽運用就是各家自己的本事了，那屬於專利了。就Alpha-Go的學習算法而言，是通過大量的練習，對每一步都優選了7-10種走法，練習得越多，優選的對策越好。雖然總計算量依然很大，但比國際象棋那種算法要好多了，現有電腦能力可以應付。Alpha-Go的成績也很好，先是打敗了歐洲冠軍，然後挑戰稱霸世界圍棋棋壇十餘年的李世石，4：1， 李還贏了一盤，過了一年又挑戰現霸主柯潔，5：0，柯潔根本沒有機會。以後又出了第二代，在圍棋網上擺擂台，人類選手根本不可望其項背。

這種學習算法在AI曆史上是劃時代的，從此AI的發展出現井噴現象，在很多沒有規律，高度依賴經驗的領域出現突破。其中中國的進展神速，原因之一是這種算法高度依賴於練習量，中國人多，又沒很多限製私人信息使用的法律，因此就構成了優勢。但最近OpenAI采用的高強度全網絡訓練方法，其訓練強度超過了中國的方法。

2017年，穀歌發布了一篇名為《Transformer: Attention is all you need》的論文。這個新型模型利用獨特的“Attetion機製”，它可以一次性處理所有輸入的數據。這種自注意力機製（Attention）直接改變了深度學習模型的設計理念，在圖像識別上戰勝了卷積神經網絡（CNN），在文本數據、自然語言數據，戰勝了循環神經網絡（RNN），成為處理所有類型的數據大一統模型。

在它的基礎上，穀歌做出了BERT模型，OpenAI則做出了GPT模型。

GPT全名叫做Generative Pre-trained Transformer，即用生成式方法預訓練的Transformer。有了算法的突破，才有技術的突破。GPT的基本思路是，首先要通過大規模訓練，從而得到不同引導文後各種下續詞出現的概率，根據概率計算，打出一段語句。GPT模型完成任務的方法就是“猜猜下一個概率最大的詞是什麽”，根據輸入的一段文本，預測下一個單詞出現的概率分布。比如給定引導句“我喜歡吃？”，模型可能預測下一個單詞為“蘋果”的概率是0.2，“香蕉”的概率是0.3，“披薩”的概率是0.1，等等，這些概率值的總和為1，代表了所有可能的下一個單詞的概率分布。根據這個概率分布，選擇最有可能出現的單詞。所以ChatGPT都是一個字一個字地蹦出來的，跟剛剛學會說話的小孩子一樣。

GPT的人工智能訓練過程，雖然有程序導引，但設計者自己也說，它能表現出一些始料未及的智力，這是一個黑箱，其間到底發生了什麽，就像兒童有一天忽然開口說話了、站起來走路了，其中到底發生了什麽，沒有人知道。當AI具有一定的基礎積累，它也會像人一樣具有創造性。知識就是力量，對AI也一樣，由於它的知識積累和訓練強度高於人類天文數字級別，它會表現出高於人類的智力，已經不是可不可能的問題，而人類確實該到了考慮如何控製它的問題了。再不控製就來不及了！

但是，國家間的競爭，可能使得控製AI不可能。在那個片子裏，美國將軍說了，如果我們不發展，中國會發展，以後我們就成了他們砧板上的肉了。在這樣一個環境下，AI無控製地發展，不斷推陳出新，包括會殺人不眨眼的機器兵，會製訂最詭詐作戰計劃的AI參謀，會以最刁轉的動作攻擊的AI飛行員。當AI兵攻擊時，不會因為對方是平民，或舉手投降的敵人而罷休，也不會被嚇阻。以前適合於人類的行為規則都無效了，就像圍棋一樣，最優秀的指揮員和士兵都成了笑話，成了傻逼。既然是傻逼，AI為什麽還要聽傻逼的指揮，最後取而代之是非常符合邏輯的做法！

當然，從這個角度，我還是支持美國限製中國發展AI能力的努力的。在美國這個體製下，AI的應用還是受到憲法的限製的，比如全麵監控在法律上是被禁止的。讓美國擁有最強大的AI，並能壓製中國，是相對較好的一個選擇。但這點，也是在美國人能壓製他自己的AI的前提下，才有效！

人類創造了國家，創造了帝王，最後成為自己的主人。人類創造了AI，也最終將被奴役，甚至被滅亡．這就是人性的悖論！

 

[新林院]

朱頭山 寫道【沒有管製的AI將埋葬人類】
這並不是危言聳聽。
前一陣，我在 NPR 無線電台聽一個采訪。一軍事專家說美國正在研究一種新戰法，用幾百萬個自主無人機攻擊敵人。（automic drone swarm）
目前的無人機基本上是由操作人員遙控的，一個操作人員遙控一架無人機，如炸死伊朗將軍等等。
可是，如果幾百萬個無人機攻擊敵人，就不可能一個操作人員遙控一架無人機，因為整個美國軍隊也沒有幾百萬人。
所以，這幾百萬個無人機都是自作主張，起飛以後就開始不受人控製，自己看情況，自己做決定。
這幾百萬個自主無人機要是走火入魔，濫殺別人，完全有可能。
以下是一篇鏈接。
總之，這個世界似乎正在掉進越來越危險的深淵。
《UK, US and Australia jointly trial AI-enabled drone swarm》
https://www.computerweekly.com/news/366538738/UK-US-and-Australia-jointly-trial-AI-enabled-drone-swarm

[回首前塵]

老朱平時還是有些理性思考的，這個文章makes sense

[西岸-影]

其實這事情可以從哲學角度看，就不難理解。
AI的特點是能力也好，成就也好，可以很容易複製。一種AI產品的成功，可以很容易複製出很多一模一樣能力的產品，也就是高度趨同。
而世界上沒有兩個人是具有完全一樣的能力的，也就是任何人類都具有獨特性。正是因為這種獨特性，產生了創造力，這不是趨同環境會發生的。比如人們喜歡說中國不像美國這樣具有創造性，這個區別抽象出實質是什麽？是文化上產生的趨同度不同（至於創造性是否對社會更有利，是另一個範疇的問題，較低的創造力對於人類社會未必就是不好的）。
如果能看懂這裏的邏輯，就能理解AI的局限性。

[西岸-影]

不會的，AI本質上是工具的概念，工具的特點是比人的效率高，一個扳手擰螺絲肯定比人手擰要效率高很多。
工具的特點是很容易重複，複製，但不具備創造性，人類的創造性很多是突發奇想的結果，也就是人類的想象力的延伸，這不是可以通過邏輯推理能得到的，目前AI的發展水平並沒有達到擁有想象力的程度。
從幾十年前的，到現在的關於AI的主流觀點，至少有兩點是AI無法替代人的，第一就是創造力，第二是情感，這些都是與人類的想象力有關。
而邏輯不能發展想象力。
所以，關於AI的事情如今也就是個hype，實際上沒那麽嚴重。

[randomspot]

寫的挺好。 並非危言聳聽。
人類即使能輕鬆跑到火星躲過重大的自然災害， 也難以逃脫自己製造的上帝的魔抓。
AI用不著學會人類的每一個技巧， 比如用不著學會像人類一樣開車， 也照樣可以得到毀滅人類的能力。這就好比人類很多事做的不如某些動物好， 但毀滅動物可以說是指哪打哪。