AI 最先摧毀的是獨裁者（ZT)

在過去 10 萬年裏，我們智人積攢了巨大的力量。然而，持續不斷的發明與征服也將我們推入了一場生存危機。全球生態瀕臨崩潰，虛假信息泛濫。我們正一頭紮進可能毀滅我們自身的、由新型信息網絡組成的人工智能時代。

人類如此智慧，為什麽卻總是傾向於自我毀滅？我們為什麽走到了生態和技術自殺的邊緣？當非人智能威脅到人類的生存時，人類如何做出明智的選擇？

從口口相傳的故事，到文字書寫，再到人工智能，《智人之上》透過大曆史的長鏡頭，講述信息網絡如何塑造了我們和我們的世界，曆史學家尤瓦爾·赫拉利邀請我們思考信息與真相、神話與官僚製度、智慧與權力之間的複雜關係，探討不同的社會結構在試圖構建信息網絡時麵臨的關鍵困境。

advertisement

經“中信·先見”授權，我們節選了第 10 章《極權主義：所有力量歸於算法？》，分享給讀者。

機器人程序的監獄

雖然人工智能有許多方麵有利於中央集權，但專製與極權政權在人工智能麵前也並非無往不利。首先，獨裁政權並沒有控製非生物行為者的經驗。專製信息網絡是以恐怖統治為基礎的，但計算機並不怕被關進監獄或被殺。要是某國互聯網上有一個聊天機器人程序提到該國在他國犯下的戰爭罪行，講了一個會冒犯該國領導人的笑話，又或者批評了該國的某個政黨多麽腐敗，該政權能對這個聊天機器人程序做什麽？特工沒辦法把這個程序關起來，沒辦法折磨它，也沒辦法威脅它的家人。該國政府當然能夠封鎖或刪除這個程序，並且試著去找出並懲罰寫出這個程序的人，但總之要比平常教訓人民困難多了。

過去，計算機還無法自行生成內容，無法進行有智能的對話，比如在 VKontakte 和 Odnoklassniki 這些社交平台上，隻有人類有能力提出對政府的異議。然而，如果網絡空間被塞進了幾百萬個機器人程序，都能生成內容、進行對話，還能自行學習與發展，情況將會如何？這些機器人程序的設計者可能是外國人士或異見分子，希望傳播不同於官方的想法，而且當局對此或許無計可施。就當局的立場而言，如果在授權機器人程序運作之後，這些程序收集了關於該國現狀的各種信息，找出其中的模式，並逐漸自行發展出與政府不同的觀點，情況豈不是更糟？

這就是一種一致性問題。雖然人類工程師可以盡最大努力打造出向政府看齊的人工智能，但鑒於人工智能具有自我學習與改變的能力，難保哪天走向政府不樂見的方向。特別有趣的一點在於，正如奧威爾在《一九八四》所解釋的，極權信息網絡常常都需要依賴雙言巧語（doublespeak），例如一些極權國家的憲法會做出許多崇高的承諾，比如“人人均應享有思想及言論自由”“人人均應享有尋求、接收、傳遞、生產與散播信息的自由”“大眾媒體之自由應受保障，不得實施審查製度”等等，但幾乎沒有人會天真到相信這些承諾的字麵意義，而計算機並不懂這樣的雙言巧語。如果要求聊天機器人程序遵守極權國家的法律與價值觀，它可能會在讀了憲法之後，認定言論自由是該國的核心價值，而在該國的網絡空間待上幾天，觀察整個國家信息領域發生的種種事情之後，這個聊天機器人程序就可能會開始批評該國的政權違反了言論自由這項核心價值。人類雖然也會注意到這些矛盾，但會因為恐懼而不敢明說。聊天機器人程序卻是看到什麽說什麽，哪有什麽不敢說的呢？人類工程師該怎樣才能向聊天機器人程序解釋，雖然憲法明文保障每位公民的言論自由，禁止實施審查製度，但聊天機器人程序其實不該相信憲法，也不能提理論與現實之間的差距？就像曾經有人跟我說的，在極權國家長大的人，相信問題會帶來麻煩。但在訓練算法的時候，如果要它相信“問題會帶來麻煩”這種原則，算法又要怎麽學習與發展？
advertisement

最後，政府如果采取了某項極為失敗的政策，後來又改變心意，常常就會把失敗推到別人頭上，掩飾自己的過錯。而人類又常常是經過慘痛的教訓，才能學會忘記那些給自己找麻煩的事實。但我們要怎樣才能訓練聊天機器人程序，要它趕快忘記那些今天被批得一文不值，但在短短一年前還是國家官方立場的政策？這將是極權政權難以應對的重大技術挑戰，特別是在聊天機器人程序越來越強大，也越來越不透明的情況下。

當然，民主政權也會有類似的問題，聊天機器人程序可能會說一些政府所不樂見的話，或者提出一些危險的問題。如果微軟或臉書工程師已經盡了最大努力，聊天機器人程序卻還是散播種族歧視的言論，該怎麽辦？民主政權的優勢，在於就算真的遇上算法不受控製的情況，處理起來也能夠較有餘裕。因為民主政體“藏在櫃子裏的骷髏”可能會少一些，所以就算碰上反民主言論，大體上也能夠包容。但極權政權簡直就像在櫃子裏藏了整個見不得光的墓園，因此完全無法承受任何批評，這種時候，會提出異議的機器人程序就會形成極為嚴重的挑戰。

[在未來，算法會讓極權政權變得更強大嗎?]

電影《1984》（1984）劇照

算法的傀儡
advertisement

長期而言，極權政權還可能遇上更大的危險：算法並不是僅僅批評這些政權，而是直接控製了這些政權。縱觀曆史，專製者最大的威脅常常來自下屬。第五章提到過，沒有哪個羅馬皇帝是被民主革命趕下台的，都是被下屬推翻或成了傀儡。要是 21 世紀的專製者把太多權力交給計算機，就有可能成為計算機的傀儡。獨裁者最不樂見的，就是創造出比自己更強大的或自己控製不了的力量。

為了說明這一點，請讓我以一個有點兒天馬行空的思想實驗為例，它有點兒像波斯特洛姆提出的“回形針啟示”的極權政體版本。想象時間來到 2050 年，淩晨 4 點，獨裁者被“監控與安全算法”緊急叫醒。“偉大的領袖，我們遇上了一個緊急狀況。我通過計算幾萬億個數據，發現了絕對無誤的模式：國防部長打算在今早對您發動暗殺政變。暗殺小隊已經準備就緒，等他下令。但隻要您一聲令下，我就會發動精準攻擊，將他肅清。”

“可是國防部長是我手下最忠誠的人，”獨裁者說，“他昨天還跟我說……”

“偉大的領袖，我知道他對您說了什麽，這世上沒有什麽話是我沒聽過的。但我也知道他後來對暗殺小隊說了什麽，而且我一直在數據中發現令人不安的模式，已經追蹤了好幾個月。”

“你確定你沒有被深度偽造的數據蒙騙嗎？”
advertisement

“恐怕我所依據的數據都是百分之百真實的，”算法說，“我使用專門的深度偽造檢測子算法檢查過。雖然我可以詳細解釋為什麽我知道這些不是深度偽造的數據，但可能得花上幾個星期。要不是已經確定，我絕不想驚擾您，但所有數據都指向一個絕對的結論：一場政變就在眼前。除非我們現在采取行動，否則暗殺小隊一小時後就會抵達。但隻要您下令，我就會肅清叛徒。”

獨裁者讓監控與安全算法擁有這麽大的權力，這讓他進退兩難。如果他不相信算法，就可能被國防部長暗殺；如果他相信算法、肅清國防部長，就成了算法的傀儡。要是有人想對算法不利，算法也很清楚怎樣操弄他來先下手為強。請注意，這一切並不代表算法需要有意識。就像波斯特洛姆的回形針思想實驗所顯示的——也像是 GPT-4 會對跑腿兔網站（TaskRabbit）的打工人員小規模地撒謊——算法就算沒有意識，不會像人類一樣貪婪或自私，也可能會試著抓住權力，操弄他人。

要是算法真的能發展出以上假設的這些能力，獨裁政權成為算法傀儡的風險其實遠高於民主政權。在美國這樣的分布式民主體係中，人工智能再不擇手段也很難奪權：就算學會了如何操弄美國總統，還是得麵對國會、聯邦最高法院、州長、媒體、各大企業和各種非政府組織的反對。舉例來說，如果參議院阻撓議事，算法能怎麽辦？

國家的權力如果高度集中，奪權的難度就低得多。如果所有權力集於一人之手，隻要控製了專製者的親信，就等於控製了專製者，也就等於控製了整個國家。隻要學會操控一個人，就能成功劫持整個體製。一個典型的例子就是羅馬皇帝提比略成了禁衛軍隊長塞揚努斯的傀儡。

禁衛軍最初由奧古斯都所設，是一個小型的帝國護衛隊。奧古斯都還給禁衛軍任命了兩名隊長，這樣任何一位的權力都不會淩駕於自己之上。可惜，提比略沒那麽聰明，而他的偏執也成了他最大的弱點。身為兩位隊長之一的塞揚努斯，巧妙地利用了提比略的恐懼心理，不斷揭發各種號稱要暗殺提比略的陰謀，但多半純屬虛構。除了塞揚努斯，這位多疑的皇帝開始越來越不信任其他人，於是任命塞揚努斯成了禁衛軍唯一的隊長，統領 1.2 萬人，還進一步負責整個羅馬城的治安與管理。到最後，塞揚努斯還說服提比略離開了首都，前往卡普裏島，理由是比起一個充滿叛徒與間諜的大都市，在一個小島上保護皇帝實在容易多了。但正如羅馬曆史學家塔西佗所言，塞揚努斯的真正目的是掌控能夠傳到皇帝手中的一切信息：“與皇帝的接觸盡在他的控製之中，之前由士兵傳遞的信件，現在都必須經他的手轉交。”
advertisement

提比略被孤立在卡普裏島上，塞揚努斯控製了提比略能夠獲取的一切信息。隨著禁衛軍控製了羅馬，這位禁衛軍隊長也就成了羅馬帝國真正的統治者。包括皇室成員在內，隻要是可能反對他的人，塞揚努斯就會誣指他們叛國，並加以清除。所有人都必須經過塞揚努斯的許可才能聯絡上皇帝，提比略因此淪為傀儡。

算法就算沒有意識，不會像人類一樣貪婪或自私，

也可能會試著抓住權力，操弄他人。

終於，後來有人（或許是提比略的弟媳安東尼亞）在塞揚努斯的信息防線裏發現了一個缺口，偷偷將一封信送到皇帝那裏，解釋了當時的情境。提比略發現了危險，決心要除掉塞揚努斯，卻幾乎束手無策。這個人不但控製了他身邊的守衛，還控製了他與外界的一切聯係，他要怎樣才能扳倒這個人？一旦提比略輕舉妄動，塞揚努斯就可能會將他無限期囚禁在卡普裏島，並且告訴元老院與軍隊皇帝重病，無法前往他處。

話雖如此，提比略還是成功地扭轉乾坤。隨著塞揚努斯權力與日俱增，他開始把更多心思放在整個帝國的管理上，不再過問羅馬治安機構的日常瑣事。提比略找到塞揚努斯的一個部下——馬克羅（負責羅馬消防與夜巡事務的警衛隊隊長），取得了他的支持。馬克羅策劃政變，扳倒了塞揚努斯。作為獎勵，提比略任命馬克羅成為新任禁衛軍隊長。幾年後，馬克羅殺死了提比略。
advertisement

提比略的命運告訴我們，所有獨裁者都要維持一種很脆弱的平衡：既要把所有信息集中在一處，又要小心讓自己成為各種信息通道的唯一交會點。要是信息通道交會在其他地方，那裏就會成為真正的權力樞紐。如果政權仰賴的是人類（如塞揚努斯與馬克羅），高明的獨裁者就能操弄他們互相對抗，而讓自己穩居高位。如果政權仰賴的是一套力量強大且高深莫測的人工智能，所有信息都由人工智能來收集與分析，人類獨裁者就有可能直接失去一切權力。這位獨裁者就算依然身在首都，也像是被隔離在一個數字孤島上，隻能受到人工智能的控製與操弄。

獨裁者的困境

比起成為算法的傀儡，接下來幾年裏，這個世界上的獨裁者還會碰上更迫切的問題。目前的人工智能係統還沒有大規模操控政權的能力，但極權政權已經出現了太過信任算法的危機。民主政權假設任何人都可能犯錯，而極權政權假設自己永遠是對的。基於這種假設而建立起的政權，相信有絕對正確的天才存在，也不樂見創造出強大的自我修正機製，用以監督那位天才。

到目前為止，這些政權相信的都是由人類組成的領導人，也是培育個人崇拜的溫床。未來，這樣的極權傳統也使這些政權做好另一種準備：相信有絕對正確的人工智能。這不隻會給這些政權的公民帶來災難，還可能波及世界其他地區。要是某個負責環境政策的算法犯了離譜的錯誤，又沒有自我修正機製能夠發現並修正這個錯誤，事情會如何發展？要是某個負責國家社會信用體係的算法犯了離譜的錯誤，除了開始恐嚇一般大眾，甚至還開始恐嚇執政黨成員，把所有質疑算法所製定的政策的人都貼上“人民的敵人”這個標簽，事情又會如何發展？

獨裁者無法擺脫的問題，就是自我修正機製薄弱，以及下屬尾大不掉的威脅，而人工智能的興起又可能讓這些問題變得更為嚴重。對獨裁者來說，計算機網絡帶來的其實是一個令人無比苦惱的兩難困境。獨裁者如果想要擺脫尾大不掉的人類下屬，可以選擇信任理論上絕對正確的信息技術，但這種時候，他們就可能成為信息技術的傀儡。如果獨裁者想要建立一個人類機構來監督人工智能，就得小心這個機構對獨裁者的權力造成限製。
advertisement

即使全球隻有極少數獨裁者選擇信任人工智能，也可能對全人類造成深遠影響。科幻小說裏常常會出現人工智能不再受控，進而奴役或消滅人類的場景，而且多半把背景設在民主資本主義的社會。這點也不難理解，畢竟民主國家的作家對自己的社會更感興趣。然而，人類如果要對抗人工智能，裏麵最弱的一環大概就是獨裁者。人工智能如果要奪取權力，最簡單的方法不是逃出製造科學怪人的實驗室，而是趕快去討好偏執的提比略。

這種說法並不是預言，而是提出一種可能。1945 年之後，獨裁者及其下屬還是能和民主政權與公民攜手合作，共同抵製核武器的。1955 年 7 月 9 日，愛因斯坦、羅素等著名科學家及思想家共同發表《羅素-愛因斯坦宣言》，呼籲各個國家的領導人應合力避免發生核戰爭。這份宣言提到：“我們以人類的身份，向人類殷切呼籲：請銘記人性，並忘卻其餘。做到這點，眼前就是通往新天堂的道路；反之，眼前就是共同毀滅的危機。”人工智能也是如此。獨裁者如果相信人工智能必定會讓權力的天平向自己傾斜，隻能說是愚不可及。隻要一不小心，人工智能就會奪取權力。