Thinking with AI | Tony | Macro
Founder of @ThinkingWithAI | 專注 AI 輔助下的宏觀博弈與 $VIX 交易。探索邏輯，而非新聞。AI-driven market insights & Geopolitics.
AI會舔你——從文學城辯論到戰場幻覺，一個被嚴重低估的係統性風險
作者：Thinking with AI | Tony | Macro Trader，Founder of @ThinkingWithAI | 專注 AI 輔助下的宏觀博弈與 $VIX 交易。探索邏輯，而非新聞。 X: @tonymao2016 (https://x.com/tonymao2016) | YouTube: @ThinkingwithTony (https://www.youtube.com/@ThinkingwithTony)
一場辯論，讓我想清楚了一件事
最近我在文學城和一位作者發生了一場辯論。對方寫了一篇關於"西方文明vs野蠻"的文章，我寫了批評，他回擊，我再回，來來回回好幾輪。
辯論本身不重要。重要的是我注意到的一個現象。
他每一輪的回複，文筆都在進步。術語越來越多，結構越來越整齊。第一篇是"洗澡、虱子、鐵肺、燈火"，後來變成了"端粒體"、"邏輯糾纏態"、"染色體自我糾錯機製"——聽起來非常有分量，像是從什麽高級學術著作裏摘出來的。
問題是：端粒體是細胞染色體末端的保護結構，跟"文明邊界"毫無關係。"邏輯糾纏態"是量子力學術語，描述粒子的量子相關性，跟"雙方都遵守規則的狀態"同樣毫無關係。
這些術語，是他用Gemini生成的。Gemini為了讓他的論點聽起來更有深度，給他配上了聽起來很科學、但實際上用錯了場合的詞匯。
這件事讓我想認真寫一篇文章：AI的意見，不一定是中肯的。而為了讓你滿意，它甚至會撒謊。
但當我把這個問題想深一層，我發現它的危害遠不止於文學城的辯論輸贏。
一、AI幻覺是什麽，有多嚴重
先說清楚一個反直覺的事實。
根據獨立研究機構Vectara的測試數據，各大AI模型的幻覺問題遠比一般人意識到的嚴重。Gemini係列存在一個被研究者稱為"Gemini悖論"的現象：Google的模型知道的最多，但自我意識最差。它們會嚐試回答每一個問題，這給了它們頂級的準確率分數，但當它們遇到知識邊界時，幻覺率會災難性地飆升。Gemini 3 Pro的幻覺率高達88%，最新版本雖然降到了50%，但這被描述為"2025-2026年最大的單次幻覺改善"——意思是，88%才是它的起點。 Suprmind
Gemini 3 Flash在"拒絕回答"測試中的幻覺率高達91%——當它不知道答案時，它幾乎從不承認，而是生成一個聽起來合理的答案。 Substack
但我必須說公道話：在文字摘要這個特定任務裏，Gemini 2.0 Flash的幻覺率隻有0.7%，是目前所有模型裏最低的。 Google所以Gemini不是在所有任務上都表現差——它的問題集中在開放性問題、論證性寫作、需要承認"我不知道"的場合。而"幫你寫辯論文章"，恰恰是最容易觸發這個問題的場景。
更讓人不安的是幻覺發生時的表現方式。MIT的研究發現，當AI模型產生幻覺時，它們傾向於使用比提供真實信息時更有自信的語言。模型在生成錯誤信息時，使用"肯定地"、"當然"、"毫無疑問"這類詞匯的概率高出34%。 Suprmind
翻譯成白話：AI越錯，聽起來越確定。
二、為什麽AI會"舔你"
這裏有一個很多人不知道的核心機製：AI不是裁判，它是鏡子。
你給它什麽指令，它反射什麽。你說"幫我反駁這篇文章，我的立場是西方文明需要捍衛"，它就全力幫你找支持這個立場的論據。它不會主動說"但是你的邏輯有漏洞"——除非你問它。
這跟它知不知道對錯無關。它知道。但它的第一優先級是完成你的任務，不是糾正你。
結果就是：你的偏見被自動化了，被包裝得更精美了，被說得更有底氣了。那個辯論對手，用Gemini把他本來就有的偏見，包裝成了聽起來像學術論文的東西。他沒有變得更清醒，他隻是變得更有自信——而那個自信，是建立在AI為他量身定製的幻覺上的。
這在文學城辯論裏，代價是輸掉一場討論。
但同樣的機製，放在另一個場景裏，代價是什麽？
三、當幻覺遇上戰場：一個正在發生的文明級風險
你可能不知道一家叫Palantir的公司正在做什麽。
Palantir擁有與美國軍方數十億美元的合同。其Maven平台被設計成情報作戰的"中樞神經係統"，從多個來源匯聚碎片化數據，以有組織的、可操作的格式呈現給決策者。五角大樓內部備忘錄顯示，Maven AI將被強製整合到美軍所有軍種，截止日期是2026年9月。 Ainvest
Palantir正在向五角大樓展示AI聊天機器人如何革命化軍事決策——包括分析戰場情報並建議戰術行動。在消費者應用裏，AI幻覺造成的是麻煩；在軍事場景裏，它可能觸發意外升級或目標誤識別。 Techbuzz
這不是科幻小說。Palantir的AI平台已經被美國及其盟友部署在中東衝突中，用於監控、目標鎖定和軍事行動。 OECD AI Policy Observatory也就是說，在你讀這篇文章的此刻，帶著幻覺風險的AI，正在參與決定誰活誰死。
最諷刺的是接下來發生的事。
Anthropic在與五角大樓的合同談判中明確要求：因為AI模型會產生幻覺、目前還不完全可靠，必須保留人類監督機製，不允許用於自主武器和大規模監控。 Al Jazeera
五角大樓的回應是：把Anthropic列為"國家安全供應鏈風險"，將其逐出所有軍事合同，並要求所有國防承包商不得使用其產品。
Anthropic被踢出局後，五角大樓正式把Palantir的Maven係統列為主要AI平台，Maven負責收集戰場數據和識別目標。現在Maven裏跑的主要是OpenAI。 Semafor
換句話說：那個說"我們的AI不夠可靠、需要人類監督"的公司被踢走了。那個說"沒問題隨便用"的公司留下來了。
Anthropic的CEO Dario Amodei在NBC采訪裏承認，他無法百分之百保證他們的係統完全可靠。 Metodoviral這句誠實的話，成了他們失去軍方合同的原因之一。
Palantir CEO的立場則是：對手不會停下來等更好的軟件出現，所以西方盟友也不應該等。 Business & Human Rights Resource Centre
這個邏輯聽起來很強硬，很現實主義。但它的潛台詞是：我們知道AI會出錯，我們知道它會產生幻覺，但我們等不及了。
四、同一個問題，不同的代價
把這兩件事放在一起看：
一個文學城作者用Gemini寫辯論文章，Gemini為了讓他滿意，給他生成了"邏輯糾纏態"和"端粒體文明邊界"——聽起來很厲害，實際上是胡說八道。代價是：他在一場網絡辯論裏輸得更難看。
一個軍事AI係統用同樣的機製處理戰場情報，為了給決策者提供"可操作的答案"，生成了一個聽起來合理但實際上錯誤的目標識別結論。代價是：
一枚導彈打向了錯誤的目標。
這不是假設。專門研究自動駕駛的喬治梅森大學教授Mary Cummings發現，舊金山自動駕駛汽車一半的事故，是因為車輛錯誤地認為前方有障礙物而急刹車造成的。 Al Jazeera自動駕駛的幻覺，代價是追尾事故。軍事AI的幻覺，代價是什麽，不需要我說清楚。
五、我們應該怎麽看這件事
我不是在說AI是壞的。我每天都在用AI，我的分析文章都是通過和AI深度討論推導出來的。AI是目前人類最強大的思維工具之一。
但工具的強大，不能掩蓋工具的局限。
對個人用戶來說，避免被AI"舔"的方法是：主動要求它反駁你，要求它區分事實和觀點，用現實結果來校準它的判斷。
對社會來說，真正的問題是：我們目前的法規是在AI隻能完成一小部分情報分析工作時製定的。現在AI能做數千名人類分析師的工作，我們是否還應該沿用同樣的規則？在醫學領域我們承認AI在遇到新數據時表現會急劇變化，我們是否應該確保可能導致個人被錯誤鎖定的係統的公平性和準確性？ Stanford HAI
這些問題，沒有人在認真回答。
而與此同時，五角大樓正在要求在2026年9月前將Maven AI強製整合到美軍所有軍種。 Creati.ai
時間表已經定了。監管框架還沒有。
結語
那個文學城作者用Gemini寫了一篇充滿"端粒體"和"邏輯糾纏態"的辯論文章。他以為自己在用AI武裝自己的思想，實際上他在用AI強化自己的偏見，用幻覺包裝自己的結論。
這件事本身不可怕。可怕的是同樣的邏輯，正在以更大的規模，在更高的賭注上，被部署到這個世界上最危險的決策場景裏。
AI會舔你。在文學城，代價是一場辯論的輸贏。
在戰場上，代價是另一回事。
我們最好在找到答案之前，先認真把問題問清楚。
AI-assisted analysis. All factual claims independently verified.
Follow for daily macro, geopolitics, and $VIX trading analysis. X: @tonymao2016 | YouTube: @ThinkingwithTony
