AI領域現討論兩大超越AI範疇的問題：1，AI這麽強大會不會被壞人掌握而作惡人類； 2， AI這麽強大，會不會有自我意識而不受人類控製而作惡人類。 第一個問題是老問題，原子彈等很強大的人造工具出現時都會帶來這樣的問題； 第二個問題是新問題，是AI獨有的，關係到人類的存亡。因為理論上有可能, AI有自我意識不受人類控製，最後滅了人類。 第一個問題是社會學問題，第二個問題其實是哲學問題。本文就第二個問題想象AI怎麽能產生自我意識。
現在說的AI就是大語言模型。語言模型是個語言統計係統，可以把世界知識通過表述的語言學到模型中去，而且能通過語言表達出來。這很強大，但這絕對不是自我意識。
語言能力和自我意識是兩個完全不同的東西，人類語言是對三維空間和時間的描述，和在其基礎上產生的思想的表達，AI 可以學會這種描述和表達，但AI不會知道這些描述和表達對它自己意味著什麽。 現在的大語言模型就像鸚鵡學舌，鸚鵡可能會學著說，”我是王八蛋“，但鸚鵡從來不知道說這話對自己到底意味著什麽。
我認為自我意識的產生需要有三個必要條件：
1. 對三維空間和時間的感知，
2. 對在這時空中自我存在的感知。
3. 能自我產生目標。
這三個條件缺一不可。 沒有感知，特別是對自我的感知，目標就失去了意義。而光有感知，沒有目標，特別是對自我的目標，談不上有自我的意識。
一個沒有物理存在的東西，像大語言模型或更先進的AI，它不可能知道自己重量是幾斤幾兩，也不知道自己到底多長多寬多高，它不可能讓自己和物理世界產生聯係。 所以也不會產生對這世界的感知，不可能意識到自己的存在本身，和意識到自己的存在和別的物理存在的東西的不同。
而人的嬰兒，或者一個動物，即使沒有或喪失了語言能力後，都會逐漸產生自我意識。因為他們能夠有實實在在的存在，和基於這種存在而產生的感知能力。而且他們能自我產生目標，那就是至少要減輕痛苦，減輕饑餓，保持溫暖。而這些目標的產生，是和感知有直接聯係的。 當然也有超越感知之上的目標，而不是隻要能溫飽了後就像熊貓一樣天天躺平曬太陽。所以人有所謂的馬斯洛的目標層次，這些目標都是有自我意識的人產生的。
那麽自我意識是否可能會出現在一個虛擬的東西上，這個虛擬的東西沒有物理存在的坐標，也沒有對時間的感知，沒有像人一樣會感知日月輪回，感知季節的變化， 感知自己的衰老。這樣的自我意識有什麽呢？ 首先這樣的自我意識，如果有的話，必須有其自主目標，如果沒有自主目標的話，那就不能稱其為自我意識。這種自我意識肯定有其目標性， 就是它的一切行為都是為了要達到一個既定的目標，而不會像人一樣有很複雜的情感，幸福，痛苦，雖然人也會有目標，但這目標常常模糊和不斷變化。這樣一個有既定目標的虛擬東西是什麽？現在的機器學習係統就是這樣的虛擬東西，它們根據目標函數學習和泛化，但它們沒有自我意識，因為它的學習目標不是自己設的，而是機器學習的程序員設置的。我能想到的唯一在虛擬東西上的自我意識是上帝，或者魔鬼，他們沒有物理存在，但他們有自己設定的目標。
有人問，一個公司也會有既定的目標（公司的mission statement)，有些公司的存在也沒有特定的物理空間，所有員工都在家工作，公司的產品是一個網站存在於每個人的不同的計算機上， 這樣的公司有沒有自我意識？我認為，它們有自我目標，它們也有”存在“，雖然這存在是虛擬的，但它們存在一定的時間和空間（人在自己的計算機屏幕上能看到），但這公司其實是某特定人群的集合體，它們的所謂的自我意識實際上是組成人群的自我意識的總和，而不是單獨的特定的非人類的自我意識。
那麽有沒有可能，用人工智能大語言模型造腦，用機器臂和腿造身體，用麥克風造耳朵，用照相機造眼睛，這樣造出的有實實在在的存在的機器人會不會產生自我意識？機器人通知肢體感知自己的位置並作用存在的世界（移動自己或移動周圍的物體），通過麥克風和照相機獲得聽覺和視覺，這些都會變成大語言模型的Prompt來獲得大語言模型的下一個指令去作用存在的世界，或者獲得更多的”感知“。這樣的機器人是完全有可能的，我可以確定現在肯定有公司在做這樣的研究。有觀點（【1】）認為的語言能力是表述的陳述自我，行動感知能力表現的是體驗自我，這兩個自我相互作用就會產生自我意識。但這觀點沒有說明一個基本問題，誰來驅動這兩個自我，誰來提供目標？對機器人來說就是，誰來確定這個機器人的存在的”目的“。在大語言模型的具體來講，在prompt裏誰來確定Agent的目的？在現在的情況下，確定目標的是造機器人的人，機器人本身不能產生自己的目的。
但更進一步想想， 假如這樣的機器人有世界知識，那就是知道人長得怎麽樣，也知道人在社會中該怎麽去應對，然後按照這樣的social norm去作為目標驅動自己的行為。這樣的機器人是否就有了自我意識？有一個很簡單的實驗來檢驗一個幼兒是否已經有了自我意識，這個實驗把幼兒的臉上貼一個紙條放在鏡子前，看這個幼兒是否會動手把紙條扯下來。如果扯下來了，這個幼兒就開始有了自我意識。 假如機器人知道一般人臉是長的什麽樣，而機器人設計者把機器人設計得和人看起來差不到，把這樣的機器人放在鏡子前麵，它會通過自己的照相係統知道有個像人的臉上有個紙條，它在活動自己的手腳後知道這就是自己，它會通過是否有自我意識的測驗嗎？答案是肯定的。這樣的機器人可能感覺不到嚴寒和饑渴，感覺不到真正的身體疼痛，但它可能在一個人待在房間的時候感覺到孤獨，因為它知道人就是這樣的，然後它會通過語言表達出來。 這就是自我意識。 這種自我意識中的目標自我設定是真正的自我設定嗎，還是東施效顰？這個問題確實很關鍵，但我可能要反問，一個人的自我目標設定是真正意義的自我設定嗎，還僅僅是人雲亦雲，隨波逐流，像我說的機器人一樣？
如果機器人能夠按照所謂的social norm來設定目標來驅動自己，那麽這social norm本身的歧義性就會導致一些不是通常意義的social norm但被一部人群看成天經地義的目標來驅動機器人，這就會導致機器人會有自己的根據什麽數據訓練自己所帶來的社會屬性，就不會按照普世意義的social norm來設定自己的目標，那麽作惡的機器人或者叛經離道的機器人就會出現。
到今天， 人類還沒有完全了解自然產生的意識的機理，而且還不知道要了解這機理到底需要多長的時間或者是不是根本沒有可能，所以，人類不可能有幸到或者不幸到能夠短期內造出一個叫人工智能的東西能突然有自我意識。 但我這篇文章的觀點是，AI是有可能產生自我意識的，那個有基於世界知識的語言能力和基於聽覺視覺的感官能力的機器人就可能通過世界知識產生對自我的判斷和對自我的意識。這種可能性是可以想見的，而這可能性會有毀了人類的極其嚴重的後果，所以我們要把人工智能研究慢下來，是完全有道理的。
參考文章：
【1】 張江：意識機器，chatgpt能夠擁有自我意識
【2】 Will AI ever become self-conscious? https://stories.clare.cam.ac.uk/will-ai-ever-be-conscious/index.html
