我有個習慣，當出現一個自己專業知識以外的新事物，就會在收集資料的基礎上，以自己已有的知識和經驗為基礎，來理解一下並寫出來。以前寫過外行人看電動汽車，新能源，氫彈，高空氣球等文章，不但得到好評，自己也受益匪淺，雖然沒什麽實際用處。但人一生如果隻去了解有用的東西，那會多無聊？所以我還是樂此不疲，現在，又來理解一下火爆的Chat GPT。
ChatGPT的基礎是OpenAI提出的GPT，GPT全名叫做Generative Pre-trained Transformer，即用生成式方法預訓練的Transformer。其基礎，是概率！
有種密碼破解技術就是概率解碼術。假設密碼破解專家得到一大堆意義不明的信件，如何從中破譯這些信件中的密碼呢？他就按照公認的字母在文章中出現的概率，比如A的出現率是37%， B的出現率25%...., 在密文中統計各符號的出現頻率，假設那些概率和公認概率最接近的符號就是A，B....., 然後看譯文是否有意義，並不斷修正。這曾是一種成功密碼破譯思路，雖然現在落後了。
GPT的基本思路是，首先要通過大規模訓練，從而得到不同引導文後各種下續詞出現的概率，根據概率計算，打出一段語句。GPT模型完成任務的方法就是“猜猜下一個概率最大的詞是什麽”，根據輸入的一段文本，預測下一個單詞出現的概率分布。比如給定引導句“我喜歡吃？”，模型可能預測下一個單詞為“蘋果”的概率是0.2，“香蕉”的概率是0.3，“披薩”的概率是0.1，等等，這些概率值的總和為1，代表了所有可能的下一個單詞的概率分布。根據這個概率分布，選擇最有可能出現的單詞。所以ChatGPT都是一個字一個字地蹦出來的，跟剛剛學會說話的小孩子一樣。
其次，它對於語言的最小理解單位是句子（phrase），而不是詞匯（word）。你如果隻打一個“總結”，它會不知所雲。你必須問“寫一篇年終總結，我是XX類公司的XX部門的經理“， 它才能開始工作，寫出一篇總結。所以Chat GPT的引導文很重要，現在甚至出現了專門寫引導文的職業，需要接受過GPT原理的訓練。不同的引導文，會得到完全不同的結果。
ChatGPT的底層是自然語言大模型GPT，隻是眾多人工智能大模型中率先“湧現”的一個，它更傾向於生成文本的能力，所以看起來都是寫寫文章，說說話，畫畫畫，但並不是說人工智能就隻能幹這些。比如中國的注意力，就集中在監控方麵。
2021年6月，一個重磅消息震撼簡體中文網絡，中國人工智能專利申請數量達到11萬，首次超越美國。這又是我的國厲害了的一個重磅證據。然而看看這些專利都是幹什麽的？這些專利中，用於安防的占比超過一半，達到53.8%，比如人臉識別、指紋識別、體態識別，用於金融占比15.8%，用於營銷占比11.6%。換句話說，中國的人工智能不是用來盯人，就是用來盯人的錢包。
ChatGPT的底層是自然語言大模型GPT，僅就自然語言大模型而言，最有名的有兩種方向，除了GPT模型外，還有Google的BERT模型，兩者的核心區別在於目標不同，GPT更傾向於生成文本，而BERT 模型更傾向於理解文本。
這個區別可能人類無法理解，不理解文本怎麽生成文本呢？GPT就是用學習和概率計算工作的。GPT模型就像文科畢業生，由於其在生成文本方麵的強大能力，畢業後最大的“就業去向”是自動生成文章類的“工作”、包括新聞、廣告文案、創意內容、法律文書、文秘、各類谘詢，等等；其次的“就業去向”是作為聊天機器人、虛擬助手、智能客服，等等，進行更加自然、流利的對話。但你要讓他去計算，去推理，就非常差，在不理解的基礎上生成的文本，難免會發生胡說八道的情況，雖然大家已經覺得GPT很神奇了，但如果真的大規模投入應用，在那些非生成內容為主的應用上，它還是有缺陷的。而且，我發現，對非英語的內容，它就常常胡說八道。我曾問GPT日本最有名的導演及其作品，它就瞎幾把講。可能和日本人名的漢字，假名以及拉丁文符號發音規律混亂有關。
從GPT我又想到一個問題，人類到底是怎樣理解的？
熟悉邏輯學的讀者一定知道，它有一個著名的說法：相關性不代表因果性，相關性隻是對現象的描述，因果性才是現象之間的內在聯係。所以有人說，人類與人工智能的區別在於，人可以判斷因果關係，而人工智能隻能判斷相關性。
這個觀點的後半段是正確的，目前所有的人工智能模型，都是通過學習數據中的相關性來進行預測和推理。但人是否能判斷因果關係呢？這是個似是而非的命題。
有的情況下，人好像能判斷因果關係和相關關係的不同。自從掌握了自然科學的知識，人類發明了自然界不存在的以機翼壓力差原理升空的飛機，和以輪子反作用力驅動的汽車，這樣的發明舉不勝舉，似乎人確實能了解因果關係。人類認為，自己的判斷靠的是因果關係，先學習各類事件之間的因果聯係，再去推斷出某個事件是另一個事件的原因或結果。所以，早期人工智能的方向也是模仿人類的思維，去建立因果關係。
可當專家們想用計算機語言描述因果關係時，才發現此路不通——人類自以為嚴謹的因果關係，可能並不存在。看過《三體》的讀者，都應該對其中哲學家羅素的“農場主假設”有深刻的印象，農場裏有一隻火雞科學家，通過長期觀察，發布了一個科學規律，每次農場主來，就會有食物，兩者之前存在因果聯係。結果複活節前，農場主帶來的不是食物而是屠刀。
哲學家大衛·休謨早在300多年前就稱之為“因果關係幻覺”，他認為：“我們無從得知因果之間的關係，隻能得知某些事物總是會連結在一起，而這些事物在過去的經驗裏又是從不曾分開過的。”因此，人類所謂的因果關係，也隻是基於經驗的。說到底，人也是通過訓練，知道某種情況下應該如何處理，也是一種GPT。
於是人工智能科學家們產生了一個共識：相關性就是因果性，是一套描述因果關係的語言體係，它的單位是“概率”，因果關係不是0和100%，而是15%、60%、99%，等等。
人類的學習方式中有一類特殊的隱藏學習，學習者並不知道自己在學習，也沒有人教，也不知道自己什麽時候學會了，就算學會了，也無法總結其中的一些規律。心理學家稱之為“內隱式學習”，最經常被引用的例子是“母語學習”。母語學習都是在上學之前完成的，幾乎沒有正式的學習過程，習得後，也無法總結語言的一般規律。人際關係、情感關係處理的學習，育兒與親子關係的學習，欣賞品位的提升，等等，一切規則模糊領域的學習，都至少有一部分需要內隱式學習。
我們在上學前的學習方法，基本上是內隱式學習，上學後就變成了主動式學習，工作之後，內隱式學習的重要性又開始漸漸提升。人到底是如何進行“內隱式學習”的呢？不知道。
而GPT的人工智能訓練過程，雖然有程序導引，但設計者自己也說，它能表現出一些始料未及的智力，這是一個黑箱，其間到底發生了什麽，就像兒童有一天忽然開口說話了、站起來走路了，其中到底發生了什麽，沒有人知道。
人腦，也是一套特殊的算法模型，跟人工智能沒有本質的區別，隻是複雜得多——大黑箱設計出的小黑箱，難怪馬斯克會擔心，不知道它在無數次迭代後，會出現什麽？
更多我的博客文章>>>
選擇“Disable on www.wenxuecity.com”
選擇“don't run on pages on this domain”
