ChatGPT是個誠實的小騙子

（這是關於我問ChatGPT的一些問題。因為HTML formatting, 沒有把對話的內容複製在這裏。感興趣的朋友請用鏈接 ChatGPT是個誠實的小騙子）

我在上一篇ChatGPT是個小騙子裏說到過它常常一本正經的胡說八道。如果不熟悉相關知識，就可能被它信心滿滿的架勢給蒙了。這小家夥不僅臉皮厚，還冥頑不靈：被指出錯誤以後，道歉誠懇，堅決不改；再道歉，再犯錯、直到你放棄。一個朋友認真努力去教它寫中文格律詩詞，結果最後還是歎氣“孺子不可教也”

這次我叫它誠實的小騙子，是在用了更多一些時間以後，問了它一些問題。想看看它究竟怎麽工作、怎麽想事情的。它比較老實地告訴了我它“腦子”是怎麽想，怎麽處理各種情況，為什麽會“犯傻”的。所以我給它標注一點正能量，給個“誠實”的小星星。要想摘掉小騙子這個稱號，它還要慢慢長大才行。不過，說到它的成長，雖然我們不會在這裏多說這個問題，值得一提的是，我發現它成熟的速度非常快，和我們對其他軟件發展進化的常識完全不同。

對ChatGPT後麵的原理了解越多，就看到越多人類的影子和人工智能的未來。這個話題太長，先按下不說。我這次問它的問題主要圍繞這幾點：

1. 它的推理機製。在解答數學問題的時候，它在很多地方都表現出缺乏基本的推理能力。它的“因為”條件和“所以”結論可以完全沒有邏輯關係。盡管我後續的提問發現它的知識庫裏其實是有相關信息和邏輯關係的。這個問題有些意思：它是得到了相關的訓練而且生成了相關知識的；但是在生成回答的時候，這些知識並沒有優先用上。從我和它下麵的對答來看，這可能是應用層次的訓練還不夠。也就是說用得還不夠。還要有更多的人去用、去糾正它，這些知識才能有效自然地參與到推理應用中。
2. 不同語言的互匯性。很多人都已經發現同樣的問題用不同的語言詢問會得到不同的回答（事實上同一個語言也會得到不同的答案）。我也注意到我用中文問它問題時得到的回答常常都比用英文得到的內容少。我想知道這種差異在同一種語言內和不同語言之間的關係。我們都知道，不同語言的文字資源相差非常大。很自然我們想知道它有沒有利用資源豐富的語言來幫助資源貧乏的語言。
3. 它對用戶提供的實時反饋是什麽態度，是如何利用的。比如我們發現它的錯誤並予以糾正的時候，它有可能借此產生不同的回答。但也有很多時候它隻是口頭上接受，在具體回複裏頑固地繼續犯同樣的錯誤。了解這種機製對用戶當然很重要。這可以讓我們知道如何調整輸入的信息去獲得更好的回複。

總的來說，它的回答中規中矩，“誠實”中帶一點小狡猾。偶爾也會前後矛盾。也總少不了囉囉嗦嗦地做無辜狀、強調自己隻是個AI 語言模型等一係列的套話等。

結合其它方麵的知識，我們可以從它的回答裏麵引申出不少很有意思也很重要的東西。在這裏我們不占用太多的篇幅來分析它的回答。有機會我們以後再說。這裏簡要列舉幾條和上麵的問題相關的：

1. 它的推理和知識不總是一致，可能是分離的（這和人類很相似，和完全建立在知識圖譜上的人工智能差別很大）。它是在語言“學習”的過程中建立自己的知識體係（這也和我們人類的學習成長很類似，幼兒通過語言和外界的反饋逐漸有了各種知識）。它學到的知識也包含了知識內部的各種邏輯關係。這是它推理的基礎。它由此獲得的推理能力和下麵我們關心的語言問題密切相關：如果沒有足夠的數據，它推理的能力肯定比在其它的語言上弱。另外，它回答問題時用的推理算法並不一定保證最好的運用自己已經掌握的知識。在有足夠正確知識的時候，它甚至會產生邏輯錯誤的答案（這和人類也很類似。我們做邏輯推導的時候並不一定保證總是充分運用了自己已經掌握的知識）。這一點和以前大家熟悉的完全依靠知識圖譜的人工智能係統很不一樣。後者不會犯類似的錯誤。但是後者的局限性也很大。
2. 另外一個問題和推理有關的是它的數學推理能力以及對特殊學科的適用性。下麵的問答沒有包含這些問題，是在其它時間問的。它目前沒有很好地使用任何更成熟有效的數學係統（它有和其它係統的集成，但是它在詳細解答中沒有用，還騙我是用了的，直到我把它揭穿）。它用的是自身所有的數學的法則和技術。它自稱非常經典的數學問題它有存儲對應的推理、證明和解答，但是我沒有看到它用。一切都靠實時計算和推理，因此錯誤很多，初中程度代數都常常做錯。這當然不是一個數學領域的問題，這涉及這種語言模型對特殊學科的適用性。比如典型證明典型解答，這些傳統意義的知識點有其特別的重要性。不是它自己臨時產生的解答可以代替的。
3. 它的知識和所用的語言基本綁定。它雖然在訓練時可能借助其它語言的資源，但仍然很受自己語言資源的限製。因為各種語言的差異，詞匯翻譯理解之間的不同，它也不會在回答問題時跨語言給你找出最好的回答。因為那可能產生更多的混亂。所以不同語言的知識的差別不可避免。這意味著如果一個語言現有的文字和知識資源很貧乏，或者欠缺某一方麵的內容，使用這種語言的用戶就可能得不到最好的答案。結果是在它的世界裏，世界按語言劃分出了“階級”。可想而知，如果一種語言的文字資源長期缺乏或自我封閉，那就是先天不足、就是自宮。聯想到這類係統未來的前景，和它給我們對人工智能潛力的啟示，我仿佛又看到了當初歐洲工業革命帶來的世界文明的分水嶺。。。我在最後給了一個關於數學史的中英文回答比較的例子。
4. 它沒有實時學習的功能。或者說是被禁止了。你不要浪費時間去給它灌輸新的知識或者觀點。你可以提供更多的信息去幫助它更好的利用已有的知識去“推理”去產生更好的回答。但是如果超越了它已有的知識，它不能真正馬上接受你的”教誨“。你對它的糾正隻會得到它“口頭”的認可，但是它不會利用你提供的輸入去產生你認可的答案。因為係統的管理者必須盡量控製訓練數據以避免它的”思想“被”汙染“（這是不是有點熟悉）但是，如果它已經具有相關的知識，即使最初回答錯誤，如果我們調整輸入的問題或者提供好的提示，它也是可以給出很好的回答（這也和人類相似：我們常常也要經過不同的嚐試才能在自己的知識基礎上找出合適的解答）。

下麵是我和ChatGPT的對話。藍色的是我的問題，黑色的是它的回答。考慮到它經常對中文的詢問給比較簡短的回答，下麵的對話都是英文。我最後用了穀歌翻譯。ChatGPT的答複因為很長，我基本沒有做任何修改。但感覺穀歌翻譯進步不少，大家要看懂沒有什麽問題。不像以前常常主謂賓都搞錯。當然也可能是因為這些AI產生的文字語法都比較規範，AI翻譯起來自然會容易很多。

下麵和ChatGPT的對話因為HTML formatting, 沒有繼續複製在這裏了。感興趣的朋友請用下麵的鏈接

ChatGPT是個誠實的小騙子