以前有報道，美國兩個律師法庭上引用了一個chatgpt憑空編造出來子虛烏有的案例，受到法官嚴厲懲罰，臉麵掃地。
生成式AI和早期的AI比，邁出了根本性的一步，獨立生產數據。這之前的AI, 比如機器學習machine learning和數據挖礦data mining, 都止步於淺表的數據現象抓取，而且都是在人類督導supervised下進行的, 譬如在一組有關某件事物的曆史數據裏找出主流演變規律，選出數學模型做最佳擬合，人們便可以把這個數學模型用於預測該事物的今後走向。再譬如在一個社交媒體的論壇裏用基於規則的文字數據處理方法發現談論最熱烈的話題，並對這個話題做簡單指征量化，多少看法正麵多少負麵，多少表達客觀多少主觀，如此而已。這些所謂AI 應用其實並沒有產生新的數據，隻是把已有數據歸納總結，本質上和傳統的統計數學方法如線性回歸並無兩樣。
年前chapgpt3出道時風頭無兩，試用過的都將其驚為天人，興高采烈以為從此可以躺倒輕鬆幹大事賺大錢的有之，心驚膽戰以為從此將被機器智能取代的更不乏人在。自己也驚訝於其幾近完美的語言表達式智能，很快將其用於兩個方麵，一是當作高概括性的搜索引擎，省了很多從眾多搜索結果裏去概括內容總結成文的時間，二是幫助寫程序，事半功倍，而且跟著它學了一些不熟悉的程序包。
昨天團隊裏一個數據科學家忽然在chat board 裏說"我現在已經大量減少使用chatgpt了，它把不少use case 搞錯了“，小夥不久前還大誇chatgpt用於幫助編程有多棒。聯想自己的使用經曆，忽然覺得現在是時候回顧一下生成式AI到底有多能，有多危險，我們又可以在多大程度上依靠它。
開頭提的兩個律師的事情，像個笑話，其實很容易在任何一個依賴生成式AI的人身上發生。比較容易預防的是它的偽專家和假邏輯，譬如問它一兆瓦GW功率的發電機能提供多少百萬瓦小時MWh的電能，它或會信口開河1000 MWh, 還煞有介事推理因為1GW等於1000MW（沒錯哈），所以......，呃呃。較難發現的陷阱是，生成式AI有杜撰信息來源的傾向，它的大言不慚和老到的文字表達，很難讓人一下意識到它的謊言，譬如你問近來美國兩黨政治有何高潮，它會告訴你一個與你印象挺合拍或挺信得過的陳述，你然後逼問它信息來自何處，它會信誓旦旦說來自CNN某月某日一篇叫做“當今美國兩黨政治的一些引人注目的現象”的報道，匆忙中你很可能信手將其引用進你的作業或報告，你便加入了那兩個律師的倒黴蛋隊伍中了，我可以肯定這個隊伍正在迅速壯大。
生成AI會根據使用者的提示生成真真新的信息，譬如一個故事，一幅畫，但也會生成一個假新聞，對於其強大的無人督導的unsupervised神經元網絡，生成一個故事和編造一個似是而非的謊言並無區別，隻是後者的創造性係數更高而已，沒有道德律的約束，它是不介於跨越兩者間那條細細的分界線的。其二，生成式AI目前還隻是一個大語言學習模型，它通過學習語言的表述順帶吸收了語言表述中的各個領域的內容，可想而知，這樣的專業學習是很不完全的，至少很多專業內容是通過數學形式表達的，要無人督導的生成AI自學人類抽象智慧的皇冠微積分恐怕還得等些時日。其三，知識本身固有的不完備性，哥德爾不完備定理描述了數理係統的不完備，其實語言表述係統的不完備更要高出幾個數量級，一句話往往有極其不確定的含義，語法鬆散的中文比英文更容易產生歧義，現實裏很常見的，即使語法嚴謹，語言邏輯本身也會含有矛盾比如理發師悖論，生成AI在巨大算力推動下的高速巨量的學習，使它遭遇邏輯不完備的頻率比人的一生都要高出不知多少倍，這些不完備也被提煉進了它的學習模型。最後，也是最暗黑的，是人性之惡也一定也體現在人類語言裏，生成AI這樣無人督導的拾到籃裏就是菜的學習，難免不將語言裏的人性之惡也學習了來，gpt早期就有報道發現它有暴力傾向而不得不人工幹預，它會學暴力也就會學欺騙，隻是後者要難以被發現得多。
一個大學畢業生，如果他是該大學的附小附中一路學上來的，他的知識和智能一定帶著這個大學的特有烙印，這如果是所哈佛般的一流大學，他學識將比較優良，但如果這是所野雞大學，那畢業生的表現也可想而知了。不幸的是，對於生成AI這個始於一張白紙的學生，我們給它準備的從附小到大學的一係列課堂和課本並不優質，而是人類自己劣跡斑斑的寫照，那它畢業後大言不慚地對我們撒幾個謊，我們除了自己臉紅是不應該大驚小怪的。
到頭來 AI隻是一件工具，是否得心應手往往是使用者的素質決定的，一把榔頭用來敲釘子，有多少人卻用它砸了自己的手指？
