國華的世界
這是國華對讀過的書, 看過的電視／電影, 聽過的音樂, 訪遊過的地方, 經曆過的事物， 和時事的感想或點評.
北京人工智能研究院(BAAI)的研究人員2021年6月宣布了自己的生成性深度學習模型“悟道”(Wu-Dao 2.0 下圖 GPT-3 DEMO)，稱“悟道”在現有GPT-3基礎上，擴展了更多功能。而“悟道”接受的參數已達1.75萬億 (基本上是模型的自選係數)，為GPT-3的10倍，比之前的霸主穀歌開關變壓器(Google's Switch Transformers)還要多1500億個參數。
為了在這麽多的參數上訓練一個模型並迅速做到這一點，BAAI研究人員首先開發了一個類似於穀歌混合專家的開源學習係統，名為“FastMoE”(下圖 World Stock Market)。該係統可在PyTorch上運行，使模型能夠在超級計算機集群和常規GPU上進行訓練。這使得FastMoE比穀歌的係統更具靈活性，因為FastMoE可在現成的硬件上運行，而無需類似穀歌TPU這樣的專有硬件。
“悟道”2.0厲害之處在於它可以同時處理文字生成和圖像生成這兩種方向完全不同、內在原理迥異的困難任務。在實驗室年會上，BAAI的研究人員展示了“悟道”執行自然語言處理、文本生成、圖像識別和圖像生成任務的能力。該模型不僅可以用繁體中文書寫散文、詩歌和對聯，還可以根據靜態圖像生成替代文本，以及基於自然語言描述生成近乎照片般逼真的圖像(下圖 WorMedium)。“悟道”甚至還有“驅動虛擬偶像” 自己製作音樂視頻、寫詩和創建字幕的能力，以及預測AlphaFold等蛋白質的3D結構的能力。特別要指出的是，這些在海量數據集上訓練的先進模型，和人類一樣，擅長轉移學習。據說在圖文生成、詩詞創作、智能問答等任務上，“悟道”2.0已接近人類兒童水平。從原來的文本為主逐漸往更強大，更通用的方向上發展 -- 根據文字生成高精度的圖片，根據圖像去檢索文字，實現圖像和文字的互相檢索。
發布生成性深度學習模型“悟道”2.0的北京智源人工智能研究院BAAI，英文全稱為Beijing Academy of Artificial Intelligence,誕生於2018年11月啟動的“北京智源行動計劃”。該計劃是由北京的企業、高校、科研院所在中國大陸科技部和北京市的支持下共同提出的，旨在協調人才、資金共同推進人工智能研究。成立不到三年，BAAI就發表了多模態神經網絡模型“悟道”2.0，顯著提升了BAAI在人工智能基礎科研領域的受關注度。BAAI的人員組成也相當豪華(下圖 BAAI)。
BAAI創始人兼理事長張宏江，是美國計算機學會 ACM 院士、前金山軟件 CEO、微軟亞洲研究院聯合創始人之一，目前擔任源碼資本投資合夥人。張宏江是多媒體世界大會第一位擔任技術委員會主席的華人，也是開創了計算機視頻檢索領域的專家之一。BAAI理事會和學術谘詢委員會成員也都是行業學術大卡：
黃鐵軍 BAAI院長兼副理事長，係圖像識別和視頻編碼領域的專家，相關國家標準製定者之一，曾擔任北大計算機係主任，2021四月入選中國工程院院士(2021)增選有效候選人名單；
崔寶秋 理事會成員，現任小米集團副總裁、集團技術委員會主席，小米的雲計算-大數據-AI發展路線製定者；
孫劍 理事會成員，為曠視首席科學家、研究院院長、曾任微軟 ResNet 技術團隊領頭人，計算機視覺方麵專家、連續四年擔任計算機視覺頂會 CVPR 領域主席；
王海峰 理事會成員，現任百度首席技術官，兼任深度學習技術及應用國家工程實驗室理事長，是自然語言處理領域國際頂級學術組織 ACL 的首位華人主席；
朱鬆純 學術谘詢委員會成員，係清華和北大講席教授、及北大人工智能研究院院長，為計算機視覺和模式識別方麵專家，曾獲得馬爾獎、亥姆霍茲獎等頂級獎項；
徐波理 事會成員，現任中科院自動化所所長、科技部新一代人工智能戰略谘詢委員會專家委員，長期從事語音語言信息處理研究，係中文語音識別方麵的國際級專家。
隨著美中在包括IA在內的高新技術科技領域競爭的白熱化，相信會有更聰明、更善解人意、寫文解題更敏捷的新AI模型會從美國和中國大陸的研究機構和院校出現，人類的生活也會因此更愜意。當然，前提是美、中及其他國家間的競爭是良性的。期待。
最新消息：由中科大潘建偉團隊研發的量子計算機“祖衝之號”實現了量子霸權(下圖10 THE QUANTUM DAILY)。“祖衝之”像穀歌“鈴木” (Sycamore)量子計算機一樣，為二維可編程計算機。但“祖衝之”使用56個量子比特，比“鈴木”53個量子比特強2-3個數量級的量子優越性。潘建偉團隊的相關論文預印版已上傳至arXiv上。或許很快美國方麵也會有更快的量子計算機推出。無論如何，因為美中間的競爭，科學技術正發生激動人心的變化。
* FastMoE即Fast(快速)+MoE(Mixture of Experts多專家模型)。MoE是一個基於分而治之原理，在門控網絡的監督下，將問題空間劃分給幾個神經網絡專家使用的機器學習技術，也是穀歌最近發布的1.5萬億參數預訓練模型Switch Transformer的核心技術。它對於預訓練模型經從億級參數到萬億級參數的跨越，起了重要推動作用。但MoE必須使用穀歌分布式訓練框架mesh-tensorflow和Google定製硬件TPU，而FastMoE則可在不同規模的計算機或集群上支持研究者探索MoE模型在不同領域的應用。
* Pytorch是torch的python版本，是由Facebook開源的神經網絡框架，專門針對 GPU 加速的深度神經網絡（DNN）編程。Torch 是一個經典的對多維矩陣數據進行操作的張量（tensor）庫，在機器學習和其他數學密集型應用有廣泛應用。與Tensorflow的靜態計算圖不同，pytorch的計算圖是動態的，可以根據計算需要實時改變計算圖。
參考資料
在野. (2020). 對話出門問問李誌飛：GPT-3 是「暴力美學」的一次勝利. GEEKPARK. 鏈接 https://www.geekpark.net/news/263849
智源社. (2021). 區智源x清華開源FastMoE，萬億AI模型基石. CSDN. 鏈接 https://blog.csdn.net/BAAIBeijing/article/details/114389119
譚婧. (2020). 史上最大，人工智能算法模型GPT-3問世，這意味著什麽？ 澎湃. 鏈接 https://www.thepaper.cn/newsDetail_forward_8052804
BAAI. (2021). BAAI. 鏈接 https://www.baai.ac.cn/en
Bama, A. (2021). This Chinese Super Scale Intelligence Model, ‘Wu Dao 2.0’, Claims To Be Trained Using 1.75 Trillion Parameters, Surpassing All Prior Models to Achieve a New Breakthrough in Deep Learning. MARKTECHPOST. 鏈接 https://www.marktechpost.com/2021/06/13/this-chinese-super-scale-intelligence-model-wu-dao-2-0-claims-to-be-trained-using-1-75-trillion-parameters-surpassing-all-prior-models-to-achieve-a-new-breakthrough-in-deep-learning/
Black, D. (2021). China now has the most powerful neural network: it is many times smarter than competitors from Google and Open AI. World Stack Market. 鏈接 https://www.worldstockmarket.net/china-now-has-the-most-powerful-neural-network-it-is-many-times-smarter-than-competitors-from-google-and-open-ai/
He, H. (2021). China’s GPT-3? BAAI Introduces Superscale Intelligence Model ‘Wu Dao 1.0’. Synced Global AI Weekly. 鏈接 https://medium.com/syncedreview/chinas-gpt-3-baai-introduces-superscale-intelligence-model-wu-dao-1-0-98a573fc4d70
Naik, A.R. (2021). Wu Dao 2.0: China’s Answer To GPT-3. Only Better. AIM. 鏈接 https://analyticsindiamag.com/wu-dao-2-0-chinas-answer-to-gpt-3-only-better/
OpenAI. (2021). About. 鏈接 https://openai.com/about/
Tarantola, A. (2021). China's gigantic multi-modal AI is no one-trick pony. yahoo!finance. 鏈接 https://finance.yahoo.com/news/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-211414388.html
Wiki. (2021). OpenAI. 鏈接 https://en.wikipedia.org/wiki/OpenAI
“回複 '國華P' 的評論 : +1
了不起，真是了不起！ 還有就是命題不止介紹AI的技術，好指出了中美的競爭。我認為在技術層麵上，絕對不會“既生瑜，何生亮”的，隻有“瑜比亮更聰，亮比瑜更明”的，人類所以才有今天，才會有未來。”
了不起，真是了不起！ 還有就是命題不止介紹AI的技術，好指出了中美的競爭。我認為在技術層麵上，絕對不會“既生瑜，何生亮”的，隻有“瑜比亮更聰，亮比瑜更明”的，人類所以才有今天，才會有未來。
所謂的文明就是社會化，就是由單打獨鬥或者原始部落，走向愈來愈大規模的分工協作，從而達到越來越高的生產效率。
但是隻要有社會組織，就必然有階層有管理，就必然有不平等和階級矛盾，就必然產生貪婪的邪惡。人類越文明也就越野蠻。
不論是何種社會形式，奴隸社會，種姓社會，封建社會，世家社會，自由資本社會，國家資本社會，以及所謂的社會主義社會，都是換湯不換藥的三六九等社會。而且社會階層對社會資源的占有也都是社會等級的平方比立方比。
上層生活的奢華其實隻是冰山一角，真正的大頭其實是上層把持資源所能維護的傳承，即所謂階層固化。要想翻身，改變社會必然九死一生，改變自己更是概率渺茫。
而技術的發展或許讓這點夢想也扼殺幹淨。
人工智能這個詞現在很火。但是比起古老的機器人一詞，明顯還是欠缺了內涵。機器人，機器人，機器加人才是正道。
機器加人，可以是簡單的人來操作機器，隻不過這個機器越來越厲害。厲害到像傳說中的法寶，比如如意金箍棒。也可以是把機器嵌入成為人體的一部分，好比神話裏的神通，十萬八千裏的跟鬥雲。也可以是機器來改造人類的生物技術，比如煉丹爐煉得火眼金睛。甚至可以是把人類植入機器，七十二般變化卻是同一個靈魂。
總而言之，加持了機器的人，就是修煉成功的神。得道升仙的道是技術之道，但更是管理之道。沒跟腳的法寶，神通，魔改，本領再多再強，也不是神仙，而是妖怪。
按照中國道教神仙體係或者股希臘神仙體係，神仙與人類的差別也就是個能耐大小，其他喜怒哀樂其實都是一樣的。一個是超人，一個是凡人。
凡人總想著占超人的便宜。超人舉手之勞就能讓凡人的日子好很多。可惜都是白日做夢。首先來說，超人凡人都是人。人心不足蛇吞象。凡人日子好起來，除了感激，更多的恐怕是更高的追求，過上超人的日子。而對於超人來說，也有更高的追求，哪有閑工夫為凡人服務。不像妖怪一樣踩著凡人修煉，就已經是大度的神仙了。
機器人統治人類，或者機器人供給人類全民收入，最終恐怕都是癡心妄想。神仙下凡多是傳說。就好比人是不會沒事和豬混在一起的。除非是打獵，或者有大規模飼養的用處，或者小規模飼養的寵物，或者無意識地侵占資源比如山林什麽的導致豬的滅絕。
科技的進步並不僅僅使得高階人類更加強大，延伸能力。也使得低階人類更加弱小，喪失能力。社會化技術化越強，在其中生存的門檻也越高。人類在學校學習的時間越來越長，學習失敗在社會上的生存空間愈來愈窄。而且學習的能力和資源也是一種傳承。一旦喪失，想翻身也是萬難。民主黨白卷工農兵學員政策的推動從短期來看也是一種麵對現實的手段。但是從長遠來看卻有著更深的謀算。
曆史上的低端人口主要是自然消滅的。但是現在的技術條件和道德氛圍不允許這麽發生了。從而導致低端人口的比例在不斷上升。政策也不斷傾斜。其結果就是最終絕大多數人口低端化，或者說亞人類化。對於超人類機器人，統治階級而言，人類過早亞人類化，會導致合格勞動力不足。但是如果機械化智能化，或者說超人的神仙能力大漲以後，則人類的絕大多數亞人類化會是一件大好事。
亞人類與超人類的差距更大於人類（中產階級）和超人類的差距。豬雖然也有靈智，但是殺豬的道德負擔顯然比殺人低得多，哪怕是讓寵物豬安樂死也容易下決心。而且豬的反抗能力和意誌，或者獨立思考生存的能力和意誌也差得多。今天養豬是為了明天更多更好地殺豬。最痛苦的其實是農場裏的聰明豬，還沒有亞人類化的人類，還沒有被民主黨投點豬食就快樂地哼哼的。明知道死路一條，卻又無能為力，還能吃得好睡得香，也是一種幸福。而中產階級就是這麽清醒地走向滅絕。而屠刀還就是她們自己發明製造的高科技產品。
在人類分叉的檔口，是變成超人，還是變成亞人。對於華街矽穀大佬們來說不言自喻。對於黒命貴來說也沒有什麽選擇。而對於中產來說，其實也是華山之路，名校翻身不然就隻能落地。
萬九九九九落地了，也無需悲傷。神仙的世界隻是人少一點，故事還是會一樣的。直到有一天係統徹底整合，超級智能大聯通，眾神世界終究會升級到唯一真神的上帝版。然後再創造一個人類，玩玩？