北京人工智能研究院(BAAI)的研究人員2021年6月宣布了自己的生成性深度學習模型“悟道”(Wu-Dao 2.0 下圖 GPT-3 DEMO)，稱“悟道”在現有GPT-3基礎上，擴展了更多功能。而“悟道”接受的參數已達1.75萬億 (基本上是模型的自選係數)，為GPT-3的10倍，比之前的霸主穀歌開關變壓器(Google's Switch Transformers)還要多1500億個參數。 
為了在這麽多的參數上訓練一個模型並迅速做到這一點，BAAI研究人員首先開發了一個類似於穀歌混合專家的開源學習係統，名為“FastMoE”(下圖 World Stock Market)。該係統可在PyTorch上運行，使模型能夠在超級計算機集群和常規GPU上進行訓練。這使得FastMoE比穀歌的係統更具靈活性，因為FastMoE可在現成的硬件上運行，而無需類似穀歌TPU這樣的專有硬件。 
“悟道”2.0厲害之處在於它可以同時處理文字生成和圖像生成這兩種方向完全不同、內在原理迥異的困難任務。在實驗室年會上，BAAI的研究人員展示了“悟道”執行自然語言處理、文本生成、圖像識別和圖像生成任務的能力。該模型不僅可以用繁體中文書寫散文、詩歌和對聯，還可以根據靜態圖像生成替代文本，以及基於自然語言描述生成近乎照片般逼真的圖像(下圖 WorMedium)。“悟道”甚至還有“驅動虛擬偶像” 自己製作音樂視頻、寫詩和創建字幕的能力，以及預測AlphaFold等蛋白質的3D結構的能力。特別要指出的是，這些在海量數據集上訓練的先進模型，和人類一樣，擅長轉移學習。據說在圖文生成、詩詞創作、智能問答等任務上，“悟道”2.0已接近人類兒童水平。從原來的文本為主逐漸往更強大，更通用的方向上發展 -- 根據文字生成高精度的圖片，根據圖像去檢索文字，實現圖像和文字的互相檢索。 
發布生成性深度學習模型“悟道”2.0的北京智源人工智能研究院BAAI，英文全稱為Beijing Academy of Artificial Intelligence,誕生於2018年11月啟動的“北京智源行動計劃”。該計劃是由北京的企業、高校、科研院所在中國大陸科技部和北京市的支持下共同提出的，旨在協調人才、資金共同推進人工智能研究。成立不到三年，BAAI就發表了多模態神經網絡模型“悟道”2.0，顯著提升了BAAI在人工智能基礎科研領域的受關注度。BAAI的人員組成也相當豪華(下圖 BAAI)。 
BAAI創始人兼理事長張宏江，是美國計算機學會 ACM 院士、前金山軟件 CEO、微軟亞洲研究院聯合創始人之一，目前擔任源碼資本投資合夥人。張宏江是多媒體世界大會第一位擔任技術委員會主席的華人，也是開創了計算機視頻檢索領域的專家之一。BAAI理事會和學術谘詢委員會成員也都是行業學術大卡： 黃鐵軍 BAAI院長兼副理事長，係圖像識別和視頻編碼領域的專家，相關國家標準製定者之一，曾擔任北大計算機係主任，2021四月入選中國工程院院士(2021)增選有效候選人名單； 崔寶秋 理事會成員，現任小米集團副總裁、集團技術委員會主席，小米的雲計算-大數據-AI發展路線製定者； 孫劍 理事會成員，為曠視首席科學家、研究院院長、曾任微軟 ResNet 技術團隊領頭人，計算機視覺方麵專家、連續四年擔任計算機視覺頂會 CVPR 領域主席； 王海峰 理事會成員，現任百度首席技術官，兼任深度學習技術及應用國家工程實驗室理事長，是自然語言處理領域國際頂級學術組織 ACL 的首位華人主席； 朱鬆純 學術谘詢委員會成員，係清華和北大講席教授、及北大人工智能研究院院長，為計算機視覺和模式識別方麵專家，曾獲得馬爾獎、亥姆霍茲獎等頂級獎項； 徐波理 事會成員，現任中科院自動化所所長、科技部新一代人工智能戰略谘詢委員會專家委員，長期從事語音語言信息處理研究，係中文語音識別方麵的國際級專家。 隨著美中在包括IA在內的高新技術科技領域競爭的白熱化，相信會有更聰明、更善解人意、寫文解題更敏捷的新AI模型會從美國和中國大陸的研究機構和院校出現，人類的生活也會因此更愜意。當然，前提是美、中及其他國家間的競爭是良性的。期待。 最新消息：由中科大潘建偉團隊研發的量子計算機“祖衝之號”實現了量子霸權(下圖10 THE QUANTUM DAILY)。“祖衝之”像穀歌“鈴木” (Sycamore)量子計算機一樣，為二維可編程計算機。但“祖衝之”使用56個量子比特，比“鈴木”53個量子比特強2-3個數量級的量子優越性。潘建偉團隊的相關論文預印版已上傳至arXiv上。或許很快美國方麵也會有更快的量子計算機推出。無論如何，因為美中間的競爭，科學技術正發生激動人心的變化。 
* FastMoE即Fast(快速)+MoE(Mixture of Experts多專家模型)。MoE是一個基於分而治之原理，在門控網絡的監督下，將問題空間劃分給幾個神經網絡專家使用的機器學習技術，也是穀歌最近發布的1.5萬億參數預訓練模型Switch Transformer的核心技術。它對於預訓練模型經從億級參數到萬億級參數的跨越，起了重要推動作用。但MoE必須使用穀歌分布式訓練框架mesh-tensorflow和Google定製硬件TPU，而FastMoE則可在不同規模的計算機或集群上支持研究者探索MoE模型在不同領域的應用。 * Pytorch是torch的python版本，是由Facebook開源的神經網絡框架，專門針對 GPU 加速的深度神經網絡（DNN）編程。Torch 是一個經典的對多維矩陣數據進行操作的張量（tensor）庫，在機器學習和其他數學密集型應用有廣泛應用。與Tensorflow的靜態計算圖不同，pytorch的計算圖是動態的，可以根據計算需要實時改變計算圖。 參考資料 在野. (2020). 對話出門問問李誌飛：GPT-3 是「暴力美學」的一次勝利. GEEKPARK. 鏈接 https://www.geekpark.net/news/263849 智源社. (2021). 區智源x清華開源FastMoE，萬億AI模型基石. CSDN. 鏈接 https://blog.csdn.net/BAAIBeijing/article/details/114389119 譚婧. (2020). 史上最大，人工智能算法模型GPT-3問世，這意味著什麽？ 澎湃. 鏈接 https://www.thepaper.cn/newsDetail_forward_8052804 BAAI. (2021). BAAI. 鏈接 https://www.baai.ac.cn/en Bama, A. (2021). This Chinese Super Scale Intelligence Model, ‘Wu Dao 2.0’, Claims To Be Trained Using 1.75 Trillion Parameters, Surpassing All Prior Models to Achieve a New Breakthrough in Deep Learning. MARKTECHPOST. 鏈接 https://www.marktechpost.com/2021/06/13/this-chinese-super-scale-intelligence-model-wu-dao-2-0-claims-to-be-trained-using-1-75-trillion-parameters-surpassing-all-prior-models-to-achieve-a-new-breakthrough-in-deep-learning/ Black, D. (2021). China now has the most powerful neural network: it is many times smarter than competitors from Google and Open AI. World Stack Market. 鏈接 https://www.worldstockmarket.net/china-now-has-the-most-powerful-neural-network-it-is-many-times-smarter-than-competitors-from-google-and-open-ai/ He, H. (2021). China’s GPT-3? BAAI Introduces Superscale Intelligence Model ‘Wu Dao 1.0’. Synced Global AI Weekly. 鏈接 https://medium.com/syncedreview/chinas-gpt-3-baai-introduces-superscale-intelligence-model-wu-dao-1-0-98a573fc4d70 Naik, A.R. (2021). Wu Dao 2.0: China’s Answer To GPT-3. Only Better. AIM. 鏈接 https://analyticsindiamag.com/wu-dao-2-0-chinas-answer-to-gpt-3-only-better/ OpenAI. (2021). About. 鏈接 https://openai.com/about/ Tarantola, A. (2021). China's gigantic multi-modal AI is no one-trick pony. yahoo!finance. 鏈接 https://finance.yahoo.com/news/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-211414388.html Wiki. (2021). OpenAI. 鏈接 https://en.wikipedia.org/wiki/OpenAI |
