哇，Ilya剛剛宣布成立一家AI安全公司，因為超級智能已經觸手可及，安全AI迫在眉睫。。。
當大家還在說AI其實挺笨的時候，行業領頭人們已經預感的危險。。。
順便推薦一本以前看過的書，2018年出版的《生命3.0》。
那個時候AI還沒有像現在這麽引起大家的關注，大家都覺得離我們很遠，也沒啥可玩的AI的產品。。。
書中提到普羅米修斯，一個巨型的AI計算機。其實英偉達也正計劃建個類似AI中心。。。
Ilya預感到普羅米修斯要來了。。。
《摘錄》
“歐米茄團隊建造的人工智能昵稱叫“普羅米修斯”（Prometheus），它一天比一天強大。誠然，它的認知能力在社技能等許多方麵還遠遠落後於人類，但歐米茄團隊竭盡全力讓它在一
個任務上表現超凡，這個任務就是編寫人工智能係統。他們之所以選擇這個計劃，是因為他們相信英國數學家歐文·古德在1965年提出的“智能爆炸” (1)理論。古德說道：
讓我們給“超級智能機器”（ultraintelligent machine）下一個定義，那就是：一台能超越任何人（無論這個人多麽聰明）的所有智力活動的機器。由於設計機器也屬於
這些智力活動中的一種，因此，一台超級智能機器就能設計出更好的機器；那麽，毫無疑問會出現一種“智能爆炸”，到那時，人類的智能會被遠遠甩在後麵。於是，第一台超級智能機
器就會成為人類最後一個發明，隻要它足夠馴良，並告訴人類如何控製它就行。歐米茄團隊認為，隻要他們能讓這個不斷迭代的“自我改善”過程持續下去，那麽最終，這台機器就會變得非常聰明，足以自學其他有用的人類技能。”
==================================
