我一向不喜歡人多,唱大戲式的熱鬧,順帶不喜歡熱鬧話題。
大概也就不小心趕上過一次。當時寫普京的秘密,第一篇選的是瓦格納,結果話音落地沒多久,那個組織出事。於是中文網關於它的介紹鋪天蓋地。我粗粗掃一眼,這都哪兒跟哪兒啊,分明不如我隨便看看順嘴胡編的那幾句有內容。
這次是看老鍵又有長籲短歎整離騷的架勢,一劍一個巴掌揉三揉的調戲人家。我不仗義嗎,打個岔說兩句好了。
好了,今年的諾貝爾物理獎是倆人(好像這些年一直是分了,大概一個人發現什麽元素什麽物理現象的好時光一去不返了),John Hopfield 和Geoffrey Hinton。 委員會給的評價是used tools from physics to construct methods that helped lay the foundation for today’s powerful machine learning 。
到底是怎麽用的?They used physics to find patterns in information.
這個思想最早,要追溯到1982年,Hopfield的一篇文章,Neural networks and physical systems with emergent collective computational abilities,發表在Proceedings of the National Academy of Sciences of the United States of America。那份雜誌是創刊於1915年的周刊,有點像SCIENCE,什麽科技文章都可以投,但是他的側重是生物學和醫藥類,2019的Impact Factor是9,412(很厲害了)。
我給這些數據的意思是,那本雜誌不錯,知道的人很多。文章不長,加參考文獻才5頁,被算在Biophysics欄下。為了寫這個,我從網上找出啦大概看了一下,基本思路是公式的討論完給出一個算法。當時的Hopfield,是49歲。
在那篇文章裏,他第一次提出了associative neural networks這個概念(後來被稱為Hopfield networks),簡單解釋就是網絡(network)由兩部分組成,Nodes(weights)+Connections,每個Nodes權重不同。Hopfield用這個模型來描述人類大腦中的神經元組織工作的過程。
你把數據塞進去,然後生成一種存儲模式(pattern),然後update涉及到節點的權重,生成新的pattern,計算新生成的pattern和已有pattern的距離。通過這個簡單的迭代過程,達到最後可以接受的pattern。
我隨便從網上找了一個示意圖。Hopfield的原文裏是沒有這個圖的,他隻給了最簡單的正態分布來描述memory states產生的noise。
這個模型當然因為太簡單甚至可以說粗陋,也和我們今天用的相差很遠。但是它厲害的地方是,基本思路是不差什麽的。
這就是原創的意義。你做出了以前沒有的東西。所以手工的東西值錢,因為世界上隻有一件,沒有第二件可以完全一摸一樣的,不是MASSENPRODUKT能比的。
呃,比如我前幾天花11個小時給我們姑娘做了一條畢業舞會的舞裙。
她網上店裏看一溜夠,還是覺得沒有自己想要的。遲遲疑疑說,媽媽我想你給我做一條。
她媽媽我隻好咬牙接下那份工作。
一個月遲遲沒有開工,急的WHATSAPP我,媽媽你說好10月份你能有的,到現在我看你針也沒碰剪刀也沒動,你變出來嗎?
我於是BLOCK一個星期天(真的連本地選舉都沒去),到晚上8點,終於完工。
穿上(臭)美極了。站在鏡子前根本不想離開。因為是白色,最後跟我說,媽媽你說我將來HOCHZEIT還穿行不行?
我說你沒那麽慘,HOCHZEIT媽媽最多再做一條新的。
這世界上當然沒有第二條,因為沒有第二個我。
總結一下Hopfield的模型,基本是以下幾個部分,Memory(存儲數據), updating(更新pattern), evaluation(評估結果), deterministic(給出結論)。如前文所言,是很basic的Limit Learning。
有千裏馬就有伯樂。
Geoffrey Hinton讀到這篇文章之後,馬上開始試這個模型並試圖改進它。
Hinton的方法是,在已經有的Hopfield networks基礎上,用很嚴格的rules,具體說是統計力學裏的Boltzmann Distribution,生成一套學習算法(Learning Algorithm),來完成對pattern的生成。包括增加多次隱藏layers,用那個數據做backpropagation。
Hinton 是British-Canadian,在google工作多年,被稱為AI之父(Godfather of AI)。在2023年5月離開。他自己給出的離開原因是,他希望能自由發表對AI這件事的看法(網上有對他采訪的原文,我不貼連接了,很容異找到)。
他的觀點是,
Machines are closer to humans than we think。
We are breeding a superior species that we won’t be able to control。
。。。。。。
很多科幻電影都有抄這個思路的。導演胡編的嗎?
諾貝爾委員會對這次物理獎強調的是,the Neural network has been very useful in Physics. They are used for data analysis, modelling, for analyzing data that produced by the models.
現在資訊發達,這些都很容易找到,我不多重複。
而且不用擔心是Fake News。
至於我自己,你問我的看法,我會說,很好啊。最多算是對物理的定義寬泛一點而已。再早,在古希臘的小孩子(還得是男孩,8歲以後),不是隻有兩門課可以上?體育和數學。
後來自然科學越分越細,社會科學也各成一派,如果再往回走。我覺得沒什麽。
我能接受。我又不是老鍵。