2006 (217)
2007 (225)
2008 (142)
2010 (96)
2011 (174)
2013 (239)
2014 (120)
2017 (1)
2023 (348)
2024 (102)
深度探索麵世,令美國股市跳水,其訓練一個大模型的費用,少於Meta很多高管的年薪。這種現象,我也有過類似的經曆,可以說開始還是一個強烈的文化衝擊。
我做博士研究的時候,麵對一個實驗問題苦思冥想,尋找一個可以解決問題的電路設計。而白人同學,還是原有的電路設計不變,隻是翻看摩托羅拉器件手冊,找了一個性能更好,各項指標更高的器件,要老板買新器件。這是三十多年前的事情了,具體細節我都忘了,隻是那個文化衝擊至今沒有忘記。
深度探索以很少的資源,很低等的硬件,做出來的模型不比美國砸錢砸設備做出來的大模型遜色。我認為就是個文化問題。
中國文化求諸於內,基督教文化求諸於外。比如中國人求佛,求諸於內,佛在心中,要冥想修禪。正心誠意,格物致知。西方人求上帝,求諸於外,必須借助耶穌,否則就不能和上帝溝通。
我在女王大學物理學磁性組做過兩年博士後。磁性組的專攻,就探測油氣管道的缺陷,檢查管道是否需要更換。老板讓兩代研究生做了個計算機模擬程序,計算有缺席的管道的電磁波。管道是圓柱形的,用到柱函數。柱函數是超越函數,解是存在的,但用公式筆算是算不出來的,類似我們學習三級函數,中學學習時是查表,或者用計算尺,後來當然是用計算器和計算機。
那個模擬程序慢得要命,放上一個參數,要算上幾個小時才輸出數據。那時候計算機也是一種試驗,數據出來了,看看效果,要調數據再算,管道參數,缺陷尺寸參數,電磁信號參數等等,調一個參數,上午開機,下午才知道一個結果,那一天時間不是坐等計算機計算的,一定是去幹其它工作,其它工作也不便就隨意中止,結果那個程序基本等於沒有用。想算一個東西吧,兩三天後就放棄了,妥妥的爛尾樓研究。於是老板讓我優化這個程序。
計算機程序裏邊有循環計算,我發現那個程序,很多循環裏邊有超越函數,特別是循環套循環,套三層循環裏邊調用一個三級函數,那得把計算機跑得發熱。我於是放棄了在循環裏邊調用函數,給一個精度判斷,用近似公式代替調用函數,如正弦三角函數,數值小的根本不用算,Sin(x)就是x。 我修改了程序以後,每次計算兩分鍾就出結果了,一個研究生要研究個問題,做在計算機前反反複複調數據,一天輕輕鬆鬆就能算出上百個數據,比原來效率提高百倍。原來不實用的程序就變成實驗室裏得力工具了。
這除了文化心理不同以外,數學素養也很重要。我教授過5年梁昆淼的《數學物理方法》,對數學有感覺。