照葫蘆畫瓢---自得其樂

There are no mistakes, just happy accidents---Bob Ross
正文

田淵棟的采訪

(2025-11-15 06:52:42) 下一個

陳茜:

過去幾天對你來說是什麽樣子的?我知道很多人來聯係你,包括媒體還有很多公司都來找你,你自己是什麽樣的一個心態?

田淵棟:

因為我在被裁之前已經有offer了,我在被裁之前我已經跟我那些上級說過:哎呀,我不是很爽,我可能要look around(到處看機會),他們是知道的,所以被裁我也沒有特別驚訝。

所以我覺得無所謂,反正我有offer。當然我拿了offer之後,後來我想想還是在Meta再待一陣子,因為畢竟還是有卡(GPU算力)嘛,還可以再做點東西。但是他們把我裁了的話,那就這樣了唄。

過去這兩天有很多的人找我,很多人跟我聊天,想問有沒有什麽機會什麽的,包括各大公司,肯定你想到公司都聯係我了,而且都比較高級別的人。還有很多小公司有一些co-founding(聯合創始)的機會。

總得來說有很多機會吧,所以現在應該說還在考慮,還沒有決定。因為現在離裁員還不到一個禮拜,還不到168個小時,所以還是需要想一想,再考慮考慮。

陳茜:

裁員是你意料之中的嗎?你當時感覺到裁員會來嗎?

田淵棟:

肯定在意料之中,不然的話我不會去找工作嘛。因為我在公司已經待了10年多了,所以也許這個正好是個時機,可以出來看看,這是我的想法。

至於那公司裏麵情況怎麽樣,我現在還不太方便評論,但是反正這個可能是個人選擇,隻是說這次裁員加速了這個個人選擇。本來可能還在公司裏再待一會,比如再待個半年,然後再考慮一下,但是如果被裁員的話,反正現在都已經出來了,那就出來吧。

AI行業趨勢未來“執行層”的人會變少

陳茜:

裁600人,當時看到這個數字的時候我還是挺震驚的,覺得有點多。雖然不是完全裁,他們可能有機會轉去其他的組。隻是說這個AI部門,他們覺得沒有必要有這麽多人的崗位在這邊了,需要把這個部門重新地restructure(重組)一下。

田淵棟:

對,大概是這樣子。我覺得(裁員)可以說是行業趨勢吧,我們不說Meta具體這幾次情況,因為我也不方便透露太多,但我覺得行業趨勢是如此。

因為AI本身自動化的程度是最高的,比如我們今天有很多人標數據,可能明天模型強了,不需要那麽多人標數據了,後天模型更強了,那需要的人就會少。

我以前聽說過各種消息,比如說以前on call說我這個模型傳到一半掛了,馬上打電話過來說:“掛了掛了,馬上起來。”然後要修、要調參數,看能不能把它救回來。但是現在因為有很多的自動化的工具,如果整個係統做得很好的話,這種事情也變得會很少。所以這樣的話你會相信,各種各樣的pipeline(項目流程)都慢慢變得成熟、變成自動化。那你覺得需要很多人嗎?也並不需要那麽多人。所以我覺得大趨勢肯定是做這個事情的人會越來越少,應該是這樣的一個狀態。

陳茜:

所以你覺得這次裁員不是Meta這一個公司的問題,而是大趨勢可能工程師或者是從事AI的人會越來越少。

田淵棟:

應該是這麽說,如果說得比較嚇人就是,大趨勢是總有一天大家都沒有工作,或者說沒有傳統意義上的工作。現在的情況是我受雇一個公司,然後我幫這公司把事情做好,也許以後並不需要這樣。

比如說如果我去當CEO,或者我去當一個小公司的領導者,或者我自己去創業的話,現在這些工具拿到手之後,我自己都會覺得我並不需要太多人做這事情。有很多事情可以自動化了,而且自動化的程度非常高。所以也許我本來是需要一個團隊,比如說需要幾百人、幾千人去做一件事情,現在也許不需要那麽多人,很多事情可以自動化,可以用agent(智能體)來做。

所以在這種情況下,我覺得總的來說做AI的人可能會越來越少,但是探索用AI來做工具、做其他東西的人會越來越多,大概是這樣的一個過程。

陳茜:

你覺得在foundation model(基礎模型)研究上麵的人會越來越少嗎?

田淵棟:

應該說對foundation mode(基礎模型)的探索性的研究會越來越多但是按照我們之前工程上的邏輯,把這個模型做出來、訓練出來的這些人會越來越少。因為以後會發現大家都遵循同樣的邏輯,把這個模型訓練出來,代碼都是可以跑的,然後都是能有效果的。那為什麽還需要這麽多人呢?肯定有更多人會說我們可以做研究,或者是做一些其他探索性的工作,這樣的人會越來越多。

陳茜:

做應用的人也會越來越多。

田淵棟:

對,但是這個應用不是那種一般性的應用,很多時候可能會落地到某個具體的垂直領域,或者說用這個東西做一些你現在想做的事情,這樣的人應該會越來越多。

陳茜:

但這是中間層的,做執行的那部分人會變少。

田淵棟:

對,因為做執行那些人,首先他們的工作比較重複的,可能很多事情是需要修或者需要處理,但是如果工具的自動化程度越來越高的話,重複性的勞動就會減少。

陳茜:

在這次裁員之前,你本來在FAIR裏麵在研究什麽?

田淵棟:

在裁員之前,我們是今年1月份的時候去GenAI幫忙,這段時間之內,我們大部分時間沒有在做研究,而是在做各種比較救火的工作。

陳茜:

當時就是Llama 4。

田淵棟:

對,當然我個人還是會有一些其他工作,比如說和外麵一些其他的一些朋友合作的一些工作,像我們今年四五月份有一篇文章是分析一下我們之前的連續思維鏈,它的一些理論上的比較厲害的地方。而且這篇文章至少影響力也挺大的,大家會覺得這篇文章給連續思維鏈Coconut加了一個備注。因為我們在理論上做了更深入的分析,這個分析能夠讓連續思維鏈這個思路,讓大家覺得可能更有道理,可能會有更多的工作再做下去。

開源仍會繼續

模型的“用途”才是核心問題

陳茜:

你可以說一下,開源、閉源接下來的一個發展嗎?因為現在有很多外界認為開源在一個大公司的架構裏麵就不可行了,因為現在前沿模型競爭太激烈了。別人都在閉源,你一個人開源你可能也堅持不下來。你覺得是不是接下來開源模型距離閉源模型的差距越來越遠?還有人會做開源嗎?

田淵棟:

我覺得矽穀這邊還是會有開源的,像我知道的一些公司,比如Reflection AI它們應該就在做開源的模型,它們是有很多的要求、很多的想法想要做這些東西。像之前的OpenAI也做過一些,比如開源的GPT-oss model。所以我覺得開源還是會有的,而且一定會繼續發生,像Ai2也在做開源的工作。我覺得接下來更大的問題是:這些模型有什麽用?

陳茜:

你指的是開源的模型有什麽用?

田淵棟:

不管開源還是閉源的,因為模型一旦出來之後,這個模型本身大家可以拿來當聊天工具、搜索工具、效率工具,全部都可以,這些東西可能大公司會做。但還有很多的其他的方向,比如這個模型可以拿來做一些科學研發或者說做科學家的工作,或者說做垂直領域的一些工作,這個東西小公司就可以做。在一定程度之後,這個模型需要有多強能夠把這個問題做出來,可能是一個因人而異或者說因問題而異的問題。因為最終發現,我真的需要一個模型在所有方麵、在不同領域都很強嗎?不一定,可能隻在你在意的方向上比較強,這個時候可能就開始分化了。每個人、每個模型可能都有自己的想法,每個公司做這個模型有自己的目的,會有各種各樣不同模型做不同的事情。在這種情況下,就可能會有一個不同的策略。

可能有些模型希望開源,因為開源之後,大家用了之後,可以用來做一個社區作為工具、平台,這個時候你開源是很說得通的。比如說我有一個模型,這個模型訓練完之後可以調用某種標準工具集,然後我在標準工具集上,我可以再用這個模型去做一個平台讓大家用著,那肯定要開源。如果是其他的一些領域,比如說如果這個模型是用來做個性化的搜索或者推薦,這種模型應該說不太願意開源吧。或者說每個人自己訓練一個模型,但是不開源。所以最終看最終的目的是什麽,而不是非常泛泛地說:開源和閉源哪個好、哪個不好。最終還是看公司的策略,因為每個公司和每個人其實都是不一樣的

陳茜:

所以你覺得就是在SOTA(最前沿模型)上麵可能很難有一個開源的模型去跟閉源的模型直接地競爭,但是在很多小的垂類的這種模型上麵,還是有非常非常多開源的機會的。

田淵棟:應該說是這樣

LLM的最大問題:需海量數據

陳茜:

你覺得LLM(大語言模型)是正確的路線嗎?

田淵棟:

我覺得LLM是一個很有意思的路線,但我不知道會不會是正確的路線。

陳茜:

這一點你是同意Yann LeCun的嗎?

田淵棟:

這個不好說吧。我們大家都是做科學家的,有科學家想法的人都會希望找到一個更好的東西,而不是說我現在就滿足於現在的框架,然後我就在上麵做到死,肯定不會這樣子。所以我總會說有各種各樣可能的問題,這些可能的問題怎麽樣用別的方式來解決,這個是一個很大的問號。

陳茜:

現在大語言模型最大的問題是什麽?

田淵棟:

最大的問題就是數據量需要很多。需要很多數據量,那麽訓練出來的模型質量就肯定很好了,但是肯定沒有人那麽高效,這個是很大的問題。因為對人來說能學完的樣本數非常少,人一生能學到的token的數目可能就隻有最多最多100億的級別,特別是文本token,這個之前我也在一個演講分享上麵算過,大概是這個數字。但是現在大語言模型訓練的數據很輕易的能達到10萬億或者說30萬億這樣的大小,中間有1000倍的差距。這1000倍差距。怎麽樣去用人類的學習能力去彌補?很難彌補,但人就是能學得很好。

在人類曆史長河中,有各種各樣非常厲害的科學家,他們的思路和想法都是獨一無二的,他們那個時候也沒有看過那麽多書,也沒有那麽多的數據,但他們就是能夠發現一個很有意思的新的定理、新的證明、新的發現或者新的發明。所以對他們來說,他們這些能力從哪來的?大語言模型現在那麽多token放進去了之後,有沒有達到人的能力?這個其實是現在很大的一個問號。

所以如果是這樣的話,其實也許我們現在訓練算法並沒有達到最優的,有可能有更好的算法、更好的邏輯,或者更好的方式去學習在數據中湧現出來的那些表征,用它來解決問題。也許梯度下降可能並不是一個特別好的方案。可能突然有一天也許不要做梯度下降了,可能別的方法來做,這是我的一個暴論吧。這樣的話也許我們整個訓練的框架可能要改變。當然這個不一定現在能出現,但是我覺得以後可能是一個可以去實驗的比較有意思的方向。

強化學習與高級智能

陳茜:

我看最近業界對強化學習有一點爭論,特別是最近Andrej Karpathy接受了一個播客采訪,也發表了一些比較負麵的一些觀點,你是怎麽看RL(強化學習)這條路線的?

田淵棟:

對,我一直是做這個方向的,我也是這麽覺得的。因為RL(強化學習)本質上來說是個搜索的過程,它的好處就是對於你給定的一些難的問題,讓它去搜出來,在搜索的過程中它學到的數據、獲得的信息的質量要優於被喂的數據。這個就相當於有一個人是去老師那邊聽課,他就相當於是Supervised Learning(監督學習)。還有一個人說我不去老師那邊聽課,我就自己去玩,然後把問題解決了。這兩種方式我覺得後者學習出來的能力應該說更本質,解決問題能力更強。所以我覺得RL(強化學習)在這方麵應該是優於SFT(監督式微調)的。

你看現在很多的文章,在很多問題上,尤其是推理問題是,確實強化學習的能力比SFT(監督式微調)能力要強。你知道你要做強化學習才能讓這個模型真的學會推理,如果你做SFT(監督式微調)的話,這個模型可能就記憶了,就是之前的那些推理的過程它並沒有產生泛化能力,或者在新的問題上可能泛化能力沒有那麽強。特別是如果你做了大量的SFT,這個模型的質量就可能會下降。所以這是這兩個的區別。

但是強化學習它隻是個範式,它不是說是有什麽神秘東西在裏麵。因為它最終的目的還是改變權重,這跟SFT(監督式微調)是一樣的,隻是說改變權重的方式不太一樣。所以其實最終也許存在一個方式可以統一強化學習和SFT(監督式微調)監督式微調吧。因為最終目的都是改變權重,也許我有更好的方法來做這些問題。而強化學習對大家來說,就是一種不同的數據采集的方式而已。它是通過邊搜索邊采集,然後把這些數據放在一起再去做訓練。這樣的方式相當於是一個主動學習的方式,跟SFT(監督式微調)的方式是不一樣的。

所以我覺得強化學習最大的好處是:它是主動學習的,它能對數據的分布產生很積極的影響,這是它最最核心的地方。而不是說是它的目標函數不一樣,或者說它的訓練算法不一樣,不是這樣子。我覺得最終還是看它采集的數據,它的質量是跟SFT(監督式微調)是不同的。所以它才能夠解決一些比較難的問題吧。

Andrej Karpathy之前說的那些東西有些我也覺得挺好的,像關於AGI(通用人工智能)還有10年這樣的論斷,比如我們是進入了以十年為尺度的時代,而不是進入一個立即就能獲得AGI能力的這樣一個世界。對於這點我也是相信的。像我自己之前也是用過GPT-5幫我一起做一篇文章,我最近一篇文章其實是我和GPT-5通過self-play(自我博弈)做出來的。相當於我沒有任何的學生,我就每天跟GPT-5去對話,我說我有這樣的問題要解決,這個問題我們怎麽製定研究方法,然後它會給你規劃。

但是你會發現如果你自己沒有domain knowledge(專業知識),這個規劃其實做出來了也是跟大家差不多的,沒有什麽創新性、沒有什麽原創性。但是作為研究員就是對這個問題有很深的理解,或者說我知道這個規劃或者說它的這個思考的方式是不對的,或者說它的規劃有致命的問題。把它指出來跟它說了之後,GPT-5就會在這方麵更深入,最終得到一個比較好的結果。所以這種高層的human insights(人類洞察力)、human knowledge(人類知識)和對這個問題的獨到見解,這些東西現在的模型是缺的你必須有這些東西之後才能讓這個模型變得更強。所以你要說AGI沒有這些東西那就不能稱之為AGI。

陳茜:

但模型是不是永遠都沒有辦法獲得最頂尖的這種insight(洞察力)?因為insight還是永遠都是人來引領的。

田淵棟:

是的,跟以前自動駕駛是一樣的:一開始進展非常快,大家會覺得馬上就能取代人了,但是越往後走問題越大,為什麽呢?因為好的洞察、好的數據越來越少、越來越難找、數據越來越少,那模型就訓練不上去。人對於數據的獲取能力和人對於數據的深度挖掘能力永遠是超過計算機的、超過所有的模型。同樣的問題,可能人隻要一兩個樣本就能看到本質,但是計算機或者說現在的大模型的話它可能需要比如說至少幾百、上千的樣本才能大概感覺到一個輪廓,預訓練可能是需要更多的樣本。

在這種情況下,如果樣本數不夠的話,人永遠是比現在的大模型要厲害的。特別是對一些小領域的專家,他們甚至自己也沒有辦法把自己學過的樣本吐出來給計算機看,因為這些樣本可能在他腦子裏,就是他的經驗,這些經驗很難去量化成一些句子。如果是這樣的話,AI就隻能永遠是跟著人後麵走了。

人通過某種比較好的信息處理的方式獲得一些洞察,然後灌給計算機、灌給AI,讓AI在這個方向上去做得更好,目前是這樣的一個狀態。

計算量不是全部

Scaling Law是悲觀的未來

田淵棟:

我覺得這也是跟我之前的一些論斷是比較接近的,因為我以前也是接過采訪,我說:Scaling Law(縮放法則)是一個悲觀的未來。因為Scaling Law這個話題本身是一個很奇怪的話題。

如果在以前跟大家說,我加指數級的樣本或者指數級的計算能力進去之後,我們的表現會上升而且上升的速度是線性的。我覺得以前的機器學習科學家會覺得這些事情是trivial(微不足道)的。因為不管什麽模型,你都可以做出這樣的論斷:往裏麵塞數據,然後就會有更好的結果。

但是我覺得我們真正追求的是:什麽樣的模型能夠在這條路線上走得更有效率、更高效、更快,而不是說是滿足於這個law(法則)是對的。因為這個law(法則)它給你通向的未來是一個比較悲觀的未來,你需要用指數級的樣本塞進去才能得到一個比較好的結果。如果是這樣的話,總有一天我們地球上所有的資源全部會被用完。地球上所有的能源、所有的電力全部都會被用來訓練大模型。在這種情況下,我們是不是還要依賴於這個能力去改變我們這個世界?這個是一個很大的問題

我覺得某個時候可能大家會意識到:計算量不是全部,我們可能需要對模型有更深的理解。而且這改變應該會慢慢會發生,這是我的一個想法。

陳茜:

我們就需要一個更高效的方法來發展智能,你覺得需要花很長的時間才會找到這個解法嗎?

田淵棟:

我覺得大家也在努力吧,所以應該會花一些時間去做這些事情。至少對於現在來說,大語言模型它的能力是很強的,就算我們這個模型能力現在停滯不前,它對於各行各業的影響也是非常大的。我覺得至少能夠自動化很大一部分東西,能讓很多人的能力變得更強。我都覺得我加大語言模型,已經遠遠超過以前的我了。所以這讓我覺得,這上麵有很多很多空間可以做。所以我有很大的一個感慨就是,我覺得本身是一個新時代的到來了,就算大語言模型的進展不夠快的話,未來至少兩到三年、三到五年這段時間之內,還有很多機會的。

陳茜:

所以你接下來還是想做前沿研究這一塊,還是想去嚐試一下application(應用)這一塊?

田淵棟:

當然最好是把兩個合起來,如果我能夠做一個前沿研究並且這個前沿研究是自動化的研究,那就很厲害了。我已經感覺到我的研究範式,可能都會被自動化的pipeline(項目流程)所代替一部分。不一定是Agent(智能體),但是Agent(智能體)肯定是一個很重要的因素。

用Agent(智能體)的話可以幫你做很多事情,比如說你也許不需要自己回郵件,或者說你不需要去管理自己的to-do list(待辦事項),或者說你不需要自己去做一些繁瑣的事情。這些東西都可以用計算機來幫你做一些自動化,問題是不大的,而肯定是會發生的。

但是更重要的一個問題是,AI能不能代替人的一些高級活動?人的一些比較高級的思路,需要人的一些重要的insights(洞察)的活動,多大程度上能夠讓AI幫忙去做成了?有很多難的一些科學問題,AI能不能把這個事情做成?現在這個還不知道。如果能做成的話,反過來也可以對我的研究產生影響。

研究上來說,也許我會成為一個超級研究員。加了很多AI之後,我一方麵能做更好的研究。另一方麵,這些工具本身也可以用來造福別的東西。如果是這樣的話,可能會很有意思。

陳茜:

你在被拉去救火Llama 4之前,手上在研究什麽?

田淵棟:

我們這邊在做一些關於reasoning(推理)的一些研究,主要是關於思維鏈的形態和訓練的方式做了一些研究。o1是去年9月份出來的,其實我們在o1出來之前我們就注意到:非常長的思維鏈它會對整個模型的Scaling Law(縮放法則)產生影響

如果處理一個問題時,你沒有那麽長思維鏈的話,它的Scaling Law(縮放法則)是沒有那麽理想的,你需要花很多很多樣本才能獲得一個比較好的結果。但是如果你有很長的思維鏈,你就會讓這個模型的Scaling Law的code(代碼)變得非常理想,我可以用比如十分之一的樣本、十分之一的parameter(參數)獲得更好的效果。這個其實我們已經發現了,但是然後我們接下來就在思維鏈上做一些各種各樣的變換、各種各樣的探索。包括我們去年年底做的用連續空間來做隱空間推理,這篇文章現在確實受到了不少的關注,可能半年就已大概有200多個引用,很多人願意follow up(跟進)做一些探索性的工作,而且確實能看到一些進展。

所以我覺得這些東西都是很有意思的,我們去年也做了叫Dualformer的這篇文章,比較早地提出來:怎麽樣做混合思維模型,怎麽樣長思維和短思維放在一起訓練,發現這模型其實比單純訓練長思維、單純訓練短思維效果更好。現在其實這已經成為標配了,大家所有的思維模型都有這個長短思維自適應的性質。所以應該說去年那些研究還是比較跟得上時代的。

回顧FAIR十年生涯

遺憾與收獲

陳茜:

你在FAIR還有什麽遺憾嗎?

田淵棟:

這個話很有意思。我覺得遺憾可能是我在FAIR工程工作應該做更多一點,可能更好一點。

我其實剛去FAIR的時候,大概在前幾年可能工程工作做得比較多,我之前的一些項目,像圍棋這些項目都是自己比較多地做工程化的工作。當時我還被批評說,這個人過來是research scientist(研究科學家),怎麽天天做工程。當時有人跟我說:“別人打開屏幕全是文章,你打開屏幕全是代碼”。

後來我就說,如果研究科學家不能做工程的話,那我多看看代碼、多看看文章。所以你會發現,我在2015年到2018年這段時間之內,基本上工程比較多,2018年之後到現在其實研究比較多,大概是這樣的一個狀態。

這當然是跟FAIR當時的指揮棒有關係,另外一方麵就是說我自己也有一些研究上的興趣,想要做一些更多的研究,所以就切過去了。但是現在你會發現,其實在現在這個時代,工程能力強的人反而更受歡迎。所以就很有意思,研究能力強的人也很受歡迎,但是最好是工程能力和研究能力都強,這樣是最好的。

陳茜:

那這也太難了。

田淵棟:

對,但是我覺得我可以做到這一點。所以我現在也在更多地做一些工程上的工作,我可以把很多東西再重新拾回來,然後把這些工程事情做好,這都是可以的。

我覺得在FAIR做最大的收獲,應該是2018年之後,我在這段時間之內有很多的research taste(科研品位),就是對研究的一些品位和知道怎麽做研究的一些方案。而且這些品位在最近幾年的一些文章裏麵就慢慢體現出來。

所以有品位之後,這對將來的路有很大的幫助,這個是很重要的。因為如果一個隻做工程的人,他有一個比較大的問題是,他可能會隻做工程上一些難的問題,但是並不知道這東西有什麽用。但是如果有研究的品位的話,意味著就是自己給自己設一條道路可以一直往前走。這個對於一個人的人生來說有非常好的好處。

談AI人才戰

不要追逐“稀缺性”

陳茜:

我還有一個問題非常好奇,現在各個公司AI的競爭這麽激烈,同時人才搶奪戰也很激烈,包括Meta最新的Lab,花很多很多錢在一個人的身上。你覺得現在這個階段,什麽樣的AI人才是最稀缺的?

田淵棟:

我覺得這個完全看每個人的定位。首先我想糾正一個點:大家不要去想現在誰是最稀缺的,因為有可能過個兩年,這個稀缺的定義就發生變化。你想Yann LeCun坐了那麽多年冷板凳,突然之間就拿圖靈獎。所以我是覺得大家應該想一想什麽才是自己最想要做的事情,而不是說是去做那些可能公司喜歡的事情,我覺得這個可能更重要。

因為整個過程可能已經跟以前不一樣了,對以前的情況來說,比如說市場發出個信號:我們需要什麽方向的人才。這個信號可以通過大學的方式慢慢地往下傳播,比如說最近十年之內什麽樣的人才最吃香。然後這個信號傳到大學,大學會擴招對應的係、對應的老師,一些學生就會去投報這個係,經過四年或者更長時間的培養之後,這些學生最終滿足市場的要求,大概這樣的一個過程。以前這個循環是走得通的,因為整個邏輯、整個速度是比較慢的,整個行業周期可能以10年或者20年的周期來在波動

但是現在可能整個周期變得非常快,等到你想要學市場上火熱的技術之後,全世界的人都在學。你想到了,別人也想到了。這世界上總有學得比你快的,總有學得比你好的,總有馬上上手把事情做成的。所以你很有可能會發現:你學了半年、一年之後,你做不過別人,你還是沒有辦法出頭。這樣的話,市場發生了變化,也許明年就不是某個方麵能力最重要的一個時代了,可能換了別的東西。你這時候再去學,就可能一直會跟在別人屁股後麵走。

所以也許以後大家會突然發現:與其聽從市場的號令還不如說我自己做自己想做的事情。一個是做得很開心,另外就是說一旦這個東西被人發現了,它的收益是很大的。這個當然是理想情況了,實際情況肯定是會兩邊要結合。你肯定會希望你自己判斷某個方向在將來一段時間之內有沒有用,再加上你自己的愛好,最後兩個拚起來得到一個比較有意思的組合,之後你可以在上麵多花功夫。所以說非常難去做判斷,因為完全要看你自己的能力。

陳茜:

我感覺你還是一個非常有理想主義的人,上一次播客也跟你聊過,感覺FAIR之前也是一個非常有理想主義的團隊。但是在當下,我覺得市場有點扭曲了,因為競爭特別激烈的時候,可能很多的文化、很多的信仰就會出現一點的偏差。你覺得在現在的這樣的情況下,還存在說會有比較理想化的research lab(研究實驗室)嗎?可能Ilya Sutskever他的團隊、Mira的團隊被認為是比較有理想化主義的。他們的對麵就是Sam Altman,非常的商業化、很激進。你怎麽去看這之間的平衡呢?

田淵棟:

我覺得首先是不要把大廠當成鐵板一塊,因為大廠裏也有很多的組,他們裏麵也有研究團隊,這些團隊本身也會有一些科研精神和研究自由。FAIR隻是一個非常出名的地方,但是其實有很多地方雖然沒有像FAIR那麽有名,但是它們也有一個自由空間可以做研究。就算在Meta內部也有不少的組,他們有做研究的空間。我有很多合作者在Meta裏麵,他們也做一些研究。所以這個問題我不覺得是個問題。

也許就算FAIR可能因為這次的原因,或者另外原因導致以後可能沒有再那麽科研化了,但是還是會有很多地方可以做。因為這個問題很前沿,所以甚至你做startup(初創公司)的時候,你也肯定在有些地方上麵會有些事情可以做。

我們在討論研究的時候,是指這個過程本身:找到一些新的難題的解決方案,這叫研究。也可以叫Re-Search(研究) ,其實它是search(探索),不是一個抽象的概念。所以我覺得有很多地方可以做,不是鐵板一塊說:大廠不能做了,小廠可以做,不是那麽簡單。是完全取決於哪個組、哪個人、有什麽樣的資源、什麽樣的東西,這些人放在一起會有什麽樣產生化學反應等等。可能今天可以做、明天不能做。或者說一段時間之內它有這個空間,換一個其他時間就沒有這個空間。所以無數人都在思考這個問題。也許會在這段時間之內,肯定出一篇新的工作,去影響整個領域。

所以研究永遠是會繼續進行的,隻是說它的形式可能會變成更像遊擊戰這種形式。並不是說隻有一些非常知名的研究機構他們會做研究,他們會說:我付出我們所有的時間和精力做研究。可能不是這樣,你總會發現有很多有理想的人、有理想的小的組織在繼續做他們想做的事情。不是0或1,會有很多灰色的地方

陳茜:

最後一個問題是:你的下一步是什麽?

田淵棟:

下一步我剛才說了還沒確定,所以還在討論中。因為現在離被裁還沒到一個禮拜,所以也會有一些考慮和想法。

剛才問的是我想去做應用,還是想去繼續做我的一些科研研究,我回答當然是最好兩個拚起來。我們能找一個辦法,能夠賦能我的科研研究的同時,本身也是能夠做很多別的事情。

陳茜:

有這樣的機會存在嗎?

田淵棟:

我不知道,但是一般來說是這樣的:我們先設定一個高的目標,然後再去看。因為一般來說人會比較現實,說有這樣的機會我就不用想了。但其實應該是倒過來,你先想一個不可能實現的目標,然後再去想有什麽東西可以去支撐,這可能會讓你有更好的方向可以走

?

[ 打印 ]
評論
目前還沒有任何評論
登錄後才可評論.