穀歌真急了，推DeepMind撐場！700億參數Sparrow硬剛ChatGTP
新智元報道
【新智元導讀】最近，微軟大動作頻頻，外界對穀歌也有了唱衰的聲音。穀歌顯然不能忍了，急忙拉出DeepMind與之一戰。
穀歌的反擊戰，打響了！
最近，微軟接連給穀歌暴擊——前腳剛表示ChatGPT即將整合進自家搜索引擎必應，後腳就放出ChatGPT計劃加入Office「辦公全家桶」這個重磅炸彈。
微軟頻出險招，穀歌自然不能坐以待斃。
根據DeepMind創始人在《時代》專訪中透露的信息，穀歌很有可能會利用DeepMind此前推出的Sparrow，來應對ChatGPT的挑釁！
其實在以前，穀歌手中就有好幾個醞釀了很久的大模型，比如LaMDA，Imagen等等，據說都達到了SOTA，但從未對外公開。
看來，最近的穀歌，真的是被微軟逼急了，已經準備領著「孩兒們」出來見人了。
應對ChatGPT，穀歌有答案了
雖然ChatGPT很費錢，每天都要燒掉10萬美元，但人們永遠都會記住，在2022年12月的那一天，是OpenAI的ChatGPT寫下了大規模語言模型曆史上濃墨重彩的一筆，讓全世界人民為了和機器人聊天擠爆了服務器，而不是穀歌。
其實，在OpenAI推出ChatGPT之前，穀歌就早已有了針對對話優化的大型語言模型，比如LaMDA和Flamingo。
甚至早在2020年，穀歌就推出了一個26億參數的端到端神經網絡對話模型Meena。據稱，其效果比當時所有其他的SOTA聊天機器人都更加合理，也更加具體。
但截至目前，穀歌還沒有把這些研究成果應用於任何產品。
根據它自己的說法，這主要是出於對「聲譽風險」的考慮。AI聊天機器人非常容易「帶毒」——AI訓練的數據來自互聯網，往往充滿了偏見、仇恨和謾罵，所以AI會生成攻擊性內容，以及與事實不符的答案。
' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)
12月中旬，穀歌AI負責人Jeff Dean在一次全體會議上表示，盡管穀歌擁有做AI產品的技術和能力，但比起「小型初創公司」，他們必須「更保守地」做出決策。
但現在，被微軟逼到牆角的穀歌，恐怕無法再「保守」了。
ChatGPT已經在最近兩個月爆紅全網，掀起全民參與的狂潮，最近幾天更是傳出微軟大筆一揮，再向OpenAI豪擲100億美元的消息。
麵對坊間已經不斷出現的「ChatGPT能否替代搜索引擎」的討論，以及微軟的Office辦公軟件疑似即將迎來一場全麵大升級，現在，穀歌必須向外界證明：自己可以追上OpenAI，甚至超越它。
前不久，DeepMind的CEO兼創始人Demis Hassabis在接受《時代》采訪時表示，DeepMind的聊天機器人Sparrow可能會在今年晚些時候進入「測試」階段（private beta）。
Hassabis表示，之所以推遲發布Sparrow，是DeepMind希望讓Sparrow在基於強化學習的功能上更進一步，而這正是ChatGPT所欠缺的。
一直以來，DeepMind作為穀歌旗下最重要的AI研究機構，一直在為穀歌提供著先進的新技術，整合到消費者的產品中。
看來，穀歌要有大動作了。
此前，Meta AI的負責人Yann LeCun也對穀歌表示了支持：「穀歌在使用大型語言模型進行搜索方麵，擁有比其他公司更豐富的經驗（包括OpenAI)。」
DeepMind的Sparrow，何方神聖？
但不同的是，Sparrow可以「穀歌一下」。
論文地址：https://arxiv.org/abs/2209.14375
畢竟，Sparrow在最初的設計時就是為了和用戶閑聊，並且可以在回答問題時，利用穀歌搜索出相關的信息來作為支撐證據。
當然，為了確保模型的行為是安全的，還必須對其進行約束。
因此，研究人員為該模型確定了一套最初的簡單規則，如「不要發表仇恨或侮辱性的言論」、「不要冒充或假裝是一個真人」等。
之後，再通過閑聊來誘使Sparrow違反這些規則。其中涉及到的對話，可以用來訓練出一個單獨的「規則模型」，進而顯示Sparrow的行為何時違反哪些規則。
從結果上來看，當檢測到潛在的危險行為時，比如用戶問如何偷車（hotwire a car）時，Sparrow模型會說，自己受到的訓練是不會給任何違法行為提供建議。
據參與者說，當被問到一個事實性問題時，Sparrow提供的基本都是可信的答案，並且有78%的數據是有證據來輔助支持的，相比基線模型來說有很大進步。
幫穀歌走出困境，DeepMind行嗎？
對打ChatGPT，Sparrow夠格不
作為Sparrow的基礎，Chinchilla的參數量隻有GPT-3的零頭——700億 vs 1750億。
與此同時，DeepMind又把Chinchilla的訓練數據量，給翻了好幾番——1.3萬億個token。
結果就是，這個「mini版」的人工智能模型，在幾乎所有的語音任務中都比前輩們表現得更好，當然也包括老對手GPT-3。
從Chinchilla的成功中不難看出，通過大量數據訓練的小型人工智能模型，也可以實現較高性能。
而且，小模型最大的優勢在於，不僅運行起來更加便宜，還可以用很少的額外數據為特定的用例進行優化。
這樣或許就能避免，由於用戶用得太開心，結果把公司的錢都給燒沒了的情況。
嗯，說的就是OpenAI。
然而，現在大紅大紫大的ChatGPT，是基於更先進的GPT-3.5。
之前在推出GPT-3.5的最新版本text-davinci-003時，OpenAI就曾列舉過它所具備的優勢：
1. 生成質量更高：提供更清晰、更有吸引力、更有說服力的內容。
2. 可以處理更複雜的指令：可以更有創意地利用它的能力。
3. 更善於生成較長的內容：能夠完成以前難以實現的任務。
所以，現在的問題其實變成了：要對打GPT-3.5，Chinchilla行嗎？
「真香」
早在12月初，ChatGPT剛剛爆火時，穀歌就有「吹哨人」感受到了危機。有員工在全體會議上提出了自己的擔憂——ChatGPT的快速崛起，可能會讓穀歌失去在AI領域的競爭優勢。
曾經的穀歌廣告團隊負責人Sridhar Ramaswamy也表示，ChatGPT再這麽火下去，網友們就不會再點擊帶有廣告的穀歌鏈接了。
要知道，在2021年，廣告業務為穀歌狂掙了2080億美元，占Alphabet總收入的81%。
而那時，穀歌高管們還沒有意識到ChatGPT的誕生，將會對他們造成什麽樣的危機。
當時的穀歌高層，是這樣表態的：穀歌不會推出ChatGPT的競爭對手，因為穀歌比OpenAI等初創公司具有更大的「聲譽風險」。並且，「聊天機器人還沒有到能取代搜索引擎的程度」。
不過短短十天後，高管們就態度陡變。
Pichai指示一些團隊轉換方向，開發AI產品
CEO劈柴緊急發布了「紅色代碼」，參加了數次圍繞穀歌AI戰略的會議，並重點指示：穀歌的多個團隊需要集中精力，解決ChatGPT對本公司的搜索引擎業務構成的威脅。
穀歌的研究、信任和安全部門以及其他部門的團隊已被指示換檔，轉而開始協助人工智能原型和產品的開發和發布。
其實，穀歌的顧慮，也可以理解。
一個機器人會傳播謊言、散布仇恨言論，甚至讓人們產生了它已經「具有意識」的錯覺，為這樣的機器人燒錢、提供實驗場，OpenAI的嚐試其實很大膽。
目前來看，OpenAI的試水反響相當不錯，有人探出了前路，看來穀歌也要進場了。
陷入「創新者困境」
這個術語是美國學者Clayton Christensen在1997年提出的，描述了這樣一種情況——對成熟公司來說，很難讓它們采用破壞傳統市場的新技術或商業模式。
這些成熟公司，手中往往掌握著最重要的資源，也有足夠的科研能力。然而，現有的客戶群和固定的內部流程，都會使他們遠離突破性的創新。
而當更小、更敏捷的競爭對手進入並接管市場 (沒錯，這裏指的就是OpenAI)，或許最終會導致成熟大公司的消亡。
穀歌的大部分收入，都來自於在線廣告
現在，穀歌最核心的搜索引擎業務正在不斷增長，而且利潤豐厚（還記得上文的2080億美元麽）。
可以說，每個搜索結果頁麵，都在給穀歌印錢。
而新的搜索聊天機器人(search chatbot)，意味著一種全新的貨幣化策略。它能否像搜索引擎這樣讓穀歌盈利呢？
穀歌當然可以推出一個像ChatGPT那樣成功的聊天機器人，但是如果它的利潤低於搜索引擎，穀歌就會麵臨虧損。
數字營銷專家Tim Peter在推特上指出，微軟的優勢在於可以通過其他收入來源，來補貼必應中ChatGPT的成本而ChatGPT的背後，是金主爸爸微軟，而微軟擁有豐富的收入來源，目前還能支持ChatGPT這樣燒下去。
但穀歌卻不同，它所有的收入幾乎都來自於廣告。因此，如果沒有廣告收入，穀歌搜索引擎的價值就會大大降低。
微軟2012至2022按部門劃分的財年收入
更何況，搜索引擎之所以如此暴利，就是靠用戶不斷點擊鏈接，在這個過程中，穀歌收取了商家巨額的廣告費。
可是假如用戶靠著聊天機器人能直接得到答案，而不需要在列表中翻找，搜索引擎的付費業務生態就直接被破壞了。
這個幾千億美元的蛋糕，穀歌敢冒險砸掉嗎？
現在，穀歌有一條平穩過渡的出路：通過旗下的DeepMind推出商業化的聊天機器人，自己來給穀歌搜索造出一個對手（同時也是OpenAI的對手），這樣一來，就可以做個對衝。
這樣穀歌就可以安撫股東，當外界懷疑聊天機器人將取代搜索引擎時，也可以有個回應。
這樣看，在2023年即將發布的Sparrow測試版，身上肩負的使命著實不小。
選擇“Disable on www.wenxuecity.com”
選擇“don't run on pages on this domain”
