50封往來郵件揭秘OpenAI的緣起、發展與矛盾
文章來源: 圈內小八哥 於
- 新聞取自各大新聞媒體,新聞內容並不代表本網立場!
當地時間11月14日,特斯拉 CEO 埃隆·馬斯克 (Elon Musk)針對OpenAI
的起訴升級,增加了新的原告和被告。
隨著起訴文件的更新,馬斯克、薩姆·奧特曼(Sam Altman)、伊利亞·蘇茨克弗 (Ilya Sutskever)
和格雷格·布羅克曼 (Greg Brockman) 之間的大量電子郵件已作為法庭訴訟程序的一部分被公布。
一個名為LessWrong的在線論壇和社區把大約50封郵件按照時間線進行了整理,這些郵件的時間從2015
年5月25日到2019年3月11日。
這些郵件肯定不是OpenAI發展過程中的全部,但是從這些公開的內容中可以看到OpenAI的緣起、發展與矛盾,以及不同階段不同創始人、核心人員的不同觀點。
以下是公開的郵件內容:
薩姆·奧特曼致伊隆·馬斯克-
2015年5月25日
一直在思考是否有可能阻止人類發展人工智能。
我認為答案幾乎肯定是否定的。
如果無論如何都要實現這個目標,那麽最好由穀歌以外的其他人先來做。
有沒有想過 YC 啟動人工智能曼哈頓計劃是否是個好主意?我的感覺是,我們可以讓前 50
名中的許多人參與其中,我們可以將其構建為通過某種非營利組織屬於世界的技術,但如果成功,從事該技術的人將獲得與初創公司類似的報酬。顯然,我們會遵守/積極支持所有法規。
薩姆
伊隆·馬斯克致薩姆·奧特曼–
2015年5月25日
可能值得談談
薩姆·奧特曼致伊隆·馬斯克-
2015年6月24日
任務是創建第一個通用人工智能,並將其用於個人賦能——即未來看起來最安全的分布式版本。更一般地說,安全應該是首要要求。
我認為我們最好從 7-10 人開始,然後計劃從那裏開始擴大。我們在 Mountain View
有一棟不錯的額外建築,他們可以享用。
我認為,對於治理結構,我們應該從 5
個人開始,我建議你、比爾·蓋茨、皮埃爾·奧米迪亞、達斯汀·莫斯科維茨和我。該技術將歸基金會所有,並用於“造福世界”,如果不清楚如何應用,我們
5
個人將做出決定。研究人員將獲得可觀的財務收益,但這與他們所構建的東西無關,這應該可以消除一些衝突(我們將向他們支付有競爭力的薪水,並給他們
YC
股權作為收益)。我們會持續討論哪些工作應該開源,哪些不應該開源。在某個時候,我們會找一個人來管理團隊,但他/她可能不應該加入治理委員會。
除了管理之外,你還會以其他方式參與嗎?我認為這對讓工作朝著正確的方向發展非常有幫助,可以讓最優秀的人才參與其中。理想情況下,你會每月或每隔一段時間過來和他們談談進展情況。我們一般把以某種有限方式參與
YC 的人稱為“兼職合夥人”(例如,我們就是這樣稱呼 Peter Thiel
的,盡管目前他參與度很高),但我們可以隨便叫他們。即使你不能真正花時間在上麵,但可以公開支持,這可能仍然對招聘非常有幫助。
我認為,製定監管信函的正確計劃是等待這件事開始實施,然後我就可以發布它,並附上這樣的信息:“既然我們正在這樣做,我一直在思考世界需要什麽樣的約束才能確保安全。”我很高興你也成為簽名者。我還懷疑,在它發布後,會有更多人願意支持它。
薩姆
伊隆·馬斯克致薩姆·奧特曼-
2015年6月24日
全部同意
格雷格·布羅克曼致伊隆·馬斯克(抄送:薩姆·奧特曼)-
2015年11月22日
嘿,Elon,
之前聊天很愉快。
正如我在電話中提到的,這是博客文章的最新早期草稿:(Sam、Ilya 和我正在考慮新名字;希望得到您的任何意見。)
顯然,還有很多其他細節需要更改,但我很好奇您對這種信息傳遞方式有何看法。我不想手下留情,如果感覺合適,我很樂意傳播更強烈的信息。我認為最重要的是我們的信息能夠吸引研究界(或者至少吸引我們想要雇用的那部分人)。我希望我們能以中立的團體身份進入該領域,尋求廣泛合作,並將對話轉向人類勝利,而不是任何特定的團體或公司。(我認為這是讓我們成為領先研究機構的最佳方式。)
我附上了我們一直在使用的錄用通知模板,薪資為17.5萬美元。以下是我發給別人的電子郵件模板:
附件是您的 YCR 正式錄取通知書!請簽名並注明日期。接下來還會有兩份文件:
另外還有一封信,向您提供您出席的每個 YC 批次的 0.25%(作為擔任 YC 顧問的補償)。
隨意雇傭、保密信息、發明轉讓和仲裁協議
(由於這是我們提供的第一批官方優惠,因此請原諒途中的任何坎坷,如果發現任何奇怪之處,請告訴我!)
我們計劃提供以下福利:
健康、牙科和視力保險
無限假期,建議每年四周
帶薪育兒假
當你展示 YC AI 工作或被 YC AI 邀請參加會議時,可獲得付費出席資格
我們也很樂意提供簽證支持。當您準備好討論簽證相關問題時,我很樂意讓您與 YC 的 Kirsty 聯係。
如果您有任何問題,請告訴我 — 我隨時可以與您聊天!期待合作 :)。
– gbd
伊隆·馬斯克致薩姆·奧特曼–
2015年12月8日
正確寫出開篇摘要部分非常重要。這將是每個人都會讀到的內容,也是媒體最常引用的內容。這份新聞稿的全部目的是吸引頂尖人才。不確定格雷格是否完全明白這一點。
---- OpenAI
是一家非營利性人工智能研究公司,其目標是以最有可能造福全人類的方式推進數字智能,且不受產生財務回報義務的束縛。
我們公司的根本理念是將人工智能技術作為所有人類個體意誌的延伸,盡可能廣泛地傳播,在自由精神的指導下,確保數字智能的力量不會過度集中,並朝著人類總體所期望的未來發展。
這個項目的成果尚不確定,而且薪酬也比其他公司提供的低,但我們相信目標和結構是正確的。我們希望這對該領域的佼佼者來說是最重要的。
薩姆·奧特曼致伊隆·馬斯克-
2015年12月8日
這怎麽樣?
__
OpenAI
是一家非營利性人工智能研究公司,其目標是以最有可能造福全人類的方式推進數字智能,且不受產生財務回報義務的束縛。
由於我們沒有任何財務義務,我們可以專注於最大限度地發揮人類的積極影響,並盡可能廣泛地傳播人工智能技術。我們認為人工智能應該是個人意誌的延伸,本著自由的精神,不應集中在少數人的手中。
這個項目的成果尚不確定,而且薪酬也比其他公司提供的低,但我們相信目標和結構是正確的。我們希望這對該領域的佼佼者來說是最重要的。
薩姆·奧特曼致伊隆·馬斯克-
2015年12月11日
剛剛得到消息……
明天,deepmind 將向 openAI 中的每個人提供大量反報價,試圖消滅它。
你對我主動給每個人每年增加 10-20
萬的薪酬有什麽異議嗎?我認為他們都是為了這裏的使命而努力,但這對每個人來說都是一個很好的信號,我們會隨著時間的推移照顧他們。
聽起來 DeepMind 正計劃為此發動戰爭,他們實際上一直在 NIPS 上逼迫人們。
伊隆·馬斯克致薩姆·奧特曼-
2015年12月11日
伊利亞 (Ilya) 是否已經堅定地表示同意了呢?
如果有人有任何疑問,我也很樂意親自打電話給他們。我已經告訴艾瑪,這是我每天 24 小時的首要任務。
薩姆·奧特曼致伊隆·馬斯克-
2015年12月11日
是的,承諾了,承諾了。隻是做出了承諾。
伊隆·馬斯克致薩姆·奧特曼-
2015年12月11日
驚人的
薩姆·奧特曼致伊隆·馬斯克-
2015年12月11日
每個人都感覺很好,說著“接受 DeepMind 的提議吧,可惜他們沒有‘做正確的事’”這樣的話
太平洋標準時間下午 1:30 發布新聞
伊隆·馬斯克致:Ilya
Sutskever、Pamela Vagata、Vicki
Cheung、Diederik Kingma、Andrej
Karpathy、John D. Schulman、Trevor
Blackwell、Greg Brockman(抄送:Sam
Altman)-
2015年12月11日
祝賀你有一個美好的開始!
你們所熟知的組織在人數和武器上都遠遠落後於我們,但我們有優勢,這對我們來說很重要。我喜歡這種勝算。
我們最重要的考慮是招募最優秀的人才。任何公司的產出都是公司內部人員的矢量和。如果我們能夠隨著時間的推移吸引最有才華的人,並且我們的方向正確,那麽
OpenAI 就會獲勝。
為此,請認真考慮誰應該加入。如果我能在招聘或其他方麵提供幫助,我願意為您效勞。我建議密切關注那些尚未完成研究生甚至本科教育但顯然才華橫溢的人。最好在他們取得突破之前就讓他們加入。
期待共同合作,
伊隆
格雷格·布羅克曼致伊隆·馬斯克(抄送:薩姆·奧特曼)-
2016年2月21日
大家好,
我們目前正在進行公司成立後的第一輪全職工作。顯然,做好這些工作非常重要,因為影響是長期的。我還不太願意自己做決定,希望得到任何指導。
以下是我們目前正在做的事情:
創始團隊:27.5 萬美元薪水 + 25bps 的 YC 股票
- 還可以選擇永久轉換為 12.5 萬美元年度獎金或等值的 YC 或 SpaceX
股票。我不知道是否有人接受了我們的提議。
新報價:年薪 17.5 萬美元 + 年薪 12.5 萬美元 || 等值 YC 或 SpaceX
股票。獎金取決於績效評估,您可能獲得 0% 或遠高於 100% 的獎金。
特殊情況:gdb + Ilya + Trevor
該計劃是保持基本不變的工資,並使用獎金倍數作為獎勵表現出色的人的方式。
一些說明:
- 我們對股票變現前的 8 年使用 20% 的年化折扣,12.5 萬美元的獎金相當於 YC 的 12 個基點。因此最終價值更像是
75 萬美元。這個數字聽起來更令人印象深刻,盡管顯然很難準確估值。
- 創始團隊最初每人獲得 17.5 萬美元的薪酬。實驗室成立後的第二天,我們主動將每個人的薪水提高了 10
萬美元,告訴他們,一旦實驗室取得成功,我們將為他們提供經濟支持,並要求他們承諾忽略所有反要約,相信我們會為他們提供資金。
- 我們目前正在采訪 Brain 的 Ian Goodfellow,他是我們所沒有的領域中兩位頂尖科學家之一(另一位是
DeepMind 的忠實擁護者 Alex Graves)。他是 Brain 中最好的人,所以 Google
會爭取他。我們將他納入創始團隊的報價中。
一些薪資數據點:
- DeepMind 為約翰提供了每年 25 萬美元的全額薪酬,他認為自己可以輕鬆地將薪酬談至 30 萬美元。
- FAIR 口頭向 Wojciech 提供約 125 萬美元/年薪(但沒有具體信件)
- Andrew Tulloch 在 FB 的年薪為 80 萬美元。(很多是可兌現的股票。)
- Ian Goodfellow 目前在 Google 的年薪為 16.5 萬美元現金 + 60 萬美元股票。
- 蘋果有點絕望,向人們提供 55 萬美元現金(可能加上股票)。我認為沒有哪個好人會答應。
我心中有兩個具體的候選人:
- 安德魯幾乎要說“是”了。但他對大幅減薪感到擔憂。
- Ian 表示他主要不關心錢,但灣區物價昂貴 / 他想確保自己能買得起房子。我不知道如果 Google 開始向 Ilya
透露他們給出的數字,會發生什麽。
我的直接問題是:
1.
我預計安德魯會嚐試談判。我們是否應該堅持他的提議,並告訴他隻有當他足夠興奮接受這種減薪時才加入(並且其他人留下了更多)?
2. 伊恩將於周三接受麵試並(我確信)收到錄用通知。我們應該將他的錄用通知視為最終決定,還是願意根據 Google
的錄用通知做出調整?
3. 根據 1 + 2
的答案,我想知道這種固定策略是否合理。如果我們保留它,我覺得我們必須真正說服人們接受獎金乘數。也許一個選擇是使用簽約獎金作為杠杆來讓人們簽約?
4. 非常次要,但我們的實習生薪酬也低於市場水平:每月 9000 美元。(FB 提供 9000 美元 + 免費住房,穀歌提供全包
11000
美元/月。)薪酬對實習生來說遠不如對全職員工重要,因為經驗是首要的。但我認為我們可能已經失去了一位對此持懷疑態度的候選人。考慮到每小時的薪酬比全職員工低得多,我們是否應該考慮增加薪酬?
我很樂意隨時聊聊此事。
– gbd
伊隆·馬斯克致格雷格·布羅克曼(抄送:薩姆·奧特曼)-
2016年2月22日
我們需要盡一切努力來獲得頂尖人才。讓我們更上一層樓。如果在某個時候我們需要重新審視現有員工的薪酬,那也沒關係。
要麽我們能找到世界上最優秀的人才,要麽我們就會被 Deepmind 打敗。
無論需要做什麽,隻要能培養出頂尖人才,我都願意。
Deepmind
讓我精神壓力極大。如果他們贏了,那對他們一心一意統治世界的理念來說將是一個壞消息。他們顯然正在取得重大進展,而且他們應該取得進展,因為那裏的人才水平很高。
格雷格·布羅克曼致伊隆·馬斯克(抄送:薩姆·奧特曼)-
2016年2月22日
聽得清清楚楚。聽起來是個好計劃。計劃繼續與 sama 就具體事宜進行合作,但如果您想隨時了解最新情況,請告訴我。
– gbd
Greg Brockman致Elon
Musk,(抄送:Sam Teller)-
2016年3月21日
嗨,Elon,
我接受了 Wired 雜誌關於 OpenAI
文章的采訪,事實核查人員向我發送了一些問題。我想與您就兩個問題進行同步,以確保它們聽起來合理/與您所說的一致:
OpenAI 是否正在放棄其全部研究成果?
無論何時,我們都會采取最有可能造福世界的行動。從短期來看,我們認為最好的方法是放棄我們的研究成果。但從長遠來看,這可能不是最好的方法:例如,最好不要立即分享一項潛在的危險技術。在任何情況下,我們都會放棄我們所有研究成果,並希望這些成果歸於全世界,而不是任何一家機構。
OpenAI
是否認為,讓盡可能多的人擁有最複雜的人工智能是人類防止過於聰明的人工智能落入私人手中、以某種方式向世界發動攻擊以達到惡意目的的最好機會?
我們相信,利用人工智能來擴展個人意誌是確保人工智能保持有益的最有希望的途徑。這很有吸引力,因為如果有許多具有大致相同能力的代理,它們就可以控製任何一個壞人。但我不會聲稱我們擁有所有的答案:相反,我們正在建立一個既能尋找這些答案,又能采取最佳行動的組織,無論答案是什麽。
謝謝!
– gbd
伊隆·馬斯克致格雷格·布羅克曼(抄送:薩姆·特勒)-
2016年3月21日
聽起來不錯
薩姆·特勒致伊隆·馬斯克——2016年4月27日
[亞曆克斯·湯普森轉發給伊隆·馬斯克的消息]
嗨,薩姆,
希望您今天過得愉快,很抱歉打斷您問另一個問題。Maureen想看看馬斯克先生對紮克伯格先生自采訪以來的一些公開評論有何反應。特別是,他將馬斯克先生稱為“歇斯底裏的人”,因為他對人工智能感到恐懼,並教訓那些“散布恐慌”的人人工智能的危險。我在下麵提供了紮克伯格先生評論的更多細節。
最近在德國被問及馬斯克的擔憂時,紮克伯格稱其為“歇斯底裏”,並稱讚了人工智能的突破,其中包括一個係統,他聲稱該係統可以通過手機對皮膚病變進行癌症診斷,準確度堪比“最好的皮膚科醫生”。
他說:“除非我們真的把事情搞砸了,否則機器永遠都是服從的,而不是“超人”。
“我認為我們可以開發人工智能,讓它為我們工作並幫助我們……有些人散布恐慌,說人工智能會帶來巨大的危險,但在我看來,這種說法過於牽強,而且比起由於疾病蔓延、暴力等原因造成的災難,這種可能性要小得多。”或者正如他在四月份的Facebook開發者大會上表達的理念:“選擇希望而不是恐懼。”
——
亞曆克斯·湯普森
《紐約時報》
伊隆·馬斯克致薩姆·特勒-
2016年4月27日
曆史清楚地表明,強大的技術是一把雙刃劍。人工智能可以說是所有技術中最強大的,但如果你認為它隻有一把劍,那就太愚蠢了。
微軟的人工智能聊天機器人最近的例子表明,人工智能可以迅速產生極其負麵的影響。明智的做法是謹慎對待人工智能的出現,確保其權力得到廣泛分配,而不是由任何一家公司或個人控製。
這就是我們創建 OpenAI 的原因。
Sam Altman致Elon
Musk,(抄送:Sam Teller)-
2016年9月16日
以下是微軟的條款。6000萬美元的計算費用為1000萬美元,以及我們對他們在雲中部署的內容的意見。如果您有任何反饋,請告訴我。
薩姆
Microsoft/OpenAI 條款
伊隆·馬斯克致薩姆·奧特曼(抄送:薩姆·特勒)-
2016年9月16日
這實際上讓我感到惡心。這太糟糕了,這正是我對他們的期望。
CNTK v2、Azure
Batch和HD-Insight的評估、推廣和使用:OpenAI將評估CNTK
v2、Azure
Batch和HD-Insight的研究成果,並就Microsoft如何改進這些產品提供反饋。OpenAI將與Microsoft合作,向其研究和開發者生態係統推廣這些產品,並將Microsoft
Azure作為其首選的公共雲提供商。OpenAI將自行決定采用這些產品,隻要這對其研究有意義
假設我們願意讓微軟將空閑的計算時間捐贈給
OpenAI,並讓大家知道這一點,但我們不想簽訂任何合同或同意“宣傳”。他們可以隨時關閉我們的服務,我們也可以隨時離開。
Sam Altman致Elon
Musk,(抄送:Sam Teller)-
2016年9月16日
我讀完該部分後也有同樣的反應,他們已經同意放棄。
我們最初隻是希望捐贈太空周期,但團隊希望更確定是否有可用容量。但我會與微軟合作,確保沒有任何附加條件
伊隆·馬斯克致薩姆·奧特曼(抄送:薩姆·特勒)-
2016年9月16日
我們應該低調行事。無論如何都不確定。沒有合同。
Sam Altman致Elon
Musk,(抄送:Sam Teller)-
2016年9月16日
好的,看看我能從這個方向得到多少錢。
薩姆·特勒致伊隆·馬斯克——2016年9月20日
微軟現在願意以 5000 萬美元的價格簽訂該協議,並“由 OpenAI
自行決定采取誠意行動”,並擁有隨時終止合同的完全權利。無需宣傳。不附加任何條件。看起來不像是微軟蹩腳的營銷棋子。可以繼續嗎?
伊隆·馬斯克致薩姆·特勒–
2016年9月21日
如果他們不在主動消息傳遞中使用這個功能,我沒意見。如果看起來不像微軟的營銷婊子,那麽價值將遠遠超過 5000 萬美元。
伊利亞·蘇茨克韋爾致伊隆·馬斯克、格雷格·布羅克曼-
2017年7月20日
- 機械手現在可以在模擬中解決魔方:
實體機器人將於九月做同樣的事情
- 1v1 機器人不再可利用
它不再能被“非常規”策略打敗
有望在一個月內擊敗所有人類
- 運動競技機器人:
- 發布了一個可以同時從各個角度欺騙相機的對抗樣本:
- DeepMind 直接使用了我們的一種算法來產生他們的跑酷結果:
DeepMind 的成果:
DeepMind 的技術論文明確指出他們直接使用了我們的算法
- 接下來:
設計盈利結構
與 Cerebras 協商合並條款
對 Cerebras 進行更多盡職調查
Shivon Zilis致埃隆·馬斯克(抄送:Sam
Teller)-
2017年8月28日
伊隆,
正如我提到的,Greg 要求在本周末討論一些事情。Ilya
最終加入了,他們幾乎分享了他們仍在思考的所有事情。這是那次隨機談話的提煉……歸結為 7
個未解答的問題,下麵是他們的評論。請注意,我並不提倡任何這些,隻是組織和分享我聽到的信息。
1. 短期控製結構?
-
是否要求絕對控製?他們想知道,如果其他人(不僅僅是他們三個人,也許是更廣泛的董事會)對方向意見不一,那麽是否存在某種創造性的否決條款?
2. 控製和過渡的持續時間?
-*不可協商*的條款似乎是一項鐵定的協議,即如果創建了
AGI,則不會讓任何一個人擁有絕對控製權。滿足這一條件意味著,無論他們三人發生什麽,都可以保證在 2-3
年的初始階段後分配對公司的權力。
3. 花費的時間?
-Elon
想花多少時間在這上麵?他實際上能花多少時間在這上麵?時間範圍是多長?是每周一小時,還是十小時,還是介於兩者之間?
4. 花費的時間該如何處理?
-他們真的不知道他喜歡在其他公司如何度過時間,也不知道他想如何花時間在這件事上。Greg 和 Ilya 相信他們可以很好地構建
SW/ML 方麵。他們對硬件方麵沒有信心。他們似乎希望 Elon
能花一些時間在這方麵,因為這是他們的弱點,但他們確實希望他在他感興趣的所有領域都能得到幫助。
5. 花費的時間與控製量的比例?
-他們喜歡時間少/控製少,喜歡時間多/控製多,不喜歡時間少/控製多。他們擔心如果花費的時間太少,就沒有足夠的時間討論相關背景信息,從而做出正確的決定。
6. 股權分割?
-Greg仍然本能地堅持平等分配。我個人不同意他的這種本能,他要求並願意聽取其他可以用來重新調整他的心理模型的東西。
-Greg指出,Ilya通過在 Google 上展示自己的賺錢潛力,在某種程度上已經做出了數百萬美元的貢獻。
-他們擔心的一個問題是擬議的員工數量太少。
7. 資本化策略?
-他們的本能是一開始就籌集超過 1
億美元的資金。他們認為,僅他們所需的數據中心就需要這麽多資金,因此他們更願意籌集更多資金。
要點:
不確定這些是否可行,但僅從聽取他們拋出的所有數據點來看,以下內容可以滿足他們當前的棘手問題:
-每周花費 5-10 小時,幾乎完全掌控,或者花費更少的時間,更少的控製。
- 針對極端情況(不僅僅是 Greg / Sam / Ilya)具有創造性的短期覆蓋。
-無論 Greg / Sam / Ilya 的命運如何,一份嚴格的 2-3 年少數股權控製協議。
- 初始融資 2 億至 10 億美元。
-Greg 和 Ilya 的股份最終比 Elon 的股份高出 1/10,但差別並不大(這仍然是最模糊的)。
-增加員工隊伍。
Elon Musk致Shivon
Zilis,(抄送:Sam Teller)-
2017年8月28日
這太煩人了。請鼓勵他們去創業。我受夠了。
Ilya Sutskever致Elon
Musk、Sam Altman(抄送:Greg
Brockman、Sam Teller、Shivon
Zilis)-
2017年9月20日
埃隆、薩姆、
這個過程是我和格雷格參與過的最高風險對話,如果項目成功,它將成為世界上最高的風險對話。對我們所有人來說,這也是一次非常私人的對話。
昨天,當我們在考慮根據非招攬協議做出最終承諾時,我們意識到我們犯了一個錯誤。我們有幾個重要的擔憂,但我們還沒有向你們提出。我們沒有提出這些擔憂,因為我們害怕:我們害怕損害我們的關係,害怕你們看不起我們,或者失去你們這個合作夥伴。
我們的擔憂有可能無法解決。我們真心希望情況不會如此,但我們知道,如果我們現在不討論這些問題,我們肯定會失敗。我們希望我們能夠解決這些問題,並繼續共同努力。
馬斯克:
我們真的想和你們一起工作。我們相信,如果我們聯手,我們完成任務的成功率就會最大。我們的優勢最大。這是毫無疑問的。我們非常渴望和你們一起工作,我們很樂意放棄股權、個人控製權,讓自己容易被解雇——無論需要付出什麽代價來和你們一起工作。
但我們意識到,我們在思考控製對世界的影響時過於粗心。由於這看起來過於傲慢,我們並沒有認真考慮成功的影響。
當前的結構為您提供了一條道路,最終您將單方麵絕對控製 AGI。您表示您不想控製最終的
AGI,但在這次談判中,您向我們表明絕對控製對您來說非常重要。
舉個例子,你說你需要成為新公司的首席執行官,這樣每個人都會知道你才是負責人,盡管你也說過你討厭擔任首席執行官並且寧願不擔任首席執行官。
因此,我們擔心,隨著公司真正朝著 AGI
邁進,你會選擇保留對公司的絕對控製權,盡管你目前的意圖並非如此。我們不同意你的說法,即我們離開的能力是我們最大的力量,因為一旦公司真正走上
AGI 的軌道,公司將比任何個人都重要得多。
OpenAI 的目標是讓未來更美好,避免 AGI 獨裁。你擔心 Demis 會創造一個 AGI
獨裁。我們也是。因此,創建一個你可以選擇成為獨裁者的結構是一個壞主意,尤其是考慮到我們可以創建其他一些可以避免這種可能性的結構。
我們還有一些較小的擔憂,但我們認為在這裏提一下是有用的:
如果我們決定收購 Cerebras,我強烈認為這將通過特斯拉來完成。但如果我們也可以在 OpenAI
內部完成,為什麽要這樣做呢?具體來說,令人擔憂的是,特斯拉有責任為股東實現股東回報最大化,這與 OpenAI
的使命不一致。因此,總體結果可能對 OpenAI 來說並不是最佳的。
我們認為,非營利組織 OpenAI 之所以成功,是因為你和 Sam 都參與其中。Sam
真正起到了平衡你們的作用,這非常有成效。至少到目前為止,Greg
和我都不太能平衡你們。我們覺得,即使是這次談判也證明了這一點,我們準備將長期 AGI 控製問題掩蓋起來,而 Sam
則堅持自己的立場。
薩姆:
當 Greg 和我陷入困境時,你總能給出深刻而正確的答案。你一直在非常深入和徹底地思考如何解決這個問題。Greg
和我了解技術執行,但我們不知道結構決策在未來一個月、一年或五年內會如何發揮作用。
但在整個過程中,我們不能完全信任您的判斷,因為我們不了解您的成本函數。
我們不明白為什麽 CEO 頭銜對你如此重要。你陳述的理由已經改變,很難真正理解是什麽在推動它。
AGI 真的是你的主要動機嗎?它與你的政治目標有何關聯?你的思維過程隨著時間的推移發生了怎樣的變化?
格雷格和伊利亞:
在這次談判中,我們也犯了不少錯誤,下麵我們將列出其中一些(Elon 和 Sam,我相信你們還有很多要補充的……):
在這次談判中,我們意識到,我們讓 2-3
年後的經濟回報來主導我們的決策。這就是我們沒有強行控製的原因——我們認為我們的股權已經足夠好了,所以為什麽要擔心呢?但這種態度是錯誤的,就像人工智能專家的態度一樣,他們不認為人工智能安全是一個問題,因為他們並不真的相信他們會建立
AGI。
我們在談判中沒有說出全部真相。我們有自己的借口,但這損害了談判進程,我們可能會因此失去 Sam 和 Elon。
我們已經承擔了足夠多的負擔,我們認為開會討論這個問題非常重要。如果我們不這樣做,我們的合作就不會成功。我們四個人今天能開會嗎?如果我們都說實話,解決問題,我們創建的公司將更有可能承受它將經曆的強大力量。
- 格雷格和伊利亞
伊隆·馬斯克致伊利亞·蘇茨克韋爾(抄送:薩姆·奧特曼;格雷格·布羅克曼;薩姆·特勒;希馮·齊利斯)
-
2017年9月20日(下午2:17)
夥計們,我受夠了。這是最後一根稻草。要麽自己做點什麽,要麽繼續將 OpenAI
作為非營利組織。除非你下定決心留下來,否則我將不再資助
OpenAI,否則我就是個傻瓜,基本上是在為你提供免費資金來創建一家初創公司。討論結束了
伊隆·馬斯克致伊利亞·蘇茨克韋爾、薩姆·奧特曼(抄送:格雷格·布羅克曼、薩姆·特勒、希馮·齊利斯)-
2017年9月20日(下午3:08)
需要明確的是,這並不是要求接受之前討論內容的最後通牒。這些內容不再存在。
Sam Altman致Elon
Musk、Ilya Sutskever(抄送:Greg
Brockman、Sam Teller、Shivon
Zilis)-
2017年9月21日
我仍然對非盈利結構充滿熱情!
Shivon Zilis致Elon
Musk,(抄送:Sam Teller)-
2017年9月22日
嗨,Elon,
簡單來說,Greg 和 Ilya
表示他們希望繼續保持非盈利結構。他們知道他們需要提供保證,保證他們不會去做其他事情來維持這種結構。
還沒有與奧特曼交談,但他要求今天下午進行交談,因此我會報告我聽到的任何消息。
如果我能提供任何幫助請告訴我。
伊隆·馬斯克致Shivon
Zilis(抄送:Sam
Teller)——2017年9月22日
好的
Shivon Zilis致Elon
Musk,(抄送:Sam Teller)-
2017年9月22日
來自奧特曼:
結構:非常適合保持非營利性並繼續支持它。
信任:承認自己在此過程中對 Greg 和 Ilya
失去了很多信任。感覺他們傳遞的信息不一致,有時還顯得幼稚。
停工:Sam 告訴 Greg 和 Ilya,他需要離開 10
天來思考。他需要弄清楚自己能信任他們多少,以及他有多想與他們合作。他說他會在那之後回來,弄清楚他想花多長時間。
籌款:Greg 和 Ilya 相信,如果做出明確的努力,捐款可以實現數億美元。Sam
認為有一條通往數千萬美元的明確途徑,但更多尚待確定。他確實提到 Holden 對營利性轉型感到惱火,如果 OpenAI
保持非營利性,他可能會提供更多資金,但尚未堅定承諾。Sam 給出了一個數字,如果實現這一目標,他將獲得 1 億美元。
溝通:Sam 對 Greg 和 Ilya
在整個過程中讓整個團隊了解最新情況感到困擾。感覺這分散了團隊的注意力。另一方麵,顯然在最後一天幾乎每個人都被告知營利結構不會發生,他對此感到高興,至少因為他隻是希望團隊再次低調行事。
希馮
Sam Altman致Elon
Musk(抄送:Greg Brockman、Ilya
Sutskever、Sam Teller、Shivon
Zilis)-
2018年1月21日
伊隆—
注意,與一些安全團隊進行了交談,他們對 ICO 以及未來可能產生的意外影響有很多擔憂。
計劃明天與整個團隊交談並征求意見。我要強調保密的必要性,但我認為獲得認同並讓人們有機會盡早發表意見非常重要。
薩姆
伊隆·馬斯克致薩姆·奧特曼(抄送:Greg
Brockman、Ilya Sutskever、Sam
Teller、Shivon Zilis)-
2018年1月21日
絕對地
Andrej Karpathy致Elon
Musk,(抄送:Shivon Zilis)-
2018年1月31日
ICLR 會議(深度學習領域的頂級會議(NIPS
規模更大,但更分散))發布了論文被接受/被拒絕的決定,有人製作了一些精美的圖表,顯示了當前深度學習/人工智能研究的進展。這是一個不完美的衡量標準,因為並非每家公司都會優先考慮論文發表,但它具有指示性。
以下圖表顯示了來自任何機構的論文總數(按口頭/海報/研討會/拒絕細分):
[劇情圖片已撤回]
長話短說,穀歌以 83 篇論文提交量占據主導地位。學術機構(伯克利 / 斯坦福 / 卡內基梅隆大學 /
麻省理工學院)緊隨其後,各有 20-30 篇論文提交量。
隻是覺得這是今天所有活動的有趣快照。
—安德烈
伊隆·馬斯克致Greg
Brockman、Ilya Sutskever、Sam
Altman(抄送:Sam Teller、Shivon
Zilis,轉寄:Andrej
Karpathy)—2018年1月31日
相對於穀歌,OpenAI
走上了一條注定失敗的道路。顯然,需要立即采取有力的行動,否則除了穀歌之外的所有人都將變得無關緊要。
我考慮過 ICO 的做法,但不會支持。在我看來,這隻會導致 OpenAI 和與 ICO
相關的每個人信譽大打折扣。如果某件事看起來好得令人難以置信,那它就是假的。在我看來,這是一次不明智的轉移。
我能想到的唯一途徑是 OpenAI 的大規模擴張和 Tesla AI
的大規模擴張。也許兩者同時進行。前者需要大幅增加捐贈資金,並需要有高度可信的人加入我們的董事會。目前的董事會狀況非常薄弱。
明天我會安排一個時間讓我們談談。要清楚的是,我非常尊重你的能力和成就,但我對事情的處理方式並不滿意。這就是為什麽我最近幾個月與
OpenAI
的合作一直很困難。要麽我們解決問題,我的參與度會大大提高,要麽我們不會解決問題,我的參與度會降到接近零,並公開減少我的聯係。我不會處於這樣一種境地:我的影響力和時間的認知與現實不符。
埃隆·馬斯克(Elon
Musk)致安德烈·卡帕蒂(Andrej Karpathy) -
2018年1月31日
供參考
您認為什麽才合理?如果更好的話,我很樂意通過電話交談。
安德烈·卡帕蒂(Andrej
Karpathy)致埃隆·馬斯克(Elon Musk) -
2018年1月31日
不幸的是,在 AI 前沿領域工作成本高昂。例如,DeepMind 在 2016 年的運營費用約為 2.5
億美元(不包括計算費用)。隨著他們團隊的不斷壯大,現在的運營費用可能約為每年 5 億美元。但 Alphabet 在 2016
年報告的淨收入約為 200 億美元,因此即使 DeepMind 自己沒有收入,成本仍然相當低廉。除了
DeepMind,穀歌還有穀歌大腦、研究和雲。還有
TensorFlow、TPU,他們擁有大約三分之一的研究成果(事實上,他們舉辦自己的 AI 會議)。
我還強烈懷疑計算能力對於實現 AGI 是必要的(甚至可能足夠)。如果曆史趨勢有任何跡象,那麽人工智能的進步主要由係統驅動 -
計算、數據、基礎設施。我們今天使用的核心算法與 90
年代相比基本保持不變。不僅如此,任何在某篇論文中發表的算法進步幾乎都可以立即重新實施和納入。相反,算法進步本身如果沒有規模,也是無用的,因此也很難令人生畏。
在我看來,OpenAI 如今正在燒錢,其融資模式無法達到與穀歌(一家市值 8000
億美元的公司)真正競爭的規模。如果你無法真正競爭,但繼續在開放領域進行研究,那麽你實際上可能會讓事情變得更糟,並“免費”幫助他們,因為任何進步對他們來說都相當容易複製並立即大規模采用。
盈利轉型可能會隨著時間的推移創造更可持續的收入來源,並且,在現有團隊的帶領下,可能會帶來大量投資。然而,從頭開始開發產品會分散人工智能研究的注意力,需要很長時間,而且尚不清楚一家公司是否能“趕上”穀歌的規模,投資者可能會在錯誤的方向上施加過多的壓力。
正如我之前提到的,我能想到的最有希望的選擇是 OpenAI
把特斯拉作為搖錢樹。我相信,與其他大型嫌疑人(例如蘋果?亞馬遜?)的合作會因為公司 DNA 不兼容而失敗。用火箭來比喻,特斯拉已經用
Model 3
的整個供應鏈及其車載計算機和持久的互聯網連接建造了火箭的“第一階段”。“第二階段”將是一個基於大規模神經網絡訓練的全自動駕駛解決方案,OpenAI
的專業知識可以大大幫助加速這一進程。有了功能齊全的全自動駕駛解決方案,我們可以在 2-3
年內賣出很多汽車/卡車。如果我們做得非常好,運輸行業就足夠大了,我們可以將特斯拉的市值提高到高 O(約
100K),並利用這些收入資助適當規模的人工智能工作。
我看不到有任何其他東西有潛力在十年內達到穀歌規模的可持續資本。
—安德烈
伊隆·馬斯克致伊利亞·蘇茨克維爾、格雷格·布羅克曼的信-
2018年2月1日
[轉發了Andrej之前的消息]
Andrej 說得完全正確。我們可能希望情況並非如此,但在我和 Andrej
看來,特斯拉是唯一一條有望與穀歌抗衡的道路。即便如此,成為穀歌的製衡力量的可能性也很小。它不是零。
Shivon Zilis致Elon
Musk,(抄送:Sam Teller)-
2018年3月25日
OpenAI
籌款:
-不再采用 ICO/“提前購買計算的工具”類型的結構。Altman 正在考慮一種工具,如果 OpenAI 確實實現了某種賺錢的
AGI,那麽感興趣的 4-5 家大公司可以投資,回報率上限為 50
倍。他們似乎隻是為了訪問而願意這樣做。他想和你更詳細地討論。
董事會正式辭職:
- 從技術上講,你仍然是董事會成員,因此需要向 Sam Altman 發送一封簡短的郵件,內容類似於“通過這封電子郵件,我謹辭去
OpenAI 董事職務,自 2018 年 2 月 20 日起生效”。
未來委員會:
-Altman
說他可以接受我加入,然後如果我產生矛盾就必須退出,但他擔心如果我必須退出,其他人會認為這是自斷後路。我認為最好的辦法是暫時不要加入,做一個模棱兩可的顧問,但如果你有不同的想法,請告訴我。他們有
Adam D'Angelo 作為第五個可能接替你的人選,這看起來很棒?
特斯拉人工智能
Andrej 有三名候選人,周二可能會有 1-2
名候選人來見你。他會向你發送一份關於他們的簡報。此外,他正在為可能發布的版本編寫初始語言,該版本將於周二準備好討論。它將遵循我們討論過的“全棧
AI 實驗室”角度,但如果感覺不對,請糾正方向……這是個棘手的消息傳遞方式。
大腦
Chip 應該會在 8 月上市供他們測試,他們計劃在 9 月讓其他人進行遠程訪問。Cerebras
的工作人員還提到,他們最近很多客戶對 Nvidia 的服務條款變化感到不滿(這種變化迫使公司從消費級 GPU 轉向企業級
Pascals/Voltas)。Scott Gray 和 Ilya 繼續花大量時間與他們在一起
Sam Altman致Elon
Musk,(抄送:Shivon Zilis)-
2018年4月2日
我們計劃下周發布該功能-有什麽想法嗎?
OpenAI 憲章
OpenAI 的使命是確保通用人工智能
(AGI)(即在最具經濟價值的創造性工作中表現優於人類的高度自主係統)造福全人類。我們將嚐試直接構建安全且有益的
AGI,但如果我們的工作能夠幫助其他人實現這一結果,我們也會認為我們的使命已經完成。為此,我們承諾遵守以下原則:
廣泛分布的利益
我們承諾利用我們在 AGI 部署方麵獲得的任何影響力,確保它能造福所有人,並避免使人工智能或 AGI
的使用危害人類或過度集中權力。
我們的主要受托責任是服務於人類。我們預計需要調動大量資源來完成我們的使命,但我們將始終努力減少員工和利益相關者之間的利益衝突,以免影響廣泛的利益。
長期安全
我們致力於進行確保 AGI 安全所需的研究,並推動此類研究在整個 AI 社區的廣泛應用。
我們擔心 AGI
的後期開發會變成一場沒有時間采取充分安全預防措施的競爭。因此,如果一個符合價值觀、注重安全的項目在我們之前接近建立
AGI,我們承諾停止與該項目競爭並開始協助該項目。我們將根據具體情況製定具體協議,但典型的觸發條件可能是“未來 2
年內成功的可能性高於平均水平”。
技術領導力
為了有效解決 AGI 對社會的影響,OpenAI 必須處於 AI 能力的前沿——僅靠政策和安全倡導是不夠的。
我們相信,人工智能將在通用人工智能之前對社會產生廣泛影響,我們將努力在與我們的使命和專業知識直接相關的領域發揮領導作用。
合作導向
我們將積極與其他研究和政策機構合作;我們尋求創建一個共同應對AGI全球挑戰的全球社區。
我們致力於提供公共產品,幫助社會走向 AGI。目前,這包括發布我們的大部分 AI
研究成果,但我們預計,出於對安全和保障的考慮,未來我們的傳統出版將減少,同時共享安全、政策和標準研究成果的重要性將提高。
伊隆·馬斯克致薩姆·奧特曼(抄送:Shivon
Zilis)-
2018年4月2日
聽起來不錯
Shivon Zilis致Elon
Musk,(抄送:Sam Teller)-
2018年4月23日
根據與 Altman 的對話更新信息。您暫定於周二與他交談。
融資:
-他再次確認,他們絕對不是在進行 ICO,而是在進行具有固定最大回報的股權。
- 他想向您介紹一下加薪的相當獨特的附屬結構。
- 希望在第一輪 4-6 周內采取行動(可能主要是 Reid 的錢,也可能是一些企業錢)。
技術:
說 Dota 5v5 看起來比預期的要好。
-Dota 機器人性能的急劇提升顯然導致內部人員擔心 AGI 的時間表比他們之前想象的要早。
- 認為他們很快就能擊敗蒙特祖瑪的複仇。
時間分配:
-我把過去在 OpenAI 上花費的大部分時間重新分配給了 Neuralink 和
Tesla。這自然是由於你退出董事會和相關因素而發生的——但如果您希望我將更多時間重新投入到 OpenAI 監督中,請告訴我。
-Sam 和 Greg 問我是否願意加入他們的非正式顧問委員會(目前隻有 Gabe
Newell),考慮到潛在的衝突,這似乎比正式委員會更好?如果覺得不合適,請告訴我你更喜歡哪個
Sam Altman致Elon
Musk,(抄送:Sam Teller、Shivon
Zilis)-
2019年3月6日
伊隆—
這是我們計劃於周一發布的草稿。還有什麽要添加/編輯的嗎?
總結:
我們創建了利潤上限 公司,並在 Reid 和 Vinod 的帶領下完成了第一輪融資。
我們這樣做是為了讓所有投資者都清楚,他們永遠不應該期望獲得利潤。
我們任命格雷格為新公司的董事長,我擔任首席執行官。
我們已經與潛在的下一輪投資者測試了這種結構,他們似乎很喜歡它。
說到最後一點,我們現在正在討論一項數十億美元的投資,有空的時候我想聽聽你的建議。很高興有時間去灣區看望你。
薩姆
伊隆·馬斯克致薩姆·奧特曼-
2019年3月11日
請明確說明,我對 OpenAI 的營利部門沒有任何經濟利益
伊隆·馬斯克聯合創辦的人工智能研究小組成立盈利部門
彭博
OpenAI是一家總部位於舊金山的人工智能研究機構,由埃隆·馬斯克和其他幾位矽穀知名企業家共同創立,該機構正在成立一個營利性部門,以便籌集更多資金。閱讀全文
分享自Apple News
薩姆·奧特曼致伊隆·馬斯克-
2019年3月11日