蘋果 AI,給手機 + AI 打了一個樣

 

蘋果,終於曝光了在 AI 方麵的進展。

與上個月穀歌在 I/O 的發布會上,一共提起了 AI 這個詞 121 次不同,當地時間 6 月 10 日,蘋果在 WWDC24 的前一個小時裏,幾乎一次 AI 都沒有提到。盡管這場 WWDC 發布會,早已注定要聚焦於 AI。

直到發布會進度過半,蘋果才終於端出了這道主菜,Apple Intelligence。雖然同樣可以簡寫為 AI,但蘋果最終選擇將自己的 AI 命名為「蘋果智能」。介紹時,庫克特別強調他們想要打造的,是超越「人工智能」(Artificial Intelligence)的「個人智能」(Personal Intelligence)。

與其他大模型「大力出奇跡」的發展理念不同,蘋果在打造自己的 AI 時,采用了相對謹慎,顆粒度也更細的開發模式,各項功能定義得更加明確清晰,但也顯得不那麽「神奇」

發布會上,蘋果官宣了與 OpenAI 的合作。用戶將可以通過 Siri,直接調用 GPT-4o 的接口來進行對話,但並沒有將 GPT 與手機功能做更深的結合。

無論如何,蘋果代表的,是十億級的移動設備用戶,最高頻的使用場景。這可能是 AI 真正變得「有用」的開端。

 

蘋果智能是什麽?

將 AI 與智能手機結合,早已不是新鮮事,蘋果所采取的思路,與一眾 Android 廠商,依然是類似的。

簡單來說,手機廠商要把 AI 的輸入端,從用戶輸入 prompt,改造成模型主動感知手機上「正在發生的一切」作為 prompt。同時也把 AI 的輸出端,從單純的輸出信息,變成調用 App,實現各種行為功能。

蘋果用了 5 個詞來總結 AI 的特性:性能強勁,直覺易用,功能整合,個性定製,隱私安全

功能上,蘋果主要圍繞文字、圖像和交互三個模塊,打造了蘋果智能的功能。

文字功能主要圍繞短信和郵件兩個場景展開,用戶可以選中一段文字,然後進行各種 AI 優化,包括語法檢查、重寫,生成總結、要點、列表……用戶也可以用自然語言描述自己的改寫需求,比如改得更簡略一點,將語氣變得友善隨意或專業一點。

基於這套語言模型,蘋果也做了電話錄音、轉文字、生成總結,以及自動識別短信、郵件內容,將優先級高的內容放到前麵顯示。蘋果會將這類內容標記為「可能重要」。

使用 AI 生成 genmoji 在信息應用裏使用|圖片來源:Apple

圖像功能則主要是「生成圖片」。蘋果智能可以自動提取各種場景下的文字作為 prompt,生成圖片。比如發短信時根據輸入的文字內容生成圖片、emoji(蘋果將其命名為 genmoji);在 iPad 上根據用戶畫的草圖或寫下的文字,提取關鍵信息生成圖片。以及蘋果也加入了不少手機廠商已經做了的「照片智能消除」功能,可以將照片裏無關的路人摳掉,並自動生成一部分圖像填充空白。

最後,也是相對比較關鍵的,則是對交互的改進。蘋果表示 AI 將開啟 Siri 的全新時代。Siri 將可以理解更複雜的語言文本,進行更自然的交互,而且 Siri 會自動利用設備上的各種信息來「理解語境」,更好地解讀用戶的需要。

這部分功能描述起來比較複雜。比如用戶不記得自己的身份證號了,問 Siri,Siri 就可以從相冊裏,找出護照的照片,提取號碼,讓用戶填入。隻不過 Siri 能感知的信息將包括日曆、備忘錄、短信、郵件等等……

Apple Intelligence 會登陸所有蘋果終端設備|圖片來源:Apple

除此之外,用戶有不知道怎麽操作的功能,也可以直接用自然語言描述給 Siri 聽,Siri 會幫忙找到對應的操作方法,這也將極大改變用戶使用手機的方式。

最後,蘋果也將 ChatGPT 整合進了智能係統。在處理文字和使用 Siri 的過程中,如果用戶想要調用性能更強的雲端模型,可以切換使用 GPT-4o 來生成信息,也可以綁定自己的 GPT Plus 賬戶,利用其他模型。

 

把 AI 做細

因為 AI 要利用用戶最敏感的隱私信息來作為輸入,蘋果自然會把隱私保護視為重中之重

蘋果智能的模型是跑在設備本地的,蘋果沒有公布關於這個端側模型的任何信息,但隻有搭載了 A17 Pro 芯片的 iPhone 15 Pro 係列,以及 M1 以上芯片的 Mac 和 iPad 才支持蘋果 AI,可見它對芯片 NPU 的性能要求很高。

但蘋果 AI 依然無法做到 100% 的本地運行,在需要的時候,它也會利用雲端算力來進行處理。蘋果表示,這部分處理的過程中,不會留存任何用戶數據,隻會在處理用戶主動請求時上傳信息,並且通過可驗證的隱私機製來保證安全,蘋果將這套係統稱為「私密雲計算」(Private Cloud Compute)。

蘋果 AI 也會接入 ChatGPT,不過使用前會先詢問用戶|圖片來源:Apple

至於調用 GPT 的部分,蘋果會在用戶選擇調用 GPT 之前進行詢問確認,並會提示 GPT 返回的結果不一定事實正確。

所以,蘋果 AI 可以分為蘋果自研的端側模型、雲端模型加上 GPT 三套係統,這套架構本身並不複雜,但依然有很多細節問題懸而未決。

比如其中最重要的,就是 AI 要如何利用第三方 App 的問題。目前蘋果已經公布了第一批 AI 配套的開發工具,開發者可以利用接口,將自己 App 的功能接入到 AI 係統裏。這種開發模式有點類似於過去的「快捷指令」,實際上開發者,特別是那些大公司,最終可能並不會很積極地進行適配

舉一個例子,想要通過蘋果的 AI 搜索 iMessage 裏的某一條聊天記錄、圖片可能很方便,從 AI 上線第一天就能有很好的支持。但如果用戶在記日曆的時候,問 Siri 昨天某某同事在飛書、微信上跟他約好的時間是幾點,AI 係統很可能就無法順利獲取這部分信息。

類似的問題還體現在,這些「私人信息」要如何跨設備流轉?比如用戶在 Mac 上想要問 Siri 過去幾天的運動狀況,而運動健康信息是儲存在 iPhone 上的。目前蘋果沒有公布任何跨設備的信息流轉機製,所以很可能就無法獲取這部分信息。

WWDC 主演講上發布的關於 Apple Intelligence 的所有信息|圖片來源:Apple

大模型最大的革命之處,就在於它擁有一個「完整的知識庫」

因為這個知識庫幾乎無所不包,所以才體現為大模型能力的湧現,讓人感覺無論你問它什麽,怎麽問,它總能給出答案。而要把這套係統搬到手機上,將用戶的全部個人信息整合成一個「知識庫」,供用戶隨時獲取,但同時又要保證隱私安全,這在產品設計和邏輯上將會是巨大挑戰。

任何產品想要突破使用率的瓶頸走向普及,就一定要保證交互的成功率,用戶在得到自己想要的東西。就像語音助手過去從未真正普及的主要原因還是交互的失敗率太高,而到了 AI 的時代,它依然要麵臨同樣的問題。

蘋果在 AI 上,才剛剛打了一個地基

 

國內用戶能期待什麽?

根據蘋果公布的信息,Apple Intelligence 第一批將僅支持英語,且也要等到秋季才會推送測試版本。目前已經推送的第一波開發者版本的新係統,尚未搭載蘋果的 AI。

蘋果表示明年會加入更多功能、語言和平台。大概率是在蘋果 AI 的這套係統裏,GPT 最終像 Safari 搜索引擎一樣,可以被替換。此前有消息曝出蘋果與百度正在就大模型接口的合作進行溝通,應該替換的就是這一部分。

而蘋果 AI 真正核心的端側模型和雲端模型,既然都是蘋果自研,隻要能通過國內的合規流程,國內用戶依然有較大希望能順利用上。

利用模型能力,顛覆計算設備的交互界麵,並重構個人的數據組織結構,這是自大模型誕生之初就存在的想象。但大多數做模型和應用的公司,都很難染指計算設備的核心係統,包括過程中的隱私安全問題也讓蘋果這樣的廠商不得不保持萬分謹慎。

但現在,無論如何,這艘大船已經起航。

 

所有跟帖: 

據說隻有新款蘋果支持?15都不支持?太強悍了 -麥迪文- 給 麥迪文 發送悄悄話 (0 bytes) () 06/12/2024 postreply 09:49:10

期待!等著買新手機了。 -MoonlightBee- 給 MoonlightBee 發送悄悄話 MoonlightBee 的博客首頁 (0 bytes) () 06/12/2024 postreply 17:05:54

喜歡看這樣的貼子 -螺絲螺帽- 給 螺絲螺帽 發送悄悄話 螺絲螺帽 的博客首頁 (0 bytes) () 06/13/2024 postreply 07:24:18

請您先登陸,再發跟帖!