這個Deep Seek對蘋果電腦這種用Unified Memory的架構比較好,用普通蘋果電腦就可以運行大模型

本地運行大模型的一大障礙是模型要放在GPU的graphic memory,但是VRAM很貴,內存和VRAM之間調數據也需要時間。蘋果用統一內存,模型就直接放在RAM上,也不需要調來調去,最適合Deep Seek這樣模型的本地部署,我在MacBook上運行速度很快。估計是這兩天蘋果漲了不少的原因,手機端也可以運行大模型了,而且別人已經做好了開源,自己拿來改改就可以用了

所有跟帖: 

讚第一手的資信 -沉默的老農民- 給 沉默的老農民 發送悄悄話 (0 bytes) () 01/28/2025 postreply 15:02:17

是,我的windows電腦,也有32G RAM,跑個7B模型都吭哧吭哧地。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/28/2025 postreply 15:11:00

要看顯存大小。我用的4080,16G顯存,96G內存,跑14B的很快,但是32b就很慢 -gyarados- 給 gyarados 發送悄悄話 (75 bytes) () 01/28/2025 postreply 20:07:21

正是!蘋果電腦設計的太棒了,早就為AI都準備好了。有人問我的蘋果電腦有幾個GPU,40個! -未知- 給 未知 發送悄悄話 未知 的博客首頁 (479 bytes) () 01/28/2025 postreply 15:11:22

蘋果不搞AI, 卻提供了最好的個人AI運行平台。不知道是不是瞎貓碰上了死耗子。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/28/2025 postreply 15:17:43

我猜測蘋果電腦的係統設計師很有遠見,另外蘋果從來都是Vertical Integration上做的出色 -未知- 給 未知 發送悄悄話 未知 的博客首頁 (112 bytes) () 01/28/2025 postreply 16:03:48

個人看法,不是。蘋果深耕視頻處理多年,視頻和AI技術在硬件要求上重合度高。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/28/2025 postreply 16:27:35

前幾天沒人要的蘋果突然又變成了香餑餑 -越王劍- 給 越王劍 發送悄悄話 越王劍 的博客首頁 (48 bytes) () 01/28/2025 postreply 15:18:34

AI大神好不容易放下身段坐下來,蘋果就砸中了。 -亞特蘭蒂斯- 給 亞特蘭蒂斯 發送悄悄話 亞特蘭蒂斯 的博客首頁 (0 bytes) () 01/28/2025 postreply 15:21:58

這是你自己想的?什麽時候蘋果要靠配置高取勝?以前喬布斯都是靠設計和用戶體驗的,哈哈 -BrightLine- 給 BrightLine 發送悄悄話 BrightLine 的博客首頁 (161 bytes) () 01/28/2025 postreply 15:35:37

什麽叫我自己想的,這個是常識吧,誰可以去試,我本來就在用MacBook運行本地的Llama3.2 vision -丁丁在美洲- 給 丁丁在美洲 發送悄悄話 丁丁在美洲 的博客首頁 (54 bytes) () 01/28/2025 postreply 15:52:08

DS 出的太晚了,否者PatGelsinger 的 AI PC 說不定就救了Intel:) -三心三意- 給 三心三意 發送悄悄話 (0 bytes) () 01/28/2025 postreply 15:55:52

如果多是用AI模型,蘋果性價比較高!如果AI訓練多,蘋果就差遠了,畢竟NVDA和CUDA的性能更高,高端PC太貴了。 -pichawxc- 給 pichawxc 發送悄悄話 pichawxc 的博客首頁 (0 bytes) () 01/28/2025 postreply 18:04:25

請您先登陸,再發跟帖!