本地運行大模型的一大障礙是模型要放在GPU的graphic memory,但是VRAM很貴,內存和VRAM之間調數據也需要時間。蘋果用統一內存,模型就直接放在RAM上,也不需要調來調去,最適合Deep Seek這樣模型的本地部署,我在MacBook上運行速度很快。估計是這兩天蘋果漲了不少的原因,手機端也可以運行大模型了,而且別人已經做好了開源,自己拿來改改就可以用了
這個Deep Seek對蘋果電腦這種用Unified Memory的架構比較好,用普通蘋果電腦就可以運行大模型
所有跟帖:
• 讚第一手的資信 -沉默的老農民- ♀ (0 bytes) () 01/28/2025 postreply 15:02:17
• 是,我的windows電腦,也有32G RAM,跑個7B模型都吭哧吭哧地。 -亞特蘭蒂斯- ♂ (0 bytes) () 01/28/2025 postreply 15:11:00
• 要看顯存大小。我用的4080,16G顯存,96G內存,跑14B的很快,但是32b就很慢 -gyarados- ♂ (75 bytes) () 01/28/2025 postreply 20:07:21
• 正是!蘋果電腦設計的太棒了,早就為AI都準備好了。有人問我的蘋果電腦有幾個GPU,40個! -未知- ♂ (479 bytes) () 01/28/2025 postreply 15:11:22
• 蘋果不搞AI, 卻提供了最好的個人AI運行平台。不知道是不是瞎貓碰上了死耗子。 -亞特蘭蒂斯- ♂ (0 bytes) () 01/28/2025 postreply 15:17:43
• 我猜測蘋果電腦的係統設計師很有遠見,另外蘋果從來都是Vertical Integration上做的出色 -未知- ♂ (112 bytes) () 01/28/2025 postreply 16:03:48
• 個人看法,不是。蘋果深耕視頻處理多年,視頻和AI技術在硬件要求上重合度高。 -亞特蘭蒂斯- ♂ (0 bytes) () 01/28/2025 postreply 16:27:35
• 前幾天沒人要的蘋果突然又變成了香餑餑 -越王劍- ♂ (48 bytes) () 01/28/2025 postreply 15:18:34
• AI大神好不容易放下身段坐下來,蘋果就砸中了。 -亞特蘭蒂斯- ♂ (0 bytes) () 01/28/2025 postreply 15:21:58
• 這是你自己想的?什麽時候蘋果要靠配置高取勝?以前喬布斯都是靠設計和用戶體驗的,哈哈 -BrightLine- ♂ (161 bytes) () 01/28/2025 postreply 15:35:37
• 什麽叫我自己想的,這個是常識吧,誰可以去試,我本來就在用MacBook運行本地的Llama3.2 vision -丁丁在美洲- ♂ (54 bytes) () 01/28/2025 postreply 15:52:08
• DS 出的太晚了,否者PatGelsinger 的 AI PC 說不定就救了Intel:) -三心三意- ♂ (0 bytes) () 01/28/2025 postreply 15:55:52
• 如果多是用AI模型,蘋果性價比較高!如果AI訓練多,蘋果就差遠了,畢竟NVDA和CUDA的性能更高,高端PC太貴了。 -pichawxc- ♂ (0 bytes) () 01/28/2025 postreply 18:04:25