本地運行大模型的一大障礙是模型要放在GPU的graphic memory,但是VRAM很貴,內存和VRAM之間調數據也需要時間。蘋果用統一內存,模型就直接放在RAM上,也不需要調來調去,最適合Deep Seek這樣模型的本地部署,我在MacBook上運行速度很快。估計是這兩天蘋果漲了不少的原因,手機端也可以運行大模型了,而且別人已經做好了開源,自己拿來改改就可以用了
這個Deep Seek對蘋果電腦這種用Unified Memory的架構比較好,用普通蘋果電腦就可以運行大模型
所有跟帖:
•
讚第一手的資信
-沉默的老農民-
♀
(0 bytes)
()
01/28/2025 postreply
15:02:17
•
是,我的windows電腦,也有32G RAM,跑個7B模型都吭哧吭哧地。
-亞特蘭蒂斯-
♂
(0 bytes)
()
01/28/2025 postreply
15:11:00
•
要看顯存大小。我用的4080,16G顯存,96G內存,跑14B的很快,但是32b就很慢
-gyarados-
♂
(75 bytes)
()
01/28/2025 postreply
20:07:21
•
正是!蘋果電腦設計的太棒了,早就為AI都準備好了。有人問我的蘋果電腦有幾個GPU,40個!
-未知-
♂
(479 bytes)
()
01/28/2025 postreply
15:11:22
•
蘋果不搞AI, 卻提供了最好的個人AI運行平台。不知道是不是瞎貓碰上了死耗子。
-亞特蘭蒂斯-
♂
(0 bytes)
()
01/28/2025 postreply
15:17:43
•
我猜測蘋果電腦的係統設計師很有遠見,另外蘋果從來都是Vertical Integration上做的出色
-未知-
♂
(112 bytes)
()
01/28/2025 postreply
16:03:48
•
個人看法,不是。蘋果深耕視頻處理多年,視頻和AI技術在硬件要求上重合度高。
-亞特蘭蒂斯-
♂
(0 bytes)
()
01/28/2025 postreply
16:27:35
•
前幾天沒人要的蘋果突然又變成了香餑餑
-越王劍-
♂
(48 bytes)
()
01/28/2025 postreply
15:18:34
•
AI大神好不容易放下身段坐下來,蘋果就砸中了。
-亞特蘭蒂斯-
♂
(0 bytes)
()
01/28/2025 postreply
15:21:58
•
這是你自己想的?什麽時候蘋果要靠配置高取勝?以前喬布斯都是靠設計和用戶體驗的,哈哈
-BrightLine-
♂
(161 bytes)
()
01/28/2025 postreply
15:35:37
•
什麽叫我自己想的,這個是常識吧,誰可以去試,我本來就在用MacBook運行本地的Llama3.2 vision
-丁丁在美洲-
♂
(54 bytes)
()
01/28/2025 postreply
15:52:08
•
DS 出的太晚了,否者PatGelsinger 的 AI PC 說不定就救了Intel:)
-三心三意-
♂
(0 bytes)
()
01/28/2025 postreply
15:55:52
•
如果多是用AI模型,蘋果性價比較高!如果AI訓練多,蘋果就差遠了,畢竟NVDA和CUDA的性能更高,高端PC太貴了。
-pichawxc-
♂
(0 bytes)
()
01/28/2025 postreply
18:04:25