這個Deep Seek對蘋果電腦這種用Unified Memory的架構比較好,用普通蘋果電腦就可以運行大模型

來源: 2025-01-28 14:42:51 [博客] [舊帖] [給我悄悄話] 本文已被閱讀:

本地運行大模型的一大障礙是模型要放在GPU的graphic memory,但是VRAM很貴,內存和VRAM之間調數據也需要時間。蘋果用統一內存,模型就直接放在RAM上,也不需要調來調去,最適合Deep Seek這樣模型的本地部署,我在MacBook上運行速度很快。估計是這兩天蘋果漲了不少的原因,手機端也可以運行大模型了,而且別人已經做好了開源,自己拿來改改就可以用了