本地運行大模型的一大障礙是模型要放在GPU的graphic memory,但是VRAM很貴,內存和VRAM之間調數據也需要時間。蘋果用統一內存,模型就直接放在RAM上,也不需要調來調去,最適合Deep Seek這樣模型的本地部署,我在MacBook上運行速度很快。估計是這兩天蘋果漲了不少的原因,手機端也可以運行大模型了,而且別人已經做好了開源,自己拿來改改就可以用了