我的NVidia workstation,卻隻能跑 7b 模型,CPU的RAM根本用不上。
隻就是蘋果計算機的優勢了,Unified Memory?構建CPU&GPU共享RAM,可以跑大模型
所有跟帖:
• 你的ram多大?我8G的ram,低配版M2,隻能跑7b版。加個UI每次問問題它思考我都不能幹別的事。 -largesammy- ♂ (0 bytes) () 01/29/2025 postreply 18:39:44
• M2跑大模型有的吃力,試試1.5b版 -未知- ♂ (81 bytes) () 01/29/2025 postreply 23:46:03