70B太大了,我的4080的機器32b的跑起來都嫌慢,14b的才差不多
所有跟帖:
•
隻就是蘋果計算機的優勢了,Unified Memory?構建CPU&GPU共享RAM,可以跑大模型
-未知-
♂
(88 bytes)
()
01/28/2025 postreply
20:35:43
•
你的ram多大?我8G的ram,低配版M2,隻能跑7b版。加個UI每次問問題它思考我都不能幹別的事。
-largesammy-
♂
(0 bytes)
()
01/29/2025 postreply
18:39:44
•
M2跑大模型有的吃力,試試1.5b版
-未知-
♂
(81 bytes)
()
01/29/2025 postreply
23:46:03