蘋果平板電腦可以運行70b 模型。

需要是比較新的M3、M4係列的,因為它們用了Unified Memory構建,GPU可以直接存取RAM的數據。我在蘋果M3 Pro機上跑了DS-r1-70b 和Llama3-70b模型。

https://bbs.wenxuecity.com/ai/8604.html

用Nvidia RTX 顯板的Windows,要看你的顯板VRAM有多大。隻能跑小於顯板內存大小的模型。例如RTX3080有12GB內存,如果有兩塊顯板,就是24GB,可以跑 DS-r1-32b模型 (32b模型壓縮後實際用20GB內存)。

 

請您先登陸,再發跟帖!