模型放在那了,從模型計算求解一樣是個resource intensive的過程,如果是大模型的話

來源: 2024-12-13 12:25:08 [舊帖] [給我悄悄話] 本文已被閱讀:

並不是訓練才消耗資源,更何況如果這個求解過程持續進行。聽起來你並不懂。 把大模型訓練好下載到機器上,用這個大模型來製作東西,需要什麽硬件級別? “隻增加少量內存或不增加”隻有一種可能性,就是有專用硬件類似ASIC把這個求解做死了,但這個ASIC還沒有通用的。