個人資料
  • 博客訪問:
正文

AI學習的能耗與人類比一下(老鍵定律)

(2025-02-22 05:03:21) 下一個

AI證明是件不錯的工具,尤其寫程序,寫現代詩歌不敢恭維,就這樣了,再說點啥好呢?對了,馬斯克說人的大腦思考時功率是20瓦,比我猜想的要高一些,人們都說現在的AI大語言模型訓練起來極耗能,譬如Chat GPT-4 的訓練耗能看介紹在10到50兆瓦小時GWh,相當於兩千到一萬戶悉尼人家的全年用電量, 取40GWh好了。於是有了點好奇,這AI耗能和人腦比究竟如何?

估算一下不難,gpt-4的訓練量據報是數萬億字(有精確數字的請告知),算十萬億吧(10,000,000,000,000)。人類學習以讀書為例比較易算,一本英文書大概5萬到10萬字,取中值7萬5,算一個月讀一本,一年12本書是900,000字,一個人幾乎一生都在學習,算10歲學到70歲,兩頭效率低,平均一年算500,000字吧,一生60年有效學習總計3千萬字(30,000,000)。

如此,gpt-4的訓練量大約相當於33萬人一生的學習量。

現在來算這麽些人學習的能耗,假設一個人一天花7小時學習,一年學習300天,那麽60年學習的耗能是

60年×300天×7小時×0.02千瓦= 2,520千瓦小時(kWh),看起來不賴,才一戶人家半年的能耗 。

然而,333萬人的學習總耗就不低了,那是839,160,000kWh,也就是839兆瓦小時(GWh), 與gpt-4的40GWh比,要高21倍。

所以即使拿今天如gpt這樣的高能耗AI模型來說,其單位能耗的學校效率也要比人類高21倍,而deepseek的能耗據說隻是gpt的幾十分子一。

希望沒算得太離譜。如果基本站得住腳,"老鍵定律"就呼之欲出了嗬嗬

一個主流大語言模型

1。起碼相當於333萬知識階層人腦

2。學習速度起碼比這麽些人(總和)快20倍( 3年vs60年)

3。能效起碼比這麽些人(總和)高21倍

[ 打印 ]
評論
目前還沒有任何評論
登錄後才可評論.