請教各位朋友:關於大模型本地部署,一個視頻說下載幾十兆的軟件及十幾個G的大模型,就可以實現離線問答,我的問題是這麽點

數據,就夠回答有關人類所有知識的問題嗎?

所有跟帖: 

不行。無法融入無時不在產生的新信息。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/02/2025 postreply 15:04:45

要融入新信息有兩種辦法。大部分AI公司采用網絡搜索,Gemini自己維持龐大curated過的數據庫。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/02/2025 postreply 15:07:20

前者的問題是網絡搜索的信息可靠度差。後者的信息可靠度高,但問題是隻有穀歌這種公司才有能力和資源做。 -大觀園的賈探春- 給 大觀園的賈探春 發送悄悄話 大觀園的賈探春 的博客首頁 (0 bytes) () 02/02/2025 postreply 15:08:49

多謝大觀園的賈探春! 但人類的已有信息也很可觀了,就憑一個幾十兆的軟件加上十幾個G的模型就能回答一切?不可思議! -GreenCheng- 給 GreenCheng 發送悄悄話 (0 bytes) () 02/02/2025 postreply 15:13:45

一般家裏電腦也就能用7B(70億參數)的DS版本。DS有1.5B,7B,8B,14B,32B,70B, 671B等版本。 -湖西- 給 湖西 發送悄悄話 湖西 的博客首頁 (0 bytes) () 02/02/2025 postreply 15:33:01

和別的AI模型比較的是有6710億個參數的DeepSeek-R1版本。在本地電腦上用的DS 7B的效果當然會差很多。 -湖西- 給 湖西 發送悄悄話 湖西 的博客首頁 (0 bytes) () 02/02/2025 postreply 15:34:26

本地電腦也用不上RAG(retrieval augmented generation,檢索增強生成),通過檢索獲得更多 -湖西- 給 湖西 發送悄悄話 湖西 的博客首頁 (0 bytes) () 02/02/2025 postreply 15:41:42

多謝湖西!DeepSeek-R1版本回答用戶問題時,它進行的深度求索隻是一個推理的過程嗎?還是也要檢索知識庫或網絡 -GreenCheng- 給 GreenCheng 發送悄悄話 (0 bytes) () 02/02/2025 postreply 15:59:03

你在輸入QUERY時,可在“Search"按鈕上點一下,就能同時檢索知識庫或網絡。 -種西瓜- 給 種西瓜 發送悄悄話 (0 bytes) () 02/02/2025 postreply 18:58:22

蘋果平板電腦可以運行70b 模型。 -未知- 給 未知 發送悄悄話 未知 的博客首頁 (617 bytes) () 02/02/2025 postreply 21:18:19

請您先登陸,再發跟帖!