我現在換了行業做金融AI，主要把LLM用於金融行業的使用場景，覺得語言模型其實還遠遠沒有進入使用階段

來源: 丁丁在美洲 於 2024-09-01 15:43:34 [] [博客] [舊帖] [給我悄悄話] 閱讀數 : (725 bytes)

舉個簡單的例子，比如對一家公司的各種財報和新聞進行分析，因為大模型是沒有記憶的，就需要把所以的資料每次都作為提示詞傳給大模型。這些資料往往是幾十萬上百萬個token，每次都傳是不可能的。RAG的入門做法是把這些資料分成chunk然後embedding，再放到矢量數據庫找相關的chunk，但是這麽一來就失去了信息的全局性。最新的做法是用知識圖譜，微軟剛剛開源了他們的GraphRAG，試了一下加了電腦的4096顯卡根本帶不動，送到OpenAI去十幾萬token的一本書生成知識圖譜就需要十多美元。所以現在的語言大模型基本上停留在寫打油詩的階段。

所有跟帖： 

• 國內叫銀行小助手之類，對吧？ 當然有更高級的 -cnrhm2017- ♂ 給 cnrhm2017 發送悄悄話 cnrhm2017 的博客首頁 (0 bytes) () 09/01/2024 postreply 16:37:42

• 跟這個沒關係 -丁丁在美洲- ♂ 給 丁丁在美洲 發送悄悄話 丁丁在美洲 的博客首頁 (0 bytes) () 09/01/2024 postreply 17:20:48

請您先登陸，再發跟帖！