十具兄,請教一個問題; 計算語言學怎麽處理漢語了字句?

來源: stonebench 2023-12-11 11:13:10 [] [博客] [舊帖] [給我悄悄話] 本文已被閱讀: 次 (122 bytes)

V了O

VO了

V了O了

基本原理是什麽,能準確區分嗎?

 

所有跟帖: 

把了字作為一個特殊符號就可以了吧。 -QualityWithoutName- 給 QualityWithoutName 發送悄悄話 QualityWithoutName 的博客首頁 (0 bytes) () 12/11/2023 postreply 11:57:52

有很多方法啊 -老生常談12- 給 老生常談12 發送悄悄話 老生常談12 的博客首頁 (148 bytes) () 12/11/2023 postreply 12:02:25

我沒有說清楚。說的不是怎麽對應漢字,而是怎麽區分意思上的不同。 -stonebench- 給 stonebench 發送悄悄話 stonebench 的博客首頁 (167 bytes) () 12/11/2023 postreply 14:18:49

I bet it is heavily and fundamentally statistical -中間小謝- 給 中間小謝 發送悄悄話 (95 bytes) () 12/11/2023 postreply 14:41:17

在與非門這一物理層麵,中英文和任何語言的文字辯識應該沒有區別 -JSL2023- 給 JSL2023 發送悄悄話 (328 bytes) () 12/11/2023 postreply 15:19:28

主謂賓語法分析,跟英文一樣。Word很早就有語法檢查 -晚春123- 給 晚春123 發送悄悄話 (0 bytes) () 12/11/2023 postreply 12:30:50

不懂計算語言學的不要瞎參合。Lol -QualityWithoutName- 給 QualityWithoutName 發送悄悄話 QualityWithoutName 的博客首頁 (0 bytes) () 12/11/2023 postreply 13:15:41

你這裏“準確區分”是什麽意思?如果語義一樣,區分幹嘛?如果應用是漢譯英,3個輸入對應1個輸出就是了。 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (0 bytes) () 12/11/2023 postreply 15:32:37

簡單的SVO句子,傳統rule-based算法就好使。首先分詞,定詞性,匹配SVO結構後就有了基本語義。助詞“了”表示完 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (406 bytes) () 12/11/2023 postreply 15:37:24

吃飯了,吃了飯,吃了飯了,這點口語的變形,自然語言理解算法能對付。“吃食堂”就麻煩多了。我的領域不是自然語言處理,隻是知 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (48 bytes) () 12/11/2023 postreply 15:47:45

當然“吃飯了”的“了”可能不是完成的意思,而是個語氣詞。這種歧義隻能求助上下文。這種情況,基於統計推斷的方法就有優勢了。 -十具- 給 十具 發送悄悄話 十具 的博客首頁 (0 bytes) () 12/11/2023 postreply 16:04:52

謝謝! -stonebench- 給 stonebench 發送悄悄話 stonebench 的博客首頁 (0 bytes) () 12/12/2023 postreply 06:49:19

這個例子舉得妙。你給網管說個情,把唐靜安放出來跟你辯:) -snowandlotus- 給 snowandlotus 發送悄悄話 snowandlotus 的博客首頁 (0 bytes) () 12/11/2023 postreply 20:44:35

唐小七早就做了麵膜,拜訪過茶壇了..... -jinjiaodw- 給 jinjiaodw 發送悄悄話 (0 bytes) () 12/11/2023 postreply 21:15:05

好問題:) -snowandlotus- 給 snowandlotus 發送悄悄話 snowandlotus 的博客首頁 (0 bytes) () 12/11/2023 postreply 20:42:55

請您先登陸,再發跟帖!

發現Adblock插件

如要繼續瀏覽
請支持本站 請務必在本站關閉/移除任何Adblock

關閉Adblock後 請點擊

請參考如何關閉Adblock/Adblock plus

安裝Adblock plus用戶請點擊瀏覽器圖標
選擇“Disable on www.wenxuecity.com”

安裝Adblock用戶請點擊圖標
選擇“don't run on pages on this domain”