常用詞的兼類自動(dòng)識(shí)別研究.pdf

1、在自然語(yǔ)言處理的研究中,漢語(yǔ)語(yǔ)料庫(kù)的質(zhì)量具有舉足輕重的作用,高質(zhì)量的語(yǔ)料庫(kù)對(duì)學(xué)者們來(lái)說(shuō)越來(lái)越重要,這就必須要考慮現(xiàn)代漢語(yǔ)中兼類詞的現(xiàn)象。在漢語(yǔ)中,兼類詞的數(shù)量雖然不多,但兼類現(xiàn)象很復(fù)雜,詞的兼類問(wèn)題是一個(gè)普遍存在的歧義現(xiàn)象,這給詞性標(biāo)注帶來(lái)了很大困難,正確識(shí)別兼類詞的詞性是漢語(yǔ)詞性標(biāo)注中最關(guān)鍵的問(wèn)題之一。
　　 本文使用基于統(tǒng)計(jì)的方法對(duì)兼類詞進(jìn)行研究,分別采用基于條件隨機(jī)場(chǎng)模型、最大熵模型和K近鄰算法等方法,對(duì)常用的兼類詞進(jìn)行了

2、實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明基于統(tǒng)計(jì)的方法在常用詞的兼類識(shí)別上具有很好的識(shí)別效果,可以較好地對(duì)兼類詞的詞性進(jìn)行識(shí)別,并且已經(jīng)在語(yǔ)料中取得了較高的準(zhǔn)確率,但并不是所有的兼類詞都可以達(dá)到高的識(shí)別結(jié)果,也存在一些用統(tǒng)計(jì)方法識(shí)別效果不夠理想的詞,針對(duì)這種個(gè)別現(xiàn)象,進(jìn)一步選擇嘗試基于規(guī)則的識(shí)別方法。在統(tǒng)計(jì)結(jié)果的基礎(chǔ)上,本文又針對(duì)一些用統(tǒng)計(jì)方法識(shí)別效果不夠好的兼類詞考慮基于規(guī)則的識(shí)別方法,根據(jù)它們不同詞性的不同特征,抽取其中具有可操作性的判斷條件,利用BNF