基于轉(zhuǎn)換學(xué)習(xí)的專有名詞識(shí)別.pdf

1、中文信息處理的基礎(chǔ)是分詞。影響分詞準(zhǔn)確率的重要因素之一就是未登錄詞的識(shí)別，而未登錄詞識(shí)別的難點(diǎn)是專有名詞識(shí)別。本文針對(duì)專有名詞內(nèi)部結(jié)構(gòu)特點(diǎn)及其上下文詞語(yǔ)環(huán)境特點(diǎn)，提出了一個(gè)以規(guī)則方法為主的專有名詞統(tǒng)一識(shí)別方案。 該方法利用從語(yǔ)料庫(kù)中自動(dòng)提取到的專有名詞信息和采用基于轉(zhuǎn)換的錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法獲得的規(guī)則，對(duì)切分文本進(jìn)行屬性標(biāo)注，最終實(shí)現(xiàn)專有名詞的識(shí)別。此方法中專有名詞詞語(yǔ)信息和規(guī)則的提取完全采用機(jī)器學(xué)習(xí)的方式，具有在不受人工干預(yù)的情況

2、下，改變訓(xùn)練樣本即可適應(yīng)新環(huán)境的特點(diǎn)。 本文首先圍繞專有名詞識(shí)別問(wèn)題展開(kāi)討論，在分析和比較了現(xiàn)有的專有名詞識(shí)別方案和常用方法后，明確了課題目標(biāo)；在此基礎(chǔ)上，提出了一個(gè)以規(guī)則為主的專有名詞統(tǒng)一識(shí)別方法；然后，在提出了課題的設(shè)計(jì)思想，對(duì)課題的設(shè)計(jì)方法進(jìn)行了一個(gè)整體的概括介紹后，進(jìn)行了詳細(xì)的系統(tǒng)設(shè)計(jì)說(shuō)明，主要包括：基本概念的定義、文本預(yù)處理、專有名詞特征信息集的建立、規(guī)則的提取和屬性標(biāo)注等五個(gè)方面。最后，將系統(tǒng)的實(shí)現(xiàn)分為數(shù)據(jù)準(zhǔn)備和識(shí)別