基于維基百科的中文命名實(shí)體語(yǔ)料庫(kù)構(gòu)建研究.pdf

1、作為信息抽取的一個(gè)子任務(wù)，命名實(shí)體識(shí)別是自然語(yǔ)言處理研究中十分基礎(chǔ)而又重要的工作，在機(jī)器翻譯、自動(dòng)問(wèn)答系統(tǒng)、實(shí)體關(guān)系抽取等工作中有著重要的應(yīng)用?；诮y(tǒng)計(jì)機(jī)器學(xué)習(xí)的命名實(shí)體識(shí)別方法需要大量人工標(biāo)注的語(yǔ)料，這些語(yǔ)料的標(biāo)注，需要投入大量的人力，并且語(yǔ)料的規(guī)模及其領(lǐng)域范圍都相對(duì)有限。針對(duì)這些問(wèn)題，本文基于中文維基百科，自動(dòng)構(gòu)建了中文命名實(shí)體語(yǔ)料庫(kù)，主要研究?jī)?nèi)容如下：
　　(1)中文維基百科條目的實(shí)體分類。中文維基百科目前已收錄86萬(wàn)多個(gè)條

2、目，這些條目中包含了大量的命名實(shí)體。本文從維基百科頁(yè)面中提取信息框和頁(yè)面分類中的有效特征，并結(jié)合中文特點(diǎn)，加入擴(kuò)展特征及詞義特征，采用基于SVM的方法對(duì)中文維基百科條目進(jìn)行實(shí)體分類；
　　(2)基于維基百科的命名實(shí)體語(yǔ)料庫(kù)構(gòu)建。本文利用維基百科中的內(nèi)鏈接信息和對(duì)應(yīng)的實(shí)體類別信息自動(dòng)標(biāo)注維基百科文本中的命名實(shí)體，再通過(guò)補(bǔ)充標(biāo)注和句子選擇來(lái)自動(dòng)構(gòu)造大規(guī)模的命名實(shí)體語(yǔ)料。最后通過(guò)抽樣統(tǒng)計(jì)和封閉測(cè)試來(lái)評(píng)估語(yǔ)料的標(biāo)注質(zhì)量；
　　(3)

3、維基百科命名實(shí)體語(yǔ)料庫(kù)的應(yīng)用。本文將自動(dòng)標(biāo)注語(yǔ)料與手工標(biāo)注語(yǔ)料進(jìn)行了封閉測(cè)試的性能對(duì)比，并且通過(guò)混合測(cè)試和跨領(lǐng)域測(cè)試來(lái)驗(yàn)證自動(dòng)標(biāo)注語(yǔ)料的有效性。
　　本文的實(shí)驗(yàn)表明，維基百科條目的命名實(shí)體分類可以取得很高的性能，在此基礎(chǔ)上自動(dòng)構(gòu)建的命名實(shí)體標(biāo)注語(yǔ)料，雖然總體性能還不能和人工標(biāo)注的語(yǔ)料相比，但在混合測(cè)試中顯示了其對(duì)手工標(biāo)注語(yǔ)料的幫助，在特定的領(lǐng)域中也可以超過(guò)某些語(yǔ)料庫(kù)。因此基于維基百科自動(dòng)產(chǎn)生的命名實(shí)體語(yǔ)料庫(kù)具有較好的研究和應(yīng)用潛力