中文詞性標(biāo)注中異構(gòu)數(shù)據(jù)問題研究.pdf

1、本文主要研究中文詞性標(biāo)注中異構(gòu)數(shù)據(jù)問題。中文分詞和詞性標(biāo)注是中文自然語言處理的基礎(chǔ)任務(wù)，句法分析和語義分析建立在這些基礎(chǔ)任務(wù)之上，大量的系統(tǒng)也依賴于這些基礎(chǔ)任務(wù)的效果，比如對話系統(tǒng)和檢索系統(tǒng)中會用到分詞算法，信息抽取、關(guān)鍵詞提取等算法常利用詞性標(biāo)注的結(jié)果。隨著研究人員的增加、工業(yè)界的發(fā)展以及互聯(lián)網(wǎng)的普及，出現(xiàn)了大量的異構(gòu)數(shù)據(jù)和語料。本文主要從兩個(gè)方面研究這些異構(gòu)數(shù)據(jù):目標(biāo)數(shù)據(jù)的異構(gòu)問題和訓(xùn)練語料數(shù)據(jù)的異構(gòu)問題。
　　目標(biāo)數(shù)據(jù)的異構(gòu)

2、問題在詞性標(biāo)注任務(wù)中的主要體現(xiàn)在于標(biāo)注對象是異構(gòu)的。現(xiàn)今，互聯(lián)網(wǎng)絡(luò)的流行、各國文化的融合等因素使得中文文章和對話中常常摻有少量的外文比如英文單詞，尤其在電子郵件和互聯(lián)網(wǎng)的博客與社交網(wǎng)絡(luò)中。因此，分析研究中英文混合文本就成為了一個(gè)重要且富有挑戰(zhàn)的工作。本文研究了對中英文混合文本這樣的異構(gòu)數(shù)據(jù)進(jìn)行詞性標(biāo)注的方法。因?yàn)槿鄙贅?biāo)注好的標(biāo)準(zhǔn)人工語料，大部分詞性標(biāo)注方法都將英文等外文簡單的標(biāo)注為“外文”，這樣不利于后續(xù)的句法和語義的分析。所以本文提供

3、了一個(gè)基于動態(tài)特征的詞性標(biāo)注方法，它能更好的利用詞級別的特征，增強(qiáng)中英文混合文本的標(biāo)注效果。本文使用人工合成數(shù)據(jù)的方法解決了缺少混合文本人工標(biāo)注語料的問題，合成數(shù)據(jù)時(shí)使用的“統(tǒng)一標(biāo)簽”也能減少未登錄詞對于算法的影響。實(shí)驗(yàn)表明本文的方法在中英文混合文本上相比傳統(tǒng)的序列標(biāo)注方法取得了更好的準(zhǔn)確率，即使在純中文文本上也取得了一定的提高。
　　訓(xùn)練數(shù)據(jù)的異構(gòu)問題主要體現(xiàn)在如何更好的利用現(xiàn)有的大量異構(gòu)語料提升詞性標(biāo)注算法的效果。如今，越來越

4、多的研究人員被中文分詞和詞性標(biāo)注中異構(gòu)人工標(biāo)注語料集的相關(guān)問題所吸引。本文提出了一個(gè)基于異構(gòu)人工標(biāo)注數(shù)據(jù)集的中文分詞和詞性標(biāo)注的統(tǒng)一模型。我們首先在兩個(gè)異構(gòu)人工標(biāo)注數(shù)據(jù)集CTB（Penn中文樹庫）和PPD（北大人民日報(bào)語料）間自動建立一個(gè)松散的不確定的映射，然后將異構(gòu)語料上的中文分詞和詞性標(biāo)注作為兩個(gè)相互關(guān)聯(lián)的任務(wù)，在兩個(gè)異構(gòu)語料上同步訓(xùn)練我們的模型。實(shí)驗(yàn)證明本文的方法利用兩個(gè)異構(gòu)語料間的共通的信息，可以同時(shí)增強(qiáng)在兩種異構(gòu)語料上的分詞和