特定領域漢語分詞標準制定方法的研究.pdf

1、漢語分詞作為中文自然語言處理研究的基礎性工作，在中文信息處理中扮演著重要的角色。隨著中文信息處理的發(fā)展，特定領域漢語分詞的需求增大。但是由于特定領域分詞標注語料匱乏，使得現(xiàn)有的基于通用領域的分詞系統(tǒng)對特定領域文本進行分詞時會造成分詞精度下降，原因在于:(1)特定領域?qū)I(yè)術語切分存在多樣性，缺少分詞標準來規(guī)范，從而影響分詞精度;(2)特定領域與通用領域詞匯結合時所產(chǎn)生的“跨界”問題，也就是交集型歧義切分問題?，F(xiàn)有分詞系統(tǒng)并不能對此問題提供

2、良好的解決方案，從而造成分詞精度下降。
　　針對以上兩個問題，本文研究特定領域分詞標準制定的方法，規(guī)范特定領域?qū)I(yè)術語切分方式，標注特定領域語料，提高特定領域分詞精度;提出融合少量標注數(shù)據(jù)的統(tǒng)計方法來解決交集性歧義切分問題，從而提高分詞精度。本文主要包括以下兩方面工作:
　　(1)針對特定領域分詞標準缺乏的問題，本文提出基于統(tǒng)計特征的決策樹分類方法，利用已有的新聞領域分詞標準中的詞語統(tǒng)計特征，包括AV值、邊界熵和字符串頻度值

3、特征，并結合特定領域詞語特征混合訓練分類模型，用于專業(yè)術語判定，制定特定領域漢語分詞標準。在制定的分詞標準指導下，本文對科技領域語料自動標注，獲得大規(guī)模標注語料。實驗結果顯示，邊界熵、AV值和字符串頻度值統(tǒng)計特征在決策樹分類模型中獲得最好結果，在此分詞標注指導下構建的自動標注系統(tǒng)獲得分詞精度的提升。
　　(2)特定領域文本含有大量領域特有專業(yè)術語，使得術語與通用詞語相鄰時位于各自邊界的漢字容易成詞，為分詞邊界切分引入更多不確定性，

4、導致分詞精度下降，被稱為交集型歧義切分問題。針對交集型歧義切分問題，本文提出基于主動學習的局部數(shù)據(jù)標注方法，實現(xiàn)模型的領域自適應。其基本思想是利用原模型對特定領域文本分詞，選取通用詞語標注錯誤的語句，只對句子中通用詞語錯誤的局部字串進行標注，然后將標注數(shù)據(jù)并入訓練語料重新訓練模型，實現(xiàn)原模型向特定領域的適應。本文采用基于CRFs的分詞模型。實驗結果表明，本文所提方法通過少量的人工標注數(shù)據(jù)有效的解決了交集型歧義切分問題。
　　綜上所