基于條件隨機場的漢語多詞塊自動識別研究.pdf

1、漢語多詞塊作為組塊體系的重要組成部分，是由兩個或兩個以上的詞語按照一定的關聯(lián)關系組合形成的信息描述單位。多詞塊主要包括句法信息、關系信息和序列標記組合信息。漢語多詞塊識別不僅可以在一定程度上簡化完全句法分析，而且有利于多詞塊信息在大規(guī)模真實任務中得到應用。
　　本文的任務是在給定一個已經(jīng)完成分詞和詞性標注的句子后，自動識別出該句子中所有的漢語多詞塊，從中獲得各種塊標記信息。本文引進條件隨機場，它是一個用于標記和分割數(shù)據(jù)的無向圖模型

2、，能夠避免嚴格的獨立性假設和標記偏置問題，同時利用條件隨機場在序列標注任務中表現(xiàn)出的良好性能，構建了漢語多詞塊的自動識別模型并對模型進行了融合處理。主要工作如下:
　　(1)多詞塊自動識別模型的構建
　　在漢語多詞塊描述體系的基礎上，以清華大學的“漢語多詞塊庫”作為語料來源，構建了基于條件隨機場的兩個標記標注模型，即:“句法標記標注模型”和“序列標記標注模型”。在句法標記標注模型中，采用IOB2邊界標注策略，將句法標記的標注

3、看作是一個序列標注任務，通過為句子的每個詞語賦予一個句法標記，自動標注出該句子的所有多詞塊邊界標記及其句法標記;在序列標記標注模型中，多詞塊中的序列標記跟其塊內(nèi)每個詞之間存在一一對應關系，通過對多詞塊中每個詞進行自動標注，得到其對應的序列標記。
　　(2)多詞塊自動識別模型的融合處理
　　針對上述兩種模型，分別設計了一系列實驗。特征選取主要基于單個詞及其詞性、多個詞的組合及其詞性的組合、狀態(tài)轉移特征。在對實驗結果進行有效融合