中文語料庫分詞不一致現(xiàn)象的分層校驗.pdf

1、在中文信息語言處理領(lǐng)域里，以大規(guī)模真實文本為基礎(chǔ)的語料庫研究和知識自動獲取越來越受到重視，建設(shè)大規(guī)模高質(zhì)量的語料庫成為首要的任務(wù)。然而由于現(xiàn)階段語料庫的建立，需要人工來校驗，不可避免的會有一定的疏忽和錯誤，導(dǎo)致了對同一字段在相同的語言環(huán)境下的切分結(jié)果不一致。這些不一致現(xiàn)象不僅影響了語料庫分詞的正確率，而且將錯誤帶到了利用語料庫資源進行加工的下一步驟。因此，對語料庫加工時，必須對其進行一致性的檢查和校正，保證語料庫加工的質(zhì)量。因此，應(yīng)將分

2、詞后的語料庫是否具有一致性作為衡量語料庫質(zhì)量的重要標準。
　　本文針對大規(guī)模語料庫分詞一致性存在的問題，通過研究山大和微軟語料庫中所出現(xiàn)的不一致字段，提出分詞不一致逐層解決的方法，先對語料使用規(guī)則的處理策略，然后針對規(guī)則處理的缺點使用統(tǒng)計模型進行校驗。該方法通過研究語料庫不一致字段及其上下文環(huán)境，應(yīng)用規(guī)則和統(tǒng)計模型的方法對不一致字段進行自動校對，實驗取得預(yù)期的目標，證明兩者相結(jié)合的方法可以更好的解決分詞一致性這個問題。
　　

3、主要工作如下:
　　1.對400萬熟語料進行了統(tǒng)計分析，總結(jié)了語料庫中分詞結(jié)果不一致的主要結(jié)構(gòu)類型，確定論文的研究對象，將影響分詞正確率的主要因素作為規(guī)則庫建立的根據(jù);
　　2.研究利用規(guī)則和實例來解決分詞一致性問題，提取出初始規(guī)則庫及大量實例，并將獲取的規(guī)則和實例應(yīng)用于分詞結(jié)果校對中。最后通過對規(guī)則庫進行自學(xué)習(xí)來提高語料的分詞質(zhì)量;
　　3.提出統(tǒng)計的方法，將提取出的不一致字段及其上下文信息使用向量空間模型表示，并使

4、用相似度計算等方法獲得不一致字串的概率分布，在計算相似度時引入同義詞詞林。最后通過定量的方法對不一致字串進行分類。
　　4.基于以上的思想和方法，分別對基于規(guī)則、基于統(tǒng)計以及將兩種方法相結(jié)合的方法設(shè)計實驗?zāi)Ｐ?，對模型進行了實驗后，詳細分析了實驗結(jié)果。
　　在統(tǒng)計與分析數(shù)據(jù)的基礎(chǔ)上，對具有不同特征的不一致字串提出了多種處理方法，層層遞進的處理策略，取得較好的分類效果。對一個語料庫中發(fā)生了切分不一致的字串進行分類處理，把相同結(jié)構(gòu)