基于Web的領(lǐng)域詞典構(gòu)建技術(shù)研究.pdf

1、領(lǐng)域術(shù)語是反映領(lǐng)域特征的詞語，可以從一定規(guī)模的語料中自動抽取。領(lǐng)域術(shù)語自動抽取是自然語言處理中的一項重要任務(wù)，可以應(yīng)用到領(lǐng)域本體構(gòu)建、專業(yè)搜索、文本分類、類語言建模等諸多領(lǐng)域。同時，互聯(lián)網(wǎng)上特定領(lǐng)域的文本資源非常豐富，因此，如何利用互聯(lián)網(wǎng)上大規(guī)模的特定領(lǐng)域語料來構(gòu)建領(lǐng)域詞典就成為一個既有挑戰(zhàn)性又有實際價值的課題。
　　本文系統(tǒng)闡述并實現(xiàn)了一套WEB領(lǐng)域詞典構(gòu)建技術(shù)。通過對系統(tǒng)功能的分析，我們把系統(tǒng)分成了WEB領(lǐng)域文本收集、語料預處

2、理、領(lǐng)域新詞發(fā)現(xiàn)和領(lǐng)域特征詞抽取四部分。
　　與傳統(tǒng)的領(lǐng)域術(shù)語抽取不同，我們首先需要收集WEB領(lǐng)域文本。該部分采用廣度優(yōu)先的算法獲取特定類型的網(wǎng)頁，我們針對其中的關(guān)鍵點快速的主題過濾算法展開了相關(guān)研究，設(shè)計并實現(xiàn)了一個基于向量空間模型的主題過濾模塊。
　　在語料的預處理部分，我們采用了一種基于統(tǒng)計的網(wǎng)頁正文抽取方法，首先對網(wǎng)頁進行規(guī)范化處理表示為一棵DOM樹，然后統(tǒng)計各節(jié)點的內(nèi)容信息進行正文抽取，該方法實現(xiàn)簡單，通用性好，在

3、準確性和速度上基本都能滿足系統(tǒng)的需要。
　　在領(lǐng)域新詞發(fā)現(xiàn)部分，我們采用了基于統(tǒng)計和規(guī)則相結(jié)合的方法識別新詞，在詞頻統(tǒng)計的基礎(chǔ)上通過添加獨立成詞概率等層層過濾候選詞。目前該模塊綜合F值可達70％以上。
　　在領(lǐng)域特征詞抽取部分，我們使用基于正規(guī)化分布熵的領(lǐng)域詞匯抽取策略，并且將位置成詞概率引入該方法中，取得了不錯的效果。
　　總之，通過對實驗觀察和結(jié)果分析，本課題實現(xiàn)了WEB領(lǐng)域文本收集、語料預處理、領(lǐng)域新詞發(fā)現(xiàn)和領(lǐng)域