基于中文信息檢索的文本預處理研究.pdf

1、當前，Web正在成為人類知識和文明的全球存儲庫，這個存儲庫空前的允許在一個史無前例的范圍內實現思想和信息的共享，隨著互聯網的快速普及，通過網絡共享的中文信息資源以接近指數級的速度遞增。如何處理網上的海量信息成為非常重要的研究課題。信息檢索的研究可以幫助人們有效的找到自己所需的信息。信息檢索的內容有多種，其中，文本信息的含量最多。因此，為了提高用戶的查詢精度、系統(tǒng)運行效率以及空間利用率，都需要對文檔進行預處理。本論文就是在文本信息檢索這個

2、大背景之下，對文本的預處理技術進行了探索。 本文首先對文本預處理的相關技術進行介紹和研究，包括文本的表示、分詞、詞性標注、標引詞選擇等。接著，對本文采用的文本預處理技術進行了探討，由于切分歧義是漢語分詞所面臨的最大難題，其中能用語法知識消解的就約占90％以上，而涉及語義和語用知識的切分歧義則很少，因此本文有機地將分詞過程和詞性標注過程融合在一起，采用了動態(tài)規(guī)劃解決這一問題，有利于切分歧義的消解。對于粗切分后的碎片，本文根據重疊詞

3、的模式進行了重疊詞識別，并采用了一定的規(guī)則來識別碎片中的未登陸詞。在信息檢索的向量空間模型中，文本被形式化地表示為由詞項及其權重組成的向量。因此如何使這個向量盡可能準確有效地表示出文本內容同時又要盡量地減少向量空間的維數一直是該模型的基礎性問題。針對這個問題，本文提出了一個標引詞選擇的算法，該算法充分考慮了詞項的詞頻、位置以及它與其它詞項、重要語句間的關系，根據實例，證明了該算法的有效性。最后，本文利用這些算法設計了一個基于信息檢索的文