基于統(tǒng)計(jì)語言的中文網(wǎng)頁信息檢索模型研究.pdf

1、互聯(lián)網(wǎng)飛速發(fā)展，信息呈指數(shù)增長，信息獲取途徑更為多樣化，但是信息搜索卻變得更為復(fù)雜了。人們迫切需要高層次的信息處理技術(shù)來處理海量信息，快速檢索到所需信息，從而幫助更好的進(jìn)行決策和研究。然而，信息處理技術(shù)的普及與廣泛應(yīng)用很大程度上得益于自然語言處理技術(shù)的發(fā)展，為了有效解決信息檢索問題，對(duì)信息檢索在文檔內(nèi)容表示、檢索模型、匹配策略以及排序算法等方面的研究逐漸增多。其中，對(duì)檢索模型的研究仍然是信息檢索研究的一個(gè)熱點(diǎn)，各種檢索模型和方法相繼出現(xiàn)

2、，如：布爾模型、向量空間模型、概率模型。尤其是近年來提出統(tǒng)計(jì)語言模型，將自然語言與統(tǒng)計(jì)學(xué)相結(jié)合來研究信息檢索，借助強(qiáng)大的數(shù)學(xué)基底，成為信息檢索中占據(jù)統(tǒng)治地位的檢索模型，并取得了大量研究成果。
　　 對(duì)中文網(wǎng)頁海量數(shù)據(jù)進(jìn)行研究，并將中文分詞組件與lemur結(jié)合構(gòu)建適宜于中文的信息檢索系統(tǒng)方面的研究相對(duì)缺乏。本文在大規(guī)模中文網(wǎng)頁語料庫CWT200G的基礎(chǔ)上，參考TREC和SWEM信息檢索標(biāo)準(zhǔn)流程，以Lemur為基準(zhǔn)工作平臺(tái)，將其與中

3、科院分詞組件一漢語詞法分析系統(tǒng)ICTCLAS相結(jié)合，形成一個(gè)可供實(shí)驗(yàn)的簡(jiǎn)單的信息檢索系統(tǒng)。首先，闡述了本文的理論基礎(chǔ)，介紹了基于統(tǒng)計(jì)語言方法的中文網(wǎng)頁信息檢索模型研究中所要研究的重點(diǎn)問題：統(tǒng)計(jì)語言模型、數(shù)據(jù)平滑、中文分詞和中文文本索引等。然后，對(duì)信息檢索評(píng)測(cè)的中文網(wǎng)頁語料庫和實(shí)驗(yàn)所需平臺(tái)及系統(tǒng)進(jìn)行簡(jiǎn)單介紹，對(duì)數(shù)據(jù)如何處理做了詳細(xì)分析。最后，通過實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析向量空間模型、概率模型等傳統(tǒng)信息檢索模型與統(tǒng)計(jì)語言模型對(duì)中文網(wǎng)頁語料庫進(jìn)行主題