基于Web日志挖掘的智能信息檢索研究.pdf

1、互聯(lián)網(wǎng)時代的來臨，使得網(wǎng)絡(luò)用戶日志數(shù)據(jù)急劇增加，如何快速有效地獲取、管理和使用這些日志數(shù)據(jù)，己經(jīng)成為信息系統(tǒng)學(xué)科迫切需要解決的重要問題。作為解決這些問題的基本工具之一，近十幾年來Web數(shù)據(jù)挖掘技術(shù)研究得到了廣泛關(guān)注，獲得了長足發(fā)展。
　　基于Web日志挖掘的智能信息檢索旨在通過對Web信息檢索的日志數(shù)據(jù)進(jìn)行有效的分析，挖掘隱藏在日志數(shù)據(jù)背后的用戶檢索知識和模式，應(yīng)用這些知識和模式對現(xiàn)有的檢索方法進(jìn)行改進(jìn)，達(dá)到智能化信息檢索的目的。

2、這個目標(biāo)基于這樣的假設(shè)：網(wǎng)絡(luò)查詢?nèi)罩局写_實蘊(yùn)含了用戶訪問Web的某些規(guī)律性特性，這些特性反映在某些模式中，這些模式可以被挖掘出來并加以利用。本論文的研究以Sogou搜索引擎的用戶查詢?nèi)罩緸榛A(chǔ)，使用統(tǒng)計分析、文本挖掘、關(guān)聯(lián)分析、聚類和統(tǒng)計語言建模等挖掘技術(shù)，獲得蘊(yùn)含在用戶日志中的有價值的知識，并針對所得到的知識在信息檢索的查詢擴(kuò)展、檢索推薦和用戶聚類等關(guān)鍵技術(shù)領(lǐng)域的實踐應(yīng)用作了深入的研究。實驗證明，Web日志挖掘技術(shù)能夠有效改善信息檢索

3、模型的性能。本文研究的主要內(nèi)容包括以下四個部分：
　　首先，對用戶查詢?nèi)罩局械臋z索規(guī)律展開研究。用戶查詢?nèi)罩臼怯涗浘W(wǎng)絡(luò)搜索引擎用戶行為的重要載體，通過對日志文件的統(tǒng)計分析，以及挖掘發(fā)現(xiàn)這些信息間的相互關(guān)系，可以歸納和總結(jié)出用戶檢索的一般規(guī)律和特征。為了更好的理解用戶的檢索行為，本文對實際網(wǎng)絡(luò)日志進(jìn)行了實證性的規(guī)模統(tǒng)計分析，并且從查詢詞、網(wǎng)頁點擊、用戶會話等角度方面對用戶行為進(jìn)行了詳細(xì)的分析，分析結(jié)果對于改進(jìn)搜索引擎的檢索算法和獲得

4、更準(zhǔn)確的檢索效果都有很好的指導(dǎo)意義。
　　其次，對基于關(guān)聯(lián)分析的自適應(yīng)查詢擴(kuò)展進(jìn)行研究。查詢擴(kuò)展可以有效的消除查詢歧義，提高信息檢索的準(zhǔn)確率和召回率。本文通過挖掘用戶日志中查詢詞和相關(guān)文檔的連接關(guān)系，構(gòu)造關(guān)聯(lián)查詢，并提出了一種從關(guān)聯(lián)查詢中提取查詢擴(kuò)展詞的查詢擴(kuò)展方法。同時，提出了一種查詢歧義判別方法，該方法可以對查詢詞所表達(dá)的檢索意圖的模糊程度進(jìn)行有效度量，也可以對查詢詞的檢索性能進(jìn)行預(yù)先估計，本文使用查詢歧義判別來動態(tài)調(diào)整擴(kuò)展詞

5、的長度，提高了查詢擴(kuò)展模型的靈活性和適應(yīng)能力。
　　再次，對基于特征融合的檢索推薦展開研究?；诓樵?nèi)罩就诰虻臋z索推薦系統(tǒng)可以有效地預(yù)測用戶在信息檢索過程中可能點擊的檢索結(jié)果，從而達(dá)到智能推薦的目的。針對目前已有的推薦系統(tǒng)缺乏有效的語義處理的問題，本文利用詞語語義信息和統(tǒng)計語言模型相結(jié)合，提出了一種基于文檔相關(guān)度計算的檢索推薦模型。通過詞頻信息和知網(wǎng)（HowNet）中詞的概念計算模型計算網(wǎng)頁文檔間的主題相關(guān)度，再將該語義信息與統(tǒng)計

6、模型計算的條件概率值相融合，以此作為網(wǎng)頁推薦的依據(jù)，同時為了提高推薦模型的適用度，使用回退平滑和關(guān)聯(lián)查詢方法對模型進(jìn)行了修正。實驗表明，這項技術(shù)使推薦系統(tǒng)的性能獲得了較大的提高。
　　最后，對面向檢索興趣的用戶聚類進(jìn)行了研究。用戶聚類是針對查詢?nèi)罩局械挠脩魰掃M(jìn)行分析，根據(jù)用戶的訪問動作，尋找行為模式或檢索興趣相似的用戶，將其分為一組。針對目前基于用戶會話計算用戶相似度的不足，本文提出了一種通過挖掘查詢關(guān)聯(lián)關(guān)系對用戶會話相似度計算