基于Sogou日志的個性化信息檢索分析與建模.pdf

1、隨著網(wǎng)絡(luò)的發(fā)展，網(wǎng)絡(luò)資源呈現(xiàn)突飛猛進的增長，這給WEB用戶帶來了諸多不便，搜索引擎應(yīng)運而生。然而不同背景、不同目的、不同時期的用戶的信息需求往往是不同的，搜索引擎面對不同的用戶都會給出相同的檢索結(jié)果，這顯然不能很好的滿足用戶的信息需求。個性化的信息檢索技術(shù)被認(rèn)為是解決該問題的重要技術(shù)。個性化信息檢索技術(shù)將根據(jù)用戶的興趣給出相應(yīng)的檢索結(jié)果，可以最大限度的滿足用戶的信息需求。本文圍繞個性化信息檢索進行了以下三個方面的研究：
　　本文的

2、主要研究內(nèi)容：
　　1.個性化潛力分析。對于同一個查詢詞，不同的用戶對信息的需求往往是不同的，我們將用戶的需求差異稱為查詢詞的個性化潛力。本文采用Kappa一致性檢驗衡量查詢詞的個性化潛力，并且對查詢詞的個性化潛力分布進行了分析。查詢詞的個性化潛力分布表明絕大多數(shù)查詢詞的個性化潛力較大，這也告訴人們從事個性化信息檢索研究的必要性。
　　2.實驗數(shù)據(jù)加工算法。個性化信息檢索研究面臨的一個較大的障礙是缺乏真實有效的實驗數(shù)據(jù)，針對

3、該現(xiàn)象，本文提出了依據(jù)Sogou日志從網(wǎng)絡(luò)上獲取真實的WEB數(shù)據(jù)。網(wǎng)絡(luò)資源雖然豐富但卻充斥著很多垃圾信息，必須將這些垃圾信息過濾掉。為此，本文對數(shù)據(jù)加工算法進行了相應(yīng)的研究，提出了主動學(xué)習(xí)算法和基于Co-training的主動學(xué)習(xí)算法用于數(shù)據(jù)加工。實驗表明基于規(guī)則和邏輯回歸的Co-training算法不僅性能最優(yōu)，而且可以在很大程度上節(jié)省數(shù)據(jù)加工過程中需要的人工工作量。本文將該方法應(yīng)用于WEB數(shù)據(jù)加工，并且得到了一個可以支持個性化信息檢