時(shí)間感知的Web搜索研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的飛速發(fā)展，Web信息呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)。海量的Web信息使得人們快速查找到真正需要的信息變得十分困難，因而也帶動(dòng)了搜索引擎技術(shù)的快速發(fā)展。搜索引擎通過(guò)爬蟲(chóng)在互聯(lián)網(wǎng)中搜集大量的網(wǎng)頁(yè)，然后運(yùn)用一定的方法對(duì)網(wǎng)頁(yè)處理后進(jìn)行索引和存儲(chǔ)，并通過(guò)有效的排序算法返回與用戶查詢相關(guān)的結(jié)果。目前，搜索引擎已經(jīng)成為人們獲取Web信息的重要工具，優(yōu)化搜索引擎的性能也成為目前Web領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題?，F(xiàn)有搜索引擎的一個(gè)主要問(wèn)題是對(duì)于We

2、b網(wǎng)頁(yè)的時(shí)間信息缺乏有效的處理技術(shù)。時(shí)間信息和我們的日常生活息息相關(guān)。在日常的Web搜索行為中，人們也常常將時(shí)間信息作為查詢?cè)~提交給搜索引擎進(jìn)行查詢。已有研究表明，在用戶提交的查詢中，有約1.5％的查詢包含了顯式的時(shí)間約束，有約7％的查詢包含了隱式的時(shí)間約束。另外，在本文的實(shí)驗(yàn)中我們發(fā)現(xiàn)，平均每個(gè)新聞網(wǎng)頁(yè)都包含了5個(gè)左右的時(shí)間表達(dá)式。這些都說(shuō)明了時(shí)間信息對(duì)于網(wǎng)頁(yè)以及用戶查詢的重要性。而現(xiàn)在的搜索引擎對(duì)查詢中的時(shí)間核心詞僅僅作為普通文本核

3、心詞來(lái)處理，在索引、排序等過(guò)程中也只考慮了網(wǎng)頁(yè)的發(fā)布時(shí)間，缺乏對(duì)網(wǎng)頁(yè)內(nèi)容時(shí)間和查詢中的時(shí)間信息的抽取和分析，因此不能很好地理解用戶的查詢意圖，也不能將時(shí)間信息有效地結(jié)合到查詢結(jié)果的排序算法中，最終導(dǎo)致搜索引擎在回答時(shí)間相關(guān)類用戶查詢時(shí)難以獲得好的查詢效果。
　　本文針對(duì)現(xiàn)有搜索引擎缺乏有效的時(shí)間感知搜索能力的現(xiàn)狀，研究了時(shí)間感知搜索中的若干關(guān)鍵問(wèn)題，提出了一系列的解決方法。論文首先闡述了時(shí)間感知搜索的研究背景和意義，分析了時(shí)間感知

4、搜索研究中存在的問(wèn)題和挑戰(zhàn)，在此基礎(chǔ)上圍繞網(wǎng)頁(yè)時(shí)間抽取、時(shí)間感知的網(wǎng)頁(yè)排序、查詢時(shí)間擴(kuò)展、時(shí)間感知搜索原型系統(tǒng)等問(wèn)題開(kāi)展了深入研究。主要內(nèi)容包括：⑴針對(duì)現(xiàn)有的研究很少區(qū)分網(wǎng)頁(yè)中的時(shí)間表達(dá)式和網(wǎng)頁(yè)內(nèi)容的相關(guān)程度的問(wèn)題，提出了一種基于網(wǎng)頁(yè)時(shí)間表達(dá)式出現(xiàn)次數(shù)和時(shí)間表達(dá)式之間的包含關(guān)系的網(wǎng)頁(yè)首要時(shí)間抽取算法。該算法不是僅考慮網(wǎng)頁(yè)時(shí)間表達(dá)式出現(xiàn)的次數(shù)，而且還考慮了時(shí)間的內(nèi)在含義，更加適合于我們對(duì)于文本理解，同時(shí)網(wǎng)頁(yè)顯式時(shí)間和隱式時(shí)間具有不同的抽取

5、精度的問(wèn)題也被考慮在內(nèi)，算法得到了較高的準(zhǔn)確率。⑵針對(duì)現(xiàn)有的時(shí)間感知排序算法對(duì)網(wǎng)頁(yè)內(nèi)容時(shí)間以及網(wǎng)頁(yè)和時(shí)間表達(dá)式相關(guān)程度考慮不足的問(wèn)題，本文提出了一個(gè)基于網(wǎng)頁(yè)首要時(shí)間的時(shí)間感知排序算法。該算法充分考慮網(wǎng)頁(yè)中出現(xiàn)的內(nèi)容時(shí)間，同時(shí)對(duì)網(wǎng)頁(yè)中出現(xiàn)的每一個(gè)時(shí)間表達(dá)式都定義了和網(wǎng)頁(yè)內(nèi)容的相關(guān)性權(quán)重，另外，該算法也考慮了顯式時(shí)間和隱式時(shí)間的抽取精度的問(wèn)題，相對(duì)于其它對(duì)比算法，本文提出的方法具有更好的性能。⑶針對(duì)用戶在提出查詢時(shí)不知道確切的時(shí)間約束的問(wèn)題

6、，本文提出了一個(gè)基于權(quán)重矩陣的查詢時(shí)間擴(kuò)展算法。該算法通過(guò)對(duì)網(wǎng)頁(yè)的內(nèi)容進(jìn)行分析，考慮網(wǎng)頁(yè)內(nèi)容中時(shí)間表達(dá)式和文本核心詞的共現(xiàn)關(guān)系，得到兩者的相關(guān)程度，在用戶提出相應(yīng)的查詢關(guān)鍵字的時(shí)候返回根據(jù)相關(guān)度排序的時(shí)間詞候選列表。該方法通過(guò)網(wǎng)頁(yè)的內(nèi)容進(jìn)行分析，只要網(wǎng)頁(yè)錄入了搜索引擎的索引庫(kù)，就能及時(shí)的對(duì)擴(kuò)展時(shí)間詞進(jìn)行更新，具有很強(qiáng)的及時(shí)性，這種方法得到的候選時(shí)間詞具有很高的準(zhǔn)確率。⑷針對(duì)現(xiàn)有的時(shí)間感知排序算法沒(méi)有統(tǒng)一的平臺(tái)的問(wèn)題，本文實(shí)現(xiàn)了一個(gè)時(shí)間感