用于搜索的網(wǎng)頁可視化摘要技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的發(fā)展使得搜索引擎成為了用戶尋找信息的最主要手段,而準(zhǔn)確和迅速是用戶對搜索引擎的最主要需求。然而目前搜索引擎的準(zhǔn)確度還無法完全滿足用戶的需求,所以如何能讓用戶在現(xiàn)有的還不夠準(zhǔn)確的搜索技術(shù)下也能夠迅速找到想要的信息成為了一個非常迫切的需求。
　　 網(wǎng)頁中含有很多可視化的多媒體信息,比如圖像、動畫、視頻等等。俗話說“一幅圖抵得上千言萬語”,搜索引擎在展現(xiàn)搜索結(jié)果的時候加上這些多媒體信息,能夠讓用戶在很短的時間內(nèi)得到更多的信息量

2、,以便于用戶迅速找到想要的信息。這些有可能幫助用戶搜索的可視化多媒體信息被稱為網(wǎng)頁的可視化摘要。由于圖像是動畫和視頻的基本組成部分,所以本文對圖像作為可視化摘要的關(guān)鍵問題進行了深入的研究。
　　 網(wǎng)頁自身含有的圖像是可視化摘要的一個可靠來源,我們稱之為網(wǎng)頁內(nèi)部圖像。對于這類圖像,我們提出重要性模型對其表征網(wǎng)頁的能力進行衡量：越重要的圖像,越適合作為可視化摘要。然而,也有很多網(wǎng)頁不存在重要的內(nèi)部圖像,所以我們提出從互聯(lián)網(wǎng)中獲取與目

3、標(biāo)網(wǎng)頁相關(guān)的圖像,我們稱之為網(wǎng)頁外部圖像。對于這類圖像,我們提出算法對其與目標(biāo)網(wǎng)頁的相關(guān)性進行衡量：越相關(guān)的圖像,越適合作為可視化摘要。另外,我們將這兩種基于自然圖像的可視化摘要與縮略圖等合成圖像進行了比較,并以分析結(jié)果為出發(fā)點,提出了最優(yōu)可視化摘要的選擇算法。本文的主要研究結(jié)果有如下幾點：
　　 1.提出了網(wǎng)頁內(nèi)部圖像的重要性衡量模型。由于在網(wǎng)頁中存在大量的廣告圖像,裝飾圖像等,所以我們提出基于圖像特征提取和機器學(xué)習(xí)的算法來衡

4、量圖像重要性。該算法從四個層次提取圖像特征,并利用基于提升樹的LamdaMART算法對圖像的重要性建立模型。
　　 2.提出了網(wǎng)頁外部圖像的獲取和相關(guān)性衡量算法。我們提出了基于關(guān)鍵詞提取和圖像搜索的外部相關(guān)圖像的獲取方法,并基于圖像的文字信息與視覺信息衡量其與目標(biāo)網(wǎng)頁的相關(guān)性。外部圖像獲取系統(tǒng)能夠為近一半的無重要內(nèi)部圖像的網(wǎng)頁找到相關(guān)的外部圖像,且相關(guān)性衡量算法能夠達到很高的精度。
　　 3.對網(wǎng)頁內(nèi)部圖像,網(wǎng)頁外部圖像

5、以及縮略圖,Visual Snippet進行了深入的比較。我們利用人工標(biāo)注的數(shù)據(jù)比較可視化摘要在不同網(wǎng)頁中的效果,比如,重要性得分很高的內(nèi)部圖像是有內(nèi)部圖像的網(wǎng)頁的可靠可視化摘要,而縮略圖適合作為滿足“可視區(qū)域較小”,或“在截屏區(qū)域內(nèi)有重要圖像”,或“截屏區(qū)域內(nèi)有常見網(wǎng)站的logo”等特點的網(wǎng)頁的可視化摘要。另外,我們還通過用戶研究分析可視化摘要在理解網(wǎng)頁和重新尋找網(wǎng)頁這兩個應(yīng)用中的實用性。
　　 4.提出了從網(wǎng)頁內(nèi)部圖像和網(wǎng)頁

6、外部圖像中選擇最優(yōu)可視化摘要的統(tǒng)一算法。由于網(wǎng)頁內(nèi)部圖像和網(wǎng)頁外部圖像各有其優(yōu)缺點,所以我們提出了基于聚類的最優(yōu)可視化摘要選擇算法。好的可視化摘要需要滿足相關(guān)性、重要性和典型性這三個特性,所以該算法利用之前提出的相關(guān)性和重要性模型衡量可視化摘要的前兩個特性,而利用聚類去體現(xiàn)典型性。我們將相關(guān)性和重要性作為聚類的先驗知識,采用近鄰傳播聚類算法將三者有機地結(jié)合起來。在聚類完成之后,最好的聚類中心被選為最優(yōu)可視化摘要。算法在客觀和主觀評價上都