基于用戶本體的初始URLs選擇方法的研究.pdf

1、近年來，隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，其為人們提供了豐富的信息資源的同時，它所具有的海量數(shù)據(jù)、復(fù)雜性、極強(qiáng)的動態(tài)性和用戶的多態(tài)性等特點(diǎn)也給搜索引擎造成了相當(dāng)?shù)碾y度。因此，面向主題的智能檢索系統(tǒng)應(yīng)運(yùn)而生并引起了研究者的極大重視。主題搜索引擎的爬行蟲，稱為主題爬行蟲，它自動識別主題信息，快速、有選擇地遍歷與主題相關(guān)的區(qū)域并下載網(wǎng)頁，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。但是對于Web自身復(fù)雜的結(jié)構(gòu)和主題爬行蟲的實(shí)時性，如

2、何提高主題爬行蟲的主題識別能力?如何在較短時間內(nèi)下載更多與主題相關(guān)的網(wǎng)頁?如何穿過與主題無關(guān)的網(wǎng)頁到達(dá)與用戶興趣主題相關(guān)的網(wǎng)頁?這些是目前主題搜索的研究焦點(diǎn)。本文研究的內(nèi)容是從理論和實(shí)驗(yàn)證明初始URLs的選擇對于主題爬行蟲在爬行初期具有重要的引導(dǎo)作用，最后提出有效可行的解決方案。 首先，本文通過模擬Web鏈接結(jié)構(gòu)的實(shí)驗(yàn)驗(yàn)證了：為主題爬行蟲選擇好的初始URLs，可以在較短時間內(nèi)下載更多與主題相關(guān)的網(wǎng)頁，尤其是在爬行的初期階段。從而

3、驗(yàn)證了本課題的可行性與價值。 其次，本文在分析Web鏈接結(jié)構(gòu)的同時結(jié)合網(wǎng)頁內(nèi)容的語義信息提出了基于用戶本體的初始URLs選擇的算法OntoSelectSeeds。該算法的特點(diǎn)是:①對HITS算法中獲取基礎(chǔ)集（Base Set）的過程進(jìn)行了改進(jìn)。由于HITS算法純粹基于鏈接分析來發(fā)現(xiàn)權(quán)威網(wǎng)頁，在把根集（Root Set）擴(kuò)展到基礎(chǔ)集（Base Set）的時候完全不考慮網(wǎng)頁的具體內(nèi)容，導(dǎo)致了“主題漂移”的現(xiàn)象。因此，本文通過引入“用

4、戶本體”加權(quán)擴(kuò)展用戶的興趣主題，然后使用該主題來修剪HITS算法中的基礎(chǔ)集（Base Set），提高主題識別能力。②通過引入“完全二分圖”的概念，把在“圖中找連通分量”的問題轉(zhuǎn)化為“在主題區(qū)域找完全二分子圖”的問題，降低了算法實(shí)現(xiàn)的難度。③每次從Web上提取出一個完全二分子圖后，得到Hset和Aset兩個結(jié)點(diǎn)集合。使用它們回到Web中去找主題區(qū)域的其他部分，這樣爬行蟲在提高系統(tǒng)精確度的同時，保證了系統(tǒng)的召回率。④最后把Hset和Aset

5、兩個結(jié)點(diǎn)集合分別從中心頁面集和權(quán)威頁面集中移除，并重新對中心頁面集和權(quán)威頁面集進(jìn)行排序，提取，刪除操作，反復(fù)迭代直到選擇了足夠數(shù)量的初始URL為止。 最后，通過實(shí)驗(yàn)從2個方面評價了本文提出的初始URLs選擇方法。①使用OntoSelectSeeds算法選擇初始URLs與任意指定初始URLs，比較爬行蟲所下載網(wǎng)頁的PageRank值。②使用OntoSelectSeeds算法選擇初始URLs與任意指定初始URLs，比較爬行蟲在相同時