網(wǎng)絡(luò)蜘蛛垂直搜索算法的改進(jìn)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)蜘蛛在垂直搜索引擎中占據(jù)著重要的地位，它的搜索算法是垂直搜索引擎的核心技術(shù)，基于何種策略的搜索算法才能得到更高的搜索回報率是近幾年網(wǎng)絡(luò)蜘蛛研究的熱點(diǎn)問題。本文對網(wǎng)絡(luò)蜘蛛垂直搜索算法進(jìn)行了改進(jìn)與實(shí)現(xiàn)。 本文研究了網(wǎng)絡(luò)蜘蛛的通用搜索算法和幾種垂直搜索策略，分析了現(xiàn)有啟發(fā)式搜索算法的優(yōu)缺點(diǎn)，改進(jìn)了垂直搜索算法，設(shè)計并實(shí)現(xiàn)了一個基于改進(jìn)后的算法的網(wǎng)絡(luò)蜘蛛，對手機(jī)行業(yè)網(wǎng)站作了垂直搜索實(shí)踐。對算法的改進(jìn)主要體現(xiàn)在以下三個方面。第一，通過

2、對大量網(wǎng)頁源文件的分析給出了一個新的鏈接價值估計的方法，并給出了一個經(jīng)驗(yàn)公式。第二，把閾值的估計和ε—貪婪策略結(jié)合起來，使鏈接的選擇序列優(yōu)化，從而得到更高的搜索回報率。第三，巧用MD5算法把url映射成兩個數(shù)，使判斷任意兩個url是否相同的比較次數(shù)小于等于2。對基于改進(jìn)后的搜索算法的網(wǎng)絡(luò)蜘蛛進(jìn)行用例設(shè)計和類設(shè)計，然后闡述了網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)細(xì)節(jié)。實(shí)現(xiàn)部分的說明包括三個部分，分別是程序的初始化，抓取網(wǎng)頁和程序結(jié)束。通過對手機(jī)行業(yè)網(wǎng)站的垂直搜索