基于強(qiáng)化學(xué)習(xí)的垂直搜索引擎網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf

1、本文將強(qiáng)化學(xué)習(xí)方法引入到垂直搜索引擎網(wǎng)絡(luò)爬蟲中，設(shè)計(jì)實(shí)現(xiàn)了面向餐飲業(yè)的基于強(qiáng)化學(xué)習(xí)的垂直搜索引擎網(wǎng)絡(luò)爬蟲RL-Spider(Reinforcement Learning Spider)。建立了RL-Spider的流程架構(gòu)，并設(shè)計(jì)實(shí)現(xiàn)了面向餐飲業(yè)的垂直搜索引擎RL-Seareher(Reinforcement Learning Searcher)原型系統(tǒng)。本文主要包括以下幾方面內(nèi)容： (1)針對(duì)傳統(tǒng)搜索引擎爬蟲程序抓取信息全但不夠

2、細(xì)化的特點(diǎn)，設(shè)計(jì)了一個(gè)面向餐飲業(yè)領(lǐng)域的聚焦爬蟲。提出了基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)爬蟲算法，并應(yīng)用于餐飲類站點(diǎn)的發(fā)現(xiàn)中。實(shí)驗(yàn)表明，該系統(tǒng)在信息查全率、查準(zhǔn)率等方面都有較大的提高。 (2)針對(duì)網(wǎng)絡(luò)爬蟲在URL提取過(guò)程中，采用深度、寬度搜索策略等方法，容易使網(wǎng)絡(luò)爬蟲陷入“維數(shù)災(zāi)”問(wèn)題，在研究邏輯程序設(shè)計(jì)與強(qiáng)化學(xué)習(xí)方法結(jié)合的基礎(chǔ)上，提出了基于邏輯強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)自主搜索方法，并在RL-Spider中得到了應(yīng)用。實(shí)驗(yàn)表明，系統(tǒng)在大規(guī)模網(wǎng)絡(luò)爬蟲中，可

3、大幅度提高網(wǎng)絡(luò)自主搜索效率。 (3)針對(duì)在RL-Spider中，“主題網(wǎng)頁(yè)發(fā)現(xiàn)”等方面的問(wèn)題，根據(jù)強(qiáng)化學(xué)習(xí)的自身策略，實(shí)現(xiàn)了強(qiáng)化學(xué)習(xí)在“主題網(wǎng)頁(yè)發(fā)現(xiàn)”中的應(yīng)用，并提出Detail頁(yè)的URL，識(shí)別算法。實(shí)驗(yàn)表明，該算法能夠大幅度地提高“主題網(wǎng)頁(yè)發(fā)現(xiàn)”的準(zhǔn)確率。 (4)在RL-Spider架構(gòu)的Detail模塊中，對(duì)Detail頁(yè)面的關(guān)鍵信息進(jìn)行提取，如Title、Meta、文本信息等，并建立索引、去除無(wú)關(guān)信息、建立網(wǎng)頁(yè)快照