網(wǎng)絡(luò)安全掃描器中網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn).pdf

1、本文的研究目的在于設(shè)計和實現(xiàn)網(wǎng)絡(luò)爬蟲，該模塊是Web應(yīng)用程序漏洞評估工具的重要組成部分，設(shè)計和開發(fā)Web應(yīng)用程序漏洞評估工具目的在于掃描網(wǎng)站、識別安全漏洞并且給出掃描評估報告。
　　 網(wǎng)絡(luò)爬蟲同樣被稱為搜尋器或機(jī)器人，是一種自動從網(wǎng)站上下載WEB頁面的程序。設(shè)計網(wǎng)絡(luò)爬蟲的主要目的在于恢復(fù)WEB頁面。爬蟲的主要目標(biāo)在于下載一系列重要的頁面，刷新已下載的頁面，發(fā)現(xiàn)新的頁面和保證頁面擁有一個合適的展現(xiàn)。
　　 網(wǎng)絡(luò)爬蟲同樣被用

2、在信息提取上，例如提取商業(yè)情報，一個公司可以利用網(wǎng)絡(luò)爬蟲從WEB網(wǎng)站上提取關(guān)于他們競爭對手的信息。網(wǎng)絡(luò)爬蟲的其他應(yīng)用在于監(jiān)測WEB頁面和搜索引擎。爬蟲使得通過WEB頁面中的超鏈接自動提取網(wǎng)頁中的信息來實現(xiàn)上述功應(yīng)用變得可能。一般來說，爬蟲開始都是從一個初始的頁面中提取超鏈接，然后從這些超鏈接中得到更多的頁面信息，直到頁面數(shù)量達(dá)到一定的規(guī)模或者已經(jīng)實現(xiàn)某些較高的目標(biāo)。
　　 在這個簡單的敘述下面有更多復(fù)雜的研究點(diǎn)，例如可以利用的資