網(wǎng)絡(luò)爬蟲系統(tǒng)的研究與實現(xiàn).pdf

1、在網(wǎng)絡(luò)中，我們可以獲取各種各樣的資源，然而有效的信息搜索難度也是日益加大。要有效的完成信息搜索，則通過搜索引擎的構(gòu)建就能夠?qū)υ搯栴}有效的解決。
　　所謂的多線程網(wǎng)絡(luò)爬蟲程序?qū)嶋H上是由根據(jù)寬度優(yōu)先算法對指定Web頁面完成搜索及解析任務(wù)，同時抓取搜索中獲取的所有URL，同時進行保存，此外，在互聯(lián)網(wǎng)中，將URL視作新入口，完成持續(xù)爬行動作，并對后臺程序自動執(zhí)行。
　　對于網(wǎng)絡(luò)爬蟲而言，其主要應(yīng)用到的技術(shù)包括socket套接字、HT

2、TP協(xié)議、正則表達式以及windows網(wǎng)絡(luò)編程等技術(shù)，該網(wǎng)絡(luò)爬蟲實際上是能夠在后臺進行運行的，其初始的URL是配置文件，實現(xiàn)爬行主要依靠寬度優(yōu)先算法完成，對目標(biāo)URL網(wǎng)絡(luò)程序進行保存，語言的實現(xiàn)主要應(yīng)用了C++語言，且調(diào)試環(huán)境為VC6.0，對于常見搜索任務(wù)就可以執(zhí)行。
　　本論文中，第一章節(jié)對以英特網(wǎng)為基礎(chǔ)的搜索引擎具有的系統(tǒng)結(jié)構(gòu)進行了詳細(xì)的闡述，主體部分則是對引擎搜索器的設(shè)計和實現(xiàn)進行具體的描述，其中網(wǎng)絡(luò)爬蟲即該搜索器。筆者本論

3、文中的主要工作量包括：
　　1、針對網(wǎng)絡(luò)爬蟲SPIDER，分析了其體系的結(jié)構(gòu)；
　　2、設(shè)計了系統(tǒng)核心功能模塊部分；
　　3、對My SQL數(shù)據(jù)庫進行實現(xiàn)；
　　4、完成隊列管理，主要利用URL解析完成；
　　5、設(shè)計各函數(shù)模塊；
　　6、測試網(wǎng)絡(luò)爬蟲的系統(tǒng)。
　　同時，針對網(wǎng)絡(luò)爬蟲進行設(shè)計以及實現(xiàn)的內(nèi)容，對技術(shù)核心詳細(xì)的闡明，也綜合考慮了實現(xiàn)多線程網(wǎng)絡(luò)爬蟲代碼，對系統(tǒng)實現(xiàn)了準(zhǔn)確的說明，也更有助