面向農(nóng)業(yè)信息的主題爬蟲的研究與設(shè)計.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，網(wǎng)絡(luò)信息資源的急劇增長，網(wǎng)民人數(shù)越來越多，網(wǎng)絡(luò)在人們的日常生活和工作的作用越來越大，因此人們越來越多地關(guān)注如何快速有效地從海量的網(wǎng)絡(luò)信息中，提取出潛在的、有價值的信息，使之有效地在工作和生活中發(fā)揮作用，所以專業(yè)領(lǐng)域主題Web信息的有效獲取成為各行業(yè)有效利用網(wǎng)絡(luò)信息資源的基礎(chǔ)。
　　 面向農(nóng)業(yè)信息的主題爬蟲是專注于在海量的網(wǎng)絡(luò)信息中有效地識別與農(nóng)業(yè)相關(guān)的Web信息資源，并進(jìn)行獲取和及時更新的系統(tǒng)。它可以實(shí)現(xiàn)對

2、圖片下載，對爬取網(wǎng)頁的編碼進(jìn)行統(tǒng)一，對抓取的與農(nóng)業(yè)相關(guān)的資源進(jìn)行過濾，識別出符合需求的內(nèi)容網(wǎng)頁。
　　 本文首先對農(nóng)業(yè)智能信息化業(yè)務(wù)平臺進(jìn)行了初步的描述，重點(diǎn)介紹了在這一平臺上搭建的面向農(nóng)業(yè)的主題爬蟲的特點(diǎn)。在介紹主題爬蟲時，本文對爬蟲的架構(gòu)、原理、組成、工作流程做了闡述。特別是針對農(nóng)業(yè)業(yè)務(wù)平臺對資源的特殊要求，介紹了爬蟲在采集信息時，做了怎樣的處理。
　　 本文重點(diǎn)開發(fā)了面向農(nóng)業(yè)信息的主題爬蟲。從nutch開源搜索引擎