一種面向主題的分布式爬蟲系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、Internet技術(shù)的發(fā)展使網(wǎng)絡(luò)中蘊(yùn)含的信息資源和網(wǎng)絡(luò)用戶迅速激增，龐大的用戶群催生了互聯(lián)網(wǎng)的各種搜索應(yīng)用。快速、高效、準(zhǔn)確地檢索信息，只靠單臺計(jì)算機(jī)，無論是處理能力還是存儲容量都無法勝任。若采用大型機(jī)，則效費(fèi)比相對變低。因此，研究和開發(fā)廉價(jià)的搜索技術(shù)的需求越來越大，而近幾年新興的云計(jì)算技術(shù)無疑提供了一種契機(jī)。鑒于云計(jì)算的重要性，學(xué)術(shù)界和企業(yè)界均在開展相關(guān)技術(shù)的研究和應(yīng)用，基于云計(jì)算的搜索引擎是其中重要的應(yīng)用之一。
　　基于此，本

2、文在云計(jì)算開放平臺hadoop的基礎(chǔ)上開展了面向主題的分布式爬蟲技術(shù)的研究，利用服務(wù)器搭建起hadoop應(yīng)用環(huán)境，并在其上成功地實(shí)現(xiàn)了面向主題的爬蟲系統(tǒng)。本文首先從云計(jì)算技術(shù)架構(gòu)出發(fā)，探討了云計(jì)算領(lǐng)域里最為著名的兩個(gè)分布式文件系統(tǒng);第二，對云計(jì)算領(lǐng)域常用的key/value數(shù)據(jù)庫之一的Berkeley DB做了深入的研究;第三，對網(wǎng)絡(luò)爬蟲Heritrix做了詳細(xì)的源代碼分析，為以后改造Heritrix從而生成本系統(tǒng)的主題爬蟲做好準(zhǔn)備。在