面向網(wǎng)絡(luò)爬蟲的海量URL數(shù)據(jù)管理技術(shù)研究.pdf

1、海量URL的管理一直是提高網(wǎng)絡(luò)爬蟲性能的一個(gè)瓶頸。現(xiàn)在，網(wǎng)絡(luò)規(guī)模越來越大，更新速度也變得越來越快，這些都促使網(wǎng)絡(luò)爬蟲系統(tǒng)來提高其性能。所以如何高效地管理網(wǎng)絡(luò)爬蟲的海量URL，使之能夠滿足網(wǎng)絡(luò)爬蟲高性能的要求，也就顯得越來越重要了。
　　為了能夠解決網(wǎng)絡(luò)爬蟲海量URL的高效管理問題，本文從工程的角度，提出這樣一個(gè)解決方案。它包括一個(gè)基于NC-Trie的索引結(jié)構(gòu)、一個(gè)面向NC-Trie的緩存機(jī)制和一個(gè)基于計(jì)算機(jī)指令流水思想的任務(wù)處理體

2、系結(jié)構(gòu)。
　　首先，根據(jù)網(wǎng)絡(luò)爬蟲所要管理的URL都是字符串這一特點(diǎn)，本文選取計(jì)算機(jī)界公認(rèn)的處理字符串信息最為高效的結(jié)構(gòu)——Tire結(jié)構(gòu)，來作為網(wǎng)絡(luò)爬蟲海量URL管理的索引結(jié)構(gòu)。但是，Trie結(jié)構(gòu)在高效處理字符串的同時(shí)，也存在很多缺點(diǎn)。對存儲空間的浪費(fèi)就是Tire結(jié)構(gòu)的最大缺點(diǎn)。因此針對網(wǎng)絡(luò)爬蟲系統(tǒng)海量URL管理的特點(diǎn)，在原有的Trie結(jié)構(gòu)壓縮方法的基礎(chǔ)上，本文提出一個(gè)改進(jìn)的Trie壓縮結(jié)構(gòu)——NC-Trie。NC-Trie比原有的

3、C-Trie具有更高的壓縮率，同時(shí)也保持了Trie結(jié)構(gòu)高速訪問的優(yōu)點(diǎn)。
　　其次，由于網(wǎng)絡(luò)爬蟲要管理的URL數(shù)量巨大，必須借助外存才能更好地實(shí)現(xiàn)高效管理。因此，必須對索引結(jié)構(gòu)進(jìn)行必要的緩存。針對爬蟲系統(tǒng)對URL管理的特點(diǎn)，對于海量URL的索引的緩存，本文將采用最近最少用的替換策略，并采用一個(gè)轉(zhuǎn)換后的實(shí)現(xiàn)算法，來實(shí)施緩存的更新。
　　再者，根據(jù)網(wǎng)絡(luò)爬蟲對URL訪問的特點(diǎn)，本文使用計(jì)算機(jī)指令流水的基本思想，對網(wǎng)絡(luò)爬蟲對URL的各