版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、海量URL的管理一直是提高網(wǎng)絡(luò)爬蟲性能的一個(gè)瓶頸。現(xiàn)在,網(wǎng)絡(luò)規(guī)模越來越大,更新速度也變得越來越快,這些都促使網(wǎng)絡(luò)爬蟲系統(tǒng)來提高其性能。所以如何高效地管理網(wǎng)絡(luò)爬蟲的海量URL,使之能夠滿足網(wǎng)絡(luò)爬蟲高性能的要求,也就顯得越來越重要了。
為了能夠解決網(wǎng)絡(luò)爬蟲海量URL的高效管理問題,本文從工程的角度,提出這樣一個(gè)解決方案。它包括一個(gè)基于NC-Trie的索引結(jié)構(gòu)、一個(gè)面向NC-Trie的緩存機(jī)制和一個(gè)基于計(jì)算機(jī)指令流水思想的任務(wù)處理體
2、系結(jié)構(gòu)。
首先,根據(jù)網(wǎng)絡(luò)爬蟲所要管理的URL都是字符串這一特點(diǎn),本文選取計(jì)算機(jī)界公認(rèn)的處理字符串信息最為高效的結(jié)構(gòu)——Tire結(jié)構(gòu),來作為網(wǎng)絡(luò)爬蟲海量URL管理的索引結(jié)構(gòu)。但是,Trie結(jié)構(gòu)在高效處理字符串的同時(shí),也存在很多缺點(diǎn)。對存儲空間的浪費(fèi)就是Tire結(jié)構(gòu)的最大缺點(diǎn)。因此針對網(wǎng)絡(luò)爬蟲系統(tǒng)海量URL管理的特點(diǎn),在原有的Trie結(jié)構(gòu)壓縮方法的基礎(chǔ)上,本文提出一個(gè)改進(jìn)的Trie壓縮結(jié)構(gòu)——NC-Trie。NC-Trie比原有的
3、C-Trie具有更高的壓縮率,同時(shí)也保持了Trie結(jié)構(gòu)高速訪問的優(yōu)點(diǎn)。
其次,由于網(wǎng)絡(luò)爬蟲要管理的URL數(shù)量巨大,必須借助外存才能更好地實(shí)現(xiàn)高效管理。因此,必須對索引結(jié)構(gòu)進(jìn)行必要的緩存。針對爬蟲系統(tǒng)對URL管理的特點(diǎn),對于海量URL的索引的緩存,本文將采用最近最少用的替換策略,并采用一個(gè)轉(zhuǎn)換后的實(shí)現(xiàn)算法,來實(shí)施緩存的更新。
再者,根據(jù)網(wǎng)絡(luò)爬蟲對URL訪問的特點(diǎn),本文使用計(jì)算機(jī)指令流水的基本思想,對網(wǎng)絡(luò)爬蟲對URL的各
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 物聯(lián)網(wǎng)中海量數(shù)據(jù)管理技術(shù)研究.pdf
- 基于數(shù)據(jù)網(wǎng)格的海量數(shù)據(jù)管理若干關(guān)鍵技術(shù)研究.pdf
- 面向?qū)ο蟮腦ML數(shù)據(jù)管理技術(shù)研究.pdf
- 面向WEB的XML數(shù)據(jù)管理技術(shù)研究.pdf
- 面向方面的XML數(shù)據(jù)管理技術(shù)研究.pdf
- 主題爬蟲URL分析模型與高度技術(shù)研究.pdf
- 面向RFID海量數(shù)據(jù)的若干數(shù)據(jù)挖掘技術(shù)研究.pdf
- 面向海量URL數(shù)據(jù)存取的快速文件系統(tǒng).pdf
- 面向快速擴(kuò)散制造的數(shù)據(jù)管理技術(shù)研究.pdf
- 網(wǎng)絡(luò)爬蟲外文翻譯---基于網(wǎng)絡(luò)爬蟲的有效url緩存
- 面向檢索和分類的XML數(shù)據(jù)管理技術(shù)研究.pdf
- 面向海量軌跡數(shù)據(jù)的索引技術(shù)研究.pdf
- 海量圖像數(shù)據(jù)管理系統(tǒng).pdf
- 面向RFID海量數(shù)據(jù)的圖挖掘技術(shù)研究.pdf
- 面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理關(guān)鍵技術(shù)研究.pdf
- 47825.面向三維顯示的海量地形數(shù)據(jù)管理及實(shí)時(shí)交互技術(shù)研究
- 面向汽車產(chǎn)品開發(fā)的CAE數(shù)據(jù)管理技術(shù)研究.pdf
- 面向虛擬制造的產(chǎn)品數(shù)據(jù)管理技術(shù)研究.pdf
- 面向海量數(shù)據(jù)管理的分布式倒排索引研究與應(yīng)用.pdf
- 面向室內(nèi)空間的時(shí)空數(shù)據(jù)管理關(guān)鍵技術(shù)研究.pdf
評論
0/150
提交評論