版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、現(xiàn)如今網(wǎng)絡(luò)信息資源快速增長,網(wǎng)絡(luò)技術(shù)不斷發(fā)展,互聯(lián)網(wǎng)上的信息過于膨脹,于是如何能夠快速準(zhǔn)確的在數(shù)量巨大的網(wǎng)絡(luò)資源中獲取需要的信息是網(wǎng)絡(luò)研究的一個(gè)熱門話題。而通用搜索引擎提供的是一種粗略的檢索服務(wù),越來越不能滿足人們個(gè)性化、專業(yè)化的搜索需求。網(wǎng)絡(luò)爬蟲是搜索引擎獲取網(wǎng)絡(luò)數(shù)據(jù)的重要工具,搜索引擎利用網(wǎng)絡(luò)爬蟲在網(wǎng)絡(luò)上自動的獲取網(wǎng)絡(luò)資源,然后對所獲取的資源建立索引,來提供給網(wǎng)絡(luò)用戶進(jìn)行信息檢索。一般來說,爬蟲系統(tǒng)主要分為通用網(wǎng)絡(luò)爬蟲系統(tǒng)和主題網(wǎng)絡(luò)
2、爬蟲系統(tǒng)兩大類,其中主題網(wǎng)絡(luò)爬蟲要更加的“?!?、“快”、“深”。通過主題網(wǎng)絡(luò)爬蟲不但能夠?yàn)樗阉饕娌杉囟ňW(wǎng)絡(luò)信息,而且可以作為定向信息采集器,定向采集某些網(wǎng)站下的某類信息,如商品信息,學(xué)習(xí)信息等一些用戶感興趣的信息。
本文首先研究通用網(wǎng)絡(luò)爬蟲的模型、原理和不足,以及主題網(wǎng)絡(luò)爬蟲的原理,分析了它的關(guān)鍵技術(shù),主要包括主題的確立和如何對特定信息進(jìn)行抓取。然后通過對主題網(wǎng)絡(luò)爬蟲原理的分析,指出了基于鏈接關(guān)系的HITS算法的不足,即大
3、量的冗余信息會造成“主題漂移”現(xiàn)象,針對這一現(xiàn)象提出了改進(jìn)的HITS算法,引入內(nèi)容參數(shù)和時(shí)間參數(shù)相結(jié)合的改進(jìn)措施。最后利用Java開源框架Heritrix設(shè)計(jì)主題網(wǎng)絡(luò)爬蟲程序,把改進(jìn)的HITS算法應(yīng)用到爬蟲的搜索策略中。在實(shí)現(xiàn)多線程操作中,根據(jù)URL字符串的特點(diǎn),對幾種經(jīng)典的Hash算法進(jìn)行測試,其中BKDRHash算法在耗時(shí)情況和解決沖突數(shù)方面表現(xiàn)最為良好。最終實(shí)現(xiàn)了一個(gè)基于改進(jìn)HITS算法的多線程主題網(wǎng)絡(luò)爬蟲程序,實(shí)現(xiàn)了對太平洋汽車
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 主題網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf
- 主題網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì).pdf
- 基于爬蟲的網(wǎng)絡(luò)文本挖掘研究與應(yīng)用.pdf
- 基于頁面分析的主題網(wǎng)絡(luò)爬蟲的研究.pdf
- 主題搜索網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與研究.pdf
- 基于BP網(wǎng)絡(luò)的高校主題爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 主題網(wǎng)絡(luò)爬蟲的研究和實(shí)現(xiàn).pdf
- 面向主題的網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn).pdf
- 基于鏈接的主題爬蟲研究.pdf
- 面向金融信息的主題爬蟲研究與應(yīng)用.pdf
- 基于URL及上下文的主題網(wǎng)絡(luò)爬蟲研究.pdf
- 面向醫(yī)療主題的智能網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf
- 面向Web挖掘的主題網(wǎng)絡(luò)爬蟲的研究與實(shí)現(xiàn).pdf
- 基于PageRank算法的主題爬蟲研究與設(shè)計(jì).pdf
- 基于查詢擴(kuò)展的主題爬蟲研究.pdf
- 主題爬蟲的研究與實(shí)現(xiàn).pdf
- 基于本體的網(wǎng)絡(luò)爬蟲設(shè)計(jì)及應(yīng)用.pdf
- 面向Web文本挖掘的主題網(wǎng)絡(luò)爬蟲研究.pdf
- 基于本體的主題爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf
- 分布式主題網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf
評論
0/150
提交評論