版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、搜索引擎是人們檢索互聯(lián)網(wǎng)信息的一個重要工具。它由爬行器、索引器、查詢器等3個部分組成。網(wǎng)頁索引器是建立搜索引擎的一個關(guān)鍵組成部分,它負(fù)責(zé)對網(wǎng)頁爬行器抓取下來的網(wǎng)頁進(jìn)行索引。目前商業(yè)搜索引擎大部分采用倒排索引模型。由于現(xiàn)在的網(wǎng)頁數(shù)據(jù)是海量數(shù)據(jù),對它們建立倒排索引是一個十分耗時的計算。另一方面,網(wǎng)頁內(nèi)容是不斷更新,需要周期性的爬行互聯(lián)網(wǎng)并重建倒排索引。串行倒排索引算法難以滿足海量級網(wǎng)頁數(shù)據(jù)的快速索引要求。由PC機構(gòu)成的異構(gòu)機群計算系統(tǒng)具有高
2、性能、低成本、可擴展性好和易于實現(xiàn)等特點,因此,在異構(gòu)機群計算系統(tǒng)上,設(shè)計出高效、實用的建立網(wǎng)頁倒排索引的并行算法,實現(xiàn)一個分布式并行網(wǎng)頁索引器,對于建立高性能的搜索引擎有重要的意義。
針對建立網(wǎng)頁集倒排索引的串行算法完成時間長的不足,根據(jù)歸并排序的性質(zhì)滿足可分負(fù)載理論的特性,提出一個基于三元組排序一歸并的分布式并行算法。將解析出來的術(shù)語用一個三元組表示,分布式并行處理網(wǎng)頁中術(shù)語的解析和術(shù)語記錄三元組的多步歸并排序計算兩步
3、。在機群計算系統(tǒng)上,應(yīng)用基于Java的分布式并行計算中間件ProActiVe,設(shè)計和實現(xiàn)了一個基于該并行算法的名為P_Indexer的分布式并行網(wǎng)頁索引器。算法分析和實驗結(jié)果表明,該并行算法有較高的效率性和可擴展性。
針對異構(gòu)機群系統(tǒng)中從處理機節(jié)點具有不同的計算能力、通信速率的情形,考慮通信啟動開銷和傳輸數(shù)據(jù)時間,根據(jù)基于三元組排序一歸并的建立網(wǎng)頁倒排索引的并行算法滿足可分負(fù)載理論的特性,提出一個建立網(wǎng)頁倒排索引的并行算法
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于ProActive的分布式并行Web Spider研究.pdf
- 分布式并行索引研究.pdf
- 分布式并行空間索引機制的研究.pdf
- 基于分布式并行計算的搜索引擎的研究與設(shè)計.pdf
- 基于MPI的分布式并行演化算法研究.pdf
- 基于Internet的并行分布式進(jìn)化計算研究.pdf
- 基于壓縮全文自索引的分布式索引技術(shù)研究.pdf
- 基于分布式的智能搜索引擎.pdf
- 基于MapReduce的分布式搜索引擎研究.pdf
- 基于R-的分布式空間索引算法研究.pdf
- 基于索引的分布式文本拷貝檢測算法研究.pdf
- 分布式并行RPC的研究與實現(xiàn).pdf
- 基于位置敏感哈希的分布式高維索引方法研究.pdf
- 并行分布式網(wǎng)絡(luò)模擬器PDNS容錯技術(shù)的研究.pdf
- 分布式并行調(diào)試器DPD的研究與實現(xiàn).pdf
- 基于GA的并行分布式分解優(yōu)化設(shè)計.pdf
- 分布式全文索引技術(shù)的研究.pdf
- 基于分布式組件的并行程序設(shè)計研究.pdf
- 基于SDN的分布式并行地震解釋系統(tǒng)設(shè)計.pdf
- 基于DHT的分布式價格搜索引擎研究.pdf
評論
0/150
提交評論