基于ProActive的分布式并行網(wǎng)頁索引器的研究.pdf

1、搜索引擎是人們檢索互聯(lián)網(wǎng)信息的一個重要工具。它由爬行器、索引器、查詢器等3個部分組成。網(wǎng)頁索引器是建立搜索引擎的一個關(guān)鍵組成部分，它負(fù)責(zé)對網(wǎng)頁爬行器抓取下來的網(wǎng)頁進(jìn)行索引。目前商業(yè)搜索引擎大部分采用倒排索引模型。由于現(xiàn)在的網(wǎng)頁數(shù)據(jù)是海量數(shù)據(jù)，對它們建立倒排索引是一個十分耗時的計算。另一方面，網(wǎng)頁內(nèi)容是不斷更新，需要周期性的爬行互聯(lián)網(wǎng)并重建倒排索引。串行倒排索引算法難以滿足海量級網(wǎng)頁數(shù)據(jù)的快速索引要求。由PC機構(gòu)成的異構(gòu)機群計算系統(tǒng)具有高

2、性能、低成本、可擴展性好和易于實現(xiàn)等特點，因此，在異構(gòu)機群計算系統(tǒng)上，設(shè)計出高效、實用的建立網(wǎng)頁倒排索引的并行算法，實現(xiàn)一個分布式并行網(wǎng)頁索引器，對于建立高性能的搜索引擎有重要的意義。
　　 針對建立網(wǎng)頁集倒排索引的串行算法完成時間長的不足，根據(jù)歸并排序的性質(zhì)滿足可分負(fù)載理論的特性，提出一個基于三元組排序一歸并的分布式并行算法。將解析出來的術(shù)語用一個三元組表示，分布式并行處理網(wǎng)頁中術(shù)語的解析和術(shù)語記錄三元組的多步歸并排序計算兩步

3、。在機群計算系統(tǒng)上，應(yīng)用基于Java的分布式并行計算中間件ProActiVe，設(shè)計和實現(xiàn)了一個基于該并行算法的名為P_Indexer的分布式并行網(wǎng)頁索引器。算法分析和實驗結(jié)果表明，該并行算法有較高的效率性和可擴展性。
　　 針對異構(gòu)機群系統(tǒng)中從處理機節(jié)點具有不同的計算能力、通信速率的情形，考慮通信啟動開銷和傳輸數(shù)據(jù)時間，根據(jù)基于三元組排序一歸并的建立網(wǎng)頁倒排索引的并行算法滿足可分負(fù)載理論的特性，提出一個建立網(wǎng)頁倒排索引的并行算法