分布式WEB文檔全文索引關(guān)鍵技術(shù)研究.pdf

1、隨著計算機應(yīng)用領(lǐng)域的不斷擴大，數(shù)據(jù)的規(guī)模越來越大，查詢也越來越復(fù)雜，分布式索引以其高性能的特點而逐漸成為解決這類復(fù)雜問題的有效手段。由于Web數(shù)據(jù)具有海量的特征，對索引創(chuàng)建、索引更新、分布式索引數(shù)據(jù)分配都提出了更高的要求，關(guān)于這些方面的研究也成了熱點，但是目前這些問題都沒有得到較好的解決。課題正是圍繞降低倒排索引創(chuàng)建的時空消耗、加快索引更新速度、加速檢索三個方面展開。
　　(1)本文提出了一種新的基于文檔預(yù)處理的倒排索引創(chuàng)建算法。

2、它有比傳統(tǒng)的索引創(chuàng)建算法無論在時間效率還是空間效率上高得多的性能。該算法首先計算出索引文件所需要的存儲空間大小，在索引創(chuàng)建的時候避開了外存的排序。有效提高了系統(tǒng)資源利用率，減少了索引創(chuàng)建時間。
　　(2)由于Web數(shù)據(jù)更新速度較快，為了保持索引與文檔的一致性，必須加快索引更新速度。本文采用了基于分塊的增量式倒排索引更新策略，索引更新時不需要移動已有的索引文件，對檢索過程影響也較小?；诜謮K的索引更新策略支持文檔的插入、刪除操作，又