動態(tài)全文索引系統(tǒng)關鍵技術研究.pdf

1、倒排索引是提高全文檢索效率的重要技術，但是倒排索引的空間效率、動態(tài)性能、創(chuàng)建效率和檢索效率一直是倒排索引面臨的關鍵問題。本文正是圍繞動態(tài)全文索引的構建合并、增量更新、壓縮存儲和查詢檢索等展開研究，以提高其索引檢索的綜合性能。
　　本文對基于倒排索引的文件結構以及索引構建合并算法進行了研究，目標是建立與因特網(wǎng)海量信息相適應的動態(tài)即時索引文件，高效快捷實現(xiàn)索引檢索查詢。實現(xiàn)動態(tài)全文索引技術的難點，一是要提高壓縮率，壓縮倒排索引有助于提

2、高查詢的吞吐量；二是要兼顧動態(tài)性，這就需要考慮到索引的添加合并和刪除更新帶來的系統(tǒng)開銷。
　　本文在對倒排列表的動態(tài)特點分析基礎上，發(fā)現(xiàn)文檔ID和詞的位置信息可使用d-gap編碼后再采用變長壓縮方法進行壓縮，詞頻則可直接變長壓縮，增加壓縮比。這種混合編碼的辦法在壓縮效率方面優(yōu)于其他支持動態(tài)更新的編碼。在對倒排索引文件結構進行深入的研究之后，確立了一種高效的索引文件結構，允許多個子索引同時存在，并在某一特定時間進行索引合并優(yōu)化，實現(xiàn)