基于GPU的索引構建方法研究.pdf

1、隨著互聯網飛速的發(fā)展,網絡信息量不斷增加,為提高實時檢索的效率,需要一種快速的索引方法。就搜索引擎而言,對大規(guī)模文本構建索引涉及較大的數據量和計算量,會消耗大量計算資源,如何實現海量文本數據高性能索引,是搜索應用中不可或缺的議題。
　　為提高索引構建的性能,采用了GPU協作計算的模式,利用GPU高效并行計算能力來解決密集計算的問題。為充分利用CPU和GPU的計算優(yōu)勢,分析了索引構建的機制,提出了一種加速索引構建的CPU、GPU的任

2、務協作模型,分解文本索引各個過程,將文本解析、詞條索引等可并行化任務交給GPU完成,而讀寫文件、索引合并等任務則由 CPU串行完成。為提高多線程并行計算的效率,根據 GPU內存結構特點,設計了基于哈希表的并行索引結構,對每個詞條增加了線程獨立的頻率統計區(qū),在構建索引時,索引詞條按不同的索引結構進行分類管理,以減少內存開銷。根據詞條類型的不同,設計了基于哈希表的立即索引的并行算法,和基于合并的并行索引算法,包括并行詞頻統計和索引轉換的方案