基于分布式架構(gòu)的海量文本信息檢索系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)的使用越來越受到人們的關(guān)注，海量文本信息的組織和處理問題，是數(shù)據(jù)挖掘、搜索引擎、電信業(yè)務(wù)、網(wǎng)絡(luò)安全、網(wǎng)絡(luò)監(jiān)管、網(wǎng)絡(luò)信息收集等領(lǐng)域所必然面臨的問題，網(wǎng)絡(luò)環(huán)境下產(chǎn)生的海量文本信息所具有的鮮明特點是需要全文檢索，數(shù)據(jù)產(chǎn)生速度快、密度大、規(guī)模大且不間斷、如何存儲管理這類海量文本信息及完成快速檢索已經(jīng)成為當(dāng)前的一個重要課題。而現(xiàn)在存儲管理技術(shù)往往適用于日積月累形成的海量信息，如何存儲管理持續(xù)高速的海量文本信息及快速檢

2、索尚缺乏十分有效的技術(shù)手段。
　　本課題來自于哈爾濱市大源恒晟通信技術(shù)有限公司的實際項目。本課系統(tǒng)主要被應(yīng)用于公安網(wǎng)絡(luò)安全領(lǐng)域。同時，該系統(tǒng)也可以應(yīng)用于幫助用戶獲取大量的、個人感興趣的文本信息。
　　本課題所研究的內(nèi)容，是在分析該類海量文本信息特點的基礎(chǔ)上，運用ORACLE10g并行數(shù)據(jù)庫、分區(qū)表技術(shù)、ROWID查詢技術(shù)、ElasticSearch分布式架構(gòu)技術(shù)及多線程調(diào)度算法，從海量文本信息快速檢索這個特定應(yīng)用出發(fā)，設(shè)計和

3、實現(xiàn)一個將涉及海量數(shù)據(jù)加載入庫后，對海量文本信息進行數(shù)據(jù)存儲管理、文本索引創(chuàng)建及存儲管理和文本信息檢索。通過使用本課題設(shè)計和實現(xiàn)的海量文本信息檢索系統(tǒng)，可以滿足用戶快速檢索文本信息的需求。
　　在完成本課題的過程中，作者分析了海量文本信息存儲和訪問所需解決的問題。基于本課題海量文本信息檢索系統(tǒng)的應(yīng)用領(lǐng)域，作者進行了業(yè)務(wù)場景的應(yīng)用描述，并以此歸納成為系統(tǒng)的原始需求。最后，作者依據(jù)軟件開發(fā)生命周期，依次從需求分析、系統(tǒng)設(shè)計和實現(xiàn)以及系