基于NoSQL存儲的海量文檔全文檢索系統(tǒng)的研究與實現(xiàn).pdf

1、基于NoSQL存儲的海量文檔全文檢索系統(tǒng)是一種結(jié)合了分布式全文檢索和分布式存儲的新型文檔管理系統(tǒng)。它提供了文檔管理系統(tǒng)升級的一種方案，使文檔存儲滿足海量存儲要求，使文檔檢索更加準(zhǔn)確高效。
　　傳統(tǒng)的文檔管理系統(tǒng)大多使用文檔外部特征作為文檔查詢關(guān)鍵字，通過這些關(guān)鍵字和文檔內(nèi)容建立關(guān)聯(lián)并保存到關(guān)系型數(shù)據(jù)庫，文檔內(nèi)容直接保存到操作系統(tǒng)文件系統(tǒng)中。這種方式一般會造成兩個問題，一個是文檔都保存在一臺服務(wù)器上，造成系統(tǒng)存儲容量有限，擴展性不好

2、。另一個是使用外部特征搜索文檔內(nèi)容，搜索的準(zhǔn)確性很低。為解決這兩個問題，本文把業(yè)界兩種新興技術(shù)NoSQL和分布式全文檢索引擎引入到文檔管理系統(tǒng)中。
　　MongoDB在NoSQL領(lǐng)域非常有名，在DB Engines的排行榜中已進入前5，在行業(yè)中的應(yīng)用非常普遍。本文分析了MongoDB的特點、功能和適合場景，并重點研究了MongoDB實現(xiàn)分片和復(fù)制的原理，為學(xué)習(xí)分布式存儲提供了很好的案例。
　　ElasticSearch是一個

3、基于Lucene構(gòu)建的開源引擎，包涵有分布式、RESTful等功能。雖然是一個新興的分布式搜索引擎，但在性能、擴展性、成熟度多方面都表現(xiàn)很優(yōu)秀。本文重點深入ElasticSearch源碼，分析了其實現(xiàn)分布式搜索的原理。
　　本文主要研究工作是基于NoSQL存儲的海量文檔全文檢索系統(tǒng)的研究與實現(xiàn)。根據(jù)功能需要，本文設(shè)計了基于OSGi的模塊化插件結(jié)構(gòu)的系統(tǒng)架構(gòu)，并把業(yè)務(wù)功能分為文件處理、文本提取、全文索引和查詢四個主要模塊。系統(tǒng)應(yīng)用插