基于HBase的矢量空間數(shù)據(jù)存取關鍵技術研究.pdf

1、隨著信息技術和空間信息獲取技術的發(fā)展、全球信息化推進和GIS（地理信息系統(tǒng)）的廣泛應用，空間數(shù)據(jù)高速增長。面對日益增長的海量空間數(shù)據(jù)，傳統(tǒng)的空間數(shù)據(jù)管理方案面臨高并發(fā)讀寫以及擴展性等等瓶頸。而云計算高擴展的存儲能力以及強大的計算能力則可以滿足海量數(shù)據(jù)存儲、大數(shù)據(jù)并行處理、高并發(fā)檢索等方面的需求。鑒于云計算技術的諸多優(yōu)點，論文針對如何利用云計算技術實現(xiàn)對海量矢量空間數(shù)據(jù)的存取展開研究。重點對云平臺下矢量空間數(shù)據(jù)的存儲模型、空間索引構建、數(shù)

2、據(jù)組織方案、數(shù)據(jù)的導入、空間查詢策略以及在HBase上進行屬性SQL查詢等進行了研究與設計。論文圍繞以下幾個方面開展工作：
　?。?）矢量空間數(shù)據(jù)云存儲與檢索研究背景介紹及相關理論技術分析。論文闡述了海量空間數(shù)據(jù)存儲云存取的研究背景以及意義；分析了當前國內外云計算概況及空間數(shù)據(jù)云存取的研究現(xiàn)狀以及當前研究的不足；結合MapReduce并行計算框架特性深入分析了MapReduce的矢量空間數(shù)據(jù)并行處理可行性，并探討分布式數(shù)據(jù)庫HBa

3、se以及SQL On Hadoop相關云計算技術存儲和管理海量矢量空間數(shù)據(jù)的優(yōu)勢。
　?。?）構建了基于HBase的矢量空間數(shù)據(jù)存儲模型以及NoSQL模型與關系模型一體化的矢量空間數(shù)據(jù)的管理方案。針對矢量空間數(shù)據(jù)的特點，結合HBase數(shù)據(jù)模型，設計了矢量空間數(shù)據(jù)存儲模型，并采用四叉樹層次剖分技術設計了多級格網(wǎng)索引；結合空間信息多級格網(wǎng)編碼和Hilbert空間填充曲線的聚類特性，設計了符合HBase數(shù)據(jù)庫RowKey存儲規(guī)則的矢量空

4、間數(shù)據(jù)標識編碼；根據(jù)HBase數(shù)據(jù)庫存儲規(guī)則以及Phoenix操作結構化數(shù)據(jù)特性，提出并設計了NoSQL模型與關系模型一體化的矢量空間數(shù)據(jù)的管理方案。
　?。?）設計了矢量空間數(shù)據(jù)入庫以及并行構建空間索引策略。結合MapReduce并行處理特性討論并設計了單機導入和基于MapReduce并行處理矢量空間數(shù)據(jù)的入庫方案以及基于MapReduce設計了并行構建空間索引方案。
　　（4）根據(jù)多級網(wǎng)格索引策略設計了空間查詢策略。根據(jù)

5、不同空間查詢算子、多級網(wǎng)格索引特點以及 HBase掃描查詢數(shù)據(jù)特性，設計并實現(xiàn)了空間查詢算子優(yōu)化策略、合并網(wǎng)格編碼優(yōu)化查詢策略以及限制掃描列簇優(yōu)化數(shù)據(jù)過濾策略等三種空間查詢優(yōu)化策略。
　　最后設計并實現(xiàn)了基于 HBase的矢量空間數(shù)據(jù)存取原型系統(tǒng)，實現(xiàn)了網(wǎng)格索引以及多級網(wǎng)格索引，通過網(wǎng)格索引與多級網(wǎng)格索引空間查詢效率對比實驗，驗證了多級網(wǎng)格索引的有效性。并基于多級網(wǎng)格索引，驗證了空間查詢算子優(yōu)化策略、合并網(wǎng)格編碼優(yōu)化查詢策略以及限