面向并行數(shù)字地形分析的DEM數(shù)據(jù)云存儲(chǔ)方法研究.pdf

1、人類對(duì)地觀測(cè)技術(shù)的發(fā)展使得大范圍高精度地形數(shù)字高程模型(DEM)數(shù)據(jù)的數(shù)據(jù)量呈爆炸式增長(zhǎng)?；趩我挥?jì)算機(jī)的傳統(tǒng)數(shù)字地形分析方法由于存儲(chǔ)與計(jì)算性能有限，無法滿足地學(xué)研究和生產(chǎn)應(yīng)用的需求。面向新型硬件架構(gòu)的并行數(shù)字地形分析理論和方法的研究已經(jīng)成為地學(xué)界的研究熱點(diǎn)之一。然而，目前的研究著重于考慮地形分析算法的并行，很少涉及面向并行數(shù)字地形分析的海量DEM數(shù)據(jù)以及數(shù)字地形分析結(jié)果的管理問題，已有的DEM數(shù)據(jù)管理模式也無法滿足并行數(shù)字地形分析的需

2、求。分布式計(jì)算平臺(tái)Hadoop被認(rèn)為是海量數(shù)據(jù)處理和分析的利器。如何利用Hadoop來管理急劇增加的DEM數(shù)據(jù)，以滿足并行數(shù)字地形分析的需求，是值得研究的課題，本文即圍繞此課題展開研究，主要內(nèi)容包括以下三個(gè)方面:
　　1)面向并行數(shù)字地形分析的DEM數(shù)據(jù)組織方式
　　在深入分析并行數(shù)字地形分析的特點(diǎn)及其對(duì)DEM數(shù)據(jù)組織和管理需求的基礎(chǔ)上，詳細(xì)介紹了DEM金字塔結(jié)構(gòu)及其構(gòu)建方法和數(shù)學(xué)模型，并基于此結(jié)構(gòu)設(shè)計(jì)了DEM及其增量數(shù)據(jù)的

3、分布式存儲(chǔ)模型，可實(shí)現(xiàn)海量DEM數(shù)據(jù)及其并行數(shù)字地形分析結(jié)果的有效存儲(chǔ)。
　　2)面向并行數(shù)字地形分析的DEM數(shù)據(jù)管理方法
　　DEM管理方法包括空間索引機(jī)制、數(shù)據(jù)壓縮方法、系統(tǒng)容錯(cuò)機(jī)制和并發(fā)訪問策略等。本文結(jié)合HBase數(shù)據(jù)庫(kù)的存儲(chǔ)模式，構(gòu)建了三級(jí)空間索引，并提出了基于內(nèi)容的空間索引方法，使系統(tǒng)同時(shí)支持基于特征查詢和基于內(nèi)容查詢。在數(shù)據(jù)壓縮方面，設(shè)計(jì)了高程增量游程編碼壓縮算法，并對(duì)算法的適用性進(jìn)行了實(shí)驗(yàn)驗(yàn)證。此外，深入研究

4、了Hadoop的容錯(cuò)方案和高并發(fā)訪問策略，并結(jié)合DEM數(shù)據(jù)的特點(diǎn)，給出了配置參數(shù)的建議值以及部分實(shí)現(xiàn)代碼。
　　3) DEM云存儲(chǔ)原型系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
　　通過分析DEM云存儲(chǔ)系統(tǒng)的設(shè)計(jì)需求，給出了系統(tǒng)的詳細(xì)設(shè)計(jì)方案。并以三臺(tái)PC機(jī)搭建Hadoop集群模擬DEM云存儲(chǔ)環(huán)境，在該集群環(huán)境上開發(fā)了DEM云存儲(chǔ)原型系統(tǒng)。該系統(tǒng)支持四種查詢方式:
　?、倩谖募樵?
　?、诨诜秶头直媛什樵?
　?、刍诜秶?/p>