基于數(shù)據(jù)庫集群的海洋環(huán)境數(shù)據(jù)優(yōu)化存儲與分布式管理.pdf

1、由于衛(wèi)星遙感等海洋探測技術的快速發(fā)展，所獲得的海洋數(shù)據(jù)呈爆炸趨勢增長，數(shù)據(jù)量高達幾百GB甚至于TB級的海量海洋數(shù)據(jù)庫應用已經出現(xiàn)。海洋環(huán)境數(shù)據(jù)存在著多源多格式、數(shù)據(jù)量大的特點，而基于互聯(lián)網(wǎng)或局域網(wǎng)對這些數(shù)據(jù)的訪問又有速度、效率、可用性等方面的要求。本文針對這些問題，研究海量數(shù)據(jù)優(yōu)化存儲方法以及基于數(shù)據(jù)庫集群的分布式數(shù)據(jù)管理技術，提高海洋數(shù)據(jù)管理的整體性能和系統(tǒng)的可靠性。論文的主要研究內容和成果如下： 1．海洋環(huán)境數(shù)據(jù)優(yōu)化存儲研究

2、 由于海洋環(huán)境數(shù)據(jù)應用具有面向查詢的特點，查詢效率和存儲空間占用量是進行海洋環(huán)境數(shù)據(jù)庫建設所要考慮的最重要的因素。基于這種實際需求，對海洋數(shù)據(jù)優(yōu)化存儲進行研究，研究包括三個方面：改造傳統(tǒng)關系存儲模式；研究數(shù)據(jù)分片方法；研究相應的數(shù)據(jù)操作方法。 本文提出了一種新的類似網(wǎng)格結構的關系模式Grid_R來管理海洋數(shù)據(jù)，該結構類似數(shù)據(jù)采集的實際地理經緯度網(wǎng)格，除了時間，緯度，將所有的經度直接作為屬性列。數(shù)據(jù)分片方法以及相應的數(shù)據(jù)操

3、作方法研究均基于Grid_R數(shù)據(jù)組織結構。通過存儲與組織的優(yōu)化減少了數(shù)據(jù)庫的數(shù)據(jù)冗余，磁盤空間占用量不到傳統(tǒng)方法的1/4，減少了網(wǎng)絡傳輸時的數(shù)據(jù)量，在某種意義上實現(xiàn)了數(shù)據(jù)壓縮。單表查詢效率比傳統(tǒng)方法提高了4倍以上。 2．基于數(shù)據(jù)庫集群技術的海量數(shù)據(jù)分布式管理研究 傳統(tǒng)的集中式數(shù)據(jù)庫系統(tǒng)難以有效支持基于WEB的海洋地理信息系統(tǒng)功能。隨著數(shù)據(jù)庫請求不斷增加，查詢方式的日益復雜，數(shù)據(jù)庫服務器的負載增加，響應單個請求的速度越來越

4、慢，對系統(tǒng)的穩(wěn)定運行帶來了不利影響。海量數(shù)據(jù)也對單服務器的存儲能力提出挑戰(zhàn)。 本文將數(shù)據(jù)庫集群技術應用于海洋環(huán)境數(shù)據(jù)的管理，提出使用基于中間件的數(shù)據(jù)庫集群實現(xiàn)海量數(shù)據(jù)的分布式管理，將數(shù)據(jù)分布于不同的數(shù)據(jù)庫節(jié)點上，集群中間件系統(tǒng)負責各節(jié)點的協(xié)作與并行處理，可以獲得高性能、高可用性、高可擴展性，突破傳統(tǒng)的集中式數(shù)據(jù)庫服務器上的DBMS所固有的性能瓶頸限制。 3．海洋環(huán)境數(shù)據(jù)庫集群關鍵技術研究 基于優(yōu)化存儲結構和分布式

5、管理策略，對數(shù)據(jù)庫集群數(shù)據(jù)分布、負載均衡以及并行查詢等關鍵技術進行研究： 提出了一種新的數(shù)據(jù)分布算法：兩步分布法，將數(shù)據(jù)集分為分片數(shù)據(jù)集和復制數(shù)據(jù)集，兩步分布法即先均勻分布分片數(shù)據(jù)集、再按異構節(jié)點資源權值分布復制數(shù)據(jù)集，在保證相鄰數(shù)據(jù)分布在不同節(jié)點的基礎上，使數(shù)據(jù)分布盡量達到均衡； 提出了一種基于數(shù)據(jù)復制的動態(tài)負載均衡算法來平衡集群的負載，以達到提高整體性能的目標，并解決了局部節(jié)點過熱和集群可用性問題； 提出了一

6、種并行查詢算法來實現(xiàn)用戶對集群的透明查詢，將用戶的全局查詢進行解析，根據(jù)元數(shù)據(jù)將全局查詢轉化對各節(jié)點的本地查詢，調用負載均衡獲得最佳查詢節(jié)點，然后在各節(jié)點并行執(zhí)行查詢，最后進行重構得到最終結果，并將結果返回用戶。 根據(jù)研究成果，基于海洋大氣地理信息系統(tǒng)MAGIS(MarineandAtmosphericGeographicalInformationSystem)平臺軟件，建設了多節(jié)點海洋環(huán)境數(shù)據(jù)庫集群，并開發(fā)了集群中間件分布式海