海洋環(huán)境數(shù)據(jù)倉庫與數(shù)據(jù)挖掘應(yīng)用研究.pdf

1、“數(shù)字海洋”是由海量、多分辨率、多時相、多類型海洋立體監(jiān)測數(shù)據(jù)及其分析算法和模型構(gòu)建而成的總體海洋系統(tǒng)。海洋環(huán)境數(shù)據(jù)倉庫是國家“數(shù)字海洋”基礎(chǔ)數(shù)據(jù)平臺的一部分,它將多源、異構(gòu)、分散的海量海洋環(huán)境數(shù)據(jù)集成到一起,從而更好地為海洋研究與管理、實現(xiàn)海洋的可持續(xù)發(fā)展服務(wù)。課題的研究將為構(gòu)建我國近?！皵?shù)字海洋”奠定堅實的數(shù)據(jù)框架及理論基礎(chǔ)。
　　本文對海洋環(huán)境數(shù)據(jù)體系規(guī)劃、數(shù)據(jù)建模、數(shù)據(jù)倉庫構(gòu)建技術(shù),以及對集成后的數(shù)據(jù)倉庫進(jìn)行OLAP及數(shù)據(jù)

2、挖掘技術(shù)等進(jìn)行了深入的研究,系統(tǒng)化地提出了一個海洋環(huán)境數(shù)據(jù)從集成、應(yīng)用、分析的完整框架。
　　針對海洋環(huán)境數(shù)據(jù)集成與應(yīng)用的需求,設(shè)計了一個包括數(shù)據(jù)源、數(shù)據(jù)加載、數(shù)據(jù)倉庫層、前端應(yīng)用等四層的海洋環(huán)境數(shù)據(jù)倉庫集成與應(yīng)用框架。其中為滿足終端用戶對原始數(shù)據(jù)的需求、部門級用戶決策支持需求將數(shù)據(jù)倉庫劃分為海洋環(huán)境基礎(chǔ)數(shù)據(jù)倉庫、海洋環(huán)境數(shù)據(jù)倉庫(集成)、數(shù)據(jù)集市等層次。另外還包括數(shù)據(jù)倉庫管理工具以對整個數(shù)據(jù)倉庫體系進(jìn)行數(shù)據(jù)訪問、安全等方面的管理

3、。
　　總結(jié)了海洋環(huán)境數(shù)據(jù)的類型及特征,在研究和分析海洋環(huán)境數(shù)據(jù)倉庫的構(gòu)建方法及關(guān)鍵模型的基礎(chǔ)上,提出海洋環(huán)境數(shù)據(jù)倉庫的體系結(jié)構(gòu),并對其進(jìn)行詳細(xì)的結(jié)構(gòu)設(shè)計、主題設(shè)計及多維模型設(shè)計。海洋環(huán)境基礎(chǔ)數(shù)據(jù)倉庫存儲原始格式的數(shù)據(jù),它全面整合歷次海洋專項調(diào)查、常規(guī)海洋調(diào)查、業(yè)務(wù)化海洋環(huán)境監(jiān)測以及國際合作等資料,以滿足終端用戶對原始數(shù)據(jù)的需求。基礎(chǔ)數(shù)據(jù)倉庫的數(shù)據(jù)經(jīng)同構(gòu)、轉(zhuǎn)換、集成處理后,保持原始粒度(不做統(tǒng)計計算)加載到按多維數(shù)據(jù)模型組織的海洋

4、環(huán)境數(shù)據(jù)倉庫。數(shù)據(jù)集市根據(jù)用戶需求創(chuàng)建,它將海洋環(huán)境數(shù)據(jù)倉庫的原始粒度數(shù)據(jù)進(jìn)行篩選、統(tǒng)計或插值計算后形成多維數(shù)據(jù)立方體,為OLAP、數(shù)據(jù)挖掘等應(yīng)用提供數(shù)據(jù)支持。
　　研究了海洋環(huán)境數(shù)據(jù)倉庫的性能優(yōu)化方法并提出了詳細(xì)優(yōu)化策略,基于索引優(yōu)化、分片管理的并發(fā)數(shù)據(jù)訪問會大大提高海量海洋環(huán)境數(shù)據(jù)倉庫的性能。ETL是數(shù)據(jù)倉庫建設(shè)的關(guān)鍵,本文根據(jù)海洋環(huán)境數(shù)據(jù)的特點,研究其數(shù)據(jù)清洗、轉(zhuǎn)換、集成規(guī)則,設(shè)計并開發(fā)了海洋環(huán)境數(shù)據(jù)倉庫ETL原型系統(tǒng)。海洋

5、環(huán)境數(shù)據(jù)倉庫ETL系統(tǒng)提供了多種數(shù)據(jù)訪問接口,包括:Oracle、DB2、MS Sq1 Server、Access、JDBC、ODBC等數(shù)據(jù)庫來源,格式文本、Excel、XML等平面文件來源。為了保證進(jìn)入數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量,還必須進(jìn)行嚴(yán)格的數(shù)據(jù)清洗,根據(jù)清洗規(guī)則可以過濾掉和修正不符合要求的數(shù)據(jù),從而保證了數(shù)據(jù)質(zhì)量和未來海洋環(huán)境數(shù)據(jù)分析與決策的正確性。針對海洋環(huán)境數(shù)據(jù)倉庫數(shù)據(jù)量大、歷史數(shù)據(jù)多、更新頻度小的特點,研究提出了一套完整的海洋環(huán)

6、境數(shù)據(jù)倉庫增量更新的機(jī)制,極大提高了海洋環(huán)境數(shù)據(jù)倉庫的運(yùn)行效率。
　　為了讓用戶可以從多個角度觀察和分析海洋環(huán)境數(shù)據(jù),研究了海洋環(huán)境時空數(shù)據(jù)立方體的構(gòu)建方法,通過空間插值及時空插值算法可以按各種粒度將不規(guī)則的海洋環(huán)境數(shù)據(jù)格網(wǎng)化,以構(gòu)建規(guī)則的具有時間和空間維的數(shù)據(jù)立方體。同時可通過各種內(nèi)置或自定義統(tǒng)計分析函數(shù)來計算度量值,從而建立不同度量(或多度量)的海洋環(huán)境數(shù)據(jù)立方體。以海洋水文、氣象等領(lǐng)域的數(shù)據(jù)分析為例,研究如何利用OLAP分析

7、操作來實現(xiàn)海洋環(huán)境數(shù)據(jù)倉庫的各種應(yīng)用需求。
　　為了發(fā)現(xiàn)隱藏在海量海洋環(huán)境數(shù)據(jù)中有用的模式或規(guī)律,研究了海洋環(huán)境數(shù)據(jù)倉庫的數(shù)據(jù)挖掘方法及內(nèi)容,并進(jìn)行了初步的應(yīng)用?；貧w預(yù)測通過建立一個回歸方程可以用來預(yù)測未來的數(shù)據(jù)趨勢,本文利用回歸分析建立懸浮體中濃度與濁度的預(yù)測模型。利用聚類方法對長江口表層沉積物的元素地球化學(xué)進(jìn)行了分類,將研究區(qū)沉積物中的組成元素大體分為3種類型:“親碎屑元素”、“親生物元素”和“氧化還原敏感性元素”,并結(jié)合地質(zhì)