基于Hadoop的海洋信息OLAP與數(shù)據(jù)挖掘系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、21世紀(jì)是海洋世紀(jì)，世界各沿海國(guó)家均將維護(hù)國(guó)家海洋權(quán)益、發(fā)展海洋經(jīng)濟(jì)及保護(hù)海洋生態(tài)環(huán)境列為本國(guó)的重大發(fā)展戰(zhàn)略，我國(guó)國(guó)家海洋信息中心于1999年即提出了“數(shù)字海洋”的發(fā)展構(gòu)想。作為“數(shù)字海洋”的一部分，海洋信息OLAP與數(shù)據(jù)挖掘技術(shù)能發(fā)現(xiàn)潛藏于數(shù)據(jù)背后的海洋規(guī)律與知識(shí)，對(duì)我國(guó)海洋生態(tài)環(huán)境的保護(hù)、海洋氣象的觀測(cè)預(yù)報(bào)以及海洋的防災(zāi)減災(zāi)等都具有重大的意義。隨著信息技術(shù)的革新，海洋數(shù)據(jù)的獲取越來(lái)越便捷，我國(guó)積累了規(guī)模龐大的海洋數(shù)據(jù)，如何對(duì)這些海量

2、數(shù)據(jù)進(jìn)行高效地分析挖掘是“數(shù)字海洋”在新時(shí)代所面臨的挑戰(zhàn)之一。在此背景下，本文針對(duì)國(guó)家海洋局“海洋云計(jì)算與云服務(wù)體系框架的應(yīng)用與研究”項(xiàng)目需求，借助Hadoop云計(jì)算技術(shù)，設(shè)計(jì)實(shí)現(xiàn)了基于Hadoop的海洋信息OLAP與數(shù)據(jù)挖掘系統(tǒng)，并對(duì)系統(tǒng)中的OS-ELM分類算法進(jìn)行優(yōu)化改進(jìn)。
　　海洋信息OLAP分析與在線數(shù)據(jù)挖掘系統(tǒng)采用B/S架構(gòu)，包含海洋信息OLAP分析和在線數(shù)據(jù)挖掘工具兩部分功能。對(duì)于海洋信息OLAP分析功能，系統(tǒng)采用了分

3、布式數(shù)據(jù)倉(cāng)庫(kù)Hive作為其底層存儲(chǔ)，通過(guò)對(duì)開(kāi)源的OLAP引擎Mondrian添加Hive的方言HiveDialect，使MDX多維查詢語(yǔ)句可以被解析為HiveQL語(yǔ)句，并被提交到云平臺(tái)上并行執(zhí)行，提高了OLAP查詢分析的效率;對(duì)于在線數(shù)據(jù)挖掘工具，系統(tǒng)一方面包裝改造了Mahout的數(shù)據(jù)挖掘算法庫(kù)，使得用戶得以通過(guò)Web頁(yè)面方便快捷地進(jìn)行相關(guān)的數(shù)據(jù)挖掘分析，另一方面新增加了并行化的在線序貫極限學(xué)習(xí)機(jī)(POS-ELM)分類算法，為用戶提供了

4、一個(gè)更加高效、快速的分類挖掘算法。通過(guò)海洋信息OLAP分析功能，用戶能夠?qū)Υ鎯?chǔ)在云平臺(tái)中的海洋數(shù)據(jù)進(jìn)行如多維查詢、下鉆/上卷、切片/切塊以及轉(zhuǎn)軸等OLAP操作;通過(guò)在線數(shù)據(jù)挖掘工具，用戶可以方便快捷地使用工具中常用的數(shù)據(jù)挖掘算法對(duì)海洋數(shù)據(jù)進(jìn)行并行的挖掘分析。
　　數(shù)據(jù)挖掘工具中的OS-ELM分類算法對(duì)高維、含噪音的數(shù)據(jù)集，常常存在著分類精度不高的問(wèn)題，針對(duì)該問(wèn)題，本文提出了一種基于隨機(jī)子空間的OS-ELM集成分類算法(RSEOS-

5、ELM)，并通過(guò)分析RSEOS-ELM在矩陣運(yùn)算過(guò)程中存在的依賴關(guān)系，找出能進(jìn)行并行化計(jì)算的矩陣，利用MapReduee編程框架實(shí)現(xiàn)了對(duì)RSEOS-ELM并行優(yōu)化的集成分類算法(PRSEOS-ELM)。相比RSEOS-ELM算法，PRSEOS-ELM算法在保證同樣高分類精度的前提下，提高了集成分類的速度，對(duì)大規(guī)模數(shù)據(jù)具備良好的擴(kuò)展性。如對(duì)于具有40960維度（屬性）64萬(wàn)個(gè)訓(xùn)練樣例的數(shù)據(jù)集和具有64維度40960萬(wàn)個(gè)訓(xùn)練樣例的數(shù)據(jù)集，若