基于云平臺的OLAP系統(tǒng)研究與實現(xiàn).pdf

1、云計算技術的出現(xiàn)為海量數(shù)據(jù)的處理提供了良好的解決方案。為了進一步促進我國海洋信息化工作的發(fā)展，國家海洋局采用云計算技術來構建海洋環(huán)境信息綜合服務應用框架體系，它可以提高海洋資源信息的可重用性與共享性，以及應用系統(tǒng)的可擴展性。本文依托于國家海洋公益性項目搭建了一個基于云平臺的OLAP系統(tǒng)，該系統(tǒng)可以向用戶提供多維視圖，使用戶從多個角度、多個側(cè)面、多個層次考察和分析數(shù)據(jù)，深入理解數(shù)據(jù)中的信息及其內(nèi)涵。
　　現(xiàn)有的OLAP系統(tǒng)在處理大規(guī)

2、模數(shù)據(jù)集時，存在數(shù)據(jù)處理效率慢及數(shù)據(jù)信息丟失等問題，效率和容量成為現(xiàn)有OLAP系統(tǒng)的最大瓶頸?；谠破脚_的OLAP系統(tǒng)不僅能夠存儲海量數(shù)據(jù)，還可以并行計算數(shù)據(jù)立方，提高計算效率，減小系統(tǒng)響應時間?；谠破脚_的OLAP系統(tǒng)分為三個層次。分別是存儲層，OLAP引擎層和應用層。存儲層采用數(shù)據(jù)倉庫Hive進行數(shù)據(jù)存儲，并根據(jù)OLAP引擎Mondrian所提供的JDBC通用接口方法，利用JAVA語言實現(xiàn)了一個Hive方言類——HiveDialec

3、t，將Mondrian生成的SQL語句轉(zhuǎn)換成符合Hive操作格式的類SQL的HiveQL語句，實現(xiàn)了OLAP引擎對存儲層數(shù)據(jù)存取操作。OLAP引擎層利用開源項目Mondrian實現(xiàn)物理模型與多維模型的映射，完成了多維數(shù)據(jù)集的創(chuàng)建以及MDX語句的解析。應用層采用自定義標簽庫JPivot實現(xiàn)，利用JSP標簽庫來提供執(zhí)行OLAP操作的相關按鈕和完成數(shù)據(jù)展示功能，并且提供JDBC接口與底層數(shù)據(jù)模型建立連接。
　　根據(jù)項目需求，OLAP系統(tǒng)

4、需要提供給用戶一個基于云平臺的分類挖掘算法庫，幫助用戶進一步完成對數(shù)據(jù)的挖掘和分析?，F(xiàn)有的分布式機器學習算法庫Mahout，提供了一些經(jīng)典的分類挖掘算法，如貝葉斯、決策樹等。而學習速度快，泛化性能好的在線貫序?qū)W習機(OS-ELM)算法并沒有在云平臺實現(xiàn)。本文對OS-ELM算法進行分析，利用MapReduce編程框架實現(xiàn)了OS-ELM算法的并行化處理，設計了一種基于Map-Reduce的OS-ELM算法，即MOS-ELM。實驗表明，MOS