船舶監(jiān)控系統(tǒng)中海量數(shù)據(jù)處理技術研究.pdf

1、目前，船舶監(jiān)控系統(tǒng)正在向自動化、智能化、數(shù)字化方向發(fā)展，因此造成監(jiān)測數(shù)據(jù)量的大量增加，導致系統(tǒng)處理數(shù)據(jù)能力下降，系統(tǒng)響應性能急劇降低。而在船舶監(jiān)控系統(tǒng)中，如何從海量的監(jiān)測數(shù)據(jù)中方便、快捷地查詢與獲取用戶所需的監(jiān)測信息是用戶極為關注的問題之一。Hadoop平臺是目前應用廣泛、操作簡單的開源免費云計算開發(fā)平臺，可利用集群的方式提高大規(guī)模數(shù)據(jù)的處理能力。為此，本文將Hadoop平臺引入船舶監(jiān)控系統(tǒng)實現(xiàn)中，重點對基于Hadoop平臺的海量數(shù)據(jù)處

2、理技術進行研究，論文的主要研究內容如下：
　?。?）給出了基于Hadoop平臺的船舶監(jiān)控系統(tǒng)框架，該框架主要由系統(tǒng)應用層、中間件層和數(shù)據(jù)存儲層組成，其中中間件層是系統(tǒng)的核心層。
　?。?）提出了一種基于Hadoop平臺的分布式查詢算法。借鑒分布式查詢技術相關概念與結構，在TPUT查詢算法的基礎上，加入直方圖動態(tài)劃分思想，提出了一種效率更高的ITPUT查詢算法，并將其應用到Hadoop平臺上。
　?。?）設計了一種基于H

3、adoop平臺的作業(yè)調度算法。針對Hadoop平臺上原有作業(yè)調度算法的不足，設計了一種新的作業(yè)調度算法，該算法從快慢節(jié)點的判定、優(yōu)先級的判定和負載均衡動態(tài)調整三方面建立模型。另外與MapReduce計算模型有機結合，能夠較好的解決海量數(shù)據(jù)處理中的數(shù)據(jù)本地性問題，降低系統(tǒng)消耗。
　?。?）完成了基于Hadoop平臺的船舶監(jiān)控系統(tǒng)的設計及主要功能開發(fā)。重點描述了基于Hadoop平臺的ITPUT分布式查詢算法和Three-Queue調度