基于Hadoop的海量期貨數(shù)據(jù)的分布式存儲和算法分析.pdf

1、期貨交易作為一種重要的投資和保值工具，近年來得到了快速的發(fā)展，隨之而產(chǎn)生的數(shù)據(jù)也在日益增長，而加快對期貨數(shù)據(jù)的信息資源的整合利用的重要性也就日漸突出。我們可以通過數(shù)據(jù)挖掘和統(tǒng)計(jì)等工具從中發(fā)現(xiàn)具有重要價值的信息，傳統(tǒng)的數(shù)據(jù)挖掘模式可以做到這一點(diǎn)，但是隨著數(shù)據(jù)量的不斷上漲，出現(xiàn)了一些制約傳統(tǒng)數(shù)據(jù)挖掘模型的因素。首先是對海量數(shù)據(jù)的存儲問題，面對上TB，PB級的數(shù)據(jù)，傳統(tǒng)的商業(yè)單機(jī)存儲已經(jīng)不能滿足要求，其次在如此大規(guī)模的數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘分析，

2、傳統(tǒng)的單機(jī)算法所消耗的時間也變得讓人難以忍受。
　　 在本文中，我們提出一種針對期貨行業(yè)的海量數(shù)據(jù)，運(yùn)用商業(yè)計(jì)算機(jī)集群來實(shí)現(xiàn)數(shù)據(jù)的分布式存儲和并行數(shù)據(jù)挖掘的解決方案。這一方案的實(shí)現(xiàn)的基礎(chǔ)是由Doug Cutting開發(fā)的Hadoop。該框架是由java實(shí)現(xiàn)的開源分布式計(jì)算框架，其基礎(chǔ)為HDFS和Mapreduce，在其上所構(gòu)建的分布式應(yīng)用具有很強(qiáng)的規(guī)模性，可擴(kuò)展性和容錯性。方案由總體設(shè)計(jì)和具體實(shí)現(xiàn)兩部分。首先，我們提出了一種適用

3、于海量數(shù)據(jù)存儲和挖掘的體系結(jié)構(gòu)，該結(jié)構(gòu)用到了軟件體系結(jié)構(gòu)中比較著名的層次結(jié)構(gòu)模型，這種設(shè)計(jì)使得我們的應(yīng)用具有很強(qiáng)的靈活性和可擴(kuò)展性。另外，我們針對各層進(jìn)行了簡單的實(shí)現(xiàn)，這些實(shí)現(xiàn)包括：web前端，Web service控制層，數(shù)據(jù)挖掘插件，Hbase存儲四個部分，其中對于數(shù)據(jù)挖掘插件的開發(fā)我們進(jìn)行了較為詳細(xì)的說明。
　　 在實(shí)現(xiàn)方案中，首先我們在頁面上使用WebService和Ajax技術(shù)來進(jìn)行參數(shù)的提交，通過這兩者我們節(jié)省了網(wǎng)絡(luò)