基于Hadoop平臺的時(shí)序數(shù)據(jù)處理方法研究.pdf

1、隨著信息技術(shù)的快速發(fā)展，在人們的日常生活中出現(xiàn)了各種信息系統(tǒng)，產(chǎn)生了海量的時(shí)間序列數(shù)據(jù)。如何有效地利用這些歷史時(shí)序數(shù)據(jù)，從中挖掘出用戶需要的信息已經(jīng)成為當(dāng)今數(shù)據(jù)處理領(lǐng)域廣泛關(guān)注的熱點(diǎn)問題。
　　首先分析了當(dāng)前分布式計(jì)算的關(guān)鍵技術(shù)，然后對時(shí)序數(shù)據(jù)處理進(jìn)行了相關(guān)研究，最后提出了一種基于Hadoop平臺的時(shí)間序列數(shù)據(jù)增量計(jì)算方法及系統(tǒng)。主要工作內(nèi)容如下:
　　1.分析分布式系統(tǒng)關(guān)鍵技術(shù)，對Hadoop整體框架進(jìn)行分析。文中首先對分

2、布式系統(tǒng)中關(guān)鍵技術(shù)進(jìn)行探討，然后通過搭建Hadoop平臺，結(jié)合MapReduce計(jì)算模型給出了實(shí)際數(shù)據(jù)處理的實(shí)驗(yàn)案例，最后對實(shí)驗(yàn)結(jié)果進(jìn)行了詳細(xì)的分析。
　　2.對時(shí)間序列預(yù)測算法、時(shí)間序列相似性度量算法進(jìn)行了分析和改進(jìn)。文中通過對真實(shí)數(shù)據(jù)的理解及建模，實(shí)現(xiàn)了時(shí)序數(shù)據(jù)的預(yù)測過程。最后，在分析時(shí)間序列相似性度量算法的基礎(chǔ)之上，提出了支持增量數(shù)據(jù)的時(shí)間序列相似性度量算法—Inc-DTW，并通過實(shí)驗(yàn)及理論對所提出的方法進(jìn)行驗(yàn)證。
　

3、　3.在進(jìn)行數(shù)據(jù)處理時(shí)，數(shù)據(jù)是隨時(shí)間的推進(jìn)在不斷的增加，如何才能進(jìn)行高效的增量計(jì)算是目前數(shù)據(jù)處理領(lǐng)域的一個(gè)研究熱點(diǎn)。本文中結(jié)合Hadoop平臺以及時(shí)間序列數(shù)據(jù)相關(guān)特點(diǎn)提出了一種Hadoop平臺時(shí)序數(shù)據(jù)增量計(jì)算方法及系統(tǒng)-TSI-Hadoop。TSI-Hadoop具有以下特點(diǎn):(1)提供了常用時(shí)序數(shù)據(jù)處理算法的支持;(2)提出基于MapReduce計(jì)算模型的分段時(shí)序數(shù)據(jù)增量計(jì)算模型;(3)針對時(shí)序數(shù)據(jù)特點(diǎn)，提出帶有狀態(tài)的滑動(dòng)窗口增量計(jì)算方