Hadoop架構(gòu)下數(shù)據(jù)挖掘與數(shù)據(jù)遷移系統(tǒng)的設計與實現(xiàn).pdf

1、通常情況下企業(yè)的信息系統(tǒng)會包含多個業(yè)務系統(tǒng),每個業(yè)務系統(tǒng)包含自身的一套在線業(yè)務系統(tǒng)、備份系統(tǒng)和歸檔系統(tǒng),系統(tǒng)管理復雜,易造成存儲空間的浪費,并且系統(tǒng)擴展性較差。針對以上缺點,本文設計并實現(xiàn)了一個分層存儲系統(tǒng),采用一個大數(shù)據(jù)平臺對多個業(yè)務系統(tǒng)數(shù)據(jù)實行統(tǒng)一管理,將每個業(yè)務系統(tǒng)的備份系統(tǒng)和歸檔系統(tǒng)合二為一。此分層存儲系統(tǒng)提供基于Hadoop架構(gòu)的數(shù)據(jù)挖掘和數(shù)據(jù)遷移系統(tǒng)的方案。具體內(nèi)容如下:
　　(1)分析了MapReduce分布式架構(gòu)、

2、HBase數(shù)據(jù)庫、HDFS分布式文件系統(tǒng)等Hadoop關(guān)鍵技術(shù)。
　　(2)設計并實現(xiàn)了基于Hadoop架構(gòu)的分層存儲系統(tǒng),并對系統(tǒng)和大數(shù)據(jù)平臺的架構(gòu)設計進行了詳細的闡述。
　　(3)設計并實現(xiàn)基于MapReduce模式的數(shù)據(jù)挖掘模塊,將傳統(tǒng)關(guān)系型數(shù)據(jù)庫的分析方法應用于HBase數(shù)據(jù)庫,有效的對HBase數(shù)據(jù)庫數(shù)據(jù)進行挖掘分類。
　　(4)設計并實現(xiàn)了數(shù)據(jù)遷移模塊,實現(xiàn)了將在線業(yè)務平臺的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)遷移到大

3、數(shù)據(jù)平臺的功能。結(jié)構(gòu)化數(shù)據(jù)遷移的過程采用MapReduce數(shù)據(jù)遷移,設計了基于IO負載的調(diào)度算法,調(diào)度時考慮到資源使用情況,避免將任務分配給IO負載重的節(jié)點。設計實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)遷移工具,巧妙地利用FTP,多并發(fā)的將在線業(yè)務平臺的日志文件等數(shù)據(jù)遷移到HDFS指定目錄下。
　　(5)對系統(tǒng)的功能和性能進行了完整的測試。測試結(jié)果表明,系統(tǒng)所有的功能模塊都滿足設計要求,且文中提出的IO調(diào)度器與默認調(diào)度器相比有更好的遷移性能。