基于Hadoop的動車組故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘研究與實現(xiàn).pdf

1、隨著我國高速鐵路的建設(shè)和發(fā)展，經(jīng)過近十年的運營，已積累了海量的高速動車組運行狀況數(shù)據(jù)，并以TB數(shù)量級增長。如何利用動車組的海量故障數(shù)據(jù)進行分析，并進一步指導(dǎo)動車組的維修和維護工作，對動車組的故障診斷具有重要意義。面對高速鐵路動車組運行狀況數(shù)據(jù)所呈現(xiàn)出的多樣化，容量大、高度復(fù)雜，速度快等特點，傳統(tǒng)的數(shù)據(jù)挖掘算法已不能有效處理，其不足主要反映在耗時長、效率低、實時性差，難以滿足目前動車組故障應(yīng)急處理應(yīng)用的需求。本論文將探索基于Hadoop的

2、數(shù)據(jù)分析技術(shù)和方法，并應(yīng)用于動車組故障診斷分析。
　　本論文給出了基于分布式計算框架Hadoop的動車組故障診斷大數(shù)據(jù)解決方案，并通過將目前流行的基于Hadoop的關(guān)聯(lián)規(guī)則挖掘算法Apriori算法進行優(yōu)化，為提高動車組故障數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘效率提供了有效方法，并在實際應(yīng)用中得到了驗證。
　　本論文的工作有以下幾方面:
　　(1)在分析了MapReduce分布式計算框架、分布式文件系統(tǒng)HDFS、數(shù)據(jù)倉庫Hive等Hado

3、op核心技術(shù)的基礎(chǔ)上，給出了基于Hadoop的動車組故障分析大數(shù)據(jù)解決方案。搭建了Hadoop集群環(huán)境，并對動車組故障數(shù)據(jù)集進行數(shù)據(jù)清洗。
　　(2)分析并實現(xiàn)了基于Hadoop的Apriori并行算法優(yōu)化方案，提出了一種基于MapReduce迭代計算的改進算法MRAprioriT，并改進了集群的負載均衡。實驗表明，改進算法比原始算法速度提高約36％，可滿足動車組故障診斷實時性要求。
　　(3)將改進后的算法MRAprior