基于分布式極限學習機的不確定數(shù)據(jù)流分類技術的研究與實現(xiàn).pdf

1、數(shù)據(jù)流分類技術是數(shù)據(jù)流挖掘中的重要組成部分。然而在許多實際應用中，數(shù)據(jù)的不確定性是普遍存在的，并且隨著數(shù)據(jù)量的急劇增加，傳統(tǒng)的集中式的分類方法已經(jīng)不能有效地學習這樣的海量數(shù)據(jù)。面向不確定數(shù)據(jù)流的分類面臨如下的挑戰(zhàn):(1)如何對不確定流數(shù)據(jù)進行有效的分類處理;(2)對數(shù)據(jù)流概念漂移的檢測和處理;(3)如何利用分布式算法解決大數(shù)據(jù)的學習問題。
　　基于此，本文對于具有概念漂移的不確定數(shù)據(jù)流分類問題展開了以下研究工作:
　　首先，

2、了解不確定數(shù)據(jù)流產(chǎn)生的背景及特點，之后研讀并掌握已有的不確定數(shù)據(jù)的分類算法以及數(shù)據(jù)流分類算法的核心思想。其次，利用MapReduce技術對大矩陣運算進行優(yōu)化，提出了能夠滿足于大量數(shù)據(jù)處理的分布式極限學習機(Distributed ExtremeLearning Machine，DELM)，使得傳統(tǒng)集中式的極限學習機(Extreme LearningMachine，ELM)能夠以更高的效率來適用于大規(guī)模流數(shù)據(jù)處理。再次，針對不確定數(shù)據(jù)流分

3、類問題，提出了基于分布式極限學習機的加權集成分類算法（Weighted EnsembleClassifier based on Distributed ELM，WE-DELM）。該算法首先建立不確定數(shù)據(jù)模型，將不確定數(shù)據(jù)通過建立可能世界模型的方式轉(zhuǎn)換為確定數(shù)據(jù)的處理，并且可以根據(jù)各個基分類器的分類結果動態(tài)的調(diào)整基分類器的權值，使得在發(fā)生概念漂移時，能夠刪除舊的不再適應新概念的基分類器，同時重新建立能夠更加快速準確地收斂于新概念的分類器。

4、然后，根據(jù)實際應用中數(shù)據(jù)流蘊含的概念往往會有一些往復出現(xiàn)的特點，基于WE-DELM算法提出了基于概念緩沖的加權集成分布式極限學習機算法（Concept BufferWeighted Ensemble Classifier based on Distributed ELM，CBWE-DELM），該方法有效的避免了已有的分類算法一般僅存儲當前的概念，當新概念發(fā)生時模型每次都需要重新學習的缺點，更加適用于有概念往復現(xiàn)象的數(shù)據(jù)流的學習。