數(shù)據(jù)流挖掘關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、離群點(diǎn)檢測和聚類問題作為數(shù)據(jù)挖掘領(lǐng)域的經(jīng)典課題，一直受到學(xué)術(shù)界的廣泛關(guān)注。然而，隨著傳感器網(wǎng)絡(luò)的普及以及“大數(shù)據(jù)”時(shí)代的到來，越來越多的數(shù)據(jù)由傳統(tǒng)的靜態(tài)數(shù)據(jù)向動(dòng)態(tài)數(shù)據(jù)流的形式進(jìn)行轉(zhuǎn)變，這給基于靜態(tài)數(shù)據(jù)的離群點(diǎn)檢測方法和聚類方法帶來了新的挑戰(zhàn)。與靜態(tài)數(shù)據(jù)相比，動(dòng)態(tài)數(shù)據(jù)流具有海量性、實(shí)時(shí)性和動(dòng)態(tài)變化性的特點(diǎn)，在特定的場景下，這些數(shù)據(jù)還可能具有高維性。這些特性大大增加了離群點(diǎn)檢測和數(shù)據(jù)分類聚類的難度。
　　本文從數(shù)據(jù)流的基本特性（海量行

2、、實(shí)時(shí)性、動(dòng)態(tài)變化性、高維性）入手，對(duì)數(shù)據(jù)流挖掘問題展開研究，主要工作和研究成果如下：
　　1.為了解決傳統(tǒng)基于滑動(dòng)窗口的離群點(diǎn)檢測算法（Sliding Window-based Data Stream Outlier Detection，SWDSOD）在某些場景（如正弦波形信號(hào)中的離群點(diǎn)）中檢測不準(zhǔn)確的問題，提出了一種基于衰減模型的數(shù)據(jù)流離群點(diǎn)檢測方法（Fading Model-based Data Stream Outlier

3、 Detection，F(xiàn)MDSOD），該算法不僅考慮了根據(jù)時(shí)間間距計(jì)算任意兩個(gè)點(diǎn)之間的權(quán)重影響因子，而且還通過定義巧妙的數(shù)據(jù)結(jié)構(gòu)降低了原算法的計(jì)算量。通過實(shí)驗(yàn)分析論證，F(xiàn)MDSOD算法無論從準(zhǔn)確率還是執(zhí)行效率都比SWDSOD要好。
　　2.為了解決數(shù)據(jù)流聚類算法E-Stream算法在進(jìn)行高維數(shù)據(jù)流聚類的時(shí)候性能急劇下降的問題，本文提出了一種計(jì)算簇的特征維的方法，通過分析樣本數(shù)據(jù)流形成的每個(gè)簇的特征維，在判斷新到達(dá)的數(shù)據(jù)點(diǎn)屬于那個(gè)簇

4、的時(shí)候，只有與該簇相關(guān)的特征維參與計(jì)算，忽略掉冗余維的計(jì)算，有效減少了算法的計(jì)算量，在聚類純度與原算法純度不相上下的情況下有效的提升了算法的執(zhí)行效率。該方法的引入，很好的彌補(bǔ)了E-Stream算法在高維數(shù)據(jù)流聚類時(shí)的不足。
　　3.采用上述提出的兩種方法，設(shè)計(jì)并實(shí)現(xiàn)了分布式數(shù)據(jù)流處理系統(tǒng)，包括數(shù)據(jù)流離群點(diǎn)檢測和數(shù)據(jù)流聚類方案。FMDSOD算法完成系統(tǒng)中離群點(diǎn)檢測模塊，基于特征維的數(shù)據(jù)流聚類算法實(shí)現(xiàn)系統(tǒng)處理高維數(shù)據(jù)流時(shí)的數(shù)據(jù)聚類任務(wù)