面向數(shù)據(jù)流挖掘的分類和聚類算法研究.pdf

1、隨著計算機軟硬件技術(shù)的飛速發(fā)展以及日益大眾化，各個領(lǐng)域的數(shù)據(jù)呈爆炸式增長，數(shù)據(jù)的廣泛使用和巨大數(shù)量使得我們的時代成為真正的數(shù)據(jù)時代。通常情況下，這些數(shù)據(jù)是以數(shù)據(jù)流的形式產(chǎn)生和積累的。相對于傳統(tǒng)的靜態(tài)數(shù)據(jù)集，數(shù)據(jù)流具有數(shù)據(jù)量大、隨時間不斷發(fā)生動態(tài)變化、連續(xù)快速等特點，這就要求流入系統(tǒng)的數(shù)據(jù)流必須得到實時處理。因此，傳統(tǒng)的數(shù)據(jù)挖掘算法無法直接應(yīng)用于數(shù)據(jù)流之上。數(shù)據(jù)流的特點向傳統(tǒng)的數(shù)據(jù)挖掘算法提出了嚴(yán)峻挑戰(zhàn)，并對數(shù)據(jù)流挖掘算法提出了如下要求:

2、首先，算法需要對到達(dá)系統(tǒng)的數(shù)據(jù)進(jìn)行實時處理，因為數(shù)據(jù)流的到達(dá)速率非?？?，因此，算法的時間復(fù)雜度盡量要低;再者，由于數(shù)據(jù)流的數(shù)據(jù)規(guī)模通常較大，而計算機系統(tǒng)內(nèi)存空間有限，不可能存儲全部的數(shù)據(jù)信息，因此，算法的空間復(fù)雜度要低，使得能在一個僅保存部分?jǐn)?shù)據(jù)樣本的受限存儲空間中得到此問題的近似最優(yōu)解;此外，由于數(shù)據(jù)流的流動性，到達(dá)數(shù)據(jù)會隨時間不斷發(fā)生變化，算法必須能夠根據(jù)數(shù)據(jù)流的動態(tài)變化來自動調(diào)節(jié)自身參數(shù)設(shè)置，使自身能夠適應(yīng)數(shù)據(jù)流的變化。因此，如何

3、在數(shù)據(jù)流中提取出有用的信息成為當(dāng)前數(shù)據(jù)挖掘領(lǐng)域的研究熱點和難點。
　　本文首先對數(shù)據(jù)流挖掘的理論基礎(chǔ)以及一些相關(guān)的主流技術(shù)進(jìn)行了概述，然后從數(shù)據(jù)流分類、聚類以及頻繁模式挖掘三個角度分別介紹了一些現(xiàn)有的數(shù)據(jù)流挖掘算法，并在此基礎(chǔ)上分別實現(xiàn)了兩類不平衡分布數(shù)據(jù)流的分類算法和基于密度網(wǎng)格的數(shù)據(jù)流聚類算法。主要研究內(nèi)容包括：⑴對當(dāng)前基于數(shù)據(jù)流的分類算法進(jìn)行了分析。針對兩類數(shù)據(jù)流分布不平衡的問題和概念漂移現(xiàn)象，在結(jié)合當(dāng)前經(jīng)典的數(shù)據(jù)流分類算法

4、和集成分類器算法的優(yōu)點后，設(shè)計并實現(xiàn)了一種具有更好適應(yīng)性的SeRt算法。實驗結(jié)果表明，該算法能有效地解決兩類不平衡分布問題和數(shù)據(jù)流中存在的概念漂移現(xiàn)象。⑵在傳統(tǒng)聚類算法K-Means、數(shù)據(jù)流聚類核心技術(shù)----CluStream框架模型以及現(xiàn)有的數(shù)據(jù)流聚類算法PKS-Stream的基礎(chǔ)上，設(shè)計并實現(xiàn)了基于密度和網(wǎng)格的數(shù)據(jù)流聚類算法PKS-Stream-I。該算法是對PKS-Stream算法在密度檢測周期選擇，稀疏網(wǎng)格檢測和移除方面的改進(jìn)