基于網(wǎng)格和密度的數(shù)據(jù)流聚類研究.pdf

1、當(dāng)前,由于網(wǎng)絡(luò)入侵檢測、實(shí)時(shí)監(jiān)控系統(tǒng)以及web上用戶的點(diǎn)擊流數(shù)據(jù)等等動(dòng)態(tài)的應(yīng)用環(huán)境下不斷地形成時(shí)序的、海量的、迅速變化的以及潛在無窮的數(shù)據(jù)流,對于數(shù)據(jù)流的挖掘研究已經(jīng)變得非常重要并且富有實(shí)用價(jià)值。聚類分析作為數(shù)據(jù)挖掘領(lǐng)域當(dāng)中一個(gè)非常重要的問題,目前已經(jīng)被廣泛地進(jìn)行了研究。但是數(shù)據(jù)流的模型并不等同于傳統(tǒng)的數(shù)據(jù)集,這個(gè)時(shí)候新的要求以及挑戰(zhàn)就隨之而產(chǎn)生了。
　　通過對傳統(tǒng)的聚類方法研究,發(fā)現(xiàn)存在的數(shù)據(jù)流聚類算法如CluStream是基于

2、k-means算法的。這些聚類算法對于找到任何形狀的聚類是不合適的,并且不能處理異常點(diǎn)。進(jìn)一步而言,它們需要 k的值以及用戶特定的時(shí)間窗口。而基于網(wǎng)格與密度的聚類方法擁有非常多可以應(yīng)用到數(shù)據(jù)流處理的相關(guān)特點(diǎn),比較容易實(shí)現(xiàn)數(shù)據(jù)流的聚類相關(guān)處理。因而,在對基于網(wǎng)格與密度的傳統(tǒng)聚類算法進(jìn)行研究以及改進(jìn)的基礎(chǔ)上,從聚類的過程中所需要處理的數(shù)據(jù)集的動(dòng)態(tài)特性出發(fā),對基于網(wǎng)格與密度的數(shù)據(jù)流聚類方法進(jìn)行了相關(guān)研究并提高GDCLUS,一種用基于密度的方法

3、來進(jìn)行數(shù)據(jù)流的聚類。這種算法運(yùn)用在線組件將每一個(gè)輸入數(shù)據(jù)記錄映射到一個(gè)網(wǎng)格中,而離線組件主要采用最小生成樹的思想來進(jìn)行網(wǎng)格的聚類。這種算法采用了一種密度衰減的技術(shù)來獲取數(shù)據(jù)流的動(dòng)態(tài)變化,通過發(fā)現(xiàn)衰減因子,數(shù)據(jù)密度以及聚類結(jié)構(gòu)之間復(fù)雜的關(guān)系,算法能夠有效地實(shí)時(shí)產(chǎn)生并且調(diào)整聚類。進(jìn)一步地,將改進(jìn)的金字塔框架運(yùn)用到數(shù)據(jù)流在線組件數(shù)據(jù)篩選,這種技術(shù),在沒有降低聚類質(zhì)量的前提下,使得高速率的數(shù)據(jù)流聚類更加可行。實(shí)驗(yàn)結(jié)果表明,算法有優(yōu)秀的質(zhì)量和效率