數(shù)據(jù)流聚類方法的研究——基于概率密度和應(yīng)用摘要層次的算法研究.pdf

1、近年來，作為數(shù)據(jù)挖掘的重要工具之一，聚類分析的應(yīng)用領(lǐng)域日益廣闊，越來越多的領(lǐng)域出現(xiàn)了大量的數(shù)據(jù)流。數(shù)據(jù)流具有數(shù)據(jù)量無限且流速快等特點(diǎn)，使得傳統(tǒng)的聚類算法不能直接應(yīng)用于數(shù)據(jù)流聚類問題，如何對(duì)數(shù)據(jù)流進(jìn)行有效的聚類是當(dāng)前數(shù)據(jù)挖掘領(lǐng)域的一個(gè)難點(diǎn)和熱點(diǎn)問題。 數(shù)據(jù)流聚類分析的難點(diǎn)之一就是要求算法只能有限次的掃描數(shù)據(jù)集，最好是一次掃描。本文針對(duì)數(shù)據(jù)流聚類的難點(diǎn)，給出了一種基于概率密度的數(shù)據(jù)流聚類算法，該方法不需要存儲(chǔ)全部歷史數(shù)據(jù)，只需要存儲(chǔ)

2、新到達(dá)的數(shù)據(jù)并對(duì)其應(yīng)用EM算法，利用高斯混合模型增量式的更新概率密度函數(shù)。 本文還給出了應(yīng)用摘要層次結(jié)構(gòu)的數(shù)據(jù)流聚類算法，該算法的在線階段應(yīng)用了兩種摘要技術(shù)，基于小波的技術(shù)和基于回歸的技術(shù)來構(gòu)造摘要層次結(jié)構(gòu)。基于回歸的擬合模型可以得到較精確的摘要層次結(jié)構(gòu)，而基于小波的擬合模型可以快速地建立摘要層次結(jié)構(gòu)并且所需的存儲(chǔ)空間比較小。 為了驗(yàn)證以上兩種算法的性能，進(jìn)行了一系列的仿真實(shí)驗(yàn)和對(duì)真實(shí)數(shù)據(jù)的實(shí)驗(yàn)。通過實(shí)驗(yàn)證明本文所給出的