基于聚類分析的數(shù)據(jù)流處理算法.pdf

1、信息技術(shù)在不斷發(fā)展，隨之而來的是越來越多的實(shí)際工程應(yīng)用中需要處理一種海量數(shù)據(jù)，這種數(shù)據(jù)具有瞬變性、實(shí)時(shí)性以及無限性等特點(diǎn)，稱之為數(shù)據(jù)流。數(shù)據(jù)流最早出現(xiàn)在傳統(tǒng)的銀行和股票交易領(lǐng)域，現(xiàn)在也出現(xiàn)在地質(zhì)測量、環(huán)保、氣象、天文觀測等領(lǐng)域。尤其是在互聯(lián)網(wǎng)絡(luò)，比如網(wǎng)絡(luò)流量監(jiān)控、點(diǎn)擊流量等以及無線通信網(wǎng)絡(luò)。由于大多數(shù)的這類數(shù)據(jù)的維度較大，因此能夠持續(xù)自動(dòng)產(chǎn)生大量的細(xì)節(jié)數(shù)據(jù)。對于這些領(lǐng)域的數(shù)據(jù)可以進(jìn)行包括趨勢分析、預(yù)測等等這類復(fù)雜的分析，這些操作可以在數(shù)

2、據(jù)倉庫中進(jìn)行脫機(jī)處理，而在網(wǎng)絡(luò)安全和國家安全應(yīng)用領(lǐng)域中，對時(shí)間都非常敏感，如復(fù)雜人群監(jiān)控，趨勢監(jiān)控，探查性分析，檢測互聯(lián)網(wǎng)上的極端事件、入侵、異常、欺詐以及和諧度分析等，都需要在線進(jìn)行及時(shí)分析。因此通常都需要對數(shù)據(jù)流進(jìn)行近實(shí)時(shí)的復(fù)雜分析。
　　 頻繁模式挖掘、分類以及聚類是數(shù)據(jù)流的三個(gè)主要分析方面，這三類都用到了一些如滑動(dòng)窗口技術(shù)的新方法和新技術(shù)。本文通過介紹數(shù)據(jù)流和數(shù)據(jù)流聚類算法，針對橋梁健康監(jiān)測數(shù)據(jù)進(jìn)行分析，提出了一種改進(jìn)的

3、基于特征投影和擬合的數(shù)據(jù)流聚類算法(HpFitStream)。該算法結(jié)合滑動(dòng)窗口技術(shù)和擬合算法對數(shù)據(jù)流進(jìn)行聚類預(yù)處理，并將聚類之后的數(shù)據(jù)流的統(tǒng)計(jì)特征存儲于概要數(shù)據(jù)結(jié)構(gòu)中，運(yùn)用統(tǒng)計(jì)分析學(xué)的相關(guān)理論對數(shù)據(jù)流中的數(shù)據(jù)點(diǎn)進(jìn)行相關(guān)分析，掌握和了解數(shù)據(jù)流的特征和變化趨勢，從而有效地分析被監(jiān)測對象的狀況，為被監(jiān)控對象在發(fā)生嚴(yán)重異常時(shí)，進(jìn)行早期預(yù)警，以及維護(hù)、維修與管理提供保證。
　　 本文的研究主要集中在以下幾個(gè)方面:
　　 ①概述數(shù)

4、據(jù)流，并從數(shù)據(jù)流的處理功能出發(fā)，介紹現(xiàn)有的數(shù)據(jù)流處理模型，包括滑動(dòng)窗口模型、界標(biāo)模型以及快照模型，總結(jié)現(xiàn)有數(shù)據(jù)流模型的優(yōu)缺點(diǎn)。以研究內(nèi)容和研究目的為出發(fā)點(diǎn)，本課題選擇了基于滑動(dòng)窗口的數(shù)據(jù)流處理模型，以保證數(shù)據(jù)處理的可靠性以及穩(wěn)定性，并分析可行性。
　　 ②介紹數(shù)據(jù)流聚類分析的概念、經(jīng)典數(shù)據(jù)流聚類算法。目前聚類分析中大部分聚類算法都是針對低維數(shù)據(jù)流的，而現(xiàn)實(shí)中需要處理的數(shù)據(jù)往往大部分都是高維的，因此本文也介紹了高維數(shù)據(jù)流的聚類算法

5、。針對橋梁健康監(jiān)測數(shù)據(jù)的多維性，在經(jīng)典數(shù)據(jù)流的聚類算法基礎(chǔ)上，本課題提出了一種改進(jìn)的數(shù)據(jù)流聚類算法，基于特征投影和擬合的高維數(shù)據(jù)流聚類算法(HpFitStream)，實(shí)現(xiàn)對大量的、動(dòng)態(tài)的、高維數(shù)據(jù)流的聚類。該算法結(jié)合滑動(dòng)窗口技術(shù)，采用特征向量投影實(shí)現(xiàn)高維數(shù)據(jù)流的降維處理，并采用多項(xiàng)式擬合算法對原始數(shù)據(jù)中的異常數(shù)據(jù)進(jìn)行預(yù)處理。
　　 ③在聚類結(jié)果的基礎(chǔ)上，課題提出了一種新的數(shù)據(jù)流趨勢分析方法，基于滑動(dòng)窗口的數(shù)據(jù)流分段趨勢分析，該方