分布式聚類及其在入侵檢測(cè)中的應(yīng)用研究.pdf

1、聚類分析是數(shù)據(jù)挖掘領(lǐng)域的一項(xiàng)重要研究?jī)?nèi)容，它在金融、電信、保險(xiǎn)業(yè)、市場(chǎng)營(yíng)銷、異常檢測(cè)、網(wǎng)絡(luò)安全、科學(xué)決策等方面具有十分重要的應(yīng)用價(jià)值，因此受到研究人員的高度重視。已有的聚類算法大多只適用于集中式數(shù)據(jù)的聚類。由于網(wǎng)絡(luò)帶寬、站點(diǎn)存儲(chǔ)量、信息安全及隱私保護(hù)等限制，把不同站點(diǎn)的數(shù)據(jù)全部集中到某一個(gè)中心站點(diǎn)進(jìn)行全局聚類幾乎是不可能的。所有站點(diǎn)數(shù)據(jù)集中在一起，數(shù)據(jù)量會(huì)非常龐大，聚類效率會(huì)顯著降低。本文對(duì)分布式聚類方法作了一些較深入的研究，取得了如下

2、成果： 1.提出了高效的分布式k均值聚類方法DK-Means。該方法在站點(diǎn)間只傳送少量聚簇信息，有效降低了分布式聚類過(guò)程中的數(shù)據(jù)通信量，并能達(dá)到與k均值算法等效的聚類質(zhì)量。理論分析及實(shí)驗(yàn)結(jié)果表明，DK-Means是一種有效可行的分布式聚類算法，對(duì)于高維數(shù)據(jù)集同樣有效。 2.針對(duì)聚類數(shù)目難以確定的問(wèn)題，提出了分布式聚類方法α-DK-Means，通過(guò)分割和合并聚簇將訓(xùn)練數(shù)據(jù)集劃分成適當(dāng)數(shù)目的聚簇而不必預(yù)設(shè)聚簇半徑。實(shí)驗(yàn)結(jié)果表

3、明，該方法是有效可行的。 3.針對(duì)基于密度的分布式聚類算法DBDC通信量大、效率低的缺點(diǎn)，提出了一種基于密度的分布式聚類方法DBDC*。有效降低了分布式聚類過(guò)程中的數(shù)據(jù)通信量，全局聚類時(shí)綜合考慮了各站點(diǎn)數(shù)據(jù)的分布情況，能夠?qū)θ我庑螤罘植嫉臄?shù)據(jù)進(jìn)行聚類。實(shí)驗(yàn)結(jié)果表明，該方法是有效可行的，對(duì)于高維數(shù)據(jù)集同樣有效。 4.提出了一種適用于入侵檢測(cè)的數(shù)據(jù)預(yù)處理方法，定義了類別型屬性各取值之間的差異度，使得在對(duì)訓(xùn)練集進(jìn)行無(wú)監(jiān)督學(xué)習(xí)生

4、成檢測(cè)模型過(guò)程中，能夠同時(shí)有效地處理數(shù)值型屬性和類別型屬性。理論分析表明，我們所定義的類別型屬性值差異度既保留了類別型屬性各取值之間的本質(zhì)特征，同時(shí)也沒(méi)有改變數(shù)據(jù)集的原始維數(shù)。實(shí)驗(yàn)結(jié)果表明，采用該數(shù)據(jù)預(yù)處理方法進(jìn)行聚類所建立的入侵檢測(cè)模型能更有效的檢測(cè)攻擊。 5.提出了一種基于分布式聚類的異常入侵檢測(cè)方法ID-DC，該方法建立在一種無(wú)中心的多Agent分布式體系結(jié)構(gòu)之上，通過(guò)對(duì)訓(xùn)練集進(jìn)行分布式聚類產(chǎn)生聚簇模型，采用基于雙參考點(diǎn)的