聚類算法及其在日志數(shù)據(jù)處理中的應用研究.pdf

1、隨著科學技術飛速進步，我國計算機網絡事業(yè)得到極大發(fā)展和普及。網絡對我們工作、生活和學習的影響無處不在，給我們帶來了無比的方便與快捷。然而，計算機網絡在給我們帶來便利的同時，也引起了各種計算機網絡安全問題。在應對這些安全問題時，基于日志數(shù)據(jù)處理的各種方法與技術成為大家研究的共識。其中，以日志數(shù)據(jù)為研究對象的數(shù)據(jù)挖掘方法——聚類算法在日志規(guī)模壓縮方面是一個很有發(fā)揮空間的應用方法。
　　由于傳統(tǒng)聚類算法不能直接應用于日志數(shù)據(jù)領域，本文首

2、先對聚類算法進行了深入的研究。探討了聚類算法的定義、產生歷程以及聚類算法的數(shù)據(jù)類型，對傳統(tǒng)聚類算法的幾個分支:劃分聚類、層次聚類、基于密度的聚類、基于網格的聚類和基于模型的聚類分別做了概括性描述?？偨Y和分析了聚類算法當前存在的問題和有待改進的方面。針對以上問題，并結合網絡日志與系統(tǒng)日志的特點，本文所做的主要工作包括:
　　1.設計并提出了一種基于網格的網絡日志二次聚類算法
　　對多協(xié)議網絡日志數(shù)據(jù)劃分網格，網格內外分別作兩次

3、聚類，生成聚類后的簇記錄。該算法不需預設類簇個數(shù) k，可自主決定類簇個數(shù)。該算法處理實際的動態(tài)數(shù)據(jù)，實現(xiàn)增量式聚類，可以刪除已聚類數(shù)據(jù)，處理新來網絡日志。實驗證明，該算法對日志規(guī)模壓縮效果顯著，而且不破壞網絡日志的完整性和可靠性，并且不影響用戶的正常網絡訪問。
　　2.設計并提出了一種基于事件映射的系統(tǒng)日志聚類算法
　　對操作系統(tǒng)日志、安全日志和應用程序日志，設計統(tǒng)一的聚類算法對其做共同處理，產生統(tǒng)一的用戶操作行為概化描述。