基于日志監(jiān)控的異常檢測技術與異常監(jiān)控系統(tǒng).pdf

1、隨著計算機科學和互聯(lián)網(wǎng)技術的不斷進步，信息技術的發(fā)展邁入了一個新的高度。支撐社會運轉的軟、硬件系統(tǒng)，不管從規(guī)模大小或是復雜程度，都到達了前所未有的水平。如今政府大力推進“互聯(lián)網(wǎng)+”計劃，互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)結合得更加緊密，相互促進彼此的發(fā)展。在這個云計算和大數(shù)據(jù)大行其道的年代，維護互聯(lián)網(wǎng)及其軟硬件系統(tǒng)的穩(wěn)定運行、檢測和修復潛在的異常就變得更加重要。
　　日志監(jiān)控是軟件監(jiān)控系統(tǒng)中的重要組成部分。通過對日志內容和日志輸出特征的分析，可以判

2、斷當前系統(tǒng)的運行狀態(tài)，預測可能發(fā)生的異常。目前已經有很多關于日志分析的研究，已有的監(jiān)控系統(tǒng)也取得了很好的效果。但當前日志分析技術仍然面對著一些問題，主要表現(xiàn)在如下方面：1）日志數(shù)量巨大。大型軟件系統(tǒng)每天可以產生TB數(shù)量級大小的日志，逐條分析日志內容會對日志分析系統(tǒng)造成巨大壓力。2）日志結構不固定，并且可能不完整。日志的有效內容（payload）并不遵循特定的格式，在系統(tǒng)高負載的情況下日志內容可能出現(xiàn)丟失，給日志的自動化處理帶來困難。3）

3、不同系統(tǒng)產生的日志內容差異巨大，通用的日志監(jiān)控系統(tǒng)存在檢測準確率不高的問題。
　　我們針對以上這些問題進行了研究，經過實驗，提出了基于日志監(jiān)控的行為異常檢測技術，并且實現(xiàn)了相應的日志監(jiān)控系統(tǒng)。本文的研究工作主要體現(xiàn)在以下幾個方面：
　　1.提出了基于日志標準化和層次聚類的日志預處理方法。首先對日志信息進行正規(guī)化處理，然后采用自底向上層次聚類算法，基于日志有效內容的相似度對日志進行聚類。
　　2.提出了基于行為異常的通用