基于日志分析的AAA服務狀態(tài)監(jiān)測系統(tǒng)設計與實現(xiàn).pdf

1、隨著電信運營商網(wǎng)絡業(yè)務類型（2G\3G\4G、WIFI、固定寬帶等）的不斷增加和用戶數(shù)量的迅猛增長，其對AAA系統(tǒng)性能和功能的要求也隨之增加，這就導致AAA系統(tǒng)組成設備的種類和規(guī)模不斷增多，由設備軟硬件故障、惡意攻擊等引發(fā)的系統(tǒng)故障也日益頻繁。由于各類設備之間互相影響和依賴，單個設備的故障會引發(fā)多個設備多種類型的故障日志，加之日志數(shù)據(jù)格式互不相同，導致通過分析日志數(shù)據(jù)定位故障源或攻擊源、確認故障影響范圍等越來越困難。
　　針對上述

2、問題，本文主要完成了以下4項工作：
　　1.提出了一種日志自動收集和模板提取機制ALCTE（Auto Log Collection and Template Extraction)，首先基于Flume實現(xiàn)各類設備日志的自動收集和格式統(tǒng)一轉(zhuǎn)換，然后根據(jù)日志組成文本所包含詞匯的出現(xiàn)頻率將其劃分為模板詞和數(shù)據(jù)詞，從而將一條日志記錄分解為日志模板和數(shù)據(jù)向量，從而實現(xiàn)不同類型日志數(shù)據(jù)的自動格式歸一化，用于解決因設備類型、軟件版本、網(wǎng)絡層次等

3、不同帶來的日志格式不統(tǒng)一、分析困難的問題；
　　2.設計了一種面向故障事件對格式化日志數(shù)據(jù)進行聚集的方法 CoLDFFE（Cluster of Log Data Facing Fault Event），該方法基于經(jīng)ALCTE機制處理的格式化日志數(shù)據(jù)實現(xiàn)，通過日志矩陣分解等手段分析各類故障事件（如數(shù)據(jù)庫宕機等）與日志數(shù)據(jù)的關系，最終獲取與某一事件相關的日志模板和數(shù)據(jù)向量集合，最終確定故障類型、涉及的設備和影響范圍等；
　　3.

4、提出了一種基于TF-IDF算法的攻擊源檢測機制ASDBT（Attack Source Detection Based on TF-IDF），在對某電信公司近一年AAA認證日志統(tǒng)計分析的基礎上，該機制通過重新設定TF-IDF算法的參數(shù)，計算待篩選數(shù)據(jù)源與攻擊數(shù)據(jù)源集（已確認的攻擊源）的關聯(lián)度，通過將計算得出的關聯(lián)度與計算獲取的關聯(lián)度閾值相比較發(fā)現(xiàn)和確定其他攻擊源，有效彌補了現(xiàn)有檢測機制在有效性和高效性上的不足，可高效全面的發(fā)現(xiàn)并確定其他攻