基于大數(shù)據(jù)分析的網絡攻擊場景重建系統(tǒng).pdf

1、網絡攻擊事件的頻繁發(fā)生和入侵手段的多樣化，使得入侵檢測系統(tǒng)（IDS）每天產生大量誤報和冗余的告警信息，是網絡安全管理工作的一大難題。研究者們發(fā)現(xiàn)通過對孤立的告警信息進行關聯(lián)分析，可以還原攻擊事件的發(fā)生過程，幫助管理員發(fā)現(xiàn)網絡的薄弱環(huán)節(jié)。
　　本文使用Spark集群和Hadoop生態(tài)圈的關鍵技術，完成了從數(shù)據(jù)的采集與存儲，數(shù)據(jù)傳輸?shù)接嬎愫驼故镜耐暾軜?，能有效應對告警?shù)據(jù)海量化帶來的問題。在此大數(shù)據(jù)處理架構上，本文運用告警關聯(lián)方法對

2、網絡告警日志進行分析，設計并實現(xiàn)了基于大數(shù)據(jù)分析的攻擊場景重建系統(tǒng)。本文重點研究因果關聯(lián)方法和概率關聯(lián)方法的算法流程，并在大數(shù)據(jù)平臺上實現(xiàn)。對于因果關聯(lián)方法，本文加入基于特征重疊的告警去冗余模塊，可以有效去除海量告警日志中重復和冗余的信息。概率關聯(lián)方法的核心是定義了 IP地址、端口和告警類別等屬性相似度計算函數(shù)，并定義各屬性最小相似度期望值和權重，計算告警整體相似度。本文將整個攻擊場景重建模型拆分成三個獨立的模塊予以處理，包括去冗余模塊