基于Spark的網(wǎng)絡安全日志分析系統(tǒng)的研究與實現(xiàn).pdf

1、企事業(yè)單位通常在網(wǎng)絡的出入口處安裝多種網(wǎng)絡安全設備以保障內(nèi)部網(wǎng)絡安全，防火墻和入侵檢測系統(tǒng)等安全設備在運行過程中會產(chǎn)生大量的日志來記錄網(wǎng)絡事件。通過研究這些多源異構的日志數(shù)據(jù)并從中提取網(wǎng)絡安全事件可以呈現(xiàn)網(wǎng)絡安全態(tài)勢，這樣能夠讓管理人員準確地掌握網(wǎng)絡運行狀況同時做出正確的網(wǎng)絡決策。網(wǎng)絡安全設備日志具有海量性、復雜性和時空關聯(lián)性等特點。傳統(tǒng)的網(wǎng)絡安全日志分析技術越來越難以滿足海量日志在采集、存儲、預處理和分析等方面的需求。大數(shù)據(jù)具有4V特

2、征:Volume(大量)、Velocity(高速)、Variety(多樣性)、Value(價值)。本文的研究目標就是基于網(wǎng)絡安全日志的特點，從海量日志的采集、存儲、預處理和分析四個層面引入以Spark為核心的大數(shù)據(jù)技術，來開發(fā)一個速度快、伸縮性好、可擴展、處理數(shù)據(jù)量大的網(wǎng)絡安全日志分析系統(tǒng)，從而實現(xiàn)大容量、低成本、高效率的網(wǎng)絡安全分析能力。
　　本文首先闡述了海量安全日志分析給網(wǎng)絡管理人員帶來的挑戰(zhàn)和困難，然后介紹從日志的采集、存

3、儲和分析等方面引入大數(shù)據(jù)技術的優(yōu)勢。本文通過Flume和Kafka技術完成了海量網(wǎng)絡安全日志的分布式采集與傳輸，并根據(jù)實際需求對Flume源碼進行了功能二次開發(fā)；其次，基于Spark SQL組件設計并開發(fā)了網(wǎng)絡安全日志預處理模塊，并通過該模塊順利完成對網(wǎng)絡安全日志的預處理：過濾、規(guī)范化和聚合。與此同時，本文充分利用Spark SQL和Spark Streaming等技術，結合單源日志特征匹配分析和多源日志關聯(lián)分析的方法完成對網(wǎng)絡安全日志

4、的分析，包括異常流量狀況以及網(wǎng)絡攻擊事件展示。并基于Java EE技術開發(fā)了一個 Web展示和查詢界面，滿足了網(wǎng)絡管理人員對網(wǎng)絡異常事件的可視化展示和查詢需求。論文最后通過實際實驗產(chǎn)生的網(wǎng)絡安全日志對系統(tǒng)關鍵模塊進行了功能測試和時間性能測試，并對相關結果進行了分析，證明基于Spark的網(wǎng)絡安全日志分析系統(tǒng)初步滿足了本文的設計目標和需求。
　　本文主要的創(chuàng)新點如下：
　　(1)考慮到同一網(wǎng)絡攻擊事件會在多個安全設備上產(chǎn)生較多的

5、重復告警日志，為了方便后續(xù)對攻擊類日志進行關聯(lián)分析，本文在日志預處理模塊提出了基于網(wǎng)絡安全日志的屬性相異度聚類算法。該算法以網(wǎng)絡攻擊模型對應的日志屬性特征為基礎，根據(jù) IP地址和端口等屬性對不同網(wǎng)絡攻擊具有相異的重要性來設置不同的權值，從而完成網(wǎng)絡攻擊重復告警日志的聚合。最后，通過實驗證明了該算法對重復告警日志具有很好的聚合效果。
　　(2)本文基于Spark SQL豐富的外部數(shù)據(jù)源接口和其抽象編程接口DataFrame，&nbs