基于Hadoop的網(wǎng)絡(luò)告警融合分析技術(shù)研究.pdf

1、企事業(yè)單位網(wǎng)絡(luò)中安全防御設(shè)備產(chǎn)生的海量日志具有多樣性、高冗余度、看似“分散獨(dú)立”卻存在關(guān)聯(lián)性的特點(diǎn)，現(xiàn)有傳統(tǒng)的獨(dú)立集中式日志分析平臺計(jì)算能力有限，無法滿足日志海量、多樣性的要求，缺乏針對海量多源網(wǎng)絡(luò)安全日志的高效融合分析方法的研究。
　　因此，本文引入Hadoop海量數(shù)據(jù)處理技術(shù)，研究并設(shè)計(jì)針對防火墻、IDS和主機(jī)監(jiān)控系統(tǒng)的海量多源日志數(shù)據(jù)采集、清理、規(guī)范化處理方法，并將日志存儲(chǔ)于分布式文件系統(tǒng)(HDFS)中;提出一種基于MapR

2、educe的多維度的日志聚合算法M-DLA(Multi-dimensionalLogAggregation)和時(shí)間閾值自更新方法，實(shí)現(xiàn)海量日志的冗余處理;研究并設(shè)計(jì)一種告警融合分析方法，結(jié)合制定的規(guī)則策略、資產(chǎn)庫、脆弱性信息和關(guān)聯(lián)知識庫，判斷真實(shí)發(fā)生攻擊事件的有效告警;同時(shí)，采用Hadoop技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)告警融合分析原型系統(tǒng)。
　　實(shí)驗(yàn)結(jié)果表明M-DLA算法能有效聚合冗余日志，融合分析方法能準(zhǔn)確區(qū)分有效攻擊，基于Hadoop的原型系