基于hadoop的APT建模與流量預(yù)處理技術(shù)研究與實(shí)現(xiàn).pdf

1、高級持續(xù)性威脅（APT）是指精通復(fù)雜技術(shù)的入侵者利用多種入侵向量(如網(wǎng)絡(luò)、物理和欺詐)，借助豐富資源創(chuàng)建機(jī)會實(shí)現(xiàn)自己目的的行為。近年來，APT事件頻頻發(fā)生，例如RSA SecurID事件、“Night Dragon”事件等等，對企業(yè)跟社會造成很大的威脅。因此，APT檢測技術(shù)的研究勢在必行，對APT檢測技術(shù)進(jìn)行研究是現(xiàn)在網(wǎng)絡(luò)信息安全領(lǐng)域非常關(guān)鍵的一個研究點(diǎn)。
　　本文對典型的APT入侵案例進(jìn)行建模分析，設(shè)計(jì)了典型APT入侵—“Nig

2、ht Dragon”的類圖、順序圖和活動圖等內(nèi)容，在此基礎(chǔ)上，分析了APT入侵行為的一般性規(guī)律和特點(diǎn)，并將其與傳統(tǒng)的黑客入侵行為進(jìn)行對比。該部分研究結(jié)果表明，APT入侵行為具有持續(xù)時(shí)間長、隱蔽性高的特性，對檢測數(shù)據(jù)來源的時(shí)間跨度和空間覆蓋程度以及檢測算法的復(fù)雜性均提出了較高的要求。
　　通過建模發(fā)現(xiàn)，對APT的檢測勢必需要對大量的網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行分析，而由于原始網(wǎng)絡(luò)流量的數(shù)據(jù)量過于龐大，對其進(jìn)行分析需要大量的系統(tǒng)資源，同時(shí)分析效率

3、也比較低。因此，為了能夠更好的對APT進(jìn)行檢測，本文將對NetFlow流原始數(shù)據(jù)進(jìn)行一定預(yù)處理以供APT分析檢測所用。
　　對一個內(nèi)部網(wǎng)絡(luò)的所有網(wǎng)絡(luò)流量進(jìn)行預(yù)處理，本文針對 NetFlow流的預(yù)處理進(jìn)行研究，主要包括將網(wǎng)絡(luò)中所有的 NetFlow流數(shù)據(jù)進(jìn)行采集以及對其進(jìn)行聚合處理以供分析。本文設(shè)計(jì)了一個可以高效采集 NetFlow流的采集器，基于多鏈表隊(duì)列的緩沖機(jī)制降低丟包率。
　　同時(shí)由于繁忙網(wǎng)絡(luò)中，NetFlow流的產(chǎn)生

4、速度比較快，數(shù)量比較多，因此對其進(jìn)行分析可以首先將它們按照一定規(guī)則進(jìn)行聚合，減少數(shù)據(jù)的分析量，提高分析效率。在 NetFlow流聚合上設(shè)計(jì)了基于時(shí)間的多重?cái)?shù)據(jù)粒度以滿足分析需求，再根據(jù)網(wǎng)絡(luò)流量特點(diǎn)，設(shè)計(jì)出幾種NetFlow流聚合策略，基于IP的NetFlow流聚合、基于端口的NetFlow流聚合以及基于協(xié)議的NetFlow流聚合。
　　Hadoop是當(dāng)前最為主流的大數(shù)據(jù)分析平臺，它是分布式的處理架構(gòu)。本文基于Hadoop大數(shù)據(jù)分析