骨干網(wǎng)流監(jiān)測關(guān)鍵技術(shù)研究.pdf

1、近年來，全球互聯(lián)網(wǎng)絡(luò)頻繁遭受攻擊，導(dǎo)致網(wǎng)絡(luò)大面積癱瘓。隨著我國經(jīng)濟(jì)的發(fā)展和網(wǎng)絡(luò)信息化水平的提高，大規(guī)模網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)經(jīng)濟(jì)犯罪等安全事件也不可避免。因此，需要對大規(guī)模網(wǎng)絡(luò)安全事件進(jìn)行有效地監(jiān)控。骨干網(wǎng)監(jiān)控中，數(shù)據(jù)包級別監(jiān)測面臨著海量的數(shù)據(jù)處理，無論是系統(tǒng)的存儲能力、處理能力還是傳輸能力都受到了極大地挑戰(zhàn)。流（Flow）監(jiān)測為骨干網(wǎng)監(jiān)控開辟了新的途徑，通過把數(shù)據(jù)包歸并到流中極大地壓縮了數(shù)據(jù)量，使得對網(wǎng)絡(luò)數(shù)據(jù)的存儲、處理和傳輸更為容易。本文主

2、要研究了特定屬性流的提?。ù罅髯R別、并行及分布式大流識別、高速流識別）和基于流的網(wǎng)絡(luò)監(jiān)測系統(tǒng)及端口掃描檢測。
　　論文的主要內(nèi)容如下：
　　(1)大流識別：本文使用相對流量大小定義大流，即對于一個(gè)給定的閾值，將所有與鏈路實(shí)際傳輸總流量的比值超過一定值的流定義為大流。在該定義下，大流的識別問題等價(jià)于帶權(quán)值數(shù)據(jù)流中的頻繁項(xiàng)挖掘問題。由于骨干網(wǎng)鏈路速度快，對單個(gè)數(shù)據(jù)包的處理必須在納秒級完成，因此對算法的實(shí)時(shí)性要求更高。在帶權(quán)值數(shù)據(jù)

3、流的頻繁項(xiàng)挖掘研究中，目前還沒有單數(shù)據(jù)項(xiàng)最壞處理時(shí)間為O(1)的算法。本文提出一個(gè)新的帶權(quán)值數(shù)據(jù)流頻繁項(xiàng)挖掘算法WLC（Weighted Lossy Counting），通過設(shè)定合適的參數(shù)值能夠提供單數(shù)據(jù)項(xiàng)最壞處理時(shí)間為O(1)的處理速度。WLC采用一個(gè)部分排序的數(shù)據(jù)結(jié)構(gòu)POSS（Partially-Ordered-Stream-Summary），能夠在保證處理速度的同時(shí)，盡量降低算法的存儲開銷。通過實(shí)際的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行對比實(shí)驗(yàn)，結(jié)果表

4、明：與現(xiàn)有的算法相比，WLC具有更快的處理速度，同時(shí)算法的實(shí)際存儲開銷遠(yuǎn)小于其理論上界。
　　(2)并行及分布式大流識別：近年來多核處理器飛速發(fā)展，為充分挖掘多核帶來的計(jì)算潛力，本文又研究了帶權(quán)值數(shù)據(jù)流頻繁項(xiàng)挖掘算法的并行化方法。首先設(shè)計(jì)了一個(gè)細(xì)粒度加鎖法（Fine-grained Lock Method），通過實(shí)驗(yàn)發(fā)現(xiàn)存在很高的競爭開銷。這是因?yàn)楫?dāng)共享的資源被一個(gè)線程占用時(shí)，其他所有需要使用該資源的線程都必須等待。為了盡量減少等

5、待，又提出了一個(gè)精度合成法（Precision Integrated Method，PRIM），其中每個(gè)線程均有獨(dú)占的數(shù)據(jù)結(jié)構(gòu)，不需要共享任何數(shù)據(jù)或者信息。PRIM采用了數(shù)據(jù)分解（數(shù)據(jù)并行）的并行化方法，為得到正確的全局頻繁項(xiàng)，需要對各線程中的數(shù)據(jù)項(xiàng)進(jìn)行匯聚。PRIM對本地線程中的數(shù)據(jù)項(xiàng)進(jìn)行預(yù)判，只有當(dāng)它有可能為頻繁項(xiàng)時(shí)才將其發(fā)送到匯聚線程進(jìn)行匯聚，因此大大地降低了由匯聚帶來的開銷。通過實(shí)際的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行對比實(shí)驗(yàn)，結(jié)果表明：PRIM能

6、夠提供較好的加速比。最后，又給出了PRIM在分布式大流監(jiān)控中的應(yīng)用。
　　(3)高速流識別：當(dāng)前的高速流識別算法無法根據(jù)用戶的需求控制識別精度，并且需要存儲抽樣到的每一條流，導(dǎo)致存儲開銷較大。為此，本文提出了能夠控制識別精度和降低存儲開銷的高速流識別算法TSPRT（Truncated Sequential Probability Ratio Test）。TSPRT不僅可以通過設(shè)定參數(shù)控制識別精度，而且可以通過序貫檢驗(yàn)提前淘汰低速流

7、和識別高速流，從而降低存儲開銷和減少識別時(shí)間。為方便用戶設(shè)定參數(shù)，本文提出了兩種參數(shù)選取方法：存儲開銷優(yōu)化法（TSPRT-M）和識別時(shí)間優(yōu)化法（TSPRT-T），同時(shí)又對TSPRT的高速流識別精度進(jìn)行了理論分析。通過實(shí)際的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行對比實(shí)驗(yàn)，結(jié)果表明：TSPRT能夠有效地降低存儲開銷，減少所需的識別時(shí)間。
　　(4)基于流的網(wǎng)絡(luò)監(jiān)測系統(tǒng)及端口掃描檢測：當(dāng)前已有許多基于流的網(wǎng)絡(luò)監(jiān)測系統(tǒng)，但是僅支持大規(guī)模存儲，或者僅支持實(shí)時(shí)檢測，

8、本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于流的網(wǎng)絡(luò)監(jiān)測原型系統(tǒng)，既能支持大規(guī)模存儲又能支持實(shí)時(shí)檢測。同時(shí)針對當(dāng)前骨干網(wǎng)上端口掃描檢測的漏報(bào)率和誤報(bào)率較高的問題，本文又提出了一個(gè)基于流的端口掃描檢測算法TFDS（Time Based Flow Size Distribution Sequential Hypothesis Testing）。由于多數(shù)掃描主機(jī)的流為由1到2個(gè)數(shù)據(jù)包組成的小流，因此TFDS采用流大小分布（Flow Size Distributi