基于Spark的大規(guī)模網(wǎng)絡(luò)流量分類方法研究.pdf

1、網(wǎng)絡(luò)流量分類是網(wǎng)絡(luò)安全策略制定、網(wǎng)絡(luò)管理、網(wǎng)絡(luò)服務(wù)質(zhì)量保障等領(lǐng)域的關(guān)鍵技術(shù)之一。隨著智能手機和平板電腦的普及、新型網(wǎng)絡(luò)應(yīng)用的不斷出現(xiàn)，網(wǎng)絡(luò)流量呈指數(shù)增長，傳統(tǒng)單機網(wǎng)絡(luò)流量分類方法已經(jīng)不能實時地識別出其中的應(yīng)用類型。Spark具有運算速度快、計算能力強的特點，把它運用在大規(guī)模網(wǎng)絡(luò)流量分類上，對于實現(xiàn)快速準確地網(wǎng)絡(luò)流量分類具有現(xiàn)實意義。針對大規(guī)模網(wǎng)絡(luò)流量分類所面臨的問題，從提高網(wǎng)絡(luò)流量分類的效率和準確率出發(fā)，論文的創(chuàng)新性有：
　　針對

2、大規(guī)模網(wǎng)絡(luò)流量分類面臨的問題，給出了一種基于Spark的大規(guī)模網(wǎng)絡(luò)流量分類模型。該模型利用Spark強大的并行計算能力，把復(fù)雜的計算任務(wù)分到多個計算節(jié)點并行執(zhí)行，完成從流量采集到分類結(jié)果展現(xiàn)的完整過程。分析表明，該模型靈活性強、穩(wěn)定性好，可以提高大規(guī)模網(wǎng)絡(luò)流量分類的實時性，能夠滿足大規(guī)模網(wǎng)絡(luò)流量分類的需求。
　　為解決在大規(guī)模網(wǎng)絡(luò)流量上使用SVM（Support Vector Machine）算法時訓(xùn)練速度慢的問題，提出了一種基于

3、并行DAGSVM(Directed Acyclic Graph Support Vector Machine)的網(wǎng)絡(luò)流量分類方法。該方法利用有向無環(huán)圖，將Spark中并行二分類SVM算法訓(xùn)練得到的子分類器組合得到并行多分類SVM分類器。通過對比實驗發(fā)現(xiàn)，與單機SVM方法相比，該方法在確保較高分類精度的前提下，訓(xùn)練速度提高了100倍以上。
　　針對在大規(guī)模網(wǎng)絡(luò)流量上使用基于Spark的并行DAGSVM網(wǎng)絡(luò)流量分類方法時準確率較低的問

4、題，提出了一種基于Spark的并行決策樹網(wǎng)絡(luò)流量分類方法。該方法在保持決策樹算法優(yōu)勢的前提下，利用Spark中存在的并行決策樹算法進行流量分類。與并行DAGSVM方法相比，其模型訓(xùn)練速度提升了三倍，分類精度達到了99%，適合于大規(guī)模網(wǎng)絡(luò)流量分類。
　　為提高網(wǎng)絡(luò)流量分類的精度，提出一種改進的多分類器選擇性集成網(wǎng)絡(luò)流量分類方法。該方法借助決策樹算法在網(wǎng)絡(luò)流量分類方面的優(yōu)勢，利用其訓(xùn)練基分類器，再使用改進的選擇性集成策略從中篩選出準確