網(wǎng)絡(luò)安全數(shù)據(jù)可視化系統(tǒng)的設(shè)計(jì)與研究.pdf

1、現(xiàn)代社會(huì)呈現(xiàn)指數(shù)增長的數(shù)字信息，促使數(shù)據(jù)分析學(xué)科進(jìn)入了一個(gè)蓬勃發(fā)展的黃金年代。一直以來，人們總是試圖使用數(shù)據(jù)分析的方法，從源源不斷的數(shù)據(jù)資源中探索出與我們息息相關(guān)的信息。在網(wǎng)絡(luò)安全領(lǐng)域，采用可視化技術(shù)解決安全問題已成為一個(gè)嶄新的方法。網(wǎng)絡(luò)安全可視化技術(shù)將海量的網(wǎng)絡(luò)日志數(shù)據(jù)轉(zhuǎn)變成易于理解的視覺圖像，然后利用人類的感知能力來挖掘日志數(shù)據(jù)中所隱含的模式，從而有效地幫助人們處理已經(jīng)發(fā)現(xiàn)的安全事件并準(zhǔn)確預(yù)測未發(fā)生的潛在安全問題，最后達(dá)到提升網(wǎng)絡(luò)環(huán)

2、境安全水平的目的。
　　論文依據(jù)網(wǎng)絡(luò)安全可視化參考模型，采用分層架構(gòu)的思想，設(shè)計(jì)并實(shí)現(xiàn)了一款針對(duì)網(wǎng)絡(luò)安全數(shù)據(jù)可視化的web原型系統(tǒng)Nets.vis，并基于真實(shí)數(shù)據(jù)集驗(yàn)證了該系統(tǒng)的可行性。論文完成的主要工作如下:
　　(1)詳細(xì)闡述了數(shù)據(jù)可視化的發(fā)展和流程，總結(jié)了網(wǎng)絡(luò)安全可視化的定義、方法以及用于可視化的視圖元素，介紹了現(xiàn)有的Web渲染方式和可視化工具，并分析了大規(guī)模數(shù)據(jù)處理平臺(tái)Hadoop的性能及優(yōu)缺點(diǎn)。
　　(2)設(shè)

3、計(jì)并實(shí)現(xiàn)了網(wǎng)絡(luò)安全數(shù)據(jù)可視化系統(tǒng)Nets.vis。該系統(tǒng)采用了服務(wù)器-客戶端的架構(gòu)?？蛻舳送瓿蓴?shù)據(jù)的可視化模塊，在用戶的瀏覽器中進(jìn)行渲染。服務(wù)器端完成數(shù)據(jù)的獲取、存儲(chǔ)和分析的功能并加載可視化組件。Nets.vis系統(tǒng)的功能模塊包括數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)分析模塊以及可視化模塊。在數(shù)據(jù)存儲(chǔ)、預(yù)處理和分析模塊中，系統(tǒng)采用Hadoop平臺(tái)的相關(guān)技術(shù)實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的導(dǎo)入、存儲(chǔ)以及分析的功能，并利用Sqoop技術(shù)實(shí)現(xiàn)了在關(guān)系型數(shù)據(jù)庫M

4、ySQL和數(shù)據(jù)倉庫Hive之間轉(zhuǎn)換數(shù)據(jù)的功能，還使用空間亞線性算法優(yōu)化了數(shù)據(jù)的提取、轉(zhuǎn)換、加載等操作。在可視化模塊，系統(tǒng)采用了Echarts和D3兩個(gè)可視化工具，其中的氣泡圖布局基于Brich層次聚類算法進(jìn)行了改進(jìn)，使用了Spring MVC對(duì)Web端進(jìn)行架構(gòu)，最后提供了Bootstrap優(yōu)化原型系統(tǒng)的可視化界面。
　　(3)使用China Vis2015挑戰(zhàn)賽提供的Tcp flow日志數(shù)據(jù)驗(yàn)證了Nets.vis系統(tǒng)的可行性。首先

5、使用改進(jìn)后的氣泡圖、條形圖以及關(guān)系圖，區(qū)分了網(wǎng)絡(luò)中的服務(wù)器與客戶端，挖掘出了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu);然后將服務(wù)器分別按照協(xié)議特征以及時(shí)間序列特征進(jìn)行了分類，并結(jié)合網(wǎng)絡(luò)流量數(shù)據(jù)具有的層次結(jié)構(gòu)屬性和時(shí)序?qū)傩裕哉劬€圖實(shí)現(xiàn)數(shù)據(jù)整體時(shí)序特征的可視化，進(jìn)而發(fā)現(xiàn)了網(wǎng)絡(luò)的“節(jié)假日模式”和“工作日模式”;最后基于樹圖實(shí)現(xiàn)數(shù)據(jù)局部時(shí)間特征的可視化技術(shù)發(fā)現(xiàn)了異常的特定主機(jī)。實(shí)驗(yàn)表明Nets.vis系統(tǒng)能夠正確區(qū)分網(wǎng)絡(luò)中服務(wù)器與客戶端，并按需對(duì)服務(wù)器進(jìn)行分類，還能識(shí)