基于Hadoop的網絡流量分流并行化設計與實現.pdf

1、網絡流量分類對網絡管理、安全預測和流量工程等方面的研究提供了重要的技術支持。隨著互聯網中應用種類不斷出新和形態(tài)快速變化，研究網絡分類的意義逐步體現出來。流量分流是網絡流量分類中基礎的步驟之一，然而網絡流量分流因為耗時太長已經成為網絡流量分類的技術瓶頸。
　　 云計算透明的、簡單的編程模型在服務開發(fā)和部署方面為我們提供了新的思維方式。其中Apache公司提出的Hadoop平臺是開源的云計算平臺，是當前應用最為廣泛的云計算平臺。它使

2、用Java編程語言實現了MapReduce編程模型和分布式文件系統HDFS(HadoopDistributedFileSystem)。MapReduce模型不僅是一種簡單的并行計算模型，為實現大規(guī)模計算的自動并發(fā)和分布式執(zhí)行提供了可能，而且還是優(yōu)秀的調度模型。HDFS分布式文件系統是以塊序列形式進行文件存儲，并通過復制塊的方式來保證高可靠性。
　　 本文在分析了網絡流量中網絡流的特點之后，研究了基于MapReduce模型的網絡流

3、量分流并行處理的關鍵技術，并且給出了一個基于Hadoop平臺的網絡流量分流并行處理的設計和實現方案。首先介紹了網絡流量分類的體系結構和網絡流的概念以及如何進行分流。然后進行分流并行的可行性分析，提出在Linux環(huán)境下搭建Hadoop平臺提取網絡流量中數據包的特征，并根據規(guī)約條件將數據包歸并為一個完整的數據流。最后在Linux環(huán)境下實現了本系統，利用該系統對捕獲到的內蒙古大學校園網絡流量進行分流，并進行了實驗和驗證。實驗結果表明，對于大數