絡(luò)流量大數(shù)據(jù)分析和管控項目需求資料.docx

1、公安網(wǎng)網(wǎng)絡(luò)流量大數(shù)據(jù)分析和管控項目需求書目錄1項目概述41.1項目背景41.2解決思路41.3項目目標(biāo)51.4建設(shè)原則71.4.1參考標(biāo)準(zhǔn)71.4.2可靠性及可用性71.4.3安全性81.4.4成熟性81.4.5先進性81.4.6可擴展性82架構(gòu)描述82.1整體架構(gòu)82.2功能架構(gòu)92.2.1應(yīng)用層112.2.2接口層112.2.3分析服務(wù)層112.2.4數(shù)據(jù)資源層112.2.5基礎(chǔ)設(shè)施層122.2.6數(shù)據(jù)可視化122.2.7數(shù)據(jù)交換1

2、22.2.8流量采集132.2.9運維管理132.2.10安全管理133平臺建設(shè)需求133.1業(yè)務(wù)門戶功能需求143.1.1業(yè)務(wù)功能需求143.1.2門戶管理功能需求143.2業(yè)務(wù)功能需求163.2.1應(yīng)用識別163.2.2流量展示及異常流量識別173.2.3流量智能調(diào)度193.2.4用戶畫像213.2.5應(yīng)用關(guān)聯(lián)關(guān)系273.2.6應(yīng)用畫像293.2.7精準(zhǔn)推送333.2.8行為識別353.3數(shù)據(jù)可視化需求373.4大數(shù)據(jù)處理分析組件建

3、設(shè)需求383.4.1數(shù)據(jù)服務(wù)模塊建設(shè)要求393.4.2大數(shù)據(jù)分析算法庫建設(shè)要求393.4.3分布式存儲建設(shè)要求463.4.4分布式并行處理建設(shè)要求463.4.5實時內(nèi)存分析處理建設(shè)要求46和保障。通過定制的行為識別還可以為應(yīng)用提供更廣泛的服務(wù)和保障。1.3項目目標(biāo)本項目目標(biāo)包括兩個方面：業(yè)務(wù)目標(biāo)和建設(shè)目標(biāo)，其中業(yè)務(wù)目標(biāo)包括三個方面：智能化流量趨勢分析、全網(wǎng)流量智能調(diào)度和重點應(yīng)用智能化保障：項目業(yè)務(wù)目標(biāo)精準(zhǔn)的流量趨勢分析：1)能夠?qū)χ付ㄦ?/p>

4、路、指定某個應(yīng)用或某類應(yīng)用，通過數(shù)據(jù)挖掘算法，智能化進行指定周期（例如五年后）的指定時段（例如全天時段、或者白天時段）的流量趨勢預(yù)測；2)能通過系統(tǒng)可視化能力，用戶可通過界面選擇操作(例如界面上選擇指定周期、指定時段)，進行分析結(jié)果的圖形化展示。整個業(yè)務(wù)場景需要使用的業(yè)務(wù)模型：應(yīng)用畫像、流量預(yù)測。整個業(yè)務(wù)場景的實現(xiàn)中，使用的分析方法有：?簡單統(tǒng)計類：鏈路指定時段的流量、指定應(yīng)用的指定時段的流量，用戶訪問量，跨域訪問量等?數(shù)據(jù)挖掘類：鏈路

5、的流向趨勢，鏈路的應(yīng)用分布應(yīng)用的用戶地域分布；?智能分析類：應(yīng)用畫像之分類流量預(yù)測。全網(wǎng)流量智能調(diào)度1)全網(wǎng)流量規(guī)劃：通過應(yīng)用畫像及流量的可視化能力，可以從整體分析全網(wǎng)絡(luò)流量的現(xiàn)狀，通過查看鏈路的流量流向信息，鏈路上具體的應(yīng)用分類情況，可以指定整個網(wǎng)絡(luò)整體的流量規(guī)劃。通過實時分析數(shù)據(jù)和預(yù)測數(shù)據(jù)進行流量控制規(guī)則生成，分析方法中統(tǒng)計類的包括鏈路流量趨勢，鏈路的流向趨勢，鏈路的應(yīng)用分，智能分析類的包括全網(wǎng)流量趨勢預(yù)測，應(yīng)用分類。2)根據(jù)規(guī)劃生

6、成流量策略，檢測如果鏈路流量不符合流量規(guī)劃，則采用精準(zhǔn)推送方式提醒流量使用者。流量規(guī)劃策略可包括流量的分時段使用帶寬要求，應(yīng)用的分地域使用帶寬要求，鏈路帶寬閾值要求。3)緊急情況流量管控，當(dāng)網(wǎng)絡(luò)中發(fā)生擁塞，或預(yù)測網(wǎng)絡(luò)中發(fā)生擁塞，則通知用戶或直接對采集器下發(fā)流量控制策略，可以對低價值應(yīng)用進行控制或疏導(dǎo)（CAR，打標(biāo)簽通過策略路由轉(zhuǎn)發(fā)），同時對高價值應(yīng)用進行業(yè)務(wù)策略保證（配置Qos策略）4)整個業(yè)務(wù)需要使用的業(yè)務(wù)模型：流量趨勢分析、應(yīng)用畫像

7、、精準(zhǔn)推送、流量智能管控。重點應(yīng)用智能化保障1)通過對應(yīng)用系統(tǒng)的分析，對整個應(yīng)用系統(tǒng)使用的帶寬情況，支撐此應(yīng)用系統(tǒng)的帶寬使用情況進行分析，對采集器下發(fā)QoE策略，對應(yīng)用系統(tǒng)對外提供服務(wù)的帶寬和支撐應(yīng)用系統(tǒng)使用的帶寬進行保障。2)整個分析采用統(tǒng)計方法的是應(yīng)用的帶寬使用情況，支撐系統(tǒng)的帶寬情況。采用挖掘和智能分析方法的是應(yīng)用關(guān)系，流量趨勢預(yù)測。3)整個業(yè)務(wù)需要使用的業(yè)務(wù)模型：流量趨勢分析、應(yīng)用畫像、流量智能管控。項目建設(shè)目標(biāo)?構(gòu)建網(wǎng)絡(luò)大數(shù)據(jù)

8、分析平臺，基于領(lǐng)先的大數(shù)據(jù)處理技術(shù)，實現(xiàn)對海量網(wǎng)絡(luò)流量數(shù)據(jù)的存儲、統(tǒng)計分析和深度學(xué)習(xí)；實現(xiàn)針對網(wǎng)絡(luò)流量數(shù)據(jù)的數(shù)據(jù)挖掘和深度分析模型和算法庫；?建立模型庫：通過大數(shù)據(jù)分析的方法，設(shè)計符合內(nèi)網(wǎng)趨勢和研究方向的網(wǎng)絡(luò)流量數(shù)據(jù)分析模型，并通過通過大數(shù)據(jù)分析算法庫，將業(yè)務(wù)模型固化實現(xiàn)，支撐網(wǎng)絡(luò)運維工作發(fā)展。?構(gòu)建基于全網(wǎng)的易于部署的高性能數(shù)據(jù)采集器，采集器需要支持海量的數(shù)據(jù)提取及預(yù)處理能力，支持完善的包檢測及豐富的自定義能力，滿足大數(shù)據(jù)平臺的數(shù)據(jù)采

9、集要求。?通過系統(tǒng)建設(shè)提供豐富的功能，系統(tǒng)提供大數(shù)據(jù)分析，用戶畫像，應(yīng)用畫像，關(guān)聯(lián)關(guān)系分析等功能，提供內(nèi)網(wǎng)檢測，信息推送，流量管理等主動控制功能。通過關(guān)鍵項進行綜合評分，提供全面的信息化程度展現(xiàn)。相關(guān)工作需要對全量的網(wǎng)絡(luò)數(shù)據(jù)和應(yīng)用信息進行相應(yīng)的梳理、歸類，采用大數(shù)據(jù)的技術(shù)和理念進行深度分析，可以獲得新的有價值的信息，發(fā)現(xiàn)其中的規(guī)律和趨勢，挖掘數(shù)據(jù)中內(nèi)在的價值，將網(wǎng)絡(luò)運維工作帶入一個新的領(lǐng)域。一方面在運維思路上，將從關(guān)注“網(wǎng)絡(luò)通斷”的傳統(tǒng)