移動互聯(lián)網(wǎng)審計平臺數(shù)據(jù)處理方案的改進與實現(xiàn).pdf

1、隨著第四代移動通訊技術(shù)的崛起和智能終端的迅速發(fā)展，移動設(shè)備的網(wǎng)絡(luò)連入量占據(jù)互聯(lián)網(wǎng)的份額也越來越大，在移動互聯(lián)網(wǎng)時代，數(shù)據(jù)業(yè)務(wù)漸變成了用戶的核心需求，數(shù)據(jù)價值也將會成為運營商的最寶貴價值所在。因此移動互聯(lián)網(wǎng)業(yè)務(wù)數(shù)據(jù)的分析與審計就會變得非常必要且重要。然而，也正因為移動設(shè)備的普及和移動應(yīng)用的全方位覆蓋，使得數(shù)據(jù)隨時隨地都在產(chǎn)生，移動網(wǎng)絡(luò)數(shù)據(jù)包小且雜、同一時刻的實時活躍連接數(shù)量龐大、智能終端的應(yīng)用種類繁多成了移動互聯(lián)網(wǎng)的主要特點，對于數(shù)據(jù)分析

2、，處理速度要求也變的更高，高效率的實時流量處理才能令移動業(yè)務(wù)數(shù)據(jù)產(chǎn)生相應(yīng)的價值。
　　原有移動互聯(lián)網(wǎng)審計平臺是單進程多線程架構(gòu)的系統(tǒng)，采用傳統(tǒng)的Libpcap工具來捕獲數(shù)據(jù)包，單純地采用DPI技術(shù)進行數(shù)據(jù)包解析，這樣的審計系統(tǒng)性能問題諸多，頻繁的中斷請求和數(shù)據(jù)拷貝，耗時的DPI業(yè)務(wù)識別，串行的單任務(wù)進程等原因嚴重限制了移動互聯(lián)網(wǎng)審計平臺的性能，當流量速率足夠大時，原平臺的處理效率令人堪憂。
　　本文分析指出原系統(tǒng)嚴重限制數(shù)據(jù)

3、處理效率的原因，為提高審計平臺數(shù)據(jù)處理的能力以滿足實時高速的移動業(yè)務(wù)數(shù)據(jù)細粒度審計的需求，提出了數(shù)據(jù)處理過程中新的階段性工作改進方案，在數(shù)據(jù)采集階段采用基于PF_RING+NAPI的數(shù)據(jù)包捕獲方案，并結(jié)合零拷貝思想做出相應(yīng)的改進措施，在數(shù)據(jù)解析階段采用基于DPI/DFI相結(jié)合的數(shù)據(jù)解析方式，并提出了基于緩存命中的預(yù)處理方法，大幅度降低了DPI處理壓力。同時，采用多核多進程架構(gòu)重新設(shè)計審計平臺的數(shù)據(jù)分析模塊，在充分利用硬件資源的同時，提升