網(wǎng)絡(luò)流量存儲(chǔ)與分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、目前社會(huì)各領(lǐng)域的數(shù)據(jù)都在以爆炸式的速度增長(zhǎng)，伴隨著計(jì)算機(jī)科學(xué)與技術(shù)的發(fā)展使得數(shù)據(jù)的傳遞、存儲(chǔ)與處理方式產(chǎn)生了巨大的變化，由于網(wǎng)絡(luò)信息技術(shù)的蓬勃發(fā)展，個(gè)人和互聯(lián)網(wǎng)上的程序以及應(yīng)用都產(chǎn)生了大量的數(shù)據(jù)，數(shù)據(jù)的飛快增長(zhǎng)對(duì)數(shù)據(jù)的存儲(chǔ)和高速訪問(wèn)都提出了新的挑戰(zhàn)。正是因?yàn)榫W(wǎng)絡(luò)數(shù)據(jù)的快速增長(zhǎng)，不同網(wǎng)絡(luò)應(yīng)用程序都需要擁有擴(kuò)展存儲(chǔ)容量的性能，并且應(yīng)用程序應(yīng)該能夠?qū)崿F(xiàn)存儲(chǔ)節(jié)點(diǎn)的動(dòng)態(tài)加入，并且保證歷史數(shù)據(jù)及應(yīng)用程序產(chǎn)生的最新數(shù)據(jù)在不同存儲(chǔ)節(jié)點(diǎn)的分布均勻，從而實(shí)

2、現(xiàn)整個(gè)平臺(tái)系統(tǒng)的運(yùn)行負(fù)載均衡。根據(jù)現(xiàn)階段網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展，應(yīng)用程序的動(dòng)態(tài)擴(kuò)容成本較高，而分布式存儲(chǔ)技術(shù)可以良好的解決海量數(shù)據(jù)的低廉存儲(chǔ)及高效的檢索。
　　本文介紹了網(wǎng)絡(luò)流量存儲(chǔ)與分析平臺(tái)的開(kāi)發(fā)與實(shí)現(xiàn)，針對(duì)業(yè)務(wù)需求，結(jié)合網(wǎng)絡(luò)流量分析的相關(guān)技術(shù)，對(duì)網(wǎng)絡(luò)流量存儲(chǔ)與分析平臺(tái)開(kāi)展功能性需求分析和非功能性需求分析，并根據(jù)需求分析結(jié)果對(duì)系統(tǒng)功能架構(gòu)和技術(shù)架構(gòu)完成設(shè)計(jì)與實(shí)現(xiàn)。網(wǎng)絡(luò)數(shù)據(jù)的采集分析業(yè)務(wù)使用C++語(yǔ)言基于nprobe改造完成，使用

3、gRPC框架實(shí)現(xiàn)采集分析子系統(tǒng)與元數(shù)據(jù)管理子系統(tǒng)的數(shù)據(jù)通信傳輸功能，元數(shù)據(jù)管理系統(tǒng)負(fù)責(zé)維護(hù)、更新存儲(chǔ)節(jié)點(diǎn)的信息并為存儲(chǔ)請(qǐng)求、查詢請(qǐng)求分配節(jié)點(diǎn)信息。查詢業(yè)務(wù)使用C++語(yǔ)言實(shí)現(xiàn)，首先向元數(shù)據(jù)管理系統(tǒng)發(fā)送查詢請(qǐng)求，獲得存儲(chǔ)節(jié)點(diǎn)信息后多線程完成各個(gè)存儲(chǔ)節(jié)點(diǎn)的查詢業(yè)務(wù)，并將結(jié)果數(shù)據(jù)返回客戶端，由客戶端完成結(jié)果匯聚后展示給用戶或供第三方應(yīng)用使用。根據(jù)業(yè)務(wù)需求，選擇fastbit作為網(wǎng)絡(luò)流量存儲(chǔ)與分析平臺(tái)的數(shù)據(jù)庫(kù)，針對(duì)業(yè)務(wù)邏輯，設(shè)計(jì)數(shù)據(jù)庫(kù)分區(qū)結(jié)構(gòu)及存

4、儲(chǔ)路徑。
　　根據(jù)當(dāng)前網(wǎng)絡(luò)的實(shí)際運(yùn)行環(huán)境，本文設(shè)計(jì)一套完整的流量采集分析和存儲(chǔ)方案，并在此基礎(chǔ)上實(shí)現(xiàn)了網(wǎng)絡(luò)流量存儲(chǔ)與分析平臺(tái)。根據(jù)平臺(tái)數(shù)據(jù)的分析結(jié)果，我們能夠掌握在特定時(shí)刻下當(dāng)前網(wǎng)絡(luò)的整體狀態(tài);掌握不同的應(yīng)用在網(wǎng)絡(luò)中的資源占用情況，使得資源不足的應(yīng)用能夠得到更多的帶寬;掌握每一個(gè)用戶使用網(wǎng)絡(luò)的具體情況，并根據(jù)結(jié)果信息促進(jìn)管理人員更加有效地分配相關(guān)資源;利用NetFlow的相關(guān)數(shù)據(jù)，對(duì)運(yùn)行網(wǎng)絡(luò)的不同特征如數(shù)據(jù)流向等開(kāi)展解析過(guò)程，從而