數(shù)據(jù)包捕獲系統(tǒng)的存儲性能優(yōu)化方法研究及實現(xiàn).pdf

1、隨著網(wǎng)絡用戶的持續(xù)增長、網(wǎng)絡應用的不斷涌現(xiàn),互聯(lián)網(wǎng)已成為人類社會的信息基礎(chǔ)設施。目前互聯(lián)網(wǎng)的網(wǎng)絡規(guī)模正繼續(xù)擴大,網(wǎng)絡傳輸速率也越來越高。由于互聯(lián)網(wǎng)的基礎(chǔ)性地位,提高網(wǎng)絡資源使用效率,優(yōu)化網(wǎng)絡性能,保證互聯(lián)網(wǎng)的高效運行非常重要。網(wǎng)絡流量監(jiān)測通過對網(wǎng)絡流量的采集與分析,可對網(wǎng)絡運行狀況進行全面了解,從而為網(wǎng)絡管理、網(wǎng)絡優(yōu)化、協(xié)議設計、網(wǎng)絡行為分析、網(wǎng)絡安全等提供了依據(jù)和指導,成為研究的焦點,得到人們的重視。
　　網(wǎng)絡流量監(jiān)測的主要過程

2、包括網(wǎng)絡流量的實時采集、數(shù)據(jù)包存儲與后續(xù)流量分析等,其中流量實時采集是基礎(chǔ)。以保證包捕獲過程不丟包為目標,目前已提出了多種包捕獲的方法和工具來實現(xiàn)流量的實時采集,它們的改進主要集中在提高數(shù)據(jù)包從網(wǎng)卡拷貝到內(nèi)存的效率。但對于流量監(jiān)測而言,通常流量的實時采集和實時存儲是不可分割的過程,在對包捕獲過程進行了優(yōu)化之后,數(shù)據(jù)包的實時存儲往往成為性能瓶頸。已有研究在數(shù)據(jù)包存儲時由于需要在用戶空間和內(nèi)核空間反復進行數(shù)次拷貝,使得包捕獲系統(tǒng)最終出現(xiàn)丟包

3、。本文在對包捕獲技術(shù)及系統(tǒng)的深入調(diào)研和分析的基礎(chǔ)上,對數(shù)據(jù)包捕獲系統(tǒng)的實時存儲過程進行改進和優(yōu)化,完成的主要工作有:
　　1.對現(xiàn)有的包捕獲技術(shù)和系統(tǒng)進行了較深入的調(diào)研和分析。發(fā)現(xiàn)現(xiàn)有技術(shù)主要關(guān)注優(yōu)化數(shù)據(jù)包從網(wǎng)卡拷貝到內(nèi)存時的流程,降低數(shù)據(jù)包捕獲時的開銷。但由于流量監(jiān)測往往還需要將捕獲的數(shù)據(jù)包存儲到硬盤等外部存儲設備,現(xiàn)有技術(shù)較少在這方面進行優(yōu)化,使得數(shù)據(jù)包存儲時還需要在用戶空間和內(nèi)核空間進行多次拷貝,開銷較大,出現(xiàn)丟包。

4、　　2.以通用軟、硬件架構(gòu)為平臺,提出了一種從內(nèi)核空間直接到外部存儲的數(shù)據(jù)包實時存儲方法。實現(xiàn)了一個內(nèi)核空間的包捕獲和存儲模塊來改善存儲效率。所提出的LPKP內(nèi)核數(shù)據(jù)包捕獲模塊通過實現(xiàn)內(nèi)核直接寫磁盤、數(shù)據(jù)包緩存優(yōu)化設計及多核 CPU的優(yōu)化調(diào)度等措施使數(shù)據(jù)包捕獲在整個從網(wǎng)卡到磁盤存儲過程都沒有穿過用戶空間,同時避免了內(nèi)核到用戶空間以及用戶到內(nèi)核空間的內(nèi)存拷貝所帶來的開銷,消除了不必要的內(nèi)存拷貝。
　　3.搭建了實驗平臺,對所提出的方