IDC網站分析系統(tǒng)存儲處理的設計與實現(xiàn).pdf

1、隨著互聯(lián)網規(guī)模的不斷擴大和WWW業(yè)務的飛速發(fā)展，互聯(lián)網數(shù)據(jù)中心(IDC)的用戶越來越關注托管服務器的安全以及IDC網絡的性能，在這種需求下，運營商迫切需要一套能夠監(jiān)測、分析WEB服務器運行狀態(tài)的網站監(jiān)測分析系統(tǒng)。此外，監(jiān)控WEB服務器的狀態(tài)，進而研究用戶的訪問特征，也是整個網絡行為研究、服務規(guī)劃和網絡優(yōu)化的基礎。
　　 本文在研究IDC運營支撐需求的基礎上，針對海量數(shù)據(jù)存儲問題，分析研究了現(xiàn)有的存儲數(shù)據(jù)庫，設計并實現(xiàn)了一個基于L

2、inux平臺的網站服務器監(jiān)測和分析系統(tǒng)。論文主要工作如下：
　　 ①系統(tǒng)框架的設計
　　 在分析當前互聯(lián)網發(fā)展以及IDC運營支撐需求的基礎上，給出了系統(tǒng)的總體結構和各子系統(tǒng)的設計。系統(tǒng)整體分為數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲和上層管理四個子系統(tǒng)。
　　 ②給出數(shù)據(jù)存儲子系統(tǒng)的詳細設計和實現(xiàn)
　　 為滿足數(shù)據(jù)的快速檢索和長期海量數(shù)據(jù)存儲，本系統(tǒng)設計了三種類型表：統(tǒng)計表、粒度表和輔助表。利用Berkeley DB

3、存儲基礎數(shù)據(jù)，MySQL存儲查詢數(shù)據(jù)，配合處理子系統(tǒng)中的方法實現(xiàn)了海量數(shù)據(jù)的快速存儲和查詢。
　　 ③給出數(shù)據(jù)處理子系統(tǒng)的詳細設計和實現(xiàn)
　　 該部分由五個功能模塊組成：數(shù)據(jù)通信模塊、數(shù)據(jù)緩存模塊、用戶過濾模塊、數(shù)據(jù)處理模塊以及數(shù)據(jù)庫寫入模塊。數(shù)據(jù)通信模塊利用多線程和網絡編程解決數(shù)據(jù)處理子系統(tǒng)和數(shù)據(jù)采集子系統(tǒng)間的數(shù)據(jù)交互問題；用戶過濾模塊利用哈希算法實現(xiàn)了大量數(shù)據(jù)的過濾；數(shù)據(jù)處理模塊利用哈希和小頂堆的數(shù)據(jù)結構和算法，對數(shù)