分布式環(huán)境下通用日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、記錄日志在當(dāng)前互聯(lián)網(wǎng)服務(wù)中扮演了重要的角色，成為了不可忽視的重要組成部分。無(wú)論是在軟件的開(kāi)發(fā)階段，還是在軟件的運(yùn)行階段，打印日志都能起到很大的作用。通過(guò)查看日志，開(kāi)發(fā)人員能了解系統(tǒng)正在運(yùn)行的情況，進(jìn)而定位和診斷有疑問(wèn)的地方；運(yùn)營(yíng)人員通過(guò)收集日志，能了解到業(yè)務(wù)的運(yùn)營(yíng)狀況，用戶數(shù)量，增長(zhǎng)趨勢(shì)，使用習(xí)慣。隨著互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，用戶量的增加，單機(jī)服務(wù)由于自身的限制，已經(jīng)不能滿足現(xiàn)有的需要，服務(wù)在往分布式方向發(fā)展。而在當(dāng)前分布式環(huán)境中，記錄日

2、志成為了一個(gè)需要重新審視的問(wèn)題：服務(wù)分布在多臺(tái)機(jī)器上、日志收集不便、數(shù)據(jù)量增長(zhǎng)快，本地存儲(chǔ)空間有限。如何支持快速、簡(jiǎn)便同時(shí)保證數(shù)據(jù)安全地收集大數(shù)據(jù)量的日志成為了值得研究及具有商業(yè)價(jià)值的課題。
　　本文全面地分析了分布式環(huán)境下通用日志系統(tǒng)的功能性需求，包含了記錄、查詢、管理等，同時(shí)也對(duì)系統(tǒng)的性能及安全性提出了一定的要求。具體的工作主要有①在分布式環(huán)境下日志系統(tǒng)的搭建?？蛻舳藦呐渲弥行墨@取服務(wù)器信息，將本地?cái)?shù)據(jù)處理后交由服務(wù)器進(jìn)行處理

3、。②高性能服務(wù)端實(shí)現(xiàn)。服務(wù)端負(fù)責(zé)將數(shù)據(jù)存入到數(shù)據(jù)庫(kù)中，由接口層與存儲(chǔ)層的兩部分組成?？紤]到寫數(shù)據(jù)庫(kù)的速度較慢，為了提高并發(fā)能力，減緩接口層的壓力，接口只負(fù)責(zé)獲取日志內(nèi)容，并轉(zhuǎn)存到共享內(nèi)存。存儲(chǔ)層負(fù)責(zé)存儲(chǔ)數(shù)據(jù)。考慮到性能及易用性，數(shù)據(jù)庫(kù)采用了MySQL，并且使用了Infobright引擎來(lái)提供高效的查詢性能。③通用日志系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。通過(guò)定義好接口與代理的交互協(xié)議，大多數(shù)語(yǔ)言可以很容易的開(kāi)發(fā)出相應(yīng)的接口代碼，從而接入到本系統(tǒng)中，進(jìn)行工作

4、。④高性能客戶端的設(shè)計(jì)與實(shí)現(xiàn)?？蛻舳朔譃槭萁涌诓糠旨案淮聿糠帧＝涌趦H僅負(fù)責(zé)將日志存入到共享內(nèi)存當(dāng)中，剩下的寫本地日志、發(fā)送到服務(wù)端都由富代理來(lái)執(zhí)行。⑤查詢系統(tǒng)的搭建。查詢系統(tǒng)以網(wǎng)頁(yè)的形式提供服務(wù)，通過(guò)Bootstrap、jQuery及大量輔助型插件，查詢系統(tǒng)提供了簡(jiǎn)潔、易用、用戶友好的界面，供用戶使用。并且在開(kāi)發(fā)過(guò)程中，通過(guò)收集用戶意見(jiàn)，不斷迭代，更加照顧用戶的使用習(xí)慣。
　　整個(gè)系統(tǒng)經(jīng)過(guò)一定的功能測(cè)試和性能測(cè)試，確定系統(tǒng)在基本