一個流量抽樣系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、如今互聯(lián)網(wǎng)飛速發(fā)展，網(wǎng)絡(luò)流量大增，對pv（頁面瀏覽量page view，下稱pv）、uv（用戶瀏覽量user view，下稱uv）的分析對一個互聯(lián)網(wǎng)企業(yè)顯得尤為重要。百度圖片搜索部的產(chǎn)品幾乎都是用戶型產(chǎn)品，也就是以用戶需求為導(dǎo)向的互聯(lián)網(wǎng)產(chǎn)品。產(chǎn)品上線之前決策者需要根據(jù)各種指標(biāo)來做出決策。而原先在前端判斷cookie的方式已經(jīng)不能滿足復(fù)雜及頻繁的抽樣實驗業(yè)務(wù)需求。研究建設(shè)一個新型的、整合的對龐大流量的抽樣切分和管理平臺已經(jīng)成為百度圖片當(dāng)前

2、所關(guān)心的重要課題。
　　流量抽樣管理系統(tǒng)主要由兩大部分組成，分別是抽樣平臺部分和抽樣Lib部分。抽樣平臺部分主要負(fù)責(zé)抽樣流程的發(fā)起以及實驗規(guī)則的設(shè)定，即通過一些規(guī)則，如用戶IP、cookie、檢索詞等信息進(jìn)行配置，最后生成規(guī)則配置文件的過程。抽樣Lib進(jìn)行流量的切分，根據(jù)抽樣平臺的配置文件將符合規(guī)則的用戶引入目標(biāo)服務(wù)器。結(jié)合系統(tǒng)的需求，在抽樣平臺部分，前端采用ReactJS技術(shù)構(gòu)建前端UI，后端采用php的Yaf（Yet Anot

3、hter Framework，下稱Yaf）框架及Web數(shù)據(jù)庫技術(shù)進(jìn)行后臺邏輯實現(xiàn)和數(shù)據(jù)存儲。為了確保系統(tǒng)后續(xù)可以具有良好的可擴(kuò)展性和可維護(hù)性，對系統(tǒng)結(jié)構(gòu)及功能進(jìn)行設(shè)計和劃分，形成了抽樣流程管理、流量分配管理、變量配置管理、抽樣規(guī)則管理、抽樣配置打包等五個功能模塊進(jìn)行系統(tǒng)支撐。在抽樣Lib部分，使用了基于hash的多層流量切分的方式，將符合規(guī)則的用戶匹配到相應(yīng)的服務(wù)器中。為保證系統(tǒng)的完整性，結(jié)合系統(tǒng)性能和訪問安全性等因素對系統(tǒng)數(shù)據(jù)邏輯進(jìn)行