Web用戶行為數(shù)據(jù)收集統(tǒng)計(jì)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)時(shí)代的到來，網(wǎng)絡(luò)已經(jīng)融入人們的生活，人們也逐漸接受了網(wǎng)上購物的消費(fèi)模式。網(wǎng)購者的急劇增加，讓各個(gè)電子商務(wù)網(wǎng)站投入更多的成本來吸引用戶創(chuàng)造更多的營收。既然是電子商務(wù)網(wǎng)站，那么良好的網(wǎng)站設(shè)計(jì)，讓用戶滿意的購物體驗(yàn)對網(wǎng)站的經(jīng)營來說至關(guān)重要，所以網(wǎng)站分析就顯得十分必要。要想了解用戶訪問網(wǎng)站的情況，就要獲取全面而且詳細(xì)的用戶瀏覽網(wǎng)站的行為數(shù)據(jù)，從大數(shù)據(jù)的角度來講海量信息使得網(wǎng)站分析更具洞察力，或許就會(huì)從不起眼的數(shù)據(jù)中挖掘到潛在的價(jià)值。

2、>　　雖然現(xiàn)在已有很多第三方甚至免費(fèi)的網(wǎng)站分析工具，但實(shí)際應(yīng)用在網(wǎng)站中并不方便，如采用JavaScript頁面標(biāo)簽法的Google Analytics，必須修改頁面引入JavaScript代碼，而且捕獲某種用戶行為數(shù)據(jù)需要大量地修改頁面增加事件跟蹤的代碼，導(dǎo)致數(shù)據(jù)捕獲的工作量繁重、管理不便，而且對數(shù)據(jù)的統(tǒng)計(jì)也不具有實(shí)時(shí)性;而服務(wù)器日志的方式不能進(jìn)行事件跟蹤，還要過濾數(shù)據(jù)。本文的重點(diǎn)就是實(shí)現(xiàn)一個(gè)用戶行為數(shù)據(jù)收集統(tǒng)計(jì)系統(tǒng)，采用JavaScr

3、ipt頁面標(biāo)簽法采集用戶行為數(shù)據(jù)，但是不需手動(dòng)修改頁面，而是通過Nginx的模塊功能自動(dòng)將不同的JavaScript嵌入到各類頁面中;事件跟蹤的JavaScript代碼可以統(tǒng)一管理，方便維護(hù);數(shù)據(jù)收集服務(wù)器基于Netty，可以快速地處理大量的數(shù)據(jù);行為數(shù)據(jù)通過數(shù)據(jù)收集服務(wù)器發(fā)送至MetaQ消息中間件，因?yàn)楸鞠到y(tǒng)對行為數(shù)據(jù)的統(tǒng)計(jì)有兩種方式，分別是使用Hive實(shí)現(xiàn)定制化的周期報(bào)表和通過Storm實(shí)現(xiàn)實(shí)時(shí)統(tǒng)計(jì)并展示，所以這兩種統(tǒng)計(jì)方式可以獨(dú)立

4、地從MetaQ消息中間件中拉取數(shù)據(jù)消息互不影響，因而將數(shù)據(jù)收集服務(wù)器從中解耦出來。
　　本人在項(xiàng)目中的工作主要包括用戶行為數(shù)據(jù)采集方法的研究、行為數(shù)據(jù)采集和數(shù)據(jù)收集存儲模塊的實(shí)現(xiàn)，其中本人參與開發(fā)的是通過Hive生成各類運(yùn)營統(tǒng)計(jì)報(bào)表，故Storm實(shí)時(shí)統(tǒng)計(jì)的實(shí)現(xiàn)不在本文中介紹。目前本系統(tǒng)已經(jīng)為聯(lián)通網(wǎng)上商城和手機(jī)商城等平臺提供行為數(shù)據(jù)統(tǒng)計(jì)服務(wù)，借助已有的任務(wù)調(diào)度系統(tǒng)每日或周期性地生成報(bào)表發(fā)送給相關(guān)人員，而且就現(xiàn)有情況來看HDFS上的數(shù)