移動終端用戶上網(wǎng)行為分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、進入3G時代以來，語音通信市場已經(jīng)趨于飽和，基于語音通信的短信和彩鈴等增值業(yè)務(wù)也出現(xiàn)下降的趨勢;智能手機日益普及，移動互聯(lián)網(wǎng)的發(fā)展也一日千里，隨著移動互聯(lián)網(wǎng)業(yè)務(wù)與需求的飛速增長，為了實現(xiàn)業(yè)績的持續(xù)增長，需充分挖掘用戶的移動互聯(lián)網(wǎng)訪問行為，因此運營商提出了“流量經(jīng)營”的運營理念，從而提升純管道收入、提升流量效益、降低流量成本。本系統(tǒng)通過解讀用戶的上網(wǎng)內(nèi)容來進行分類，從而分析用戶的上網(wǎng)行為。
　　本文設(shè)計并開發(fā)了一個基于Hadoop集

2、群的開發(fā)框架，大量使用了Map/Reduce編程思想和方法，綜合網(wǎng)絡(luò)爬蟲、文本分詞(SVM(Support Vector Machine))、DMZ（demilitarizedzone）以及Nosql數(shù)據(jù)庫Flare等技術(shù)對海量移動終端用戶上網(wǎng)日志中的URL進行清洗、匯總、內(nèi)容分類、保存等功能的系統(tǒng)。本人參與完成了如下工作:客戶需求收集;用戶行為軌跡增強模塊中的分類過期刪除、內(nèi)外網(wǎng)傳輸，內(nèi)容語義解析模塊中的網(wǎng)頁爬取、通用分類器分類、網(wǎng)頁