基于Hadoop的網(wǎng)絡(luò)用戶行為分析.pdf

1、網(wǎng)絡(luò)已經(jīng)成為人們學(xué)習(xí)、工作和生活中必不可少的重要組成部分。校園網(wǎng)作為高校教學(xué)、科研和信息服務(wù)的基礎(chǔ)平臺(tái)，已經(jīng)成為衡量高校信息化建設(shè)和智慧校園建設(shè)的重要指標(biāo)之一。隨著校園網(wǎng)中各種網(wǎng)絡(luò)應(yīng)用的增多，產(chǎn)生了以日志形式存在的海量網(wǎng)絡(luò)用戶行為數(shù)據(jù)。與此同時(shí)，校園網(wǎng)規(guī)模的日益擴(kuò)大和用戶人數(shù)的增長(zhǎng)，給校園網(wǎng)優(yōu)化升級(jí)和日常運(yùn)維管理帶來了許多問題。另外，學(xué)生用戶過度使用網(wǎng)絡(luò)不僅給自身的學(xué)習(xí)、生活和身心健康帶來了巨大危害，而且為高校學(xué)生教育管理工作提出了新的

2、要求。因此，校園網(wǎng)用戶網(wǎng)絡(luò)行為分析，有助于高校網(wǎng)絡(luò)管理部門制定和完善更加合理有效的網(wǎng)絡(luò)管理制度和日常運(yùn)維策略；為廣大師生提高安全、快速和可靠的網(wǎng)絡(luò)環(huán)境；有助于高校學(xué)生管理部門及時(shí)了解和發(fā)現(xiàn)學(xué)生的思想動(dòng)態(tài)和學(xué)習(xí)狀況等有用信息。
　　本文在西北民族大學(xué)校園網(wǎng)基礎(chǔ)上，以校園網(wǎng)絡(luò)核心交換機(jī)H3C-12508網(wǎng)絡(luò)鏡像端口用戶訪問網(wǎng)絡(luò)的點(diǎn)擊流日志和深藍(lán)計(jì)費(fèi)網(wǎng)關(guān) Srun3000的用戶登錄數(shù)據(jù)作為研究對(duì)象，主要針對(duì)校園網(wǎng)用戶中學(xué)生用戶在線行為展

3、開研究。
　　本文主要研究工作如下：1.搭建了包含 Hive和 Sqoop子項(xiàng)目的分布式Hadoop實(shí)驗(yàn)環(huán)境；2.在Hadoop集群下，預(yù)處理校園網(wǎng)用戶行為數(shù)據(jù)和進(jìn)行用戶類別劃分；3.采用HiveQL查詢技術(shù)，對(duì)校園網(wǎng)用戶群體行為從五個(gè)方面展開研究，即不同時(shí)段在線用戶人數(shù)分析、用戶在線時(shí)間長(zhǎng)度分析、用戶訪問的目的地址分析、用戶在線流量分析和學(xué)生異常行為分析。用戶訪問的目的地址分析中，為了加快目的地址統(tǒng)計(jì)和排序的速度，編寫了一個(gè)Li

4、nux Shell腳本用于目的地址統(tǒng)計(jì)和排序，并取得了良好的運(yùn)行效果。通過對(duì)不同年級(jí)、不同培養(yǎng)層次和不同學(xué)院學(xué)生用戶在線時(shí)長(zhǎng)、使用網(wǎng)絡(luò)流量和在線人數(shù)等方面進(jìn)行對(duì)比研究，并對(duì)不同學(xué)生用戶群體中出現(xiàn)網(wǎng)絡(luò)行為異常的原因作了初步的探討和分析，給出了具有針對(duì)性的意見和建議；4.對(duì)學(xué)生用戶群體行為展開聚類分析。首先利用K-means聚類算法并行化的思路，找出了該算法的實(shí)現(xiàn)方法；接著編寫 Mapper函數(shù)和Reducer函數(shù)實(shí)現(xiàn) K-means算法；