基于Hadoop的用戶行為分析方法的應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與成熟，每天都有大量的用戶行為數(shù)據(jù)產(chǎn)生并存儲在網(wǎng)站服務(wù)器之上，如何挖掘潛藏在其中的用戶價值和潛在利益已經(jīng)成為當(dāng)今互聯(lián)網(wǎng)企業(yè)研究的重點(diǎn)。海量用戶行為數(shù)據(jù)對傳統(tǒng)的數(shù)據(jù)存儲方式和數(shù)據(jù)挖掘算法都是一個挑戰(zhàn)，而Hadoop正是為解決海量數(shù)據(jù)分析問題而誕生的。
　　本文主要研究基于Hadoop的用戶行為分析方法，在分別對Hadoop框架、Web日志挖掘以及聚類算法技術(shù)進(jìn)行分析研究后，提出了一種基于Canopy的K-me

2、ans聚類方法，改進(jìn)后的算法解決了K-means算法在初始聚類中心的選定、異常點(diǎn)的處理以及分析數(shù)據(jù)的局限性問題。然后利用該算法設(shè)計了相應(yīng)的用戶行為分析系統(tǒng)，對存儲在HDFS分布式存儲系統(tǒng)上的網(wǎng)站W(wǎng)eb日志進(jìn)行數(shù)據(jù)挖掘，利用MapReduce分布式計算模型，實(shí)現(xiàn)了對傳統(tǒng)聚類方法Canopy算法和K-means算法的并行化執(zhí)行，完成了對Web日志中用戶行為信息的聚類分析。
　　本文通過搜狗實(shí)驗(yàn)室的用戶查詢?nèi)罩镜恼鎸?shí)數(shù)據(jù)進(jìn)行了單機(jī)對比實(shí)