基于SPARK的用戶特征分析.pdf

1、近年來，互聯(lián)網(wǎng)的飛速發(fā)展提供了一個(gè)豐富便捷的網(wǎng)絡(luò)環(huán)境，人們越來越習(xí)慣在網(wǎng)絡(luò)上進(jìn)行交流、交易、娛樂等等，海量的用戶網(wǎng)絡(luò)數(shù)據(jù)充斥著整個(gè)互聯(lián)網(wǎng)，越來越多的人看到了大數(shù)據(jù)背后隱藏的價(jià)值，全球范圍內(nèi)掀起來大數(shù)據(jù)研究的浪潮;隨著大數(shù)據(jù)技術(shù)的火熱研究，吸引了國內(nèi)外眾多學(xué)者投入到大數(shù)據(jù)挖掘的研究中，實(shí)現(xiàn)了基于用戶網(wǎng)絡(luò)行為數(shù)據(jù)的分析挖掘的研究體系。
　　大數(shù)據(jù)計(jì)算平臺(tái)并不需要使用超高性能的服務(wù)器才能實(shí)現(xiàn)，使用普通的PC即可搭建而成，并且這種集群化的

2、模式表現(xiàn)出的計(jì)算性能往往比超高性能的服務(wù)器還要好。以Spark為代表的分布式計(jì)算平臺(tái)是近幾年剛剛興起并且快速發(fā)展的一種新技術(shù)，原因在于這種分布式平臺(tái)是基于內(nèi)存的計(jì)算模式，可以提供海量存儲(chǔ)和超級(jí)計(jì)算的能力。把分析挖掘超大數(shù)據(jù)集的任務(wù)使用云計(jì)算方案來解決，能夠極大地提升計(jì)算速度和用戶分類的效能。因此，以Spark為代表的分布式計(jì)算平臺(tái)和海量用戶數(shù)據(jù)集的分類挖掘相融合，會(huì)是一個(gè)很有科研價(jià)值和應(yīng)用潛力的研究方向。
　　本文主要研究基于Sp

3、ark和改進(jìn)的TF-IDF算法的用戶特征分析，具體工作如下:
　　1、研究了Spark的相關(guān)技術(shù)以及Spark集群的搭建過程。使用樸素貝葉斯分類算法，結(jié)合Spark內(nèi)存計(jì)算框架，對(duì)用戶觀看視頻及次數(shù)信息進(jìn)行分析，建立用戶性別和年齡區(qū)間的分類模型;并進(jìn)一步介紹了整個(gè)分析系統(tǒng)的架構(gòu)。
　　2、在基本的分類算法中，并沒考慮特征項(xiàng)權(quán)重問題，這樣并不能體現(xiàn)出每一個(gè)特征項(xiàng)的價(jià)值，基于這一因素，采用傳統(tǒng)的TF-IDF權(quán)重進(jìn)行進(jìn)一步實(shí)驗(yàn)，與

4、基本的分類算法對(duì)比分類效果。
　　3、列出傳統(tǒng)的TF-IDF權(quán)重計(jì)算方法的缺陷，僅僅考慮特征項(xiàng)自身的價(jià)值，而沒有體現(xiàn)特征項(xiàng)與類別之間的相關(guān)性;針對(duì)這一問題，提出了一種基于特征項(xiàng)與類別間相關(guān)性的TFC-IDFC權(quán)重計(jì)算方法，并詳細(xì)介紹了優(yōu)化分類模型的過程，通過實(shí)驗(yàn)得出分類結(jié)果。
　　4、將改進(jìn)的權(quán)重計(jì)算方法與基本分類算法和傳統(tǒng)的TF-IDF權(quán)重計(jì)算方法進(jìn)行比較，通過正確率和F1值兩個(gè)指標(biāo)，證明考慮到特征項(xiàng)與類別的相關(guān)性所提出的