社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)及用戶轉(zhuǎn)發(fā)行為分析.pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，社交網(wǎng)絡(luò)中無(wú)時(shí)不刻不在產(chǎn)生大量的數(shù)據(jù)，僅僅是新浪微博每天就會(huì)產(chǎn)生超過(guò)一億條數(shù)據(jù)。在這樣一個(gè)海量數(shù)據(jù)的背景下，單機(jī)的處理能力根本無(wú)法滿足對(duì)信息處理能力的要求，大數(shù)據(jù)技術(shù)因此順勢(shì)而生。同樣，機(jī)器學(xué)習(xí)在大數(shù)據(jù)場(chǎng)景中也面臨需要學(xué)習(xí)的樣本數(shù)據(jù)量過(guò)大的問(wèn)題，所以機(jī)器學(xué)習(xí)算法也需要進(jìn)行大規(guī)模并行化。
　　本文基于BDAS軟件架構(gòu)提出并實(shí)現(xiàn)了以Spark為核心的社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)，該平臺(tái)以Spark為核心構(gòu)建相關(guān)模塊，

2、包含數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)挖掘和數(shù)據(jù)可視化功能，具有良好的開(kāi)放性、擴(kuò)展性和通用性。同時(shí)為了驗(yàn)證平臺(tái)可擴(kuò)展性和挖掘數(shù)據(jù)更多的價(jià)值，本文進(jìn)一步對(duì)微博用戶轉(zhuǎn)發(fā)行為預(yù)測(cè)算法進(jìn)行研究和實(shí)現(xiàn)。針對(duì)社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)，按照模塊可以劃分為四個(gè)部分：第一，數(shù)據(jù)抓取使用分布式通信框架Akka實(shí)現(xiàn)了分布式新浪微博爬蟲(chóng)系統(tǒng)，為上層數(shù)據(jù)挖掘與分析模塊和數(shù)據(jù)可視化模塊提了可用的海量微博數(shù)據(jù)；第二，數(shù)據(jù)預(yù)處理與存儲(chǔ)通過(guò)搭建Hadoop分布式文件系統(tǒng)（HDFS）

3、為抓取到的海量微博數(shù)據(jù)提供分布式存儲(chǔ)服務(wù)，保證了海量數(shù)據(jù)的存儲(chǔ)、訪問(wèn)和容錯(cuò)；第三，數(shù)據(jù)挖掘與分析通過(guò)運(yùn)用Spark快速分布式計(jì)算的能力、Spark提供的MLlib、GraphX等模塊和本文實(shí)現(xiàn)的功能模塊對(duì)平臺(tái)存儲(chǔ)系統(tǒng)中的海量微博數(shù)據(jù)進(jìn)行快速處理，快速分析和挖掘；第四，數(shù)據(jù)可視化通過(guò)Tomcat服務(wù)器和Redis緩存從大數(shù)據(jù)平臺(tái)底層獲取數(shù)據(jù)細(xì)節(jié)和算法分析結(jié)果，并通過(guò)D3.js可視化工具實(shí)現(xiàn)了相關(guān)數(shù)據(jù)的可視化。作為社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)的算

4、法應(yīng)用，本文提出了微博用戶轉(zhuǎn)發(fā)行為預(yù)測(cè)算法。算法中引入了多任務(wù)學(xué)習(xí)框架，避免了傳統(tǒng)預(yù)測(cè)模型同質(zhì)性導(dǎo)致的無(wú)法對(duì)用戶進(jìn)行差異性分析問(wèn)題。在完成對(duì)微博用戶轉(zhuǎn)發(fā)行為數(shù)據(jù)的特征篩選和提取后，本文在社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)上對(duì)提出的微博用戶轉(zhuǎn)發(fā)行為預(yù)測(cè)算法進(jìn)行了實(shí)現(xiàn)，同時(shí)將邏輯回歸（LR）、支持向量機(jī)（SVM）以及Passive-Aggressive算法（PA）作為對(duì)照算法對(duì)數(shù)據(jù)集上進(jìn)行訓(xùn)練，驗(yàn)證了該算法的性能和社交網(wǎng)絡(luò)大數(shù)據(jù)分析平臺(tái)的可擴(kuò)展性。提出