面向新浪微博的數(shù)據(jù)采集和社區(qū)發(fā)現(xiàn)算法研究.pdf

1、伴隨著互聯(lián)網(wǎng)和移動通信技術(shù)的飛速發(fā)展,越來越多的人們正通過在線網(wǎng)絡(luò)進行各種社會活動。社會網(wǎng)絡(luò)的組構(gòu)、以及其上的信息傳遞正在突破時空和管理邊界,影響到各國網(wǎng)民和各個角落。社交網(wǎng)絡(luò)(或稱在線社會網(wǎng)絡(luò))已經(jīng)成為現(xiàn)實社會的重要組成部分之一。對在線社交網(wǎng)絡(luò)研究也隨之倍受關(guān)注,成為了現(xiàn)下科學(xué)研究領(lǐng)域的一個熱點問題。
　　社交網(wǎng)絡(luò)具有規(guī)模龐大,結(jié)構(gòu)復(fù)雜以及海量信息實時傳播的特征,因此,如何對海量數(shù)據(jù)進行采集、存儲和分析成為亟需研究的問題。面對如

2、此龐大的數(shù)據(jù),數(shù)據(jù)采集平臺使用了一種基于分布式的數(shù)據(jù)采集平臺,其全局設(shè)計采用C/S架構(gòu),分布式的數(shù)據(jù)采集策略;為了減小索引服務(wù)器的性能瓶頸,在索引服務(wù)器上采用了數(shù)據(jù)切分、二級緩存隊列等技術(shù);而在爬蟲機的設(shè)計中,為了提高爬蟲機的數(shù)據(jù)采集效率,同樣利用了二級緩存技術(shù)來減小線程的耦合度,并采用線程池、賬戶輪換等技術(shù)來提高爬蟲機的并行性和突破新浪微博的訪問限制。數(shù)據(jù)存儲平臺則采用Hadoop分布式文件系統(tǒng)進行存儲,并根據(jù)數(shù)據(jù)采集平臺采集的數(shù)據(jù)得

3、到的統(tǒng)計結(jié)果,對數(shù)據(jù)結(jié)構(gòu)進行了改進。
　　對于社交網(wǎng)絡(luò)的分析研究主要是提出了一個重疊社區(qū)發(fā)現(xiàn)算法。傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法大多基于這樣一個前提,即每個節(jié)點只屬于一個社區(qū),而現(xiàn)實中恰恰相反,一個節(jié)點可以同時屬于不止一個社區(qū)。針對在線社交網(wǎng)絡(luò)中的用戶并不僅僅屬于一個社區(qū),存在多重性,提出了一個允許社區(qū)重疊的社區(qū)發(fā)現(xiàn)算法,針對在線社交網(wǎng)絡(luò)的龐大數(shù)據(jù)量設(shè)計基于Hadoop平臺的Mapreduce框架的并行化技術(shù),以使對于社區(qū)發(fā)現(xiàn)算法可以應(yīng)用于海