基于微博的用戶關(guān)系分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、如今，人們已經(jīng)習慣于通過社交網(wǎng)絡來表達觀點和情感，并與其他人進行互動，這其中蘊藏著許多有價值的信息。而社交網(wǎng)絡的本質(zhì)是將現(xiàn)實世界的人與人之間的聯(lián)系映射到虛擬空間，用戶關(guān)系顯然是最重要的。由于社交網(wǎng)絡數(shù)據(jù)本身的商業(yè)價值，研究人員很難直接從互聯(lián)網(wǎng)公司獲取。因此，本文以目前最流行的社交網(wǎng)絡平臺—新浪微博為基礎(chǔ)，設(shè)計并實現(xiàn)了用戶關(guān)系分析系統(tǒng)，在一定程度上解決了上述問題。
　　首先，本文著重考慮用戶的微博數(shù)據(jù)應該如何采集。微博數(shù)據(jù)的獲取途徑

2、大致有三種:新浪微博API、網(wǎng)絡爬蟲以及第三方數(shù)據(jù)提供商。鑒于微博API的諸多限制和第三方數(shù)據(jù)提供商的高昂收費，本文采用模擬登錄和網(wǎng)頁解析來實現(xiàn)多賬號多線程Python新浪微博爬蟲。然后，本文分析微博內(nèi)容、點贊、轉(zhuǎn)發(fā)和評論的數(shù)據(jù)特點，發(fā)現(xiàn)它們不僅數(shù)據(jù)量大，而且格式比較靈活。因此，本文采用了NoSQL數(shù)據(jù)庫MongoDB。同時，本系統(tǒng)通過搭建MongoDB分片集群，實現(xiàn)了分布式存儲，以便于今后的存儲擴展、分布式爬蟲和并行計算。最后，關(guān)于用

3、戶關(guān)系，本文對博主的所有微博下的所有用戶的點贊、轉(zhuǎn)發(fā)和評論進行加權(quán)計算，得出用戶對博主的關(guān)注度;若用戶有點贊行為則默認為博主的支持者，否則，對用戶的所有轉(zhuǎn)發(fā)和評論進行文本情感傾向分析，以此計算用戶的情感傾向值;取關(guān)注度最高的若干點贊用戶作為支持者，取情感傾向值最小的若干用戶作為反對者;根據(jù)轉(zhuǎn)發(fā)相同微博的數(shù)量分別對支持者和反對者進行內(nèi)部分組。
　　本系統(tǒng)通過網(wǎng)絡爬蟲獲取某知名博主的微博數(shù)據(jù)，并將數(shù)據(jù)存儲到MongoDB分片集群。使用