基于社交網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、社交網(wǎng)絡(luò)中含有豐富的數(shù)據(jù)，數(shù)據(jù)中蘊(yùn)含著無(wú)窮的價(jià)值。社交網(wǎng)絡(luò)分析具有商業(yè)價(jià)值、科研價(jià)值和政府輿情價(jià)值。本文主要研究社交網(wǎng)絡(luò)分析的一般方法，并設(shè)計(jì)出一個(gè)社交網(wǎng)絡(luò)分析系統(tǒng)。社交網(wǎng)絡(luò)的數(shù)據(jù)挖掘包括三個(gè)部分，即數(shù)據(jù)采集部分、數(shù)據(jù)存儲(chǔ)部分和數(shù)據(jù)分析應(yīng)用部分。本文介紹了復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)理論，通過(guò)復(fù)雜網(wǎng)絡(luò)的平均路徑長(zhǎng)度、節(jié)點(diǎn)度分布和聚類系數(shù)等參數(shù)，說(shuō)明了社交網(wǎng)絡(luò)是一種具有小世界性和無(wú)標(biāo)度性的復(fù)雜網(wǎng)絡(luò)。然后介紹了獲取社交網(wǎng)絡(luò)數(shù)據(jù)的一般方法，包括網(wǎng)站API方

2、式和網(wǎng)絡(luò)爬蟲(chóng)方式。本文分析了兩種方法的優(yōu)缺點(diǎn)，并采用網(wǎng)絡(luò)爬蟲(chóng)方式，設(shè)計(jì)了獲取新浪微博用戶信息數(shù)據(jù)和新浪微博用戶微博數(shù)據(jù)的爬蟲(chóng)程序。
　　接著本文介紹了對(duì)社交網(wǎng)絡(luò)數(shù)據(jù)的應(yīng)用方法，通過(guò)數(shù)據(jù)挖掘中的分類、聚類方法對(duì)數(shù)據(jù)進(jìn)行分析。本文研究的用戶的興趣基于用戶發(fā)出的微博消息文本，采用樸素貝葉斯分類器的方法，利用TF-IDF計(jì)算詞特征值代替頻率，并根據(jù)微博中的轉(zhuǎn)發(fā)、原創(chuàng)兩種機(jī)制，對(duì)特征值的計(jì)算加權(quán)。最后構(gòu)造樸素貝葉斯分類器，對(duì)用戶微博消息集進(jìn)

3、行分類判別，得出用戶的興趣分布。在研究用戶關(guān)系時(shí)，采用聚類技術(shù)，根據(jù)分類器輸出的用戶結(jié)果，構(gòu)造用戶屬性集，完成用戶建模，然后通過(guò)K-Means聚類方法，計(jì)算用戶相似度，找出相似用戶。
　　社交網(wǎng)絡(luò)數(shù)據(jù)量大，處理難度高。本文采用大數(shù)據(jù)處理中常用的hadoop分布式框架，利用hadoop提供的mapreduce機(jī)制，對(duì)文本進(jìn)行快速分詞，提高實(shí)驗(yàn)和分析效率。最后本文通過(guò)實(shí)驗(yàn)，實(shí)現(xiàn)設(shè)計(jì)的社交網(wǎng)絡(luò)分析框架，采集了12G數(shù)據(jù)，訓(xùn)練出5個(gè)興趣分