基于Spark的文本情感分類模型應(yīng)用研究.pdf

1、伴隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)一詞被越來(lái)越多地提及并認(rèn)識(shí)，人們也越來(lái)越多地意識(shí)到數(shù)據(jù)的重要性并嘗試去挖掘掩藏在其中的價(jià)值。大數(shù)據(jù)一般用來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，社交網(wǎng)絡(luò)的海量數(shù)據(jù)便是其中的代表之一。Twitter、Facebook、新浪微博、微信等社交媒體的網(wǎng)絡(luò)中儲(chǔ)存著海量的用戶節(jié)點(diǎn)，每個(gè)用戶節(jié)點(diǎn)又同時(shí)存儲(chǔ)著大量的個(gè)人社交和交互發(fā)布信息，隨著移動(dòng)互聯(lián)網(wǎng)應(yīng)用的不斷普及，這些數(shù)據(jù)每時(shí)每刻都在不斷地更新變化并呈現(xiàn)出井噴式的信息增長(zhǎng)趨

2、勢(shì)，其特點(diǎn)具備了大數(shù)據(jù)的特征。社交網(wǎng)絡(luò)的用戶參與度很高，用戶能夠方便快捷地通過(guò)其平臺(tái)自由地分享個(gè)人信息，獲取和傳播他人的信息。由于其影響力以及傳播的廣度和深度，人們?cè)谏缃痪W(wǎng)絡(luò)中表達(dá)自己情緒和觀點(diǎn)的現(xiàn)象越來(lái)越普遍，而隱含在其中的海量情感信息流看似細(xì)碎而雜亂，但卻隱藏著巨大的價(jià)值等待著被挖掘，這就使得對(duì)海量數(shù)據(jù)中的文本進(jìn)行情感分類的研究有著十分重要的意義。
　　然而，傳統(tǒng)的文本情感分類研究均是在單機(jī)上進(jìn)行，面對(duì)社交網(wǎng)絡(luò)中出現(xiàn)的海量數(shù)據(jù)

3、，傳統(tǒng)單機(jī)上的情感分析算法難以快速地完成情感分類的任務(wù)，其時(shí)間效率和擴(kuò)展性等成為了瓶頸，需要研究適合于海量數(shù)據(jù)情感分類任務(wù)的計(jì)算模式。云計(jì)算的出現(xiàn)和發(fā)展為解決海量數(shù)據(jù)下的情感分類任務(wù)提供了新的解決方案。它彌補(bǔ)了傳統(tǒng)單機(jī)計(jì)算上的不足，通過(guò)構(gòu)建的分布式情感分類算法以及分布式架構(gòu)，使得海量數(shù)據(jù)下的情感分類任務(wù)的可行性得到了增強(qiáng)。
　　本文在研究分析了現(xiàn)有的文本情感分類技術(shù)的基礎(chǔ)上，結(jié)合云計(jì)算技術(shù)，探討構(gòu)建一個(gè)適合于海量數(shù)據(jù)的基于Spar

4、k的文本情感分類模型的可行性。根據(jù)海量數(shù)據(jù)文本信息的特點(diǎn)，對(duì)文本進(jìn)行詞語(yǔ)級(jí)別的情感極性識(shí)別，建立了覆蓋面更廣的情感字典;通過(guò)對(duì)文本情感特征的提取和加權(quán)，并借助Spark的并行計(jì)算模型，構(gòu)建分布式樸素貝葉斯情感分類模型用以處理大規(guī)模的數(shù)據(jù);而針對(duì)情感特征并不明顯的文本信息，通過(guò)分析文本語(yǔ)法，句間聯(lián)系等相關(guān)特征，構(gòu)建基于Spark的SVM情感分類模型對(duì)文本進(jìn)行情感分類;基于云計(jì)算技術(shù)的情感分析需要采集海量的數(shù)據(jù)對(duì)其進(jìn)行驗(yàn)證，對(duì)于海量數(shù)據(jù)的獲