基于PLSA的大數據文本情感分析及其應用.pdf

1、隨著web_2.0的發(fā)展,越來越多的用戶在互聯網上發(fā)布內容,其中也包括了有關用戶所關注產品或服務的評價及博客,用戶在這些評論及博客中表述了自己對產品或服務的看法及觀點,分析挖掘這些評論或博客中用戶的情感信息有著潛在的商業(yè)價值,一方面用戶就可以通過參考這些帶有主觀情感色彩的評論內容,了解和對比自己所感興趣的產品或服務,進而做出相應的購買決策;另一方面,商家也可以通過這些評論信息,即時做出調整,以改善產品質量或服務。這些影響可以通過產品的銷

2、售預測情況來觀察到。
　　從商品大量評論中挖掘意見和情感有很大的挑戰(zhàn)性,一是并不能用傳統(tǒng)的文本挖掘算法簡單地把評論定性為正向或負向,因為人們在評論中用自然語言表達意見或情感時,方式很復雜很委婉,常常具有多面性,如極性、取向、程度等,因此如果僅僅把一個評論簡單的認為正負,會漏掉很多情感信息,為了能更準確地挖掘情感信息,論文使用PLSA模型,將評論博客看成有多個情感潛在類組成;另一個挑戰(zhàn)是數據規(guī)模的龐大,由于對大規(guī)模數據訓練時,概率潛

3、在語義分析有非常高的時間復雜度和空間復雜度,研究者們一直在不斷地嘗試,用并行的方式訓練模型,雖然能部分解決時間復雜度問題,但內存仍需加載大量的數據,本論文結合mapreduce編程框架,改進傳統(tǒng)最大期望EM算法,在集群上并行地對概率潛在語義分析模型進行訓練,每臺機器只需加載部分數據,同時解決了時間復雜度和空間復雜度,實驗結果顯示了此方法能有效應對數據擴展性的挑戰(zhàn)。
　　評論或博客的情感分析對商業(yè)的價值可以通過產品的銷售預測情況來觀

4、察到。論文使用有關電影的博客數據集,用 PLSA挖掘其中的情感信息,之后用電影票房歷史數據建立自回歸模型,并結合PLSA訓練出的情感信息,提出基于情感分析的自回歸模型ARBS,對電影票房進行預測,在此基礎上進一步考慮評論博客的質量和數量對模型改進,建立模型ARBS-i,通過實驗對比,比未使用情感信息的自回歸模型預測的平均絕對誤差率 MAPE分別低6.7％和8.5％,證明了論文所提方法的有效性和優(yōu)越性,為商業(yè)使用用戶情感信息提供了一種解決