基于LDA主題模型的電商客戶評論情感分析.pdf

1、隨著電商平臺的蓬勃發(fā)展，用戶數(shù)量逐漸增多，使得商品評價數(shù)目飆升。如何能高效、精確獲得基于這些語料的相關(guān)信息，在此基礎(chǔ)上進(jìn)行分析研究逐漸成為了當(dāng)前信息科學(xué)和技術(shù)領(lǐng)域中面臨到的重大挑戰(zhàn)。電商網(wǎng)站因流量巨大，可為各種類別的產(chǎn)品提供交易平臺，而這其中的電子類產(chǎn)品是在電商平臺上非常熱銷的典型產(chǎn)品之一。尤其是隨著物聯(lián)網(wǎng)的普及帶來了穿戴智能、智慧家裝、健康醫(yī)療等一系列智能設(shè)備，智能手環(huán)是其中典型代表。本文即采用京東商城智能手環(huán)類產(chǎn)品用戶評論作為數(shù)據(jù)集

2、，充分結(jié)合機(jī)器學(xué)習(xí)及自然語言處理相關(guān)理論和方法，對文本語料進(jìn)行了文本情感傾向性的建模、文本主題分析研究，從而提出高效、精確的文本挖掘技術(shù)和方法。
　　本文所研究的技術(shù)成果可廣泛用于各類電商門戶、點(diǎn)評網(wǎng)站及線上交易平臺。本文從文本挖掘的具體流程，包括語料數(shù)據(jù)采集、文本預(yù)處理、語義分析、情感分類、主題分析等為文本挖掘分析提供相關(guān)的技術(shù)指導(dǎo)，并著重介紹了數(shù)據(jù)獲取、自然語言處理、算法選擇與情感分類比較等多種技巧。首先通過python采集京

3、東商城手環(huán)類產(chǎn)品評論文本語料數(shù)據(jù)，得到近20萬條用戶評論文本。然后對文本預(yù)料進(jìn)行數(shù)據(jù)預(yù)處理，主要是文本語句間去重:刪除行與行之間完全重復(fù)的內(nèi)容，只保留唯一的一條評論;文本語句內(nèi)去重:用多重遍歷的方式對有單字、多字重復(fù)，從句間重復(fù)等進(jìn)行篩查;后續(xù)處理和低含義詞語刪除:通過設(shè)置排查篩查的長度，剔除掉低于預(yù)設(shè)值的評論內(nèi)容。特征選取部分，主要是采用TF-IDF值作為特征選擇的方式，計(jì)算每個詞的TF-IDF值，將其和設(shè)定的閾值進(jìn)行比較，低于閾值的

4、詞過濾掉，最后剩余的詞作為特征項(xiàng)，并且得到的特征項(xiàng)對應(yīng)的權(quán)重值即為其所對應(yīng)的TF-IDF值。語義分析，主要是將用戶的評論中，出現(xiàn)頻率最高的詞語找出來，然后分析這些詞語的含義或者關(guān)系，從得出用戶對產(chǎn)品的重要評價或印象。情感分析，本文使用python的自然語言處理包NLTK及包含分類算法的工具包sklearn進(jìn)行分類模型的訓(xùn)練。根據(jù)卡方統(tǒng)計(jì)量進(jìn)行特征值選擇，并把語料文本使用特征表示。用不同的分類算法構(gòu)建分類器，并測試其準(zhǔn)確度。LDA主題模型