基于共現(xiàn)詞的中文微博觀點(diǎn)句識別.pdf

1、近年來，隨著計算機(jī)移動技術(shù)和社會媒體的發(fā)展，微博已經(jīng)成為一個熱門的信息交流平臺。但是由于微博平臺中的數(shù)據(jù)量非常龐大，在這樣浩瀚的數(shù)據(jù)海洋中提取出帶有觀點(diǎn)的句子不是一件容易的事情，所以如何提取出帶有用戶觀點(diǎn)的句子也越來越受到關(guān)注。但是，目前的中文微博觀點(diǎn)句提取方法都集中在使用句法分析與分類器，忽略了微博主觀信息所具有的內(nèi)容關(guān)聯(lián)性。因此，本文將傳統(tǒng)觀點(diǎn)句識別方法與共現(xiàn)詞相結(jié)合，提出了基于內(nèi)容共現(xiàn)詞的中文微博觀點(diǎn)句識別算法。
　　本文的

2、研究內(nèi)容包含以下幾點(diǎn):首先，利用Latent Dirichlet Allocation主題模型對微博數(shù)據(jù)進(jìn)行分析，將微博數(shù)據(jù)進(jìn)行聚類處理，使得微博數(shù)據(jù)根據(jù)其表達(dá)的內(nèi)容所屬的主題進(jìn)行分類，從而提取出每一個主題下具有典型的內(nèi)容代表性的詞語，將這些詞語組成內(nèi)容共現(xiàn)詞集合，從而得到一個特征集合;然后，使用斯坦福大學(xué)的句法分析工具:Stanford Parser對微博數(shù)據(jù)進(jìn)行句法分析，從而形成了賓州句法樹結(jié)構(gòu)。本文對于大量的微博數(shù)據(jù)進(jìn)行了分析從而

3、提取出其中主觀性語句的賓州句法樹模板，通過模板匹配實(shí)驗驗證了該模板的有效性，從而識別出較為明顯的觀點(diǎn)句;再次，考慮到目前較為常用的主觀性語句識別方法，并且使用SVM和樸素貝葉斯分類器相結(jié)合的方法，加入內(nèi)容共現(xiàn)詞、形容詞、動詞、情感詞與2-POS這五類特征，通過COAE2013提供的數(shù)據(jù)進(jìn)行了訓(xùn)練實(shí)驗與測試實(shí)驗，證明了Latent Dirichlet Allocation主題模型所提取出的共現(xiàn)詞作為分類器特征是有效的，從而識別出句法分析無

4、法識別的較為隱蔽的觀點(diǎn)句;最后將表達(dá)方式匹配的方法與分類器的方法相結(jié)合，并且進(jìn)行了實(shí)驗驗證。
　　本文工作的主要內(nèi)容及創(chuàng)新點(diǎn)如下:
　　(1)考慮中文的內(nèi)部關(guān)聯(lián)性并使用以隱含狄利克雷分布主題模型為基礎(chǔ)提取共現(xiàn)詞。首先由隱含狄利克雷分布主題模型得到每個主題下的高相關(guān)度詞分布情況，提取其中名詞;然后進(jìn)行重復(fù)提取并進(jìn)行閾值的判斷，從而確定其中的共現(xiàn)詞特征。
　　(2)在傳統(tǒng)觀點(diǎn)句識別方法的基礎(chǔ)上，采用了多種分類方法相結(jié)合的W