中文微博文本聚類與話題檢測的研究.pdf

1、Web2.0技術(shù)獲得發(fā)展以來，微博這一社會網(wǎng)絡(luò)新媒體獲得了快速發(fā)展，一方面微博提供大量的可用數(shù)據(jù)，另一方面大量數(shù)據(jù)產(chǎn)生的同時也造成了數(shù)據(jù)分析的災(zāi)難。如何將微博數(shù)據(jù)按照人的理解迅速劃分出有意義的類別，并進一步呈現(xiàn)出感興趣的內(nèi)容，成為微博平臺下一個新的重要研究方向。由于微博文本短小，用戶復(fù)雜等特性，傳統(tǒng)的分析方法沒有達到令人滿意的效果。
　　本文所研究的中文微博文本聚類與話題檢測主要包括三方面：數(shù)據(jù)預(yù)處理，微博的聚類，話題檢測。論文的

2、主要工作包括：
　　數(shù)據(jù)預(yù)處理方面，立足于對前人研究成果的歸納總結(jié)，首先采用了基于“長尾現(xiàn)象”的數(shù)據(jù)粗過濾機制來解決由于存在大量的噪聲數(shù)據(jù)，導(dǎo)致的處理效率不高的問題；其次提出了“去除停用詞”和基于知網(wǎng)語義關(guān)聯(lián)擴展相結(jié)合的方法，該組合方法既保證去除弱表達詞語，又改善了因數(shù)據(jù)模型和微博文本特性所導(dǎo)致的數(shù)據(jù)稀疏性問題和語義不完整問題。
　　微博聚類方面，本文主要以K-means算法作為基礎(chǔ)算法，根據(jù)微博數(shù)據(jù)的稀疏性特點提出了一種自

3、動確定初始值的K-means算法。該算法有效解決了K-means算法初始值選擇的問題，并保證了聚簇的高內(nèi)聚性。最后在K-means聚類結(jié)果的基礎(chǔ)上，本文應(yīng)用閾值融合算法，對聚簇區(qū)域進行合并，提高了聚簇間的相異性，達到高質(zhì)量的聚類效果。
　　話題檢測部分，承接前文改進的聚類算法，本文在最后通過分析用戶打分算法，將其改造并移植到聚類算法內(nèi)，實現(xiàn)了最終的微博話題檢測算法。通過這種方法可以在話題檢測中引入用戶對話題關(guān)注程度以及參與程度等信