一種短文本主題建模方法.pdf

1、隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的快速發(fā)展，主題模型作為近些年來(lái)在文本挖掘中出現(xiàn)的一種概率模型逐漸成為了國(guó)內(nèi)外的研究熱點(diǎn)，其應(yīng)用幾乎覆蓋了文本挖掘和信息處理的所有領(lǐng)域。
　　 短文本可分為一般短文和以論文標(biāo)題、新聞標(biāo)題為代表的關(guān)鍵詞短文兩種形式，在一篇關(guān)鍵詞短文中，每個(gè)單詞都具有相同的權(quán)重，故而單詞在文本中的出現(xiàn)頻率并不重要，針對(duì)這一特性，本文提出了關(guān)鍵詞短文本數(shù)據(jù)集中的單詞相似度計(jì)算方法，并將單詞相似度與PLSA主題模型相結(jié)合，進(jìn)而提出了Sim

2、ilarity-based PLSA主題模型，簡(jiǎn)稱SPLSA，該模型引入了兩項(xiàng)可以顯著提高建模質(zhì)量和性能的措施：1)首先基于單詞相似度提出主題純度這一概念，用以衡量建模結(jié)果中每個(gè)主題特征明顯的程度，并依據(jù)主題純度對(duì)原始主題集合進(jìn)行篩選，從而得到高質(zhì)量的建模結(jié)果；2)引入單詞權(quán)威值用以衡量一個(gè)單詞能夠代表一個(gè)主題的能力，并據(jù)此對(duì)概率矩陣進(jìn)行初始化，從而使得初始化后的每個(gè)主題即具備一定主題特征，并且主題之間不會(huì)出現(xiàn)特征交叉，同時(shí)還可以使用更