融合知識的主題模型研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)信息的爆炸式發(fā)展，網(wǎng)絡(luò)上的資源和數(shù)據(jù)越來越豐富，使得人們理解這些動態(tài)的海量文本變得非常困難。為了應(yīng)對這種挑戰(zhàn)，我們需要從海量文本中抽取出關(guān)鍵概念，以便人們直觀、快速地理解和處理，因此主題模型就應(yīng)運而生。主題模型算法通過對原始文本中詞匯的分析，挖掘隱含其中的主題，這些主題之間的關(guān)系，以及隨時間演變的情況。但是，近年來研究人員發(fā)現(xiàn)，這些沒有融合任何人類知識的無監(jiān)督模型往往會導致生成的主題解釋性不強，也就是說，無法生成語義連貫的主題

2、。并且，這些傳統(tǒng)的主題模型通常需要大量訓練數(shù)據(jù)。為了解決這些問題，本文進行了融合知識的主題模型研究，并對其在微博話題發(fā)現(xiàn)上的應(yīng)用進行了探索:
　　(1)本文設(shè)計了一個融合先驗知識的主題模型PLTM，通過對主題模型中兩個重要概率分布之一——主題-詞分布的改進，從人工提供先驗知識和自動挖掘兩方面擴展了傳統(tǒng)主題模型。并且，針對實際應(yīng)用中的文本往往會以數(shù)據(jù)流形式出現(xiàn)的特點，對PLTM模型進行了在線擴展，并設(shè)計了兩種在線方法。
　　(

3、2)在微博熱點話題發(fā)現(xiàn)的任務(wù)中，設(shè)計了增量PLTM模型與兩層k-均值聚類和層次聚類的混合聚類結(jié)合的方法。本文針對微博語料的特點，采取了較為細致的文本預處理方法，將模型關(guān)注的數(shù)據(jù)對象規(guī)模大大減小，并且減少了數(shù)據(jù)噪音的干擾。與此同時，利用融合知識的主題模型方法，有效地解決了微博短文本數(shù)據(jù)稀疏性的問題;使用兩層k-均值和層次聚類的混合聚類算法，可以快速地將微博聚集到相應(yīng)的話題下。
　　(3)針對上述兩部分的研究工作，本文分別在亞馬遜評論