基于特征、先驗和約束的主題建模算法.pdf

1、潛在狄利克雷分配(Latent Dirichlet Allocation,LDA)是一種用來分析大規(guī)模文檔的概率主題模型,它從文檔的單詞表示中抽取出語義相關(guān)的主題集合,將文檔從單詞空間變換到主題空間,得到文檔在低維主題空間中的表達。然而LDA的使用者往往會遇到兩個問題:一是公用詞和停用詞幾乎占據(jù)了所有的主題,LDA的主題分布向高頻詞傾斜,能夠代表主題的關(guān)鍵詞被少量的高頻詞掩蓋,從而導(dǎo)致較差的主題可解釋性;二是如何改善基于主題特征的低維空

2、間表示,以提高檢索、聚類和分類準確率。針對這兩個問題,我們從連續(xù)特征、非對稱先驗和稀疏約束這三個方面對LDA進行分析。
　　LDA使用離散的詞頻特征作為輸入,假設(shè)語料庫中單詞的重要程度只與詞頻相關(guān)。連續(xù)特征考慮不同位置單詞的區(qū)別,并給予在部分文檔中出現(xiàn)頻率高而在語料庫的其它文檔中出現(xiàn)頻率低的單詞一個較高的值,而給予在整個語料庫所有文檔中出現(xiàn)頻率都很高的單詞一個較低的值。停用詞和公用詞的特征值得到降低,使得主題分布中這些詞的概率值變

3、小,得到連貫的主題表示。因為公用詞對LDA參數(shù)推理和估計也有一部分貢獻,所以連續(xù)特征對改善主題空間低維表示的效果并不是十分顯著。
　　LDA的先驗通常啟發(fā)性地設(shè)定為對稱的固定值,然而,利用每次迭代得到的主題信息去估計先驗將會更加接近于真實值。對稱先驗使公用詞和停用詞以相同的可能性分配給所有的主題,而非對稱先驗會使停用詞以較大的可能性分配給有較高先驗的主題,讓停用詞集中出現(xiàn)在少數(shù)幾個主題中。在模型的訓(xùn)練過程中,通過對先驗的學(xué)習(xí),提高

4、了模型的后驗概率,使主題特征的低維空間表示更加精確。
　　通常越稀疏的信息就能越清晰的反映出它所表示的意義,停用詞和公用詞往往出現(xiàn)在多個主題中,它們的主題表示有較低的稀疏度,而一些反映主題意義的關(guān)鍵詞的主題表示則有較高的稀疏度。在模型參數(shù)估計和推理的過程中增加稀疏限定,去鼓勵那些有較高主題稀疏度的單詞,懲罰有較低主題稀疏度的單詞。從而解決LDA中停用詞和公用詞的問題,并改善主題特征的低維空間表示。
　　本文在LDA模型的基礎(chǔ)