基于主題模型的語音主題提取研究與應用.pdf

1、本文主要研究了語音主題提取的全部過程:主要由語音數(shù)據(jù)的預處理、文本表示、特征提取、參數(shù)估計、模型訓練和主題分類提取組成，以及通過Gibbs-LDA++和libsvm的環(huán)境平臺實現(xiàn)對模型的仿真。語音數(shù)據(jù)的預處理主要包括對語音的轉(zhuǎn)換、分詞、去除停用詞和詞頻統(tǒng)計。利用語音轉(zhuǎn)換得到文本數(shù)據(jù)，再利用中科院計算所的漢語詞法分析系統(tǒng)ICTCLAS對文本數(shù)據(jù)進行分詞和去除停用詞，以減少無用詞的干擾，降低數(shù)據(jù)量;對進行了分詞和去除停用詞的數(shù)據(jù)再做詞頻統(tǒng)計

2、，方便后面的處理，以及給詞賦予權重。文本表示和特征的提取是計算機能夠有效處理數(shù)據(jù)與提取性能好壞有著直接的聯(lián)系。文本的表示我們利用的是向量空間模型，它是自然語言處理常用的模型，有著可靠的理論支持。特征提取是通過改進的x2統(tǒng)計量的方法來選取的，它主要是利用了特征項與類別間的關系來決定，避免了重要信息的丟失。在特征提取完后，我們需要在這些特征集上進行參數(shù)估計和模型的訓練。參數(shù)估計是為了給建立LDA模型提供必要的三個參數(shù)φ、β和T。φ和β在LD

3、A中不能直接的獲得，只能通過一些近似算法得到，在這里我們采用了MCMC中的Gibbs采樣來獲取。T是主題數(shù)的大小值，需要我們?nèi)藶樵O定，但是取多大的值才是最優(yōu)的呢。我們通過優(yōu)化DBSCAN算法，利用樣本密度來判斷主題與主題之間的相互關系來選取最優(yōu)主題數(shù)，實現(xiàn)了性能的提高，減少了迭代次數(shù)。參數(shù)獲取完后，就需要進行LDA模型的訓練，讓模型生成一個隱藏主題-文本矩陣，為后面的分類提取算法支持向量機提供支持，構(gòu)造出分類器。最后通過在Gibbs-L