基于隱馬爾可夫模型的時(shí)間序列聚類的研究.pdf

1、隱馬爾可夫模型（Hidden Markov Model，HMM）是一種概率模型，它假定觀測(cè)序列是由包含若干隱狀態(tài)的馬爾可夫過(guò)程產(chǎn)生的。HMM在語(yǔ)音、手寫體、運(yùn)動(dòng)軌跡識(shí)別和生物信息學(xué)等領(lǐng)域有著廣泛的應(yīng)用?；谠撃Ｐ偷臅r(shí)間序列數(shù)據(jù)聚類算法有兩個(gè)顯著的優(yōu)點(diǎn)：1）適用于不等序列長(zhǎng)度甚至缺失某一時(shí)刻觀測(cè)值的時(shí)間序列。2）能夠利用時(shí)間序列隱含的屬性（馬爾可夫性）來(lái)提高聚類精度。近年來(lái)，基于HMM的聚類算法的研究大部分是基于實(shí)際應(yīng)用，而對(duì)其準(zhǔn)確性和健

2、壯性的研究較有限。本文提出一種基于概率模型的聚類算法——通過(guò)計(jì)算時(shí)間序列在不同HMM參數(shù)下的后驗(yàn)概率分布的Kullback-Leibler Divergence（KLD）來(lái)構(gòu)建相似度矩陣，并將該矩陣用作譜聚類算法的輸入。
　　與大部分現(xiàn)有的基于HMM的聚類算法不同，本文采用KLD來(lái)度量時(shí)間序列對(duì)之間的相似度。KLD作用于整個(gè)模型參數(shù)空間，更充分地利用了概率模型中的信息。在人工和實(shí)際數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該算法在同等條件下相比基于

3、其他距離度量（如互匹配值）的算法具有更高的聚類精度。另一方面，譜聚類算法通過(guò)特征向量分解能有效去除時(shí)間序列數(shù)據(jù)中噪聲的影響，該算法相比傳統(tǒng)聚類算法（如K-Means）,在加入內(nèi)源性噪聲和外源性噪聲的人工數(shù)據(jù)上表現(xiàn)出更好的健壯性。本文的主要貢獻(xiàn)包括：
　?。?）研究了距離度量函數(shù)以及特征向量分解對(duì)聚類精度的影響。以往基于HMM的算法大部分采用互匹配值、BP距離等來(lái)度量時(shí)間序列間的距離，這些度量函數(shù)雖然具有一定的合理性，但是它們只利用

4、了特定時(shí)間序列對(duì)之間的概率信息，而沒(méi)有考慮全局概率空間。這種度量的局部性會(huì)導(dǎo)致最終聚類準(zhǔn)確度的降低。另外，當(dāng)附加在時(shí)間序列數(shù)據(jù)上的噪聲等級(jí)上升時(shí)，傳統(tǒng)的聚類算法，如K-Means、層次聚類等的準(zhǔn)確性將明顯下降。本文通過(guò)引入KLD和譜聚類有效解決了上述兩個(gè)問(wèn)題。
　　（2）研究了隱狀態(tài)數(shù)對(duì)聚類精度的影響。在HMM的應(yīng)用中，隱狀態(tài)數(shù)通常是預(yù)先設(shè)定的。雖然對(duì)于某些馬爾可夫過(guò)程，隱狀態(tài)有明確的意義（如語(yǔ)音識(shí)別中通常認(rèn)為隱狀態(tài)表示音節(jié)），但

5、是對(duì)于更多的時(shí)間序列數(shù)據(jù)，很難賦予隱狀態(tài)物理意義。本文對(duì)不同隱狀態(tài)數(shù)目下的聚類精度做了研究，發(fā)現(xiàn)聚類精度隨隱狀態(tài)數(shù)不單調(diào)地變化，當(dāng)模型過(guò)度擬合時(shí)，聚類精度反而會(huì)下降。并且，模型的訓(xùn)練時(shí)間將隨隱狀態(tài)數(shù)的增加而平方級(jí)增加。
　?。?）研究了學(xué)習(xí)聚類數(shù)目的方法。通常聚類的類別數(shù)是預(yù)先設(shè)定的。但是在實(shí)際應(yīng)用中，數(shù)據(jù)集的類別數(shù)往往無(wú)法預(yù)知，這就需要一種衡量聚類質(zhì)量的標(biāo)準(zhǔn)來(lái)選出最優(yōu)聚類數(shù)。本文采用α值來(lái)衡量聚類質(zhì)量，這種度量不僅能使類內(nèi)相似度