基于高斯混合模型的EM算法及其應(yīng)用研究.pdf

1、高斯混合模型（GMM）被廣泛應(yīng)用于模式識(shí)別、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、生物信息學(xué)等不同領(lǐng)域。在這些領(lǐng)域里，它被用來(lái)完成諸如圖像分割、聚類、概率密度函數(shù)的構(gòu)建等任務(wù)。
　　通常，人們用期望最大化（EM）算法求解GMM模型中的參數(shù)。盡管EM是一種非常有效的算法，且能保證收斂。但 EM算法存在兩個(gè)還沒有被完全解決的問(wèn)題：（1）因?yàn)?EM只能保證收斂到局部最優(yōu)點(diǎn)，所以 EM算法對(duì)初始條件非常敏感；（2）用戶需要預(yù)先設(shè)置 GMM中高斯

2、成員的個(gè)數(shù)，而在沒有任何先驗(yàn)信息的情況下，如何設(shè)置高斯成員的個(gè)數(shù)也通常非常棘手。
　　本文主要研究?jī)?nèi)容分為以下兩個(gè)部分：
　　在第一部分中，本文試圖解決EM算法存在的不足。本文首先分析并指出EM算法的初始化敏感問(wèn)題源于它的并行式學(xué)習(xí)策略所帶來(lái)的高斯成員之間的競(jìng)爭(zhēng)關(guān)系對(duì)公平的競(jìng)爭(zhēng)條件的苛刻要求。由此，本文從改善學(xué)習(xí)策略的角度，在 EM算法的前端加入了類似于 EM算法的串行式學(xué)習(xí)過(guò)程，即讓所有高斯成員在參與競(jìng)爭(zhēng)前先避免競(jìng)爭(zhēng)，以減

3、小EM算法對(duì)隨機(jī)初始條件的敏感程度。在串行學(xué)習(xí)階段，所有的高斯成員都試圖找到各自的散點(diǎn)簇，在參與競(jìng)爭(zhēng)前先獲得公平的競(jìng)爭(zhēng)條件；在并行學(xué)習(xí)階段，EM算法對(duì)串行學(xué)習(xí)的結(jié)果進(jìn)行微調(diào)，通過(guò)高斯成員間的競(jìng)爭(zhēng)式學(xué)習(xí)，獲得全局最優(yōu)的競(jìng)爭(zhēng)結(jié)果。此外，用戶也不用提前為設(shè)置高斯成員的個(gè)數(shù)。本文將所求解的GMM模型應(yīng)用于聚類，結(jié)果表明本文的算法大大提升了 EM算法在聚類應(yīng)用上的性能。
　　在第二部分中，本文試圖繼承 EM算法的優(yōu)點(diǎn)，以期獲得一個(gè)更一般的學(xué)