基于t-混合模型和擴展保局投影的聚類與降維方法研究.pdf

1、模式識別作為一門多領域交叉的學科，在近幾十年得到了蓬勃發(fā)展。它不僅得到了眾多科研人員的熱情研究，而且受到了各級政府和組織的重視。世界上許多國家和地區(qū)的國防、公共安全部門以及工業(yè)界都積極投資模式識別技術的研究。其發(fā)展將對科技進步、國防、公共安全、工業(yè)制造、人民生活等水平產生深遠影響。 本文以統(tǒng)計理論和圖譜方法為基礎，重點研究模式識別中的聚類和降維這兩方面的內容：(i)在聚類中，結合圖像分割，對有限混合模型的參數(shù)估計方法進行了較為深

2、入的研究；(ii)在降維中，結合圖像識別，研究了保局投影及其二維和線性混合的擴展。本文研究的主要內容及創(chuàng)新如下： 研究多元t-密度的有限混合模型的參數(shù)估計方法，構建了多元t-混合模型的SMEM算法。t-密度尾部較重，抗噪性能好，是替代高斯密度的標準選擇。EM算法是求解混合密度的參數(shù)估計的常用算法。而常規(guī)的EM算法經常收斂到局部最優(yōu)而非全局最優(yōu)。我們采用了把分量進行分裂合并，使參數(shù)跳出局部最優(yōu)來尋找全局最優(yōu)的思想，構建了多元t-混

3、合模型的SMEM算法，并且提出了一個基于樣本均值和方差的分裂合并準則。實驗驗證了我們的算法性能良好。 根據局部Kullback散度，構建了多元t-混合模型的貪婪EM算法的框架。從一個混合分量開始，逐個地分裂擬合最差的分量并用EM算法修正各分量的參數(shù)。相對于SMEM算法，貪婪EM算法具有它的優(yōu)勢：易于參數(shù)初始化、速度快且性能相當、產生的混合模型序列便于模型選擇。實驗驗證了貪婪EM算法的速度快且性能和SMEM算法相當。 研究

4、保局投影(LPP)及其低樣本量時的解法，提出LPP/QR算法。LPP能夠保持數(shù)據的局部信息且能發(fā)現(xiàn)數(shù)據流形的內在結構。但對小樣本情形，矩陣存在奇異性，LPP無法直接使用。我們提出基于QR分解的保局投影(LPP/QR)算法。此算法對于出現(xiàn)樣本不足情形時，在計算上尤其有效。我們推導了LPP/QR算法理論上的合理性，證明了LPP/QR算法和廣義LPP之間的等價性，并且指出了前者更為有效。實驗顯示了LPP/QR算法在小樣本情形下的優(yōu)勢。

5、 直接利用圖像矩陣進行運算，提出二維保局投影(2D-LPP)算法。在對圖像數(shù)據進行降維時，LPP需要預先把圖像拉直成向量，而本算法直接在圖像的二維矩陣上運算。既避免了矩陣奇異性，又加快了計算速度。通過一些數(shù)學推導，我們得出了2D-LPP和另兩個二維方法(2D-PCA與2D-LDA)之間的密切聯(lián)系。實驗顯示了2D-LPP具有較高的識別能力，且比LPP的運算速度快。2D-LPP+PCA算法進一步降低特征的維數(shù)，試驗顯示了在降低的特征維數(shù)相同

6、的情況下，2D-LPP+PCA算法識別率高。 同步對圖像矩陣的行和列進行降維，提出雙向二維保局投影(B2DLPP)算法。B2DLPP同步壓縮圖像的行和列，并保持原圖像間的局部近鄰關系。用于表示和識別圖像所需要的系數(shù)個數(shù)得到大大減少。我們通過迭代計算的方法求出左右投影矩陣，并且證明了迭代算法的收斂性。實驗顯示了迭代收斂快。所取得的識別率與2D-LPP相當，但所需的系數(shù)個數(shù)減少很多。 提出保局投影混合模型(LPP混合)算法。