非負(fù)矩陣與張量分解及其應(yīng)用.pdf

1、矩陣的低秩逼近是一種大規(guī)模矩陣低秩近似表示技術(shù)，是從大規(guī)模、復(fù)雜的數(shù)據(jù)中尋求數(shù)據(jù)潛在信息的一種強(qiáng)有力方法。非負(fù)矩陣分解（Nonnegative Matrix Factorization, NMF)）是矩陣的低秩逼近方法之一，它是指被分解的矩陣和分解結(jié)果矩陣的數(shù)值都是非負(fù)的。由于該方法符合數(shù)據(jù)的真實(shí)物理屬性，數(shù)據(jù)的可解釋性強(qiáng)，分解結(jié)果能夠表示事物的局部特征，且模型符合人們對(duì)于客觀世界的認(rèn)識(shí)規(guī)律（整體是由局部組成的）等優(yōu)點(diǎn)，模型和算法自提出

2、以來(lái)得到了廣泛研究和應(yīng)用，已經(jīng)被成功地應(yīng)用到許多領(lǐng)域。當(dāng)模型數(shù)據(jù)的指標(biāo)集多于兩個(gè)時(shí)，模型數(shù)據(jù)就可以表示成張量的形式，因此張量可以看成是向量和矩陣在高維空間的推廣。對(duì)于張量代數(shù)理論及其應(yīng)用的研究也是近來(lái)研究的一個(gè)熱點(diǎn)。非負(fù)矩陣分解與張量分解理論與應(yīng)用方面的研究雖然取得了很多成果，但仍然有一些問(wèn)題需要進(jìn)一步解決，如尋找好的非負(fù)矩陣分解算法，在線數(shù)據(jù)模型如何應(yīng)用非負(fù)矩陣分解，非負(fù)矩陣分解在具體問(wèn)題中的進(jìn)一步應(yīng)用等。另外，大規(guī)模的非負(fù)性約束給所

3、有分解算法帶來(lái)了求解的困難，影響了非負(fù)矩陣分解模型的應(yīng)用效率，如果取消一部分非負(fù)性約束會(huì)提高算法的效率，但得到的特征子空間會(huì)如何變化？這也是一個(gè)前人沒(méi)有進(jìn)行研究的工作，圍繞非負(fù)矩陣與張量分解及其應(yīng)用的研究，本文從幾個(gè)方面對(duì)于非負(fù)矩陣與張量分解進(jìn)行了以下研究工作：
　　1．給出了基于輪換極小化原則的一個(gè)非負(fù)矩陣分解二次規(guī)劃模型算法。借助于內(nèi)點(diǎn)罰函數(shù)，把子問(wèn)題的求解轉(zhuǎn)化為一個(gè)無(wú)約束的二次規(guī)劃問(wèn)題模型來(lái)求解，再把二次規(guī)劃模型求解歸結(jié)到一

4、個(gè)線性方程組的求解，在求解過(guò)程中引入了一個(gè)降維策略，在一定程度上降低了問(wèn)題的求解規(guī)模，并給出了算法的收斂性證明，數(shù)值試驗(yàn)表明算法能夠提取到局部特征且得到的非負(fù)矩陣分解算法具有好的收斂性。
　　2．研究了基于非負(fù)矩陣分解的一個(gè)局部圖像識(shí)別策略和算法，利用非負(fù)矩陣分解算法提取到的殘缺測(cè)試圖像的局部特征進(jìn)行有效識(shí)別，論文主要研究了殘缺區(qū)域?yàn)橐阎闆r下的局部圖像識(shí)別問(wèn)題，并給出相應(yīng)的數(shù)值試驗(yàn)。
　　3．對(duì)于訓(xùn)練集圖像數(shù)據(jù)有缺失的識(shí)別

5、問(wèn)題進(jìn)行了研究。本文首先對(duì)圖像數(shù)據(jù)缺失模式進(jìn)行了分類(lèi)，劃分了數(shù)據(jù)缺失模式的三種類(lèi)型，給出了三種數(shù)據(jù)缺失模式下利用非負(fù)矩陣分解算法來(lái)提取局部特征的模型，分析了三種模型的特點(diǎn)和計(jì)算量，通過(guò)數(shù)值試驗(yàn)對(duì)三種模型提取局部特征能力的進(jìn)行了比較比較，指出了各種模型的適用于不同實(shí)際問(wèn)題時(shí)的優(yōu)缺點(diǎn)。
　　4．在利用特征子空間進(jìn)行線人臉識(shí)別問(wèn)題中，當(dāng)增加或者減少訓(xùn)練樣本時(shí)，相應(yīng)地特征子空間就要發(fā)生改變，由于人臉圖像數(shù)據(jù)規(guī)模較大，如果對(duì)新的訓(xùn)練樣本重新

6、進(jìn)行特征提取則浪費(fèi)已有的計(jì)算結(jié)果和計(jì)算資源。本文給出了一個(gè)處理在線人臉識(shí)別的算法，對(duì)于訓(xùn)練集增量和減量的情況推導(dǎo)了基于非負(fù)矩陣分解的在線迭代公式，數(shù)值試驗(yàn)表明，該算法可以節(jié)約一定的計(jì)算時(shí)間和計(jì)算量，且逼近效果與對(duì)訓(xùn)練集數(shù)據(jù)重新計(jì)算得到的結(jié)果相比較更好。
　　5．在非負(fù)矩陣分解中，編碼矩陣的非負(fù)性約束使得算法求解起來(lái)速度較慢，并且，在實(shí)際問(wèn)題中，由于往往只需要部分分解結(jié)果（基矩陣）是非負(fù)的。如果我們對(duì)于矩陣分解實(shí)行部分非負(fù)約束，不僅

7、可以提高算法的效率，還可以節(jié)省計(jì)算和存儲(chǔ)資源，但這時(shí)相應(yīng)的模型和算法會(huì)有什么變化，提取到的特征子空間有什么變化？還能不能表示局部特征？另外，在非負(fù)矩陣分解中，提取局部特征的能力是和模型有關(guān)系還是和算法有關(guān)系？本文從這些角度進(jìn)行了一定的研究，得到了一些結(jié)論并進(jìn)行了數(shù)值試驗(yàn)驗(yàn)證。
　　6．作為向量和矩陣的推廣，張量相當(dāng)于一個(gè)高維的矩陣。由于張量模型可以處理指標(biāo)集為多維的數(shù)據(jù)，所以在描述實(shí)際問(wèn)題時(shí)相比矩陣模型其更能接近于實(shí)際問(wèn)題的屬性，