面向降維的圖學習研究及應用.pdf

1、機器學習是人工智能的核心研究領域之一。機器學習中大量算法與圖密切相關，如譜聚類，半監(jiān)督學習與降維技術等，其中圖通常用于刻畫數據間的相似性關系。在該類算法中，圖構建的好壞對算法的性能有著重要影響。因而如何構建一個高質量的圖成為近年來機器學習領域的一個研究熱點。本文提出了一種新的構圖思想，并針對降維技術對其進行了系統(tǒng)研究，主要工作如下：
　　 (1)同時降維與圖學習的思想。傳統(tǒng)的圖構建方法往往獨立于學習任務，即先構圖，再將其應用于后

2、續(xù)的學習任務(如降維)。這樣一旦構建了一個“壞”的圖，且在學習任務中固定不變，勢必會嚴重影響算法的性能。本文針對降維問題，提出了同時降維與圖學習的思想，嘗試將圖作為優(yōu)化變量在降維過程中完成學習。然后，提出了四種降維算法(2)-(5)對該思想進行了具體實現。
　　 (2)熵正則化的同時降維與圖學習?；诰植勘３滞队癓PP，通過對圖施加熵正則化約束提出了圖優(yōu)化的局部保持投影GoLPP算法，導出了一個帶有熱核權的圖更新公式。GoLPP

3、有效減輕了原始LPP算法對k近鄰(建圖)準則的嚴重依賴性，并且實驗驗證了如此優(yōu)化的圖往往有利于后續(xù)分類性能的提高。
　　 (3)半監(jiān)督的同時降維與圖學習。由于GoLPP中強的約束導致其無法(像傳統(tǒng)半監(jiān)督算法那樣)自然地嵌入監(jiān)督信息，因而，我們首先通過松弛約束改進了GoLPP，然后在圖的優(yōu)化過程中嵌入逐對約束的監(jiān)督信息，得到了具有概率含義的半監(jiān)督邊權更新公式。與其它半監(jiān)督算法相比，實驗驗證了其有效性。
　　 (4)預定義圖

4、約束的同時降維與圖學習。GoLPP的圖更新公式僅依賴于投影空間的信息，然而我們通過實驗證明投影空間的信息未必總是可靠。為避免圖在優(yōu)化時跟隨投影方向自由變動，本文試圖在圖的優(yōu)化過程中對圖施加一定的約束，將其限制在預定義圖S0附近。這樣得到的圖更新公式是原始空間中預指定圖S0與投影空間中新建圖(帶有負歐氏距離權)的加權和，既結合了原始數據信息，又利用了不同投影數據的信息。實驗驗證了該模型具有更強的適應性。
　　 (5)稀疏約束的同時

5、降維與圖學習。GoLPP中對圖施加了最大熵原則，導致其喪失了傳統(tǒng)圖(如k近鄰圖)中的稀疏性。本文將稀疏表示建圖與尋求投影方向(保持這樣的圖)同時進行，提出了稀疏約束的同時降維與圖學習算法，為稀疏保持投影SPP與GoLPP之間提供了一種自然聯(lián)系。在某些數據集上實驗驗證了所提算法較GoLPP及SPP具有更好的性能。
　　 (6)同時降維與圖學習的正則化框架。將上述算法統(tǒng)一起來，根據不同先驗，動機或假設施加不同的正則化項，從而得到不同