結(jié)合稀疏學(xué)習(xí)和超圖的低秩屬性選擇算法.pdf

1、數(shù)據(jù)挖掘是指從大量復(fù)雜數(shù)據(jù)中尋找和提取有用規(guī)律，形成有用模式，得到價值的過程。隨著現(xiàn)代科技水平的發(fā)展，尤其是近年大數(shù)據(jù)概念的提出，我們正進入一個數(shù)據(jù)資源極其豐富的時代，數(shù)據(jù)挖掘技術(shù)正得到越來越多的重視，在工業(yè)發(fā)展，醫(yī)療衛(wèi)生，信息產(chǎn)業(yè)等諸多領(lǐng)域發(fā)揮著重要的作用。
　　隨著數(shù)據(jù)維度的增加，隨之給數(shù)據(jù)挖掘任務(wù)帶來更多挑戰(zhàn)，例如屬性之間的冗余，增加了數(shù)據(jù)的存儲空間。一般高維數(shù)據(jù)不宜在實際應(yīng)用中直接使用，而且對高維數(shù)據(jù)進行處理會大大增加數(shù)據(jù)

2、處理的時間和空間復(fù)雜度。因此，如何有效地并且高效地利用高維數(shù)據(jù)在數(shù)據(jù)的預(yù)處理過程中是一個重大的挑戰(zhàn)。高維數(shù)據(jù)并不是毫無結(jié)構(gòu)的，對高維數(shù)據(jù)進行屬性約簡可以縮小數(shù)據(jù)維度。屬性選擇方法可以選擇出小部分重要且具有代表性的屬性作為新的屬性集，并且能夠維持原高維數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)甚至可以提高分類效果，因而成為機器學(xué)習(xí)的一個重要領(lǐng)域。常見的屬性約簡的方法有兩種，即子空間學(xué)習(xí)方法和屬性約簡方法[1,2]。子空間學(xué)習(xí)法是將高維數(shù)據(jù)空間投影到低維數(shù)據(jù)空間，保持

3、了數(shù)據(jù)間的相關(guān)性。屬性選擇方法是通過一種預(yù)設(shè)標準對每個屬性進行打分排序，然后選擇出部分重要且能代表原始特征的子集。屬性選擇方法是一種很重要的技術(shù)，因此它被廣泛地運用于模式識別和機器學(xué)習(xí)等領(lǐng)域。屬性選擇方法最常見的有兩種，分別是稀疏邏輯回歸[3]和t-test檢驗法[4]。最近，有些研究者在屬性選擇算法中使用低秩回歸模型。低秩回歸模型是一種全新的非常有意義的子空間聚類方法，并廣泛應(yīng)用到機器學(xué)習(xí)和計算機視覺等領(lǐng)域并取得了比較滿意的效果。但低

4、秩回歸方法直接地運用在實際應(yīng)用中易出現(xiàn)以下問題:首先，當輸入的數(shù)據(jù)的屬性個數(shù)非常大時，傳統(tǒng)的回歸模型表現(xiàn)出很低的性能;其次，一般線性回歸模型在不同的響應(yīng)之間不會考慮其相關(guān)性，其典型的代表是最小二乘回歸，此方法只是對每個預(yù)測的數(shù)據(jù)分別產(chǎn)生一個響應(yīng)。
　　因此，本文針對原始數(shù)據(jù)具有缺失值的樣本、異常樣本、噪聲樣本和高維等問題，提出了一種利用稀疏學(xué)習(xí)、超圖和低秩的屬性選擇算法，即結(jié)合稀疏學(xué)習(xí)和超圖的低秩屬性選擇算法。
　　本文首先

5、在線性回歸模型框架中直接地運用低秩屬性選擇模型，低秩屬性選擇模型結(jié)合了兩種方法:低秩表示方法和稀疏表示方法;接著為了使得模型選擇出來的屬性能夠更好地保留數(shù)據(jù)的局部信息，在模型中嵌入一個基于超圖的拉普拉斯矩陣，用于保持各屬性之間的更深層次的關(guān)系;同時為了讓模型選擇出來的屬性更具有代表性，在模型中恰當?shù)厍度虢?jīng)典子空間學(xué)習(xí)方法——LDA算法，以用于對低秩屬性模型選擇的結(jié)果進行微調(diào);最后，提出一種新的算法優(yōu)化方法，即對目標函數(shù)按順序執(zhí)行低秩屬性