支持向量機(jī)超參數(shù)調(diào)節(jié)方法的研究及其在人臉識(shí)別中的應(yīng)用.pdf

1、支持向量機(jī)(Support Vector Machine，SVM)是模式識(shí)別領(lǐng)域廣泛使用的強(qiáng)有力的分類(lèi)工具。SVM的特點(diǎn)主要是通過(guò)引入核函數(shù)將原始空間中的訓(xùn)練數(shù)據(jù)轉(zhuǎn)換到相應(yīng)的Hilbert特征空間，使輸入空間線性不可分的問(wèn)題變成普通的線性可分的問(wèn)題，其中核函數(shù)(包括核參數(shù))起著非常重要的作用。核函數(shù)(包括核參數(shù))的不同意味著獲得的Hilbert特征空間不同，SVM超參數(shù)(包括核參數(shù)和懲罰參數(shù))的選擇直接影響著SVM的泛化性能，因此而得到

2、的最優(yōu)分類(lèi)面及分類(lèi)結(jié)果也不同。但是SVM超參數(shù)選擇由于缺乏有效的理論分析，致使該問(wèn)題成為模式識(shí)別、機(jī)器學(xué)習(xí)領(lǐng)域長(zhǎng)期存在的難題。
　　 SVM作為分類(lèi)工具已成功應(yīng)用于人臉識(shí)別，但目前人臉識(shí)別研究普遍受到不同姿態(tài)、光照等環(huán)境變化因素的制約。研究表明，具有最佳超參數(shù)的SVM模型可以在一定程度上抑制人臉因環(huán)境變化帶來(lái)的影響。而SVM最佳超參數(shù)選擇在實(shí)際問(wèn)題中的應(yīng)用所遭遇的主要困難是SVM超參數(shù)選擇的效率問(wèn)題。尤其在解決諸如人臉識(shí)別這類(lèi)具

3、有稀疏、超高維特征的分類(lèi)問(wèn)題時(shí)就顯得更加突出。為此，本文對(duì)SVM超參數(shù)調(diào)節(jié)方法進(jìn)行了研究，提出了適用于人臉識(shí)別的SVM超參數(shù)優(yōu)化算法，得到了較好的實(shí)驗(yàn)結(jié)果。
　　 本文的主要工作是基于均勻設(shè)計(jì)(Uniform Design，UD)的基本原理，提出用于解決人臉識(shí)別問(wèn)題的SVM超參數(shù)調(diào)節(jié)方法。該方法的核心是用UD代替?zhèn)鹘y(tǒng)的網(wǎng)格(Grid)和梯度下降(Gradient Descent)方法，挑選充分均衡分散在整個(gè)試驗(yàn)范圍內(nèi)且能得到滿(mǎn)意

4、實(shí)驗(yàn)結(jié)果的特征點(diǎn)，通過(guò)最小化k折交叉驗(yàn)證誤差界或留一法(Leave One Out，LOO)誤差界獲取SVM最佳超參數(shù)。
　　 本文在研究中發(fā)現(xiàn)，雖然基于UD的SVM超參數(shù)調(diào)節(jié)能有效地降低計(jì)算復(fù)雜度，但由于該方法采用單目標(biāo)作為評(píng)價(jià)標(biāo)準(zhǔn)，在解決人臉識(shí)別這一實(shí)際問(wèn)題時(shí)，SVM的泛化性能還有待改善。因此，本文進(jìn)一步提出了多目標(biāo)均勻設(shè)計(jì)(Multi-Objective Uniform Design，MOUD)優(yōu)化算法。MOUD方法以靈敏

5、度和精確度作為多目標(biāo)優(yōu)化算法的目標(biāo)函數(shù)，并以此代替?zhèn)鹘y(tǒng)的單目標(biāo)作為SVM超參數(shù)調(diào)節(jié)的評(píng)價(jià)標(biāo)準(zhǔn)，該方法結(jié)合UD方法搜索整個(gè)試驗(yàn)范圍內(nèi)均勻散布的試驗(yàn)點(diǎn)，這樣不僅能有效地降低計(jì)算復(fù)雜度，還能在一定程度上保證SVM的泛化能力。本文在UCI模擬數(shù)據(jù)集和人臉圖像庫(kù)上進(jìn)行了驗(yàn)證實(shí)驗(yàn)。結(jié)果表明：本文提出的MOUD方法與傳統(tǒng)的SVM超參數(shù)調(diào)節(jié)方法相比，能大大降低超參數(shù)調(diào)節(jié)的時(shí)間且能在一定程度上提高人臉?lè)诸?lèi)識(shí)別率。這使SVM超參數(shù)調(diào)節(jié)方法在解決高維人臉真實(shí)