基于局部和非局部規(guī)則化的半監(jiān)督深度學(xué)習(xí).pdf

1、隨著深度學(xué)習(xí)模型在多領(lǐng)域的成功應(yīng)用，基于規(guī)則化的深度神經(jīng)網(wǎng)絡(luò)得到了迅猛發(fā)展，即在深度學(xué)習(xí)模型最終優(yōu)化的目標(biāo)函數(shù)（損失函數(shù)）中加入了一些規(guī)則化項(xiàng)，使得最終訓(xùn)練得到的特征更有益于后續(xù)的應(yīng)用。但就分類(lèi)任務(wù)而言，當(dāng)前規(guī)則化方法的性能面臨著嚴(yán)重的挑戰(zhàn)。
　　針對(duì)上述問(wèn)題，本論文就分類(lèi)任務(wù)，設(shè)計(jì)了一種新穎的規(guī)則化方法，它整合了標(biāo)記樣本和無(wú)標(biāo)記樣本中的局部和非局部約束信息，通過(guò)利用這些信息來(lái)提取那些能夠有效保留原始樣本空間中的類(lèi)別可分性的抽象特

2、征。對(duì)于標(biāo)記樣本，利用類(lèi)標(biāo)簽來(lái)定義局部和非局部的信息，然后通過(guò)最小化類(lèi)內(nèi)緊密性（局部性）和最大化類(lèi)間可分性（非局部性）來(lái)獲得拓?fù)湟?guī)則化項(xiàng)。對(duì)于無(wú)標(biāo)記樣本，使用一個(gè)樣本到其他樣本的平均距離作為閾值來(lái)判定它的鄰居和非鄰居樣本，然后這個(gè)拓?fù)湟?guī)則化項(xiàng)就是同時(shí)最大化非局部散度和最小化局部散度。通過(guò)整合標(biāo)記樣本和無(wú)標(biāo)記樣本的局部和非局部拓?fù)湟?guī)則化項(xiàng)，判別規(guī)則化項(xiàng)能夠提取那些更適合分類(lèi)的特征。
　　綜上所述，本文提出的基于局部和非局部規(guī)則化的半