基于局部學(xué)習(xí)的半監(jiān)督分類問題研究.pdf

1、傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)需要使用大量有標(biāo)記樣本進(jìn)行訓(xùn)練，但是在很多實(shí)際應(yīng)用中，獲取大量的有標(biāo)記樣本相當(dāng)困難，因?yàn)闃?biāo)記樣本往往需要耗費(fèi)大量的人力物力以及時(shí)間，甚至必須依賴于少數(shù)領(lǐng)域?qū)＜液椭R(shí)工程師來完成，而獲取大量未標(biāo)記樣本則相對(duì)容易得多.所以只需標(biāo)注少量樣本的半監(jiān)督學(xué)習(xí)方法在模式識(shí)別和機(jī)器學(xué)習(xí)領(lǐng)域引起了極大的關(guān)注，并在文本分類、圖像識(shí)別、生物信息學(xué)等諸多領(lǐng)域取得了良好的應(yīng)用效果。
　　 半監(jiān)督多類分類問題和半監(jiān)督多標(biāo)記分類問題是半監(jiān)督

2、二類分類問題的實(shí)質(zhì)性推廣，由于它們更貼近實(shí)際問題，成為當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn).解決這兩類問題的方法常常是將它們分解成一組半監(jiān)督二類分類問題，而這會(huì)產(chǎn)生許多新問題，如半監(jiān)督多類分類問題中會(huì)出現(xiàn)數(shù)據(jù)的不平衡問題，半監(jiān)督多標(biāo)記分類問題中未考慮類別之間的相關(guān)性，并且隨著標(biāo)記數(shù)目的增加分解出來的子問題的數(shù)目呈指數(shù)增長(zhǎng)難以處理等.本文針對(duì)半監(jiān)督多類分類問題和半監(jiān)督多標(biāo)記分類問題，采用基于圖的半監(jiān)督學(xué)習(xí)算法，從最優(yōu)化的角度出發(fā)，根據(jù)“整體法”

3、的研究思路，利用局部學(xué)習(xí)的優(yōu)良特性對(duì)上述兩類問題做了系統(tǒng)深入的研究。具體地說，本文的主要工作包括如下幾個(gè)方面：
　　 1.第一章首先簡(jiǎn)要地介紹了機(jī)器學(xué)習(xí)的研究意義、發(fā)展概況及其理論基礎(chǔ)-統(tǒng)計(jì)學(xué)習(xí)理論的基本知識(shí)；其次對(duì)本文所要研究的機(jī)器學(xué)習(xí)問題中的半監(jiān)督學(xué)習(xí)和局部學(xué)習(xí)的發(fā)展歷史和研究現(xiàn)狀進(jìn)行了綜述；最后介紹了論文的選題動(dòng)機(jī)和組織結(jié)構(gòu)。
　　 2.第二章研究了基于局部學(xué)習(xí)的半監(jiān)督多類分類算法.局部學(xué)習(xí)的內(nèi)涵就是一個(gè)樣本的類別

4、應(yīng)能很好地由其鄰域內(nèi)的樣本估計(jì)，即每一個(gè)樣本的類別實(shí)值與建立在其鄰域樣本集上的局部學(xué)習(xí)模型的輸出值相同或相近.首先，基于局部學(xué)習(xí)在半監(jiān)督二類分類問題中表現(xiàn)出的良好特性，分析和推導(dǎo)了半監(jiān)督二類分類問題中的局部學(xué)習(xí)正則項(xiàng)；其7欠，提出了一種新的單位圓標(biāo)記表示方法；最后，將局部學(xué)習(xí)從半監(jiān)督二類分類問題推廣到了半監(jiān)督多類分類問題中，并用數(shù)值實(shí)驗(yàn)檢驗(yàn)了基于局部學(xué)習(xí)的半監(jiān)督多類分類算法的有效性和高效性。
　　 3.第三章研究了結(jié)合全局學(xué)習(xí)和

5、局部學(xué)習(xí)的半監(jiān)督多類分類算法.首先，針對(duì)多類分類問題中的標(biāo)記本質(zhì)上屬于標(biāo)稱型變量的特性，提出了一種彈性的可學(xué)習(xí)可調(diào)節(jié)的標(biāo)記表示方法；其次，提出了半監(jiān)督多類分類問題的正則化方法，包括全局正則化和局部正則化，并完整地給出了局部正則項(xiàng)在半監(jiān)督多類分類問題中的表達(dá)形式，并提出了兩個(gè)算法：(1)基于局部學(xué)習(xí)和可調(diào)節(jié)標(biāo)記表示方法的半監(jiān)督多類分類算法；(2)結(jié)合全局和局部正則化的半監(jiān)督多類分類算法；最后，通過在標(biāo)準(zhǔn)的二類數(shù)據(jù)集和多類數(shù)據(jù)集上進(jìn)行數(shù)值實(shí)

6、驗(yàn)，實(shí)驗(yàn)結(jié)果證明了兩個(gè)算法的有效性和可行性。
　　 4.第四章研究了基于局部學(xué)習(xí)的半監(jiān)督多標(biāo)記分類算法.首先，通過分析發(fā)現(xiàn)，半監(jiān)督多標(biāo)記分類問題中每一個(gè)樣本輸入xi對(duì)應(yīng)的輸出yi的表示形式，與半監(jiān)督多類分類問題中二進(jìn)制序列標(biāo)記表示方法本質(zhì)上是一致的，因此可將局部學(xué)習(xí)正則項(xiàng)引入到半監(jiān)督多標(biāo)記分類問題中；其次，半監(jiān)督多標(biāo)記分類問題中有關(guān)類與類之間相關(guān)性的研究，正適合用“整體法”的研究方法來解決，這樣，分別從樣本和類別兩個(gè)方面構(gòu)建了兩

7、個(gè)加權(quán)無向圖，分析得到針對(duì)樣本的局部學(xué)習(xí)正則項(xiàng)和針對(duì)類別的全局正則項(xiàng)，從而得到基于局部學(xué)習(xí)的半監(jiān)督多標(biāo)記分類算法；最后，通過求解一個(gè)Sylvester方程得到類別的實(shí)值矩陣解，實(shí)驗(yàn)驗(yàn)證了基于局部學(xué)習(xí)的半監(jiān)督多標(biāo)記分類算法是可行的。
　　 5.第五章利用前面研究的基于局部學(xué)習(xí)思想的半監(jiān)督多類分類算法解決電力變壓器故障診斷問題，建立了電力變壓器故障診斷的層次模型，實(shí)現(xiàn)故障的定性和定位，為半監(jiān)督多類分類算法在新領(lǐng)域的應(yīng)用做了有意義的嘗