基于支持向量機的主動學(xué)習(xí)方法研究.pdf

1、支持向量機(Support Vector Machine，SVM)是一種性能優(yōu)良的學(xué)習(xí)器，作為一種有監(jiān)督的機器學(xué)習(xí)方法，為了獲得較好的泛化能力，在訓(xùn)練SVM前，必須有足夠多的帶標記樣本來建立訓(xùn)練集，但在一些實際應(yīng)用中如垃圾郵件過濾、醫(yī)學(xué)圖像檢測等，往往很難獲取到足夠多的帶標記樣本。主動學(xué)習(xí)(Active Learning)是一種完全利用未標記樣本進行學(xué)習(xí)的方法，通過迭代將未標記樣本中最有價值的部分樣本交由專家標記，并由此獲得訓(xùn)練集。將其

2、與SVM結(jié)合后，能很好的解決上述問題。本文以SVM為基準學(xué)習(xí)器，采用主動學(xué)習(xí)方法，針對不同維度的數(shù)據(jù)提出了相應(yīng)的SVM主動學(xué)習(xí)算法。本文的研究內(nèi)容總結(jié)如下。
　　(1)針對低維數(shù)據(jù)提出基于距離的SVM主動學(xué)習(xí)策略，稱為Dix_SVMactive。此算法主要通過計算未標記樣本與當前超平面的距離、與前幾次迭代中獲取的已標記樣本的距離，來度量樣本的價值，進而判定此未標記樣例是否需要交由專家標注。
　　(2)針對高維數(shù)據(jù)提出基于向量

3、余弦的SVM主動學(xué)習(xí)策略，稱為Cos_SVMactive。此算法主要通過計算當前分類間隔內(nèi)的未標記樣本與當前的已標記樣本夾角的余弦值，來度量高維樣本的價值，從而決定此樣本是否需要交由專家標注。
　　(3) Dix_SVMactive和Cos_SVMactive都是先利用聚類算法對給定的未標記樣本集進行?；?，選取與各類的類中心相關(guān)度最大的樣本初始化訓(xùn)練集，并訓(xùn)練得到初始分類器。然后通過兩種方法定義的樣本置信度度量來挑選最有價值樣本進

4、行人工標注，并在每次迭代中對訓(xùn)練集的平衡度進行調(diào)整，以獲得更好的泛化能力。另外，Cos_SVMactive算法中還采用了新的迭代停止條件。
　　(4)在多個UCI標準數(shù)據(jù)集上分別對上述兩個算法進行了一系列實驗。實驗結(jié)果表明，與基于隨機選樣(Random Sample)的SVMactive和傳統(tǒng)SVMactive(TongSVMactive)方法相比，Dix_SVMactive可以提高算法的分類精度;Cos_SVMactive不僅具