基于極限學習機的多示例算法研究.pdf

1、在許多領域，人們發(fā)現(xiàn)很多問題本質上都有多示例設定的背景，例如新藥發(fā)現(xiàn)，文本分類（信息檢索），圖像分類（機器視覺），語音識別（信號處理）等等。多示例問題的成為機器學習領域研究的一個重要問題，在過去的幾年，有很多方法被研究出來解決多示例問題。但是多示例問題面臨的樣本多，大多數學習算法訓練速度慢，限制了他們在實際中的應用。
　　本文分別從基于包空間的角度和從基于示例的角度提出了了改進極限學習機的兩種方法。主要的研究內容如下：
　　

2、1.從基于示例空間的角度，不僅可以預測包層次的標簽，也可以對包中示例的分布和示例標簽進行預測。本文從基于示例空間的角度提出了改進極限學習機的一種方法MIL-ELM。這種方法考慮到對于一個神經網絡來說，包中的示例每有標簽，無法進行有監(jiān)督的學習，但是可以把一個負包中的所有示例當成一個多示例空間上的點，讓隨機產生的神經網絡對所有的示例進行一個評價，通過最大化先驗概率，這樣就可以挑選出一個包中最有資質的示例來代表這個包?；诙嗍纠幕炯僭O，一

3、個正包中所有的示例都是正示例。負包中至少有一個示例是負示例。第一階段，利用單隱層神經網絡在負包中挑選最負（負示例概率最大），在正包中挑選正包（正示例概率最大）。在第二階段，把示例當成包的代表作為訓練集，利用極限學習機算法原理重新訓練神經網絡。實驗證明MIL-ELM訓練速度快，分類精度較高。
　　2.針對MIL-ELM算法的不穩(wěn)定性，提出用bagging技術優(yōu)化MIL-ELM。Bagging優(yōu)化后的MIL-ELM克服了極限學習機算法

4、先天的隨機不穩(wěn)定性，提高了MIL-ELM的預測精度。
　　3.提出一個基于包空間的方法MI-ELM。此方法應用一個Hausdorff距離度量包之間的距離從而改進了高斯核的極限學習機。隱層節(jié)點是由包空間組成的，這個包空間是隨機產生的。由于我們不需要調節(jié)輸入層到隱層節(jié)點的參數，MI-ELM學習的速率非常快。又利用了核技巧，有較好的分類回歸精度。
　　4.提出多示例算法是為了更好的解決多示例問題，本文提出的算法在藥物活性預測成功實