基于Hadoop的模糊支持向量機算法研究.pdf

1、支持向量機是一種建立在統(tǒng)計理論基礎之上的機器學習方法，是統(tǒng)計學習理論中結構最小化思想在實際中的體現(xiàn)，它較好的解決了非線性、高維度、過學習等問題，且被成功應用到語音識別、人臉識別、文章分類等多個領域。然而客觀世界存在著大量模糊信息，如果使用支持向量機訓練含有模糊信息的樣本時，其分類性能將會受到很大影響，因此模糊支持向量機應運而生，對模糊支持向量機的研究無疑成為近年來的研究熱點。
　　模糊支持向量機處理不平衡數(shù)據(jù)集時存在嚴重分類偏差，

2、且隸屬度函數(shù)不能準確有效的反映出樣本的重要性。針對此問題，本文提出了一種面向不平衡數(shù)據(jù)集的模糊支持向量機模型。首先，根據(jù)正、負類樣本數(shù)的不平衡比例，引入不平衡因子，接著在進行隸屬度函數(shù)設計的過程中，結合樣本緊密度與樣本距離因素，將樣本點分為孤立點、噪聲點、邊界點以及安全樣本點，根據(jù)這些樣本點的不同重要程度分別賦予不同的隸屬度。實驗結果表明這種方式在處理不平衡數(shù)據(jù)集，尤其是存在較多孤立、噪聲點的不平衡數(shù)據(jù)時具有較大的優(yōu)勢。
　　模糊

3、支持向量機存在訓練時間較長且不能對大規(guī)模數(shù)據(jù)集進行有效訓練等問題，為了解決該問題，本文提出一種基于hadoop的模糊支持向量機。該方法結合hadoop平臺處理大規(guī)模數(shù)據(jù)的高效性，利用層疊式分層的思想設計 mapreduce分層模型，首先對樣本集進行等效劃分，對劃分后的子數(shù)據(jù)集使用本文提出的模糊支持向量機訓練得到支持向量點，兩兩合并后再次訓練，重復以上過程直到得到全局支持向量點集。該方式能夠將對大規(guī)模數(shù)據(jù)的處理分而治之，減少訓練時間。本文