基于支持向量機的鍋爐水位研究畢業(yè)論文

1、<p>　　支持向量機在發(fā)電廠鍋爐建模的預(yù)測研究</p><p><b>　　摘要</b></p><p>　　支持向量機(Support Vector Machine ,SVM)是Corinna Cortes和Vapnik等于1995年首先提出，它建立在統(tǒng)計學(xué)習(xí)理論的VC 維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的

2、學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力的一種算法。</p><p>　　本次研究的目的：將支持向量機理論的算法引入發(fā)電廠再熱汽溫預(yù)測之中，在汽溫允許的范圍內(nèi)通過支持向量機算法構(gòu)造出發(fā)電廠再熱系統(tǒng)模型，運用回歸運算的方法對發(fā)電廠再熱系統(tǒng)的汽溫進(jìn)行預(yù)測。</p><p>　　支持向量機在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢

3、，并能夠推廣應(yīng)用到函數(shù)擬合建模等其他機器學(xué)習(xí)問題中。因而我們將發(fā)電廠再熱汽溫的預(yù)測問題看作是一種多影響因子的非線性函數(shù)關(guān)系的逼近問題，使得發(fā)電廠鍋爐建模問題大大簡化。</p><p>　　關(guān)鍵詞：支持向量機； 鍋爐汽包水位；機器學(xué)習(xí)； 統(tǒng)計學(xué)習(xí)理論。</p><p>　　The prediction research of Support vector machine in the pow

4、er plant boiler modeling</p><p><b>　　Abstract</b></p><p>　　For the first time the Support Vector Machine (Support Vector Machine, SVM) was proposed by Corinna Cortes and Vapnik in 19

5、95. The Support Vector Machine is an algorithm based on the theory of VC of statistical learning theory and the theory on the basis of structure of minimum risk. According to the limited sample information it can choose

6、the best parameters between the complexity of the model that is study accuracy of the Specific training sample and learning ability (i.e. the ability of corr</p><p>　　The purpose of this study: the Support V

7、ector Machine algorithm to introduce into the prediction of power plant reheat steam temperature, and by the support vector machine algorithm construct the temperature of the power plant reheat steam system to control in

8、 the extent permitted ,and to predict the temperature of the power plant reheat steam system.</p><p>　　Support vector machine (SVM) that to solve the problems of the small sample, nonlinear and high dimensio

9、nal pattern recognition have many unique advantages, and it can promote the application of the function fitting in other machine learning problems. Thus the power plant boiler reheat steam problem can also be seen as an

10、approximation problem of nonlinear function that it was influence by many influence factors, and it make greatly simplified for power plant boiler modeling problem.</p><p>　　Keywords: Support vector machine

11、(SVM); boiler drum of water; machine learning; statistical learning theory.</p><p><b>　　目錄</b></p><p><b>　　緒論5</b></p><p><b>　　背景及意義5</b></p

12、><p><b>　　論文的主要內(nèi)容5</b></p><p>　　第一章 統(tǒng)計學(xué)習(xí)理論原理及凸最優(yōu)解的基本理論7</p><p>　　1.1統(tǒng)計學(xué)習(xí)理論原理7</p><p>　　1.1.1基于數(shù)據(jù)的機器學(xué)習(xí)問題建模7</p><p>　　1.1.2 經(jīng)驗風(fēng)險最小化8</p>

13、<p>　　1.1.3學(xué)習(xí)過程的復(fù)雜性8</p><p>　　1.1.4推廣性界的問題9</p><p>　　1.1.5 VC維理論10</p><p>　　1.1.6結(jié)構(gòu)風(fēng)險最小化11</p><p>　　1.2凸最優(yōu)解的基本理論12</p><p>　　1.2.1 最優(yōu)化問題12</p

14、><p>　　1.2.2最優(yōu)性條件13</p><p>　　1.2.3對偶理論15</p><p>　　1.3本章小結(jié)16</p><p>　　第二章 支持向量機與支持向量回歸機17</p><p>　　2.1 支持向量機的基礎(chǔ)17</p><p>　　2.1.1支持向量機理論17<

15、;/p><p>　　2.1.2核函數(shù)21</p><p>　　2.1.3支持向量機的經(jīng)典分類問題22</p><p>　　2.2支持向量機回歸問題27</p><p>　　2.2.1 SVM的回歸原理27</p><p>　　2.2.2 LIBSVM軟件使用29</p><p>　　2.3

16、本章小結(jié)31</p><p>　　第三章 發(fā)電廠鍋爐系統(tǒng)概論32</p><p>　　3.1發(fā)電廠鍋爐系統(tǒng)32</p><p>　　3.1.1發(fā)電廠的基本生產(chǎn)過程32</p><p>　　3.1.2發(fā)電廠動力部分系統(tǒng)簡介32</p><p>　　3.1.2發(fā)電廠鍋爐的基本概念34</p>&l

17、t;p>　　3.2發(fā)電廠鍋爐再熱汽溫系統(tǒng)35</p><p>　　3.2.1再熱汽溫的特性35</p><p>　　3.2.2影響再熱汽溫變化的因素36</p><p>　　3.2.3傳統(tǒng)再熱汽溫的調(diào)節(jié)方法37</p><p>　　3.3本章小結(jié)37</p><p>　　第四章 支持向量機在發(fā)電廠鍋爐的

18、預(yù)測研究39</p><p>　　4.1支持向量的訓(xùn)練過程39</p><p>　　4.1.1訓(xùn)練數(shù)據(jù)的選取39</p><p>　　4.1.2 SVM數(shù)據(jù)的歸一化處理40</p><p>　　4.1.3核函數(shù)的手動測試41</p><p>　　4.2實驗結(jié)果43</p><p>　

19、　4.3本章小結(jié)46</p><p><b>　　致謝47</b></p><p><b>　　參考文獻(xiàn)48</b></p><p><b>　　附錄部分49</b></p><p>　　附錄A 外文翻譯-原文部分49</p><p>　　附錄

20、B 外文翻譯-譯文部分53</p><p>　　附錄C支持向量機在發(fā)電廠鍋爐建模的相關(guān)應(yīng)用代碼56</p><p>　　附錄D 軟件的安裝說明及使用說明58</p><p><b>　　緒論</b></p><p><b>　　背景及意義</b></p><p>　　基

21、于數(shù)據(jù)的機器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面，是人工智能具智能特征、前沿的研究領(lǐng)域。其主要模型是利用采集到的樣本數(shù)據(jù)（輸入輸出數(shù)據(jù)）擬合樣本模型的特征函數(shù)，再通過這些特征函數(shù)對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進(jìn)行預(yù)測。其主要形式包括模式識別、神經(jīng)網(wǎng)絡(luò)、智能控制等。由于傳統(tǒng)統(tǒng)計學(xué)研究的是樣本數(shù)目趨于無窮大時的漸近理論，而大多數(shù)現(xiàn)有學(xué)習(xí)方法也都是基于假設(shè)。但在實際問題中，樣本數(shù)往往是有限的，因此一些理論上能快速決策和預(yù)測的學(xué)習(xí)方法在實際中卻并不適用[

22、1]。</p><p>　　然而在實際應(yīng)用中，大多數(shù)系統(tǒng)都是非線性、時變、強耦合的多變量系統(tǒng)，傳統(tǒng)的控制方法會給系統(tǒng)帶來很大的超調(diào)量[1]。雖然隨著智能控制研究的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)、專家系統(tǒng)、模糊邏輯以及模糊神經(jīng)等非線性系統(tǒng)模型，也不斷應(yīng)用到分類和預(yù)測中，并且這些非線性模型具有更快的響應(yīng)和更小的超調(diào)，而且對過程參數(shù)也具有一定的魯棒性，但仍有一些難以克服的缺陷，如優(yōu)化過程可能陷入局部極值，神經(jīng)網(wǎng)絡(luò)采用的經(jīng)驗風(fēng)險最小

23、化準(zhǔn)則泛化能力不強，無法控制其收斂以及收斂速度[1]。</p><p>　　直到1995年Corinna Cortes和Vapnik提出基于統(tǒng)計學(xué)理論的通用學(xué)習(xí)方法——支持向量機（Support Vector Machine或SVM）才使得以往困擾機器學(xué)習(xí)的模型選擇、非線性、高維數(shù)和局部極小點等諸多問題，在一定程度上可得以解決。支持向量機由于其完整的理論框架和在實際應(yīng)用中取得的很多好的效果，在機器學(xué)習(xí)領(lǐng)域受到了廣

24、泛的重視[1]。</p><p>　　并且它在解決小樣本、非線性和高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并在很大程度上克服了“維數(shù)災(zāi)難”和“過學(xué)習(xí)”等問題[2]。此外，它具有堅實的理論基礎(chǔ)，簡單明了的數(shù)學(xué)模型，因此，在模式識別、回歸分析、函數(shù)估計、時間序列預(yù)測等領(lǐng)域都得到了長足的發(fā)展，并被廣泛應(yīng)用于文本識別、手寫字體識別、人臉圖像識別、基因分類及時間序列預(yù)測等[2]。</p><p>　

25、　本次研究的意義在于：發(fā)電廠鍋爐是一種能量轉(zhuǎn)換設(shè)備，其利用燃料燃燒釋放的熱能或其他熱能加熱水或其他工質(zhì)，生產(chǎn)規(guī)定參數(shù)(溫度、壓力)和品質(zhì)的蒸汽、熱水或其他工質(zhì)，再利用這些生產(chǎn)出來的工質(zhì)的推動作用帶動汽輪機轉(zhuǎn)動，通過連桿將汽輪機旋轉(zhuǎn)的機械能轉(zhuǎn)化為電能[7]。因此發(fā)電廠鍋爐系統(tǒng)是一種非線性、時變大、強耦合的多變量系統(tǒng)，傳統(tǒng)的數(shù)學(xué)建模方法使得我們對發(fā)電廠鍋爐再熱汽系統(tǒng)的建模造成困難，因此我們將支持向量機理論的算法引入發(fā)電廠鍋爐再熱汽溫的預(yù)測之

26、中，通過支持向量機算法構(gòu)造出發(fā)電廠鍋爐再熱汽溫的輸出預(yù)測在允許的范圍內(nèi)變化，并運用回歸運算的方法對發(fā)電廠鍋爐再熱系統(tǒng)的汽溫進(jìn)行預(yù)測。</p><p><b>　　論文的主要內(nèi)容</b></p><p>　?。?）熟悉發(fā)電廠鍋爐的相關(guān)構(gòu)造，認(rèn)識電廠鍋爐過熱，再熱汽溫對機組安全，經(jīng)濟(jì)運行的重要性；</p><p>　?。?）了解統(tǒng)計學(xué)習(xí)理論原理及凸

27、最優(yōu)解的基本理論；</p><p>　　（3）掌握支持向量機相關(guān)理論基礎(chǔ)，結(jié)合結(jié)構(gòu)風(fēng)險最小化原則和VC維理論知識，建立滿足高精度和強泛化能力的支持向量機模型，用于對數(shù)據(jù)群的分類和回歸預(yù)測；</p><p>　?。?）分析支持向量機在發(fā)電廠鍋爐再熱汽溫預(yù)測的問題：</p><p>　　通過改變影響再熱汽溫的變量，得到有關(guān)發(fā)電廠鍋爐再熱汽溫相關(guān)數(shù)據(jù)。</p>

28、<p>　　將數(shù)據(jù)進(jìn)行歸一化處理。</p><p>　　比較多個核函數(shù)建立的支持向量機模型，選取最優(yōu)核函數(shù)。</p><p>　　通過改變核函數(shù)相關(guān)參數(shù)和優(yōu)化函數(shù)懲罰因子，得到最優(yōu)預(yù)測效果。</p><p>　　利用選取好的最優(yōu)支持向量機模型，對測試數(shù)據(jù)進(jìn)行預(yù)報。</p><p>　?。?）完成用Matalab編寫的支持向量機在

29、發(fā)電廠鍋爐再熱汽溫預(yù)測的實現(xiàn)程序，并進(jìn)行調(diào)試。</p><p>　　第一章 統(tǒng)計學(xué)習(xí)理論原理及凸最優(yōu)解的基本理論</p><p>　　1.1統(tǒng)計學(xué)習(xí)理論原理</p><p>　　1.1.1基于數(shù)據(jù)的機器學(xué)習(xí)問題建模</p><p>　　機器學(xué)習(xí)的基本定義：機器通過模擬人的學(xué)習(xí)行為獲取新知識和新技能的一種行為。</p><p

30、>　　機器學(xué)習(xí)的研究目標(biāo)是利用給定有限數(shù)量的訓(xùn)練樣本求對某系統(tǒng)輸入輸出之間特征函數(shù)的估計，使它能夠?qū)ξ粗敵鲎鞒霰M可能準(zhǔn)確的預(yù)測。</p><p>　　基于數(shù)據(jù)的機器學(xué)習(xí)問題的基本模型可以用圖1-1表示。 </p><p>　　x y</p><p>　　圖1-1 基于數(shù)據(jù)的機器學(xué)習(xí)問題基本模型</p>

31、;<p>　　步驟1：我們通過輸入輸出的對應(yīng)關(guān)系獲取參數(shù)模型的特征函數(shù)。</p><p>　　步驟:2：我們通過已得到的學(xué)習(xí)機器通過輸入x獲取估計值y</p><p>　　G：數(shù)據(jù)產(chǎn)生器，從未知概率分布函數(shù)獨立產(chǎn)生隨機向量x，</p><p>　　S：訓(xùn)練器，根據(jù)聯(lián)合分布抽取個獨立分布構(gòu)成訓(xùn)練樣本。</p><p>　　LM：學(xué)

32、習(xí)機器，選擇最優(yōu)解y去逼近訓(xùn)練響應(yīng)y的函數(shù)。</p><p>　　機器學(xué)習(xí)問題一般可以表示為：變量y與x存在一定的未知依賴關(guān)系，即遵循某一未知的聯(lián)合概率（x和y之間的確定性關(guān)系可以看作是其特例），機器學(xué)習(xí)問題就是根據(jù)n個獨立同分布觀測樣本[2]：</p><p><b>　?。?.1-1）</b></p><p>　　在一組函數(shù)的集合中估計一個

33、最優(yōu)的函數(shù)，使 的期望函數(shù)值最接近實際[2]：</p><p><b>　　（1.1-2）</b></p><p>　　其中，稱為最小風(fēng)險泛函，稱作預(yù)測函數(shù)集，w為函數(shù)的廣義參數(shù)。衡量機器學(xué)習(xí)問題損失和錯誤程度的函數(shù)稱為損失函數(shù)，用表示，為對y進(jìn)行預(yù)測而產(chǎn)生的誤差大小，即采用最小平方誤差準(zhǔn)則。其表達(dá)式[4]：

34、 （1.1-3）</p><p>　　概率密度估計問題，學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x的概率密度，估計的概率密度函數(shù)為，即采用最大自然擬然估計法，求概率密度函數(shù)為，則損失函數(shù)可以定義為[4]： </p><p><b>　?。?.1-4）</b></p><p>　　圖1-1所給出的基于數(shù)據(jù)的機器

35、學(xué)習(xí)問題的基本模型通常包涵三類典型問題：模式識別，回歸估計和概率密度估計[4]。</p><p>　　1.1.2 經(jīng)驗風(fēng)險最小化 </p><p>　　所謂的經(jīng)驗風(fēng)險最小化問題是指我們用有限樣本在前人經(jīng)驗算法的幫助下，求取最接近真實值的特征函數(shù)，風(fēng)險就是指估計輸出的值與真實值之間的誤差。</p><p>　　而基于數(shù)據(jù)的機器學(xué)習(xí)問題的經(jīng)驗風(fēng)險最小化目標(biāo)在于使期望風(fēng)險

36、達(dá)到最小化，但是由于我們可以利用的信息只有樣本，所以（1.1-1）（1.1-2）式的連續(xù)期望風(fēng)險是無法計算的，因此，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗風(fēng)險最小化（ERM）準(zhǔn)則，即用樣本定義經(jīng)驗風(fēng)險泛函[4]：</p><p><b>　　(1.1-5)</b></p><p>　　在回歸估計中，我們以廣泛采用的最小二乘法和密度估計的最大擬然法來介紹ERM原則。在模式識別系

37、統(tǒng)模型的估計中損失函數(shù)，經(jīng)驗風(fēng)險最小化等同于訓(xùn)練樣本錯誤率；而在函數(shù)逼近中損失函數(shù)，經(jīng)驗風(fēng)險就是最小二乘法。而采用概率密度估計的損失函數(shù)的ERM準(zhǔn)則就等價于最大擬然估計方法[4]。</p><p>　　仔細(xì)研究經(jīng)驗風(fēng)險最小化原則和基于數(shù)據(jù)的機器學(xué)習(xí)問題中期望風(fēng)險最小化要求可以發(fā)現(xiàn)，從期望風(fēng)險最小化到經(jīng)驗風(fēng)險最小化并沒有完全可靠的理論依據(jù)，我們往往是采用前人或?qū)＜业募记膳c經(jīng)驗，只是主觀上人為認(rèn)定的近似結(jié)果。即使有辦

38、法使這些條件在數(shù)目無窮大時趨近于真實值，也無法保證在同等條件下的經(jīng)驗風(fēng)險最小化方法在數(shù)目有限的情況下任能得到較好的結(jié)果[4]。</p><p>　　盡管經(jīng)驗風(fēng)險最小化有上述的多種問題，但經(jīng)驗風(fēng)險最小化原則作為解決模式識別等基于數(shù)據(jù)的機器學(xué)習(xí)問題的基本思想統(tǒng)治了這一領(lǐng)域幾乎所有的研究[4]。人們多年來將大部分注意力集中到如何更好地最小化經(jīng)驗風(fēng)險上，而實際上，在很多問題中的樣本數(shù)目也離無窮大相差甚遠(yuǎn)，那么如何在有限樣

39、本下通過ERM準(zhǔn)則得到真實風(fēng)險較小的結(jié)果我們通過下面章節(jié)進(jìn)行論述[4]。</p><p>　　1.1.3學(xué)習(xí)過程的復(fù)雜性</p><p>　　學(xué)習(xí)過程的復(fù)雜性相當(dāng)于是對系統(tǒng)建模的復(fù)雜性的判定，在系統(tǒng)建模中往往考慮因素越多系統(tǒng)模型越復(fù)雜，當(dāng)樣本數(shù)目不斷增加趨近于連續(xù)時，系統(tǒng)建模的經(jīng)驗風(fēng)險最優(yōu)值能夠收斂到真實風(fēng)險的最優(yōu)值，就是經(jīng)驗風(fēng)險最優(yōu)值和真實風(fēng)險能夠保持一致性。</p>&l

40、t;p>　　例如：設(shè)是對給定的獨立同分布觀測數(shù)據(jù)集使經(jīng)驗風(fēng)險泛函式（1.1-5）最小化的函數(shù)，如下面兩序列概率收斂于同一個極限，即[4]：</p><p>　　， （1.1-6）</p><p>　　則稱ERM原則對函數(shù)集，和概率分布函數(shù)是一致的。其中，為實際可能的最小風(fēng)險，即式（1.1-1）的下界或最小值。</p><p>　　經(jīng)驗風(fēng)險最優(yōu)值和

41、真實風(fēng)險的最優(yōu)值的關(guān)系可以用圖1-2表示。</p><p>　　圖1-2 經(jīng)驗風(fēng)險最優(yōu)值和真實風(fēng)險的最優(yōu)值的關(guān)系示意圖</p><p>　　實際測試中卻很難達(dá)到上述關(guān)系，但也存在一種可能，就是預(yù)測函數(shù)集中包涵某個特殊的函數(shù)，使上述條件得到滿足。若從函數(shù)集中去掉這個函數(shù)，則這些條件就不再滿足。保證一致性是所研究的學(xué)習(xí)方法的性質(zhì)，而不是有函數(shù)集中的個別函數(shù)導(dǎo)致，于是要使一般的函數(shù)滿足一致性要

42、求我們提出了非凡一致性的概念，即要求是對預(yù)測函數(shù)的所有子集都成立，只有非凡一致性才是實際上有意義的，因此，后續(xù)章節(jié)所提及的一致性均是非凡一致性[3]。</p><p>　　對于有界損失函數(shù)，經(jīng)驗風(fēng)險最小化學(xué)習(xí)的一致性的充分必要條件是經(jīng)驗風(fēng)險式在（1.1-6）的條件下一致的收斂于真實風(fēng)險：</p><p><b>　?。?.1-7）</b></p><

43、;p>　　其中，P表示概率，和分別是個數(shù)據(jù)樣本下的經(jīng)驗風(fēng)險和對同一個下的真實風(fēng)險，這一定理將統(tǒng)計學(xué)中學(xué)習(xí)問題的一致性轉(zhuǎn)化為式（1.1-7）的最優(yōu)值一致性問題[3]。</p><p>　　1.1.4推廣性界的問題 </p><p>　　ERM準(zhǔn)則推廣失敗是神經(jīng)網(wǎng)絡(luò)的過學(xué)習(xí)問題，其主要原因是當(dāng)我們拿到樣本的輸入輸出數(shù)據(jù)將全部注意力都集中在如何使最小，而達(dá)到預(yù)測輸出的y能快速跟蹤上實際y值

44、的輸出。但很快就發(fā)現(xiàn)，訓(xùn)練誤差小并不總能導(dǎo)致較好的預(yù)測效果。某些情況下，訓(xùn)練誤差過小反而會導(dǎo)致推廣能力的下降，即真實風(fēng)險的增加，這就是過學(xué)習(xí)問題。</p><p>　　之所以出現(xiàn)過學(xué)習(xí)現(xiàn)象，一是因為樣本不充分，二是學(xué)習(xí)機器設(shè)計不合理。究其原因，是試圖用一個十分復(fù)雜的模型去擬合有限的樣本，導(dǎo)致喪失了推廣能力。在神經(jīng)網(wǎng)絡(luò)中，其自身通過過強網(wǎng)絡(luò)學(xué)習(xí)能力將每個樣本記住，而使得經(jīng)驗風(fēng)險很快就可以收斂到很小甚至零，但卻根本無

45、法保證它對未來樣本能給出好的預(yù)測[2]。</p><p>　　推廣性的界即經(jīng)驗風(fēng)險和實際風(fēng)險之間的關(guān)系，關(guān)于兩類分類問題，結(jié)論是：對指示函數(shù)集中的所有函數(shù)（包括使經(jīng)驗風(fēng)險最小的函數(shù)），經(jīng)驗風(fēng)險和實際風(fēng)險之間以至少的概率滿足如下關(guān)系[4]：</p><p><b>　?。?.1-8）</b></p><p>　　其中h是函數(shù)集的VC維，n是樣本數(shù)

46、. 這一結(jié)論從理論上說明了學(xué)習(xí)機器的實際風(fēng)險是由兩部分組成的：一是經(jīng)驗風(fēng)險（訓(xùn)練誤差），另一部分稱作置信范圍，它和學(xué)習(xí)機器的VC維及訓(xùn)練樣本數(shù)有關(guān)。可以簡單地表示為[4]：</p><p><b>　?。?.1-9）</b></p><p>　?。?.1-8）表明，在有限訓(xùn)練樣本下，學(xué)習(xí)機器的VC維越高（復(fù)雜性越高）則置信范圍越大，導(dǎo)致真實風(fēng)險與經(jīng)驗風(fēng)險之間可能的差別

47、越大。這就是為什么會出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因，機器學(xué)習(xí)過程不但要使經(jīng)驗風(fēng)險最小，還要使VC維盡量小以縮小置信范圍，才能取得較小的實際風(fēng)險，即對未來樣本有較好的推廣性[4]。 </p><p>　　需要指出，推廣性的界是對于最壞情況的結(jié)論，在很多情況下是較松的，尤其當(dāng)VC維較高時更是如此，研究表明時這個界肯定是松弛的，當(dāng)VC維無窮大時這個界就不再成立。而且，這個界只在對同一類學(xué)習(xí)函數(shù)進(jìn)行比較時有效，可以指導(dǎo)我們從函數(shù)集

48、中選擇最優(yōu)的函數(shù)，在不同函數(shù)集之間比較卻不一定成立。實際上，尋找更好地反映學(xué)習(xí)機器能力的參數(shù)和得到更緊的界是學(xué)習(xí)理論今后的研究方向之一[4]。</p><p>　　1.1.5 VC維理論</p><p>　　VC維（Vapnik-Chervonenkis Dimension）的概念是為了研究學(xué)習(xí)過程一致收斂的速度和推廣性，是對由學(xué)習(xí)機器能夠?qū)崿F(xiàn)的分類函數(shù)族的容量或表達(dá)力的測度[2]。<

49、;/p><p>　　傳統(tǒng)的定義是：如果存在H個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2的H次方種形式分開，則稱函數(shù)集能夠把H個樣本打散；函數(shù)集的VC維就是它能打散的最大樣本數(shù)目H。若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的VC維是無窮大，VC維反映了函數(shù)集的學(xué)習(xí)能力，VC維越大則學(xué)習(xí)機器越復(fù)雜（容量越大）[4]。</p><p>　　分類函數(shù)集的VC維特點是能被機器對于分類函數(shù)的所有可能

50、二分標(biāo)志無錯學(xué)習(xí)的訓(xùn)練樣本的最大數(shù)量度量。</p><p>　　假定有一個包含N個點數(shù)據(jù)集，我們無法用一條線性規(guī)劃對其每一個元素劃分，因此我們引用VC維理論，VC維代表的是分類點可以被劃分的情況，如下圖1-3（c）其平面直線的VC維等于3劃分情況為8個。由于分類點個數(shù)的不同，劃分方式也不同，如圖1-3（a）所示，其分類點能打散3個向量而不能打散4個向量，而如圖1-3（b）圖所示，向量分類點不能和劃分開來，<

51、/p><p>　　0 （a） 0 （b） </p><p><b>　?。╟）</b></p><p>　　圖1-3 多維函數(shù)的線性分類器和線性實函數(shù)的VC維</p><p>　　對于線性函數(shù)而言VC維等于自由參數(shù)的個數(shù)，而

52、總體而言VC維，在一定程度上指代的是系統(tǒng)的復(fù)雜程度，對于任意包含個訓(xùn)練樣本的樣本集，我們對樣本集中的元素進(jìn)行劃分的各種情況，也就是所謂的打散成個，并用打散樣本集的個數(shù)來衡量樣本的復(fù)雜度。</p><p>　　1.1.6 結(jié)構(gòu)風(fēng)險最小化</p><p>　　從上述的結(jié)論可以看出，ERM原則在有限樣本條件下是很難做到和實際系統(tǒng)的參數(shù)模型保持良好的一致性，但實際上我們對系統(tǒng)的建模，又需要同時滿足

53、最小化經(jīng)驗風(fēng)險和置信范圍兩個條件。而在傳統(tǒng)方法中，選擇學(xué)習(xí)模型和算法的過程就等同于調(diào)整置信范圍的過程，相當(dāng)于值的樣本點x輸入系統(tǒng)模型中可以得到準(zhǔn)確無誤的y，而一旦輸入實驗樣本點就會產(chǎn)生于實際值偏離交大的誤差。于是由于缺乏理論指導(dǎo)和較大誤差的情況下，我們只能依賴先驗知識和經(jīng)驗，造成了如神經(jīng)網(wǎng)絡(luò)等方法對使用者技巧與經(jīng)驗過分的依賴，而造成局部最小點最優(yōu)，推廣到全局時使用性能變差，無法控制其收斂以及收斂速度[6]。</p><

54、;p>　　統(tǒng)計學(xué)習(xí)理論提出了一種新的策略，即把函數(shù)集構(gòu)造為一個函數(shù)子集序列，使各個子集按照VC維的大小（亦即Φ的大?。┡帕校辉诿總€子集中尋找最小經(jīng)驗風(fēng)險，在子集間折衷考慮經(jīng)驗風(fēng)險和置信范圍，取得實際風(fēng)險的最小，如圖1-4所示。這種思想稱作結(jié)構(gòu)風(fēng)險最小化即SRM準(zhǔn)則[4]。</p><p>　　函數(shù)過分追求函數(shù)模型的推廣 過分追求函數(shù)模型與樣本數(shù)據(jù)的一</p>&l

55、t;p>　　性函數(shù)而使得該函數(shù)模型經(jīng)驗 致性而使得該函數(shù)模型推廣到其他</p><p>　　風(fēng)險與損失函數(shù)變大 數(shù)據(jù)能力變差</p><p>　　風(fēng)險 </p><p>　　欠學(xué)習(xí)

56、 過學(xué)習(xí)</p><p><b>　　真實風(fēng)險</b></p><p><b>　　置信范圍</b></p><p>　　支持向量機的目的在于</p><p>　　獲取介于過學(xué)習(xí)與欠學(xué) 經(jīng)驗風(fēng)險<

57、;/p><p>　　習(xí)間的最優(yōu)值 h</p><p>　　s1 s2 s3 </p><p>　　函數(shù)集子集:s1?s2?s3 VC維：h1≤h2≤h3 </p><p>　　圖1-4 有序風(fēng)險最小

58、化示意圖</p><p>　　結(jié)構(gòu)化風(fēng)險 = 經(jīng)驗風(fēng)險 + 置信風(fēng)險；</p><p>　　經(jīng)驗風(fēng)險：分類器在給定樣本上的誤差；</p><p>　　置信風(fēng)險：分類器在未知文本上分類的結(jié)果的誤差；</p><p><b>　　置信風(fēng)險因素：</b></p><p>　　樣本數(shù)量，給定的樣本數(shù)量越大

59、，學(xué)習(xí)結(jié)果越有可能正確，此時置信風(fēng)險越??； </p><p>　　分類函數(shù)的VC維，顯然VC維越大，推廣能力越差，置信風(fēng)險會變大。 提高樣本數(shù)量，降低VC維，降低置信風(fēng)險[7]。</p><p>　　以往機器學(xué)習(xí)的目標(biāo)是經(jīng)驗風(fēng)險最小化，要降低經(jīng)驗風(fēng)險，就要提高分類函數(shù)的復(fù)雜度，導(dǎo)致VC維很高，VC維高，置信風(fēng)險就高，導(dǎo)致結(jié)構(gòu)風(fēng)險也高，以至于所求得的預(yù)測模型在訓(xùn)練樣本輸入時能較好的跟蹤，但是

60、一旦有實驗樣本輸入時，預(yù)測模型輸出值與真實值偏差較大。</p><p>　　實現(xiàn)SRM原則可以有兩種思路，一是在每個子集中求最小經(jīng)驗風(fēng)險，然后選擇使最小經(jīng)驗風(fēng)險和置信范圍之和最小的子集。顯然這種方法比較費時，當(dāng)子集數(shù)目很大甚至是無窮時是不可行的。因此有第二種思路，即設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風(fēng)險（如使訓(xùn)練誤差為0），然后只需選擇選擇適當(dāng)?shù)淖蛹怪眯欧秶钚?，則這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)

61、就是最優(yōu)函數(shù)。支持向量機算法實現(xiàn)實際上就是融合經(jīng)驗風(fēng)險最小化和置信范圍擇中尋優(yōu)的具體實現(xiàn)，通過SRM準(zhǔn)則對傳統(tǒng)的機器學(xué)習(xí)方法問題進(jìn)行改進(jìn)的問題[4]。</p><p>　　1.2凸最優(yōu)解的基本理論</p><p>　　1.2.1 最優(yōu)化問題</p><p>　　什么是最優(yōu)解？在數(shù)學(xué)中是指尋找一個多變量函數(shù)最小值問題，常規(guī)方法有，求導(dǎo)，求條件極值等。</p>

62、;<p>　　在曲線擬合問題中最優(yōu)值是指：</p><p><b>　?。?.2-1）</b></p><p>　　其中a，b，c是未知參數(shù)，假定現(xiàn)在實驗測得的組數(shù)據(jù)選擇適當(dāng)a，b，c參數(shù)使盡可能靠近所以的實驗點，，如圖1-5所示[7]。</p><p>　　圖1-5 曲線擬合示意圖</p><p>　　此

63、問題用最小二乘法求解，即選擇適當(dāng)a，b，c參數(shù)，（1.2-2）使偏差平方和取最小值。</p><p><b>　?。?.2-2）</b></p><p>　　就如同支持向量機最優(yōu)化條件是求經(jīng)驗風(fēng)險最小化是一樣的，通過尋找一個最大間隔分類的最優(yōu)分類線，使得該最優(yōu)分類線在保證分類精度的同時，能夠使最優(yōu)分類線兩側(cè)內(nèi)的空白區(qū)域最大化。前者保證了經(jīng)驗風(fēng)險最小化，后者分類間隔最大

64、化實際上就是使推廣性界中的置信范圍最小化，從而保證真實風(fēng)險最小化。于是我們可以得出下述章所講述的支持向量機最優(yōu)化求解問題[7]。</p><p>　　1.2.2最優(yōu)性條件</p><p>　　我們解決一個問題時，如果將該問題表示為一個函數(shù)，最優(yōu)化問題就是求該函數(shù)的極小值。通過高等數(shù)學(xué)知識可以知道，如果該函數(shù)連續(xù)可導(dǎo)，就可以通過求導(dǎo)，計算導(dǎo)數(shù)為零的點，來求出其極值。但現(xiàn)實問題中，如果不是連續(xù)

65、可導(dǎo)的，就不能用這種方法了，所以求非連續(xù)可導(dǎo)最優(yōu)解的問題可以分為兩種：</p><p><b>　　無約束最優(yōu)問題</b></p><p><b>　　有約束最優(yōu)問題</b></p><p>　　無約束最優(yōu)算法可以表達(dá)為：?？梢杂脭?shù)值計算方法中的牛頓法、最速梯度下降法等，通過多次循環(huán)，求得一次近似的最優(yōu)解。</p&g

66、t;<p>　　有約束問題，一般表達(dá)為：</p><p><b>　?。?.2-3）</b></p><p>　　而支持向量機的算法最后歸結(jié)為求解二次規(guī)劃的問題，對于二次規(guī)劃的問題約束極值及最優(yōu)性條件充分必要條件Kuhn-Tucker 條件如下：</p><p>　　等式約束性問題的最優(yōu)性條件</p><p&g

67、t;<b>　　考慮： </b></p><p><b>　?。?.2-4）</b></p><p>　　回顧高等數(shù)學(xué)中所學(xué)的條件極值：</p><p>　　問題 求極值，在的條件下。 </p><p>　　即：

68、 （1.2-5）</p><p>　　引入Lagrange乘子： </p><p><b>　　（1.2-6）</b></p><p>　　若是條件極值，則存在，使得：</p><p><b>　　（1.2-7）</b></

69、p><p>　　推廣到多元函數(shù)情況，可得到對于等式約束的情況：</p><p>　　分量形式： （1.2-8）</p><p>　　若x*是其最優(yōu)解， 則存在使：</p><p><b>　　（1.2-9）</b></p><p>　　幾何意

70、義如下圖1-6所示，考慮一個約束的情況最優(yōu)性條件即[8]：</p><p><b>　　（1.2-10）</b></p><p>　　圖1-6 最優(yōu)性條件幾何意義</p><p>　　這里最優(yōu)，與共線，而非最優(yōu)與不共線。</p><p>　　1.2.3對偶理論[4]</p><p>　　在約束問題

71、解的最優(yōu)性條件中，不僅包含解的向量，而且包含一個對應(yīng)的Lagrange乘子向量。如果事先知道這個Lagrange乘子向量，常常會減少求解原來約束問題的困難，這導(dǎo)致求解約束問題的一個新途徑；首先求出與解相應(yīng)的這個Lagrange乘子，然后據(jù)此求出約束問題。顯然這里有兩個問題需要解決[4]：</p><p>　　能否構(gòu)造一個以Lagrange乘子向量為變量的最優(yōu)化問題，使得該問題的解正好是與解相應(yīng)的Lagrange乘

72、子。</p><p>　　從與解相應(yīng)的Lagrange乘子出發(fā)，能否很快得到原約束問題的解而以上問題可以通過對偶理論得以解決： </p><p>　　對偶問題概念：任何一個線性規(guī)劃問題都有一個與之相對應(yīng)的線性規(guī)劃問題，前者稱為原始問題，后者就稱為“對偶”問題。對偶問題是對原問題從另一角度進(jìn)行的描述其最優(yōu)解與原問題的最優(yōu)解有著密切的聯(lián)系，在求得一個線性規(guī)劃最優(yōu)解的同時也就得到對偶線性規(guī)劃的最

73、優(yōu)解[7]。支持向量機最優(yōu)分類面的求解問題中，我們可以將上述問題轉(zhuǎn)化為凸二次規(guī)劃尋優(yōu)問題的對偶問題，將支持向量機的分類模型轉(zhuǎn)換為凸二次規(guī)劃模型，使得在凸函數(shù)中僅有一個最優(yōu)值，省去了曲線函數(shù)中的多極值的干擾，但表達(dá)式中還存在對應(yīng)的Lagrange乘子向量使參數(shù)變量過多而使得計算困難如（1.2-6）所示[6]。</p><p><b>　?。?.2-11）</b></p><

74、p>　　我們通過求條件極值，將 用代替大大減少計算參數(shù)個數(shù)如（1.2-7）所示：</p><p>　　， （1.2-12）</p><p>　　使得決策表達(dá)式變?yōu)椋?使得支持向量機最優(yōu)分類面凸二次規(guī)劃尋優(yōu)問題的預(yù)測系統(tǒng)中的未知參數(shù)個數(shù)減少為和。</p><p><b>　　1.3本章小結(jié)</b></p><

75、;p>　　本章通過論述統(tǒng)計學(xué)基本理論，為以下章節(jié)的概念論述作理論基礎(chǔ)，第一節(jié)通過簡單論述統(tǒng)計學(xué)習(xí)原理、機器學(xué)習(xí)建模、經(jīng)驗風(fēng)險最小化、學(xué)習(xí)過程的復(fù)雜性、推廣性界、VC維理論、結(jié)構(gòu)風(fēng)險最小化等相關(guān)理論。之后我們討論經(jīng)驗風(fēng)險最小化和推廣性自身存在的矛盾，并運用支持向量機通過結(jié)構(gòu)風(fēng)險最小化達(dá)到經(jīng)驗風(fēng)險最小化和推廣能力同時達(dá)到最優(yōu)理論結(jié)構(gòu)，經(jīng)驗風(fēng)險最小化是衡量系統(tǒng)模型的輸出函數(shù)與真實值的誤差，復(fù)雜性是對系統(tǒng)建模函數(shù)復(fù)雜度判定，而VC維是衡量

76、系統(tǒng)建模推廣度。</p><p>　　第二節(jié)通過進(jìn)一步論述支持向量機的最優(yōu)化問題、優(yōu)化極值條件、對偶問題，進(jìn)一步完善回歸和擬合的問題。系統(tǒng)回歸和擬合問題的初衷在于與期望產(chǎn)生的輸出的誤差最小化，而最小化則更靠近二次規(guī)劃尋優(yōu)的問題，求最優(yōu)值問題就要牽扯到約束條件和無約束條件，通過一定約束條件求解，我們要進(jìn)一步簡化問題的解，就希望減少未知參數(shù)個數(shù)，因此我們又需要對偶定理做為鋪墊。</p><p>

77、;　　第二章 支持向量機與支持向量回歸機</p><p>　　2.1 支持向量機的基礎(chǔ)</p><p>　　2.1.1支持向量機理論</p><p>　?。?）SVM的基本思想</p><p>　　SVM是從樣本集合點線性可分情況下最優(yōu)分類平面發(fā)展而來的，其基本形式如圖2-1所示。SVM的機理是尋找一個最大間隔分類的最優(yōu)分類線，使得該最優(yōu)分類

78、線在保證分類精度的同時，能夠使最優(yōu)分類線兩側(cè)內(nèi)的空白區(qū)域最大化。前者保證了經(jīng)驗風(fēng)險最小化，后者分類間隔最大化實際上就是使推廣性界中的置信范圍最小化，從而保證真實風(fēng)險最小化。推廣到高維空間，最優(yōu)分類線就成了最優(yōu)分類面，如果不去精確高維空間的具體維數(shù)我們將最優(yōu)分類面統(tǒng)稱為超平面。</p><p><b>　　表示樣本點</b></p><p><b>　　表示樣

79、本點</b></p><p>　　SVM的機理在于尋找一個最大間隔</p><p>　　分類的超平面將兩個樣本分類</p><p>　　圖2-1 SVM的原理示意圖</p><p>　　實際上，一個線性函數(shù)是一個實值函數(shù)（即函數(shù)值是連續(xù)的實數(shù)），而我們的分類問題是需要輸出一個離散數(shù)值，于是我們用1表示某一類別，而用0表示示某一類別

80、，這時我們再在這個實數(shù)函數(shù)的基礎(chǔ)上附加閥值，就可以通過分類函數(shù)執(zhí)行得到大于還是小于這個閥值的類別歸屬。</p><p>　　例如我們現(xiàn)有一個分類函數(shù)：，當(dāng)取閥值為0時，通過這樣一個分類函數(shù)對樣本進(jìn)行判斷，若,就判斷為類，若,就判斷為類，等于時就暫緩判斷，于是我們可以得出一個的決策函數(shù)，即：</p><p><b>　?。?.1-1）</b></p>&l

81、t;p>　　實際上很容易看出，中間的分類直線并不是唯一的，我們稍微將其旋轉(zhuǎn)一下，只要不要將兩類數(shù)據(jù)分錯，任然可以達(dá)到上面所說的效果。因此就涉及到一個問題，對同一問題存在多種分類時，哪一個效果最好，于是我們用最大間隔作為衡量分類效果的指標(biāo)。</p><p>　　現(xiàn)再將w和b歸一化處理，即用和分別代替原來的w和b，那么間隔可以寫成也就是解析幾何中點到直線的公式，推廣到超平面也就是到的距離，這種幾何間距所表示的正

82、是點到超平面的歐式距離，其基本實現(xiàn)可以圖2-2所示的二維情況說明。</p><p>　　且延長線與y軸交于b w為分類線的范數(shù)也就是d的長度</p><p>　　圖2-2 SVM的最優(yōu)分類平面</p><p>　　我們之所以求取幾何間隔最大化，是因為幾何間隔與樣本的誤分次數(shù)存在對應(yīng)關(guān)系：</p><p>　　誤分次數(shù)

83、 （2.1-2）</p><p>　　其中為樣本點中向量最長值，因此有上式可以看出，誤分次數(shù)的上界與幾何間隔有關(guān)。</p><p>　　又由于凡是求解最大化的問題我們可以用最小化解決，因此我們得出求最優(yōu)分類線表達(dá)式：</p><p><b>　　（2.1-3）</b></p><p>　　當(dāng)

84、給定目標(biāo)后，我們需要加上約束條件，我們將最小間隔定為1，所以按照間隔定理，滿足下面的式子總是成立的。</p><p><b>　?。?.1-4）</b></p><p>　　于是支持向量機的原理的基本表達(dá)式寫成：</p><p><b>　　（2.1-5）</b></p><p>　?。?）最優(yōu)分類

85、面[4]</p><p>　　因此我們用拉格朗日函數(shù)優(yōu)化分類面，得到如下定義：</p><p><b>　?。?.1-6）</b></p><p><b>　　由條件極值得：</b></p><p><b>　?。?.1-7）</b></p><p>　

86、　可以將上述最優(yōu)分類面的求解問題可以轉(zhuǎn)化為凸二次規(guī)劃尋優(yōu)問題的對偶問題：</p><p><b>　?。?.1-8）</b></p><p>　　據(jù)此求出（最優(yōu)解，算法另述）后：</p><p>　　， （2.1-9）</p><p>　　是分類閥值，有約束條件求解，最優(yōu)分類面函數(shù)為：</p>

87、;<p><b>　?。?.1-10）</b></p><p>　　上式為SVM的一般表示形式。</p><p>　?。?）廣義的最優(yōu)分類面</p><p>　　上述的方法為了保證訓(xùn)練樣本被正確分類的前提下，通過最大分類間隔獲得最好的推廣性能。當(dāng)最優(yōu)分類平面不能把兩類點完全分開時，希望在經(jīng)驗風(fēng)險和推廣性能之間求取某種平衡，則可以通

88、過引入松弛因子，允許錯分樣本的存在，此時分類平面滿足[4]：</p><p><b>　　（2.1-11）</b></p><p>　　該式考慮了最小化錯分樣本數(shù)和最優(yōu)推廣能力，目標(biāo)函數(shù)改為[4]：</p><p><b>　　（2.1-12）</b></p><p>　　式中，C是一個正數(shù)，稱為懲

89、罰因子，式（2.1-10）可通過如下的二次規(guī)劃來實現(xiàn)[4]： </p><p><b>　?。?.1-13）</b></p><p>　　支持向量機的原理是基于線性劃分的。但是可以想象，并非所有數(shù)據(jù)都可以線性劃分。如二維空間中的兩個類別的點可能需要一條曲線來劃分它們的邊界。支持向量機的原理是將低維空間中的點映射到高維空間中，使它們成為線性可分

90、的，再使用線性劃分的原理來判斷分類邊界[2]。在高維空間中，它是一種線性劃分，而在原有的數(shù)據(jù)空間中，它是一種非線性劃分。但是討論支持向量機的算法時，并不是討論如何定義低維到高維空間的映射算法（該算法隱含在其“核函數(shù)”如圖2-3中），而是從最優(yōu)化問題（尋找某個目標(biāo)的最優(yōu)解）的角度來考慮的[4]。</p><p>　　低維數(shù)據(jù)空間 高維數(shù)據(jù)空間 </p>

91、<p>　　圖2-3 SVM基本思路示意圖</p><p>　　因而線性不可分問題映射到高維空間變成線性可分問題，因而無論是尋找目標(biāo)函數(shù)，還是尋找最優(yōu)分類面，都只涉及到點積的運算。而我們只用關(guān)注優(yōu)化問題而不用考慮對應(yīng)關(guān)系。因此目標(biāo)函數(shù)變?yōu)椋?lt;/p><p><b>　　（2.1-14）</b></p><p><b>　　

92、分類函數(shù)也變?yōu)椋?lt;/b></p><p><b>　　（2.1-15）</b></p><p>　　所以SVM分類函數(shù)可以類似于一個神經(jīng)網(wǎng)絡(luò)，輸出的每一個線性組合的每一個中間節(jié)點都對應(yīng)一個支持向量機，如下圖2-4所示。</p><p><b>　　y</b></p><p>　　圖2-4

93、 SVM基本分類示意圖</p><p>　　由于最終的判別函數(shù)中實際只包含未知向量與支持向量內(nèi)積的線性組合，因此，在模式識別時要計算特征函數(shù)的復(fù)雜度取決于支持向量的個數(shù)。概括的說，支持向量就是首先通過用內(nèi)積函數(shù)定義的非線性變化將輸入空間變換到一個高維空間，然后在這個空間中求廣義的最優(yōu)分類面[4]。</p><p><b>　　2.1.2核函數(shù)</b></p>

94、;<p>　　根據(jù)模式識別理論，低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實現(xiàn)線性可分，但是如果直接采用這種技術(shù)在高維空間進(jìn)行分類或回歸，則存在確定非線性映射函數(shù)的形式和參數(shù)、特征空間維數(shù)等問題[8]。而最大的障礙則是在高維特征空間運算時如（2.1-16）存在的“維數(shù)災(zāi)難”，而這種問題最有效的解決辦法是運用核函數(shù)技術(shù)。核函數(shù)將m維高維空間的內(nèi)積運算轉(zhuǎn)化為n維低維輸入空間的核函數(shù)計算，從而巧妙地解決了在高維特

95、征空間中計算的“維數(shù)災(zāi)難”等問題，從而為在高維特征空間解決復(fù)雜的分類或回歸問題奠定了理論基礎(chǔ)[2]。</p><p><b>　?。?.1-16）</b></p><p>　　核函數(shù)是這樣定義的：對所有訓(xùn)練樣本而言，而，，若函數(shù)K滿足：</p><p>　　，則稱函數(shù)K是核函數(shù)。其中是從輸入空間x到內(nèi)積特征空間的映射，(．)表示內(nèi)積。單從核函數(shù)

96、的定義，我們并不能很容易的選擇和確定核函數(shù)，但可以通過Mercer定理從理論上去確定核函數(shù)并了解其特性，事實上任何一個函數(shù)只要滿足Mercer條件，就可用得到原輸入空間中對應(yīng)的非線性算法。 </p><p>　　目前研究最多的核函數(shù)主要有三類：</p><p>　　多項式核函數(shù) </p><p>　　徑向基函數(shù)

97、 </p><p>　　Sigmoid核函數(shù) </p><p>　　其中由于徑向基核函數(shù)對應(yīng)的特征空間是無窮維的，有限的樣本在該特征空間中肯定是線性可分的，因此徑向基核是最普遍使用的核函數(shù)。</p><p>　　2.1.3支持向量機的經(jīng)

98、典分類問題</p><p>　　（1）線性可分的二分類問題[4]</p><p>　　線性可分的二分類問題是指：訓(xùn)練樣本可以用一條直線（如果數(shù)據(jù)只有二維）或一個超平面劃分開。用一個多維空間中的超平面將數(shù)據(jù)分隔為兩個類有三種基本方法：</p><p>　　平方最近點法：用兩類點中最近的兩點連線的平分線作為分類線（面）；</p><p>　　最大

99、間隔法：求分類面，使分類邊界的間隔最大。分類邊界是值從分類面分別向兩個類的點平移，直到遇到第一個數(shù)據(jù)點。兩個類的分類邊界的距離就是分類間隔。</p><p>　　分類平面表示為：。注意，x是多維向量。分類間隔的倒數(shù)為：。所以該最優(yōu)化問題表達(dá)為：</p><p><b>　　（2.1-17）</b></p><p>　　其中的約束是指：要求各數(shù)據(jù)

100、點到分類面的距離大于等于1。其中，為數(shù)據(jù)的分類。</p><p>　　線性支持向量分類機：</p><p><b>　　分類面要求，</b></p><p><b>　?。?.1-18）</b></p><p>　　據(jù)此求出（最優(yōu)解，算法另述）后：</p><p>　　，

101、 （2.1-19）</p><p>　　說明：線性支持向量機是基于最大間隔法的，該問題是一個二次規(guī)劃問題，使用拉格朗日函數(shù)合并優(yōu)化問題和約束，再使用對偶理論得到上述的分類優(yōu)化問題。</p><p>　?。?）線性不可分問題[4]</p><p><b>　　線性軟間隔分類機</b></p><p>　　基

102、本思路：由于樣本線性不可分，原來對間隔的要求不能達(dá)到。引入松弛變量，使約束條件弱化為：</p><p><b>　?。?.1-20）</b></p><p>　　但是，我們?nèi)匀幌Ｍ撍沙谧兞孔钚』ㄈ绻?，則就是原線性硬間隔分類機）。于是，在優(yōu)化目標(biāo)函數(shù)中使用懲罰參數(shù)C來引入對最小化的目標(biāo)。這樣，該分類機的模型為：</p><p><b&g

103、t;　　分類面要求：</b></p><p><b>　?。?.1-21）</b></p><p>　　以此為原問題，其對偶問題為：</p><p><b>　?。?.1-22）</b></p><p>　　通過對偶理論的條件極值計算方法減少系統(tǒng)參數(shù)，若系統(tǒng)的方程參數(shù)的矩陣形式其未知數(shù)為

104、個，運用上述方法系統(tǒng)的方程參數(shù)減少為時，使系統(tǒng)方程參數(shù)大大減少。</p><p>　　非線性硬間隔分類機[4]</p><p>　　基本思路是：可以將低維空間中的曲線（曲面）映射為高維空間中的直線或平面。數(shù)據(jù)經(jīng)這種映射后，在高維空間中是線性可分的。設(shè)映射為：，則高維空間中的線性支持向量機模型為：</p><p><b>　　分類面要求：</b>

105、</p><p><b>　?。?.1-23）</b></p><p>　　需要注意的是，由于數(shù)據(jù)被映射到高維空間，的計算量比大得多。此時引入了所謂核函數(shù)：</p><p><b>　　（2.1-24）</b></p><p>　　由上式可見，核函數(shù)的作用是，在將x映射到高維空間的同時，也計算了兩個

106、數(shù)據(jù)的在高維空間的內(nèi)積，使計算量回歸到的量級。</p><p>　　非線性軟間隔分類機（C-支持向量分類機）</p><p>　　非線性硬間隔分類機雖然將訓(xùn)練數(shù)據(jù)映射到高維空間中，但核函數(shù)的選擇只有幾種，它們并不能保證在任何情況下都可以將訓(xùn)練數(shù)據(jù)映射到足夠高的維度，以使它們成為線性可分的。因此，有理由在此基礎(chǔ)上引入線性軟間隔分類機中的松弛變量。</p><p>&l

107、t;b>　　這樣，原問題為：</b></p><p><b>　　映射：</b></p><p><b>　　其中：</b></p><p><b>　　分類面：</b></p><p><b>　?。?.1-25）</b></p&

108、gt;<p><b>　　其對偶問題為：</b></p><p><b>　?。?.1-26）</b></p><p>　　所謂的軟間隔，通過引入錯誤分類樣本，以增大間隔距離，并用一定的松弛度去衡量容錯樣本個數(shù)，非線性軟間隔分類機的工作原理如圖2-5所示。</p><p>　　圖2-5 非線性軟間隔分類機的工

109、作原理</p><p>　　ν-支持向量機分類機</p><p>　　C－支持向量機中有兩個相互矛盾的目標(biāo)：最大化間隔和最小化訓(xùn)練錯誤。其中的常數(shù)C起著調(diào)和這兩個目標(biāo)的作用。定性地講，C值有明確的含義：選取大的C值，意味著更強調(diào)最小化訓(xùn)練錯誤。定量地講， C值本身并沒有明確的意義，所以C值的選取比較困難。為此人們提出ν-支持向量機分類機的模型，用另一個參數(shù)ν代替參數(shù)C，而參數(shù)ν有一些直觀的

110、意義[4]。</p><p>　　ν-支持向量機分類機的原始問題，如（2.1-27）所示： （2.1-27）</p><p>　　其對偶問題為： </p><p><b>　?。?.1-28）</b></p><p><b>　　有解使得：</b></p>

111、<p><b>　?。?.1-29）</b></p><p><b>　?。?.1-30）</b></p><p><b>　　其中，，。</b></p><p><b>　?。?.1-31）</b></p><p>　　則非線性支持向量機的執(zhí)

112、行步驟如下[4]：</p><p>　　設(shè)已知樣本點，其中，，。</p><p>　　選取適當(dāng)?shù)膮?shù)ν和核函數(shù)K,構(gòu)造并求解如下的最優(yōu)化問題：</p><p><b>　?。?.1-32）</b></p><p><b>　　求得最優(yōu)解。</b></p><p><b&

113、gt;　　選取，，計算：</b></p><p><b>　?。?.1-33）</b></p><p>　　構(gòu)造決策函數(shù)： （2.1-34）</p><p>　　而且當(dāng)數(shù)據(jù)樣本個數(shù)，ν以1的概率漸近于支持向量機的個數(shù)和數(shù)據(jù)樣本點個數(shù)之比，所以參數(shù)ν有實際的意義。</p><p&g

114、t;　　2.2支持向量機回歸問題</p><p>　　2.2.1 SVM的回歸原理</p><p>　　在支持向量機用于函數(shù)回歸中，其思路與在分類思想很相似，我們目標(biāo)都是要找出一條能將分類點分類的直線，但我們要最終得到的回歸線是一條可以預(yù)測的特征函數(shù)曲線，于是將非線性回歸函數(shù)近似于一維線性回歸，也就是相當(dāng)于我們將曲線無限放大時，曲線接近于直線是一樣道理，然后我們得出一條分類直線，通過一定的

115、松弛因子使得在最小的范圍內(nèi)上下平移分類直線，使所形成線性回歸不敏感帶將采樣點都包含在其中，如圖2-6(a)所示，其輸出損失如圖2-6（b）所示。</p><p>　　（a） （b）</p><p>　　圖2-6線性支持向量回歸機原理</p><p>　　從觀測數(shù)據(jù)中學(xué)習(xí)歸納出系統(tǒng)規(guī)律, 并利

116、用這些規(guī)律對未來數(shù)據(jù)或無法觀測到的數(shù)據(jù)進(jìn)行預(yù)測, 是進(jìn)行數(shù)據(jù)挖掘一直關(guān)注的問題?；貧w分析是預(yù)測方法之一, 其目的是找出數(shù)值型變量間的依賴關(guān)系, 用函數(shù)關(guān)系式表達(dá)出來。回歸分析可以進(jìn)行因果預(yù)測, 模型僅僅依賴于要預(yù)測的變量與其他變量的關(guān)系[12]。模型是否能提供合理的預(yù)測,主要在于自變量和因變量的分布是否符合模型。一般地, 在建立回歸方程時, 將會考慮多種可能的自變量的集合, 保證回歸方法預(yù)測的準(zhǔn)確性?；貧w分析中的變量有兩類: 自變量和因