通用向量機(jī)優(yōu)化理論及其在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究.pdf

1、分類(lèi)號(hào):O211.5密級(jí)：研究生學(xué)位論文論文題目（中文）通用向量機(jī)優(yōu)化理論及其在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究論文題目（外文）TheOptimizationofGeneralVectMachineItsApplicationsinTimeSeriesFecasting研究生姓名雍賓賓學(xué)科、專(zhuān)業(yè)計(jì)算機(jī)科學(xué)與技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)研究方向神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用學(xué)位級(jí)別博士導(dǎo)師姓名、職稱(chēng)周慶國(guó)教授論文工作起止年月2014年9月至2017年10月論文提交日期

2、2017年10月論文答辯日期2017年12月學(xué)位授予日期年月校址：甘肅省蘭州市通用向量機(jī)優(yōu)化理論及其在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究中文摘要預(yù)測(cè)廣泛存在于人類(lèi)的生產(chǎn)活動(dòng)中，并在很多領(lǐng)域起著至關(guān)重要的作用，因此得到了廣泛研究。人工神經(jīng)網(wǎng)絡(luò)(ANNArtificialNeuralwk)，尤其是基于反向傳播算法(BPBackPropagation)和經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(ERMEmpiricalRiskMinimization)策略的人工神經(jīng)網(wǎng)絡(luò)，是目前

3、預(yù)測(cè)領(lǐng)域最重要的模型之一。由于具有較強(qiáng)的數(shù)據(jù)特征提取能力，神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用到各種預(yù)測(cè)問(wèn)題中，例如時(shí)間序列預(yù)測(cè)問(wèn)題。但是，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型通常容易引起過(guò)擬合問(wèn)題，并且預(yù)測(cè)結(jié)果受初始權(quán)值、模型結(jié)構(gòu)和隨機(jī)性的影響比較嚴(yán)重。因此，許多學(xué)者對(duì)神經(jīng)網(wǎng)絡(luò)及其改進(jìn)模型進(jìn)行了大量的研究工作。其中，支持向量機(jī)(SVMSupptVectMachine)模型引入了結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRMStructuralRiskMinimization)策略，是一個(gè)有著堅(jiān)

4、實(shí)理論基礎(chǔ)的預(yù)測(cè)模型，已經(jīng)被證實(shí)在小樣本數(shù)據(jù)集上具有良好的預(yù)測(cè)效果。但是，在缺少訓(xùn)練樣本的情況下，支持向量機(jī)模型的預(yù)測(cè)性能可能會(huì)受到噪聲支持向量的嚴(yán)重影響。通用向量機(jī)模型(GVMGeneralVectMachine)是最近幾年才被提出的基于統(tǒng)計(jì)學(xué)習(xí)理論(SLTStatisticalLearningThey)的預(yù)測(cè)模型，可以看成是神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)模型的混合體。該模型采用蒙特卡羅(MCMonteCarlo)算法進(jìn)行訓(xùn)練，在繼承了神經(jīng)網(wǎng)絡(luò)

5、的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化策略和支持向量機(jī)的結(jié)構(gòu)風(fēng)險(xiǎn)最小化策略的同時(shí)，引入了設(shè)計(jì)風(fēng)險(xiǎn)最小化(DRMDesignRiskMinimization)策略和先驗(yàn)知識(shí)理論，具有優(yōu)秀的泛化學(xué)習(xí)能力。雖然通用向量機(jī)模型被證明有很多優(yōu)點(diǎn)，但是仍然有諸多問(wèn)題需要解決。這些問(wèn)題包括基礎(chǔ)理論的完善、訓(xùn)練速度的提升、模型的優(yōu)化和應(yīng)用領(lǐng)域的推廣等。針對(duì)以上問(wèn)題，本文進(jìn)行了詳細(xì)的研究并取得如下研究成果。(1)基礎(chǔ)理論的完善。本文首先將通用向量機(jī)模型定位成支持向量機(jī)模型和神

6、經(jīng)網(wǎng)絡(luò)模型的混合模型；然后定義了通用向量機(jī)模型的訓(xùn)練步長(zhǎng)等概念并給出了步長(zhǎng)公式；之后給出了通用向量機(jī)模型的具體實(shí)現(xiàn)流程以及偽代碼等。(2)通過(guò)引入偏導(dǎo)數(shù)信息，本文提出了優(yōu)化通用向量機(jī)訓(xùn)練速度的偏導(dǎo)數(shù)蒙特卡羅(DMCDerivativebasedMonteCarlo)算法，并且對(duì)DMC算法的性能進(jìn)行了理論探討。DMC算法可以在保證原蒙特卡羅訓(xùn)練算法所需隨機(jī)性的前提下，將通用向量機(jī)模型的訓(xùn)練速度提升數(shù)倍。本文分別以函數(shù)擬合和電力負(fù)荷預(yù)測(cè)為例