通用向量機優(yōu)化理論及其在時間序列預測中的應用研究.pdf

1、分類號:O211.5密級：研究生學位論文論文題目（中文）通用向量機優(yōu)化理論及其在時間序列預測中的應用研究論文題目（外文）TheOptimizationofGeneralVectMachineItsApplicationsinTimeSeriesFecasting研究生姓名雍賓賓學科、專業(yè)計算機科學與技術(shù)計算機應用技術(shù)研究方向神經(jīng)網(wǎng)絡理論與應用學位級別博士導師姓名、職稱周慶國教授論文工作起止年月2014年9月至2017年10月論文提交日期

2、2017年10月論文答辯日期2017年12月學位授予日期年月校址：甘肅省蘭州市通用向量機優(yōu)化理論及其在時間序列預測中的應用研究中文摘要預測廣泛存在于人類的生產(chǎn)活動中，并在很多領域起著至關(guān)重要的作用，因此得到了廣泛研究。人工神經(jīng)網(wǎng)絡(ANNArtificialNeuralwk)，尤其是基于反向傳播算法(BPBackPropagation)和經(jīng)驗風險最小化(ERMEmpiricalRiskMinimization)策略的人工神經(jīng)網(wǎng)絡，是目前

3、預測領域最重要的模型之一。由于具有較強的數(shù)據(jù)特征提取能力，神經(jīng)網(wǎng)絡被廣泛應用到各種預測問題中，例如時間序列預測問題。但是，傳統(tǒng)的神經(jīng)網(wǎng)絡模型通常容易引起過擬合問題，并且預測結(jié)果受初始權(quán)值、模型結(jié)構(gòu)和隨機性的影響比較嚴重。因此，許多學者對神經(jīng)網(wǎng)絡及其改進模型進行了大量的研究工作。其中，支持向量機(SVMSupptVectMachine)模型引入了結(jié)構(gòu)風險最小化(SRMStructuralRiskMinimization)策略，是一個有著堅

4、實理論基礎的預測模型，已經(jīng)被證實在小樣本數(shù)據(jù)集上具有良好的預測效果。但是，在缺少訓練樣本的情況下，支持向量機模型的預測性能可能會受到噪聲支持向量的嚴重影響。通用向量機模型(GVMGeneralVectMachine)是最近幾年才被提出的基于統(tǒng)計學習理論(SLTStatisticalLearningThey)的預測模型，可以看成是神經(jīng)網(wǎng)絡和支持向量機模型的混合體。該模型采用蒙特卡羅(MCMonteCarlo)算法進行訓練，在繼承了神經(jīng)網(wǎng)絡

5、的經(jīng)驗風險最小化策略和支持向量機的結(jié)構(gòu)風險最小化策略的同時，引入了設計風險最小化(DRMDesignRiskMinimization)策略和先驗知識理論，具有優(yōu)秀的泛化學習能力。雖然通用向量機模型被證明有很多優(yōu)點，但是仍然有諸多問題需要解決。這些問題包括基礎理論的完善、訓練速度的提升、模型的優(yōu)化和應用領域的推廣等。針對以上問題，本文進行了詳細的研究并取得如下研究成果。(1)基礎理論的完善。本文首先將通用向量機模型定位成支持向量機模型和神

6、經(jīng)網(wǎng)絡模型的混合模型；然后定義了通用向量機模型的訓練步長等概念并給出了步長公式；之后給出了通用向量機模型的具體實現(xiàn)流程以及偽代碼等。(2)通過引入偏導數(shù)信息，本文提出了優(yōu)化通用向量機訓練速度的偏導數(shù)蒙特卡羅(DMCDerivativebasedMonteCarlo)算法，并且對DMC算法的性能進行了理論探討。DMC算法可以在保證原蒙特卡羅訓練算法所需隨機性的前提下，將通用向量機模型的訓練速度提升數(shù)倍。本文分別以函數(shù)擬合和電力負荷預測為例