基于特征分析和數(shù)據(jù)降維的復(fù)雜數(shù)據(jù)預(yù)測與分類方法研究.pdf

1、數(shù)據(jù)預(yù)測與分類是數(shù)據(jù)挖掘領(lǐng)域非常重要的研究課題，長期以來受到了廣泛的關(guān)注。數(shù)據(jù)預(yù)測與分類理論是管理科學(xué)、經(jīng)濟(jì)、數(shù)學(xué)、計算機(jī)等不同學(xué)科相互交叉融合的結(jié)晶，并已經(jīng)被廣泛應(yīng)用于能源價格市場分析、金融市場價格預(yù)測和風(fēng)險控制、生物信息識別、商務(wù)智能客戶行為分析等眾多領(lǐng)域。近年來，隨著信息技術(shù)、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，云計算、大數(shù)據(jù)分析的逐步成熟，復(fù)雜數(shù)據(jù)預(yù)測與分類研究充滿了機(jī)遇與挑戰(zhàn)，一方面，隨著上述新興技術(shù)、產(chǎn)業(yè)的發(fā)展與推廣，大量實時在線數(shù)據(jù)的快

2、速收集得以實現(xiàn)，以數(shù)據(jù)預(yù)測與分類為代表的數(shù)據(jù)挖掘技術(shù)將在更多的領(lǐng)域中發(fā)揮更大的作用。另一方面，從數(shù)據(jù)維度、數(shù)據(jù)類型以及數(shù)據(jù)體量等不同層面來看，數(shù)據(jù)對象正變的越來越多樣化、復(fù)雜化，這極大的增加了精準(zhǔn)化和精細(xì)化挖掘的難度，同時也從知識獲取的準(zhǔn)確性、合理性、可靠性以及實用性等多個方面對數(shù)據(jù)預(yù)測與分類研究提出了更高要求。
　　本文在對國內(nèi)外數(shù)據(jù)預(yù)測與分類有關(guān)基礎(chǔ)理論、實現(xiàn)方法和建模策略進(jìn)行梳理和總結(jié)的基礎(chǔ)上，重點從數(shù)據(jù)的維度復(fù)雜性、頻域特

3、征復(fù)雜性、多源信息識別與匹配三個方面出發(fā)，緊密圍繞數(shù)據(jù)預(yù)測與分類的關(guān)鍵問題，以電力系統(tǒng)負(fù)荷數(shù)據(jù)、電力市場價格數(shù)據(jù)為主要研究對象和案例，對復(fù)雜數(shù)據(jù)預(yù)測與分類問題展開研究。本文的主要研究內(nèi)容及創(chuàng)新點總結(jié)如下:
　　(1)提出了一種基于相似性測度的半?yún)?shù)回歸概率密度預(yù)測框架，系統(tǒng)性分析了傳統(tǒng)數(shù)據(jù)預(yù)測方法的適用范圍及存在的問題。在此基礎(chǔ)上，針對研究對象的多源相關(guān)性特征，構(gòu)建了基于非參數(shù)修勻的半?yún)?shù)回歸模型，同時結(jié)合Bootstrap概率區(qū)

4、間估計進(jìn)行分析。其次，針對所選擇的多影響因素指標(biāo)與研究對象之間作用機(jī)制難以確定的問題，結(jié)合相似性測度、因子分析以及因果關(guān)系檢驗等方法，給出了一種規(guī)范化的指標(biāo)變量提取與識別策略。通過實驗驗證所提出預(yù)測框架的有效性，進(jìn)而為深入研究不同指標(biāo)變量與對象數(shù)據(jù)之間的復(fù)雜建模機(jī)制提供了借鑒。
　　(2)提出了一種基于數(shù)據(jù)降維的分段可加半?yún)?shù)回歸概率密度預(yù)測框架，針對數(shù)據(jù)的周期性、多維多粒度波動特性，受到可加建模思想的啟發(fā)，提出了基于分段可加的半

5、參數(shù)回歸模型，并結(jié)合Bootstrap概率區(qū)間估計進(jìn)行分析。為保證樣本外預(yù)測的可行性和合理性，基于Bootstrap重采樣技術(shù)對氣象數(shù)據(jù)的未來趨勢進(jìn)行了有效模擬。該數(shù)據(jù)預(yù)測框架引入了可加建模思想對數(shù)據(jù)作降維度處理，并結(jié)合指標(biāo)變量篩選與匹配方法從而完成概率分布建模，給出了一種可行的大跨度外延預(yù)測方法，同時提高了數(shù)據(jù)預(yù)測在電力需求分析中的實用性和魯棒性。
　　(3)提出了一種基于特征提取的半?yún)?shù)回歸概率密度預(yù)測框架，針對數(shù)據(jù)的周期性、

6、多頻域特征混疊特性，基于EEMD頻域分解方法對原始序列進(jìn)行多尺度分析，結(jié)合頻域特征選擇與識別方法確定原始序列的特征信號和隨機(jī)信號，并對不同頻域信號進(jìn)行重構(gòu)。結(jié)合正交最小二乘估計、Bootstrap概率區(qū)間估計，構(gòu)建了非參數(shù)修勻策略的半?yún)?shù)回歸模型?；谒岢龅哪Ｐ蛯Σ煌卣鞒煞趾挖厔莩煞址謩e建模并集成預(yù)測。該數(shù)據(jù)預(yù)測框架引入了頻域分析方法對數(shù)據(jù)作降維度處理，通過合理的篩選特征信號和趨勢信號并進(jìn)行概率分布建模，為有效分析具有復(fù)雜趨勢融合特

7、征的非平穩(wěn)時間序列數(shù)據(jù)提供了一種新思路。
　　(4)提出了一種基于特征選擇和支持向量機(jī)的高維數(shù)據(jù)分類框架，針對連續(xù)型數(shù)值預(yù)測方法用于非平穩(wěn)、極端波動趨勢分析時容易失效的問題，基于數(shù)據(jù)分類的思想將傳統(tǒng)的數(shù)據(jù)類別看作是描述對象數(shù)據(jù)變化的“概率空間”，并增加對象數(shù)據(jù)的所屬類別及類別范圍從而將區(qū)間預(yù)測轉(zhuǎn)化為模式分類問題。通過融合Filter和Wrapper兩種不同特征選擇思路對SVM進(jìn)行改進(jìn)，給出了基于多分類的SVM-RFE-MRMR分類