非平衡數(shù)據(jù)模式分類中的若干問題研究及其在金融中的應(yīng)用.pdf

1、企業(yè)財務(wù)困境預(yù)測是金融界的一個長期研究熱點，由于其復(fù)雜性，人們從不同角度進行了建模研究，主要包括以下兩類方法：1)以企業(yè)財務(wù)比率為基礎(chǔ)的模式識別方法，包括多元線性判別、Logistic回歸、神經(jīng)網(wǎng)絡(luò)等；2)以資本市場理論為基礎(chǔ)的非模式識別方法，包括期權(quán)定價模型，債券違約率模型，混沌模型等。其中，基于線性判別和Logistic回歸的預(yù)測模型在實際中應(yīng)用最有效，也是國際金融業(yè)和學(xué)術(shù)界公認的主流方法。 但是，當應(yīng)用這些主流方法進行財務(wù)

2、困境預(yù)測時，仍存在許多實際問題。例如，由于陷入財務(wù)困境的公司個數(shù)占公司總數(shù)的比例很小，建模時必然涉及抽樣標準問題——如何從實際數(shù)據(jù)中抽取樣本?也就是說，如何確定建模樣本中的兩類比例，以使所建模型最優(yōu)。從模式識別角度講，這是一個非平衡數(shù)據(jù)模式分類問題。非平衡數(shù)據(jù)模式分類也是目前機器學(xué)習(xí)領(lǐng)域的一個研究熱點，本文即以此為研究對象，對其中的幾個基本問題進行了重點研究，主要工作及結(jié)論如下： 1.分析了非平衡數(shù)據(jù)對Fisher判別的投影向量

3、、及分類性能的影響，提出一種加權(quán)Fisher線性判別——WFLD。Fisher判別的核心是求解滿足Fisher準則的最優(yōu)投影向量，因此，分析非平衡數(shù)據(jù)對投影向量的影響十分必要。本文通過理論分析指出：當兩類樣本協(xié)方差陣相同時，非平衡數(shù)據(jù)對投影向量沒有作用，從而也不會影響Fisher判別的分類性能；反之亦然。在此基礎(chǔ)上，提出了一種加權(quán)Fisher線性判別——WFLD，它本質(zhì)上是一種特殊的上抽樣，即同時對兩類樣本進行不同倍數(shù)的簡單復(fù)制，使變換

4、后的兩類樣本個數(shù)之比為1∶1。實驗證明了理論分析的正確性以及WFLD的有效性。 2.針對Fisher判別，提出了一種基于Bootstrap技術(shù)的BFLD算法，該算法可生成較為連續(xù)和穩(wěn)定的ROC曲線，由此選取閾值可以減小總的判別風險。閾值的選取對判決結(jié)果影響甚大，而Fisher判別卻未提供規(guī)定選取閾值的原則。ROC曲線非常適用于非平衡數(shù)據(jù)分類中的閾值選取，然而，樣本數(shù)目有限會導(dǎo)致ROC曲線呈明顯的臺階狀，從而使基于ROC曲線選取的

5、閾值偏離了理論最優(yōu)值。針對Fisher判別，本文提出了一種基于Bootstrap技術(shù)的BFLD算法，該算法具有多個優(yōu)點：首先，與一般的非參數(shù)方法相比，該算法生成的ROC曲線更加連續(xù)和穩(wěn)定；其次，與預(yù)留法(Hold-out)生成的ROC曲線相比，基于由BFLD生成的ROC曲線選取出的判決閾值可以使總的判決風險更??；最后，與留一法(Leave-one-out)相比，利用BFLD算法可以更加準確地估計預(yù)測集的類別概率——預(yù)測集的類別概率是基于

6、ROC曲線選取閾值的必要條件。 3.提出了一種基于正態(tài)分布的Fisher判別值概率校準方法。在模式分類中，如果知道樣本屬于各個類別的概率，會有許多益處，如可以實現(xiàn)最優(yōu)判決、便于進一步的融合決策等。為此，本文進行了兩方面的工作：1)首先假設(shè)樣本的Fisher判別值在兩類中均服從正態(tài)分布，然后利用判別值的經(jīng)驗分布估計出未知參數(shù)，從而可以求解出判別值的類條件概率密度，將其與先驗概率一起代入貝葉斯公式可計算出后驗概率，此概率即為判別值的

7、校準概率。實驗表明，F(xiàn)isher判別值的校準概率比LR模型概率能更準確地逼近真實概率。2)混合隱變量模型是高維樣本概率密度估計的新方法，本文分別采用因子分析與概率主成分分析來估計類條件概率密度，然后構(gòu)造出相應(yīng)的貝葉斯分類器。實驗表明，對于上市公司財務(wù)困境的提前3年預(yù)測情況，該方法略優(yōu)于線性判別和Logistic回歸。 4.作為課題組成員，合作設(shè)計、開發(fā)了一個財務(wù)分析系統(tǒng)，并已將本論文財務(wù)困境預(yù)測研究成果嵌入其中，使系統(tǒng)不僅實現(xiàn)了