高維稀疏數(shù)據(jù)的Lasso和Dantzig Selector方法——高維稀疏線性回歸模型.pdf

1、近年來,高維統(tǒng)計數(shù)據(jù)分析成為統(tǒng)計學(xué)研究的熱點,幾乎所有的大牛統(tǒng)計學(xué)家都在研究.高維稀疏數(shù)據(jù)問題就是其中一類特殊問題.當(dāng)變量或特征個數(shù)遠大于樣本個數(shù)時,很多特征都是噪聲而不是信號,它們會影響我們的分析結(jié)果.例如,在基因芯片里,基因個數(shù)成千上萬,而觀測個體只有幾十或者幾百個.從生物學(xué)上說,和某種疾病相關(guān)的基因也就幾十到幾百個,剩余的基因都是和疾病無關(guān)的.這就產(chǎn)生了一個統(tǒng)計問題,如何提取感興趣的特征.我們一般把它稱為特征選擇或變量選擇.目前,

2、比較流行的高維數(shù)據(jù)的變量選擇方法有兩種:一種是美國斯坦福大學(xué)統(tǒng)計系教授Tibshirani提出的稱之為Lasso的變量選擇方法;另一種是Candes等提出的Dantzig Selector估計.
　　這兩種方法在高維線性回歸模型中表現(xiàn)了很好的性質(zhì).本文中,我們主要研究利用這兩種方法對模型中的未知參數(shù)進行估計和預(yù)測.在高維線性回歸模型中,對參數(shù)的估計和預(yù)測的研究主要是:假定設(shè)計陣滿足一定的條件,然后根據(jù)誤差項的特點對未知參數(shù)進行估計

3、和預(yù)測.目前,關(guān)于設(shè)計陣滿足的條件的研究很多,其中,2007年,Bickel等提出的限制特征值假設(shè)是應(yīng)用很普遍且較弱的條件之一,當(dāng)設(shè)計陣滿足該假設(shè)條件時得到的結(jié)論對后來的研究具有重要的影響.后來,統(tǒng)計學(xué)家們利用該假設(shè)得到了很多相關(guān)的結(jié)論,但是這些結(jié)論均依賴于模型中未知參數(shù)的稀疏水平的大小.
　　2012年初,Wang等提出了與Bickel等的限制特征值假設(shè)等價的假設(shè),且在其提出的假設(shè)下極大地改進了已有的結(jié)論.更重要的是,在該假設(shè)下

4、得到的結(jié)論不依賴于未知參數(shù)稀疏水平的大小.因此,該假設(shè)的提出,使得高維情形下未知參數(shù)的估計和預(yù)測的研究有了更進一步的發(fā)展.值得注意的是,在Bickel等、Wang等的研究中,均假設(shè)誤差項服從正態(tài)分布,且方差已知.然而,在實際應(yīng)用中,誤差項的方差往往是未知的,或者誤差項的分布不確定.本文考慮誤差項分布不確定的情形.
　　本文的主要工作和創(chuàng)新:1)利用Lasso和Dantizg Selector兩種方法,研究高維稀疏線性回歸模型中未知