若干高維模型變量選擇和模型重建問題的研究.pdf

1、在過去的幾十年內(nèi)，隨著網(wǎng)絡(luò)的日趨發(fā)達(dá)和計(jì)算機(jī)存儲(chǔ)功能的日益強(qiáng)大，人們可以搜集到金融市場(chǎng)，基因表達(dá)，組合化學(xué)和其他許多領(lǐng)域內(nèi)的很多大型數(shù)據(jù)集。這些數(shù)據(jù)集通常具有很高的維數(shù)(大p，小n)。如果直接利用這幾萬或幾十萬甚至更多的變量來建模的話，成本會(huì)非常高，而且預(yù)測(cè)效果也會(huì)很差。變量選擇就是一種從這些變量中選擇重要的相關(guān)變量來達(dá)到穩(wěn)健建模的技術(shù)。
　　 本文主要考察了兩個(gè)方面的問題：變量選擇和模型糾偏。一方面，研究了一種流行的變量選擇方

2、法Dantzig選擇器的模型選擇的相合性，接著又研究了適應(yīng)的Dantzig選擇器的大樣本性質(zhì)。二者都是在高維線性模型的背景下研究的。另一方面，對(duì)于有偏的子模型，通過在模型中添加一個(gè)非參項(xiàng)來調(diào)整子模型，從而部分地糾正了子模型的偏。
　　 關(guān)于高維變量選擇問題，已經(jīng)有很多種處理的方法。Dantzig選擇器，作為一種有效的變量選擇方法，是由Candes and Tao(2007)提出來的，這種方法現(xiàn)在已經(jīng)成為一種非常流行的變量選擇方法

3、。但是它的大樣本性質(zhì)，除了Dicker and Lin(2009)以外，幾乎沒有別的文獻(xiàn)研究過。Dicker and Lin(2009)研究了在隨機(jī)設(shè)計(jì)，變量個(gè)數(shù)p是固定的情形下，Dantzig選擇器的模型選擇相合性。在論文的第二章中，考慮的是在固定設(shè)計(jì)的假設(shè)下，得到了無論p足固定的還是大于n的時(shí)候，Dantzig選擇器的模型選擇相合性。考慮如下的線性模型正如在上面的第二章中證明的，只要潛在的真模型滿足不可表示條件，Dantzig選擇器

4、就具有相合性，但是當(dāng)不可表示條件不成立的時(shí)候，模型選擇的相合性就不再滿足了。此外，Dantzig估計(jì)也達(dá)不到Fan and Li(2001)和Fan and Peng(2004)里給出的oracle性質(zhì)。發(fā)現(xiàn)Dantzig選擇器的懲罰方式有些不公平，因?yàn)樗写笮〉南禂?shù)懲罰的程度都是一樣的。因此，在第三章中，給不同大小的系數(shù)施加不同程度的懲罰，給出了一種加權(quán)的Dantzig選擇器，這也就是所謂的適應(yīng)的Dantzig選擇器。對(duì)于適應(yīng)的Dan

5、tzig選擇器，研究了它在稀疏高維線性模型下的，對(duì)于不同大小的p的漸近性質(zhì)。證明了只要能得到一個(gè)合理的初始估計(jì)，在適當(dāng)?shù)臈l件下，而無需滿足不可表示條件，適應(yīng)的Dantzig選擇器具有oraclc性質(zhì)，不管p以多項(xiàng)式的速度還是以指數(shù)的速度趨于無窮。即適應(yīng)的Dantzig選擇器的解β(ADS)滿足下面兩條：
　　 第三章的最后，對(duì)于p≤n和p>n分別給出了都給出了恰當(dāng)?shù)某跏脊烙?jì)作為適應(yīng)的Dantzig選擇器的權(quán)重.
　　 在

6、實(shí)際應(yīng)用中，重要變量通常是依據(jù)于實(shí)際經(jīng)驗(yàn)被選出來的。例如，在醫(yī)學(xué)上，尋找某種癌癥的致病基因都是取決于臨床試驗(yàn)，這種做法通常是不可能把所有與癌癥有關(guān)的基因都選出來的。此外，在某些情況下，既使我們使用一種模型選擇相合的變量選擇方法，例如Dantzig選擇器，在一次選擇中，也不可能保證總能成功的選出真模型.因此，在實(shí)際應(yīng)用中，子模型通常都是有偏的。如果就用這個(gè)有偏的子模型來做預(yù)測(cè)或控制的話，肯定得不到好的結(jié)果.因此，糾正或者減小子模型的偏是一

7、件非常必要也是非常有意義的事情。在第四章中，對(duì)子模型進(jìn)行重新建模，使得新的模型是可識(shí)別的并且無偏的。這里不再考慮線性模型，而是考慮一類更廣泛的模型一部分線性模型.它的定義為Y=β'X+γ'Z+g(T)+ε其中Yi響應(yīng)變量y的獨(dú)立同分布的觀測(cè)值，(Ti，X'i，Z'i)是協(xié)變量(T，X'，Z’)的觀測(cè)值，β=(β1，…，βp)’是一個(gè)p維的未知參數(shù)向量，γ=(γ1，…，γq)’是一個(gè)q維的未知參數(shù)向量，g(·)是一個(gè)未知函數(shù).為了避免維數(shù)

8、災(zāi)難問題，簡(jiǎn)單的假設(shè)T是一維的，ε'is是獨(dú)立同分布的誤差項(xiàng)滿足E(ε|X，Z，T)=O，D(ε|X，Z，T)=σ2.這里γ的維數(shù)q可能很高甚至隨著樣本量的增大趨于無窮。假設(shè)Z是相對(duì)來說不太相關(guān)的變量因此被從全模型中剔除掉了。記所得到的子模型為Y=β'X+g(T)+η.這樣的一個(gè)子模型是有偏的，因?yàn)樘蕹舻腪的系數(shù)γ中的分量只是相對(duì)較小，而非全為零。為了解決此問題，利用非參調(diào)整的方法得到一個(gè)局部無偏的子模型。調(diào)整后的子模型形如Y=β'X