線性回歸模型參數(shù)估計及異常點檢測方法改進.pdf

1、線性回歸模型作為統(tǒng)計學科中最基礎、應用最廣泛的數(shù)學模型，是探求變量間關系、分析數(shù)據(jù)有效性的有力工具。本文主要圍繞:線性回歸模型參數(shù)估計方法、線性回歸模型異常點檢測方法兩部分展開研究，針對各自的研究方法給予了理論上的改進與程序上的實現(xiàn)。
　　回歸模型建立的目的在于得到變量之間的相關關系，即參數(shù)估計。經(jīng)典的參數(shù)估計思想是使估計偏差的平方最小，稱為最小二乘估計。在Gauss-Markov假設下，最小二乘估計是無偏估計類中方差最小的估計方

2、法。當自變量之間存在某種近似的線性關系時，會導致最小二乘估計的均方誤差很大。前人針對傳統(tǒng)方法的不足，提出了主成分估計與嶺估計。本文對上述方法進行了綜合與改進，提出了K綜合主成分估計。該方法將特征值矩陣Λ按照矩陣XTX特征值的大小劃分為Λ1和Λ2兩部分，并在包含少部分信息的Λ2中加上K=diag(kq+1，…，kp)，其中常數(shù)kj≥0，j=q+1，…，p.然后給出了K綜合主成分估計在均方誤差意義下優(yōu)于最小二乘估計以及廣義嶺估計的條件。傳統(tǒng)

3、的嶺估計只考慮對特征值加同一個常數(shù)k的情況，未考慮對不同特征值加不同常數(shù)的情況。本文又提出了函數(shù)型嶺估計，在特征值矩陣Λ1中加上關于K的函數(shù)矩陣F(K)=diag(f1(k1)，f2（k2），…，fq(kq))，其中已知函數(shù)fi(ki)，i=1，…，q滿足一定的非負與可微性條件。理論上證明了函數(shù)型嶺估計在均方誤差意義下優(yōu)于主成分估計和最小二乘估計的條件，以及在廣義均方誤差意義下優(yōu)于最小二乘估計的條件。
　　回歸模型建立時需要剔除與

4、原定模型偏差大的數(shù)據(jù)，即異常點檢驗。本文對異常點檢驗的常用方法進行了細致的討論與研究。在數(shù)據(jù)刪除模型中，刪除一行或多行樣本數(shù)據(jù)，會遇到設計陣X為非列滿秩的情況。而最小二乘估計是基于設計陣列滿秩的假設下進行參數(shù)估計的。若不滿足，則矩陣XTX無法求逆。為了克服這種情況，本文考慮利用廣義逆的思想，通過奇異值分解的方法來求矩陣XTX的廣義逆;在均值漂移模型中，t統(tǒng)計量是判斷異常點的常用統(tǒng)計量。本文利用MATLAB軟件編程，隨機生成了自變量和誤差