線性回歸模型中多重共線性問題的應對策略及其幾點改進.pdf

1、在解決許多實際問題中，需要使用解釋變量對響應變量建立預測方程，但當涉及的解釋變量較多時，解釋變量間往往存在相關性；或者當取得的樣本點數(shù)量小于解釋變量個數(shù)時，都可以引起多重共線性問題，這時如果仍采用普通的最小二乘法來建模，那么這種多重共線性就會嚴重危害參數(shù)的估計、擴大模型誤差、破壞模型的穩(wěn)健性。 本文闡述了解決多重共線性問題的三種方法：嶺回歸方法、主成分回歸方法、偏最小二乘回歸方法，并對這三種方法進行了綜述，且對它們的性質(zhì)進行了歸

2、納和總結(jié)，特別總結(jié)和歸納了基于方差最大性原則下的主成分分析的計算方法和步驟以及多因變量的偏最小二乘回歸方法的計算方法和步驟。 本文討論了嶺回歸、主成分回歸和偏最小二乘回歸的存在的一些問題，在嶺回歸中采用了一種基于均方誤差無偏估計達到最小原則下選擇嶺參數(shù)K的新方法；在主成分回歸中我們采用主成分的加權殘差平方和來替代僅用殘差平方和來篩選特征值的方法，明顯改善了系統(tǒng)的誤差，使得模型的精確度有了較大的提高；在偏最小二乘估計中我們從計算的

3、約束條件著手，分析了解釋矩陣中有較多信息且與響應變量具有較高相關性這種理想狀態(tài)下的矛盾，采用了用正交投影的辦法，把解釋矩陣中與響應變量無關的成分扣除掉，經(jīng)過這樣處理的解釋矩陣便不存在含有大量與響應變量無關的信息問題，從而擴寬了偏最小二乘回歸方法的使用范圍。同時還發(fā)現(xiàn)在偏最小二乘法當中利用交叉有效性原則選取主成分個數(shù)時，交叉有效原則并不是總是有效的，通過例題進行了說明。并且采用了一種基于”殘差平方和的減小率”與Q2k準則相結(jié)合的方法來確定