第二章簡(jiǎn)單回歸模型

1、第二章 簡(jiǎn)單回歸模型,回歸的歷史含義F.加爾頓最先使用“回歸（regression）”。父母高，子女也高；父母矮，子女也矮。給定父母的身高，子女平均身高趨向于 “回歸”到全體人口的平均身高。,簡(jiǎn)單回歸模型的定義,,,回歸的現(xiàn)代釋義,回歸分析用于研究一個(gè)變量關(guān)于另一個(gè)（些）變量的具體依賴關(guān)系的計(jì)算方法和理論。 關(guān)注對(duì)象：（1）用x來解釋y （2）研究y如何隨x而變化,商

2、品需求函數(shù)：,警察和犯罪率：,除x外其他影響y的因素如何處理？y和x函數(shù)關(guān)系如何設(shè)定？,簡(jiǎn)單回歸的幾個(gè)問題：,y=?0 + ?1 x + u,擾動(dòng)項(xiàng)u的引入。x和y的非線性關(guān)系怎么辦？生產(chǎn)函數(shù)：,兩個(gè)例子,yield=?0 + ?1 fertilizer + u,wage=?0 + ?1 educ + u,其他因素不變，?u=0，則： ?1 =?yield/?fertilizer ?

3、1 =?wage/?educ 變化解釋變量fertilizer或educ時(shí)，能假定其他因 素不變嗎？,解釋變量x和擾動(dòng)項(xiàng)u關(guān)于均值獨(dú)立：均值獨(dú)立比“不相關(guān)”更強(qiáng)相關(guān)關(guān)系度量的是變量間的線性關(guān)系。若x表示受教育水平，u是個(gè)人能力，假定可能成立嗎？,關(guān)于u的假定,E(u|x)=E(u),對(duì)于模型： 如方程包含常數(shù)項(xiàng)，可以假定： 若E(u)=a?0，可將模型調(diào)整為：零條件均值假定：,y=?

4、0 + ?1 x + u,E(u)=0,y=?0 +a+?1 x + u1,E(u|x) = 0,總體回歸函數(shù)（PRF）,E(y|x)=?0 + ?1 x,PRF是確定的，未知的,總體回歸函數(shù)（傳統(tǒng)思路）,假想案例,總體回歸函數(shù)的隨機(jī)設(shè)定,隨機(jī)誤差項(xiàng)的意義,假設(shè)一個(gè)國(guó)家只有60戶居民，他們的可支配收入和消費(fèi)支出數(shù)據(jù)如下（單位：美元）：,假想案例,描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直

5、線上。這條直線稱為總體回歸線。,,E(Y|Xi) = ?0 + ?1Xi=17.00+0.6Xi,“天行有常，不為堯存，不為桀亡。應(yīng)之以治則吉，應(yīng)之以亂則兇?！?---荀子《天論》,E(Y|Xi) = ?0 + ?1Xi,總體回歸函數(shù),其中： Y——被解釋變量；,X——解釋變量；,?0，?1—回歸系數(shù)（待定系數(shù)或待估參數(shù)）,總體回歸模型的隨機(jī)設(shè)定,對(duì)于某一個(gè)家庭，如何描述可支配

6、收入和消費(fèi)支出的關(guān)系?,某個(gè)家庭的消費(fèi)支出分為兩部分：一是E(Y|Xi)=?0 + ?1 Xi ，稱為系統(tǒng)成分或確定性成分；二是ui，稱為非系統(tǒng)或隨機(jī)性成分。,Yi=E(Y|Xi) + ui =?0 + ?1 Xi + ui,Yi=?0 + ?1 Xi + ui,E(Y|Xi) = ?0 + ?1 Xi,,隨機(jī)性總體回歸函數(shù),確定性總體回歸函數(shù),隨機(jī)誤差項(xiàng)u的意義,反映被忽略掉的因素對(duì)被解釋變量的影響。 或者理論不夠完善，或者數(shù)

7、據(jù)缺失；或者影 響輕微。模型設(shè)定誤差度量誤差 人類行為內(nèi)在的隨機(jī)性,普通最小二乘法,對(duì)于一元回歸模型： 兩個(gè)條件：兩個(gè)未知數(shù)：所有的yi和xi都是已知數(shù)據(jù)。,E(u)=0,E(u|x) = 0?E(xu) = 0,yi=?0 + ?1 xi + ui,?0 和 ?1,方程組： 用樣本矩代替總體矩：,E(y-?0 - ?1 x) = E(u) = 0E[x(y-?0 - ?1 x)] = E(xu)

8、 = 0,,當(dāng)滿足條件： OLS估計(jì)量 ：,實(shí)際上就是y和x的樣本協(xié)方差與x的樣本方 差之比。,擬合值 ： 給定截距和斜率估計(jì)值，y在x=xi時(shí)的預(yù)測(cè)值 該函數(shù)為樣本回歸函數(shù) （SRF）殘差 ：,普通最小二乘法（傳統(tǒng)思路）,如何得到一條能夠較好地反映這些點(diǎn)變化規(guī)律 的直線呢？,Q =,,,,=,,通過Q最小確定這條直線，即確定 ，以

9、 為變量，把它們看作是Q的函數(shù)，就變成了一個(gè)求極值的問題，可以通過求導(dǎo)數(shù)得到。,,,,殘差的平方和最小,,,,,求Q對(duì) 兩個(gè)待估參數(shù) 的偏導(dǎo)數(shù)：,,,,,即,樣本回歸函數(shù),為研究總體，我們需要抽取一定的樣本。,第一個(gè)樣本,樣本回歸線,樣本均值連線,樣本回歸函數(shù),第二個(gè)樣本,樣本回歸線,樣本均值連線,總體回歸模型和樣本回歸模型的比較,幾個(gè)例子,首席執(zhí)行官的薪水和股本回報(bào)率？,工資和受教育程度投票結(jié)果與競(jìng)選支出：,,Xi,y

10、i,y1,y2,y3,u1,u2,u3,,,,,,,,E(y|xi) = ?0 + ?1 xi,注意：分清幾個(gè)關(guān)系式和表示符號(hào),（2）樣本（估計(jì)的）回歸直線：,（3）總體（真實(shí)的）回歸模型：,（4）樣本（估計(jì)的）回歸模型：,（1）總體（真實(shí)的）回歸直線：,ui——隨機(jī)誤差項(xiàng) ——?dú)埐铐?xiàng),OLS操作技巧,（1）殘差和及樣本均值都等于零,OLS估計(jì)量代數(shù)性質(zhì),=,=,（2）回歸元和殘差的樣本協(xié)方差為零,（3）

11、 總在OLS回歸線上,（4）擬合值 的樣本均值等于yi的樣本均值,（5）擬合值和殘差的樣本協(xié)方差為零,,,.,.,.,.,.,.,.,.,,,,,,,,,y,x,yi,,,,,xi,A,0,=,+,總離差 = 回歸差 + 殘差,回歸差：由樣本回歸直線解釋的部分 殘差：不能由樣本回歸直線解釋的部分,可以證明:,,離差平方和分解,總平方和 ＝ 解釋平方和 ＋ 殘差平方和 SST

12、= SSE + SSR,=,+,利用性質(zhì)（1）和性質(zhì)（5）：,＋,= 1,解釋平方（SSE）和在總平方和（SST）中所占的比重越大，說明樣本回歸模型對(duì)樣本數(shù)據(jù)擬合的程度越好。因此，用來表示擬合優(yōu)度的可決系數(shù)定義為：,R2,,,,,R2 的取值范圍是 [0，1]。對(duì)于一組數(shù)據(jù)，TSS是不變，所以ESS↑（↓），RSS↓（↑）,擬合優(yōu)度與判定系數(shù)（可決系數(shù)）,R2=0時(shí) 表明解釋變量x與被解釋變量y之間不存在

13、線性關(guān)系；R2=1時(shí) 表明樣本回歸線與樣本值重合； 一般情況下，R2越接近1表示擬合程度越好，x對(duì)y的解釋能力越強(qiáng)；看似很低的R2值，并不意味著OLS回歸方程沒有用！,R2 =,=,=,=(R)2,度量單位和函數(shù)形式,改變度量單位對(duì)OLS估計(jì)量的影響,首席執(zhí)行官的薪水和股本回報(bào)率？,若salarydol=1000salary，即將薪水單位由千美元 調(diào)整為美元，模型估計(jì)結(jié)果為：,若股本回報(bào)率由百分比調(diào)整為小數(shù)，即roed

14、oc=roe/100， 模型估計(jì)結(jié)果為：,若將薪水單位調(diào)整為美元，股本回報(bào)率調(diào)整為小數(shù)， 模型估計(jì)結(jié)果？,判定系數(shù)R2為什么不變？,彈性度量：雙對(duì)數(shù)模型 yt = a xtb 兩側(cè)同取對(duì)數(shù)，加入擾動(dòng)項(xiàng)

15、： Lnyt = Lna + b Lnxt + ut 令a* = Lna，yt* = Lnyt，xt* = Lnxt，上式表示為 yt*= a* + bxt*+ utCobb-Douglas生產(chǎn)函數(shù) Q = A L? K ?,模型的非線性,雙對(duì)數(shù)模型與線性模型的區(qū)別雙對(duì)數(shù)模型中斜率系數(shù)b為y對(duì)x的彈性

16、E： Lnyt = a* + b Lnxt + ut b=E=線性模型中斜率系數(shù)b為x 對(duì)y的邊際影響： yt =a + bxt + ut b=dy/dx 從而彈性E =(dy/dx)(x/y)=b(x/y)雙對(duì)數(shù)模型中彈性E是不變的，線性模型中彈性隨著x/y的變化而變化。,,增長(zhǎng)率測(cè)度：半對(duì)數(shù)模型

17、 Lnyt = a+bxt+ut b反映x一單位變動(dòng)導(dǎo)致y的相對(duì)變動(dòng)：當(dāng)x表示時(shí)間時(shí)，b為y的增長(zhǎng)率。 令 yt = y0(1+r)t 兩側(cè)同時(shí)取對(duì)數(shù)： Lnyt =Lny0 +tLn(1+r) 當(dāng)r很小時(shí)， b=Ln(1

18、+r) ≈r,人力資本研究中，通常會(huì)使用半對(duì)數(shù)模型： 這里wage為工資收入，edu為受教育年限，ability為能力，work為工作經(jīng)驗(yàn)。 引入work2是因?yàn)槿藗兺ǔＵJ(rèn)為存在最優(yōu)工作年限！ 半對(duì)數(shù)模型中，參數(shù)?1的含義為： ?1 = 如果使用線性模型，即被解釋變量為wage， 則參數(shù)?1的含義為,

19、線性—對(duì)數(shù)模型 yt = a + b Ln xt + ut （b>0） 家庭預(yù)算的截面研究中，一類支出y和收入x的關(guān)系。預(yù)算花費(fèi)在這種商品之前，收入要達(dá)到一個(gè)確定的臨界水平e-a/b。而且支出隨著收入的增加而單調(diào)增加，但

20、其增長(zhǎng)率遞減，該商品消費(fèi)的邊際傾向(b/x)和彈性(b/y)都隨著收入增加而遞減。,,倒數(shù)模型 yt = a + b/xt + ut,菲利普斯曲線,恩格爾消費(fèi)曲線,多項(xiàng)式模型：二次函數(shù)： yt = b0 + b1 xt + b2 xt2 + ut 交叉乘積項(xiàng)：yt = b0 + b1 x1t + b2 x2t + b3 x1tx2

21、t + ut,,,吸煙與肺癌,關(guān)于參數(shù)線性，而不是關(guān)于變量線性！可以通過變量替換，轉(zhuǎn)化為線性模型！,“線性”回歸的含義,OLS估計(jì)量的期望值和方差,高斯-馬爾可夫定理（參見P97）,如果滿足古典線性回歸模型的基本假定，則在所有的線性估計(jì)量中，OLS估計(jì)量是最優(yōu)線性無偏估計(jì)量（BLUE）。,,線性性 無偏性 有效性,簡(jiǎn)單回歸的高斯—馬爾科夫假定假定1：關(guān)于參數(shù)線性 y=?0 +

22、?1 x + u （1）假定2：隨機(jī)抽樣 有一個(gè)服從總體模型（1）的隨機(jī)樣本{(xi ,yi): i =1, 2, …, n}，n為樣本容量假定3：解釋變量的樣本有變異 xi的樣本實(shí)現(xiàn)值，{xi : i =1, 2, …, n}不是完全相同的數(shù)值假定4：零條件均值 E(u|x)=0假定5：同方差性

23、 Var(u|x)=?2,線性性,可以表示為因變量數(shù)據(jù)yi的線性函數(shù)。,證明：,=,=,=,其中,=,線性估計(jì)量分布的推導(dǎo)比非線性估計(jì)量容易,無偏性,證明：,=,=,=,=,,,,,=?1,??1,無偏估計(jì)量,有偏估計(jì)量,,?1,=,OLS估計(jì)量的方差比其他線性無偏估計(jì)量的方差都小。,最小方差性與有效性,,,,?1,,,,一致性（參見P158）,,,?1,,,,,,概率密度,OLS估計(jì)量的抽樣方差,為什

24、么要估計(jì)方差？,方差反映了數(shù)據(jù)的離散程度和估計(jì)結(jié)果的精確性。,受教育年限與每小時(shí)工資,,,?1,,,同方差,（遞增型）異方差,假定4：零條件均值 E(u|x)=0假定5：同方差性 Var(u|x)=?2,估計(jì)?0時(shí)，最好有 ，此時(shí)?0估計(jì)量的方差最小，但?1估計(jì)量的方差不受影響。 為什么？,?2的估計(jì)量（無偏）：,擾動(dòng)

25、項(xiàng)方差（ ?2）的估計(jì),OLS估計(jì)量的樣本方差和標(biāo)準(zhǔn)誤,當(dāng)x=0時(shí)，y的期望值為零收入為零，收入稅所得為零木材砍伐量為零，木材剩余物為零模型形式： 殘差平方和最?。?過原點(diǎn)回歸,注意：對(duì)于過原點(diǎn)回歸： 標(biāo)準(zhǔn)的可決系數(shù)（R2）可能為負(fù)。如果真實(shí)情況下?0 ?0，使用過原點(diǎn)回歸模型會(huì)導(dǎo)致?1的 估計(jì)量有偏且不一致。如果?0 =0，使用含截距項(xiàng)的回歸模型，由于沒有利用