浙江大學(xué)《概率論與數(shù)理統(tǒng)計(jì)》課件ch9

1、1,第九章 方差分析和回歸分析,關(guān)鍵詞：?jiǎn)我蛩卦囼?yàn) 一元線性回歸,2,方差分析(Analysis of variance, 簡(jiǎn)稱:ANOVA),是由英國統(tǒng)計(jì)學(xué)家費(fèi)歇爾(Fisher)在20世紀(jì)20年代提出的,可用于推斷兩個(gè)或兩個(gè)以上總體均值是否有差異的顯著性檢驗(yàn).,3,§1單因素方差分析,例：為了比較三種不同類型日光燈管的壽命(小時(shí)), 現(xiàn)將從每種類型日光燈管中抽取 8個(gè), 總共 24 個(gè)日光燈管進(jìn)行

2、老化試驗(yàn),根據(jù)下面經(jīng)老化試驗(yàn)后測(cè)算得出的各個(gè)日光燈管的壽命(小時(shí))，試判斷三種不同類型日光燈管的壽命是不是有存在差異.,4,日光燈管的壽命(小時(shí)),,引起日光燈管壽命不同的原因有二個(gè)方面: 其一, 由于日光燈類型不同,而引起壽命不同.其二,同一種類型日光燈管,由于其它隨機(jī)因素的影響, 也使其壽命不同.,5,在方差分析中, 通常把研究對(duì)象的特征值, 即所考察的試驗(yàn)結(jié)果( 例如日光燈管的壽命)稱為 試驗(yàn)指標(biāo).對(duì)試驗(yàn)指標(biāo)產(chǎn)生影響的原因

3、稱為 因素, “日光燈管類型” 即為因素.因素中各個(gè)不同狀態(tài)稱為 水平, 如日光燈管三個(gè)不同的類型, 即為三個(gè)水平.,6,單因素方差分析 僅考慮有一個(gè)因素A對(duì)試驗(yàn)指標(biāo)的影響. 假如因素 A有r 個(gè)水平, 分別在第 i 水平下進(jìn)行了 多次獨(dú)立觀測(cè), 所得到的試驗(yàn)指標(biāo)的數(shù)據(jù),7,,每個(gè)總體相互獨(dú)立. 因此, 可寫成如下的 數(shù)學(xué)模型:,8,方差分析的目的就是要比較因素A 的r 個(gè)水平下試驗(yàn)指標(biāo)理論均值的差異, 問題可歸結(jié)為比較這r個(gè)總體的均

4、值差異.,9,檢驗(yàn)假設(shè),10,假設(shè)等價(jià)于,11,為給出上面的檢驗(yàn)，主要采用的方法是平方和分解。即假設(shè)數(shù)據(jù)總的差異用總離差平方和 分解為二個(gè)部分: 一部分是由于因素 A引起的差異, 即效應(yīng)平方和 ；另一部分則由隨機(jī)誤差所引起的差異， 即誤差平方和 。,,,,12,13,,證明：,14,15,,16,17,18,,定理9.1.1,19,單因素試驗(yàn)方差分析表,20,21,,例1 設(shè)有5種治療蕁麻疹的藥，要比較它們

5、的療效。假設(shè)將30個(gè)病人分成5組，每組6人，令同組病人使用一種藥，并記錄病人從使用藥物開始到痊愈所需時(shí)間，得到下面的記錄：(?=0.05),22,23,這里藥物是因子，共有5個(gè)水平，這是一個(gè)單因素方差分析問題，要檢驗(yàn)的假設(shè)是“所有藥物的效果都沒有差別”。,24,25,,26,,未知參數(shù)的估計(jì),27,,,28,29,30,在Excel上實(shí)現(xiàn)方差分析,先加載''數(shù)據(jù)分析" 這個(gè)模塊,方法如下:在excel工作表中

6、點(diǎn)擊主菜單中 “工具” 點(diǎn)擊下拉式菜單中“加載宏” 就會(huì)出現(xiàn)一個(gè)“加載宏” 的框. 在 “分析工具庫” 前的框內(nèi)打勾點(diǎn)擊“確定”. 這時(shí)候再點(diǎn)擊下拉式菜單會(huì)新出現(xiàn) “數(shù)據(jù)分析”. 然后就可以進(jìn)行統(tǒng)計(jì)分析了.,31,以下面的例子來說明用Excel進(jìn)行方差分析的方法:,保險(xiǎn)公司某一險(xiǎn)種在四個(gè)不同地區(qū)一年的索賠額情況記錄如表所示. 試判斷在四個(gè)不同地區(qū)索賠額有無顯著的差異?,32,33,在Excel工作表中輸入上面的數(shù)據(jù)點(diǎn)擊主菜單中

7、“工具”點(diǎn)擊下拉式菜單中“數(shù)據(jù)分析” 就會(huì)出現(xiàn)一個(gè)“數(shù)據(jù)分析” 的框. 點(diǎn)擊菜單中“方差分析:單因素方差分析”點(diǎn)擊“確定”, 出現(xiàn)“方差分析:單因素方差分析” 框.,34,在“輸入?yún)^(qū)域”中標(biāo)定你已經(jīng)輸入的數(shù)據(jù)的位置根據(jù)你輸入數(shù)據(jù)分組情況(是按行分或按列分)確定分組.選定方差分析中F檢驗(yàn)的顯著水平選定輸出結(jié)果的位置點(diǎn)擊“確定”. 在你指定的區(qū)域中出現(xiàn)如下方差分析表:,35,方差分析表,36,根據(jù)Excel給出的方差分析表,假設(shè)H0的

8、判別有二種方法:,37,38,39,方差分析的前提,40,方差分析和其它統(tǒng)計(jì)推斷一樣, 樣本的獨(dú)立性對(duì)方差分析是非常重要的, 在實(shí)際應(yīng)用中會(huì)經(jīng)常遇到非隨機(jī)樣本的情況,這時(shí)使用方差分析得出的結(jié)論不可靠. 因此, 在安排試驗(yàn)或采集數(shù)據(jù)的過程中, 一定要注意樣本的獨(dú)立性問題.,41,在實(shí)際中, 沒有一個(gè)總體真正服從正態(tài)分布的, 而方差分析卻依賴于正態(tài)性的假設(shè). 不過由經(jīng)驗(yàn)可知, 方差分析F檢驗(yàn)對(duì)正態(tài)性的假設(shè)并不是非常敏感, 即, 實(shí)際所得

9、到的數(shù)據(jù), 若沒有異常值和偏性, 或者說, 數(shù)據(jù)顯示的分布比較對(duì)稱的話, 即使樣本容量比較小(如每個(gè)水平下的樣本容量?jī)H為5左右), 方差分析的結(jié)果仍是值得依賴的.,42,方差齊性對(duì)于方差分析是非常重要的, 因此在方差分析之前往往要進(jìn)行方差齊性的診斷, 檢驗(yàn)方差齊性假設(shè)通常采用Barlett檢驗(yàn).不過，也可采用如下的經(jīng)驗(yàn)準(zhǔn)則:當(dāng)最大樣本標(biāo)準(zhǔn)差不超過最小樣本標(biāo)準(zhǔn)差的兩倍時(shí), 方差分析F檢驗(yàn)結(jié)果近似正確.,43,§3 一元線性回歸

10、分析,一、確定性關(guān)系： 當(dāng)自變量給定一個(gè)值時(shí)，就確定應(yīng)變量的值與之對(duì)應(yīng)。如：在自由落體中，物體下落的高度h與下落時(shí)間t之間有函數(shù)關(guān)系：,變量與變量之間的關(guān)系,44,二、相關(guān)性關(guān)系： 變量之間的關(guān)系并不確定，而是表現(xiàn)為具有隨機(jī)性的一種“趨勢(shì)”。即對(duì)自變量x的同一值，在不同的觀測(cè)中，因變量Y可以取不同的值，而且取值是隨機(jī)的，但對(duì)應(yīng)x在一定范圍的不同值，對(duì)Y進(jìn)行觀測(cè)時(shí)，可以觀察到Y(jié)隨x的變化而呈現(xiàn)有一定趨勢(shì)的變化。,45,如

11、：身高與體重，不存在這樣的函數(shù)可以由身高計(jì)算出體重，但從統(tǒng)計(jì)意義上來說，身高者，體也重。如：父親的身高與兒子的身高之間也有一定聯(lián)系, 通常父親高，兒子也高。,46,我們以一個(gè)例子來建立回歸模型,某戶人家打算安裝太陽能熱水器. 為了了解加熱溫度與燃?xì)庀牡年P(guān)系, 記錄了16個(gè)月燃?xì)獾南牧? 數(shù)據(jù)見下表.,47,48,在回歸分析時(shí), 我們稱“燃?xì)庀牧俊睘轫憫?yīng)變量記為Y,“加熱溫度”為解釋變量記為X, 由所得數(shù)據(jù)計(jì)算相關(guān)系數(shù)得r=0.9

12、95,表明加熱溫度與燃?xì)庀闹g有非常好的線性相關(guān)性.如果以加熱溫度作為橫軸, 以消耗燃?xì)饬孔鳛榭v軸,得到散點(diǎn)圖的形狀大致呈線性.,,49,50,51,52,53,54,55,一元線性回歸要解決的問題：,56,參數(shù)估計(jì),57,整理得正規(guī)方程系數(shù)行列式,58,59,60,在誤差為正態(tài)分布假定下， 的最小二乘估計(jì)等價(jià)于極大似然估計(jì)。,61,采用最大似然估計(jì)給出參數(shù) 的估計(jì)與最小二乘法給出的估計(jì)完全一致。采用最大似然

13、估計(jì)給出誤差 的估計(jì)如下：此估計(jì)不是 的無偏估計(jì)。,,,62,例1 K.Pearson收集了大量父親身高與兒子身高的資料。其中十對(duì)如下：,求Y關(guān)于x的線性回歸方程。,63,64,參數(shù)性質(zhì),65,即為正態(tài)隨機(jī)變量的線性組合，所以服從正態(tài)分布。,,證明（1）,66,（2）類似可得。,67,回歸方程顯著性檢驗(yàn),采用最小二乘法估計(jì)參數(shù) ，并不需要事先知道Y與x之間一定具有相關(guān)關(guān)系。因此μ(x)是否為x的線性

14、函數(shù)：一要根據(jù)專業(yè)知識(shí)和實(shí)踐來判斷，二要根據(jù)實(shí)際觀察得到的數(shù)據(jù)用假設(shè)檢驗(yàn)方法來判斷。,68,（1）影響Y取值的，除了x，還有其他不可忽略的因素；（2）E(Y)與x的關(guān)系不是線性關(guān)系，而是其他關(guān)系；（3）Y與x不存在關(guān)系。,若原假設(shè)被拒絕，說明回歸效果是顯著的，否則，若接受原假設(shè)，說明Y與x不是線性關(guān)系，回歸方程無意義?；貧w效果不顯著的原因可能有以下幾種：,69,假設(shè)的檢驗(yàn)統(tǒng)計(jì)量,與方差分析方法類似，仍采用平方和分解。,,,一般地

15、，用來描述 之間的總的差異大小，稱SST為總平方和。,70,可以證明：,71,可以證明，,由參數(shù)估計(jì)的性質(zhì)可知，當(dāng) 時(shí)，,,72,,73,74,也可采用t檢驗(yàn),75,例3 檢驗(yàn)例1中回歸效果是否顯著，取α=0.05。,,76,回歸系數(shù) 的置信區(qū)間,,,由,77,78,回歸參數(shù)估計(jì)和顯著性檢驗(yàn)的Excel實(shí)現(xiàn),例 1（續(xù)) 前面我們已經(jīng)分析了加熱溫度與燃?xì)庀牧恐g的關(guān)系, 認(rèn)為兩者

16、具有較好的線性關(guān)系, 下面我們進(jìn)一步建立燃?xì)庀牧?響應(yīng)變量)與加熱溫度(解釋變量)之間的回歸方程. 采用Excel中的“數(shù)據(jù)分析” 模塊.在Excel工作表中輸入上面的數(shù)據(jù) 點(diǎn)擊主菜單中“工具” 點(diǎn)擊下拉式菜單中“數(shù)據(jù)分析” 就會(huì)出現(xiàn)一個(gè)“數(shù)據(jù)分析” 的框，點(diǎn)擊菜單中“回歸” ，點(diǎn)擊“確定”, 出現(xiàn)“回歸” 框.,79,在“Y值輸入?yún)^(qū)域”中標(biāo)定你已經(jīng)輸入的響應(yīng)變量數(shù)據(jù)的位置,在“X值輸入?yún)^(qū)域”中標(biāo)定你已經(jīng)輸入的解釋變量數(shù)據(jù)的位置

17、(注意: 數(shù)據(jù)按“列”輸入)“置信度”中輸入你已經(jīng)確定置信度的值選定輸出結(jié)果的位置點(diǎn)擊“確定”.在指定位置輸出相應(yīng)的方差分析表和回歸系數(shù)輸出結(jié)果, 例1的輸出結(jié)果如下所示,,80,方差分析表,81,Coef. 標(biāo)準(zhǔn)誤差 t Stat P value Lower 95% Upper 95%Intercept 1.089 0.139 7.841 1.729E- 06 0.7

18、91 1.387X 0.189 0.005 38.309 1.415E-15 0.178 0.200,方差分析中,給出了假設(shè)檢驗(yàn) 的F檢驗(yàn). 方差分析表中各項(xiàng)也與前一節(jié)方差分析表中的意義類似. 值得注意的是,方差分析表中“均方” 列中, 相應(yīng)于“誤差”行的值即為模型誤差方差的估計(jì), 即 =0

19、.115.,,,82,83,84,預(yù)測(cè),預(yù)測(cè)一般有兩種意義.,85,86,因此，根據(jù)觀測(cè)結(jié)果，點(diǎn)預(yù)測(cè)為,87,88,89,90,91,92,93,例 合金鋼的強(qiáng)度y與鋼材中碳的含量x有密切關(guān)系。為了冶煉出符合要求強(qiáng)度的鋼常常通過控制鋼水中的碳含量來達(dá)到目的，為此需要了解y與x之間的關(guān)系。其中x：碳含量（％） y：鋼的強(qiáng)度（kg/mm2）數(shù)據(jù)見下：,94,（1）畫出散點(diǎn)圖；（2）設(shè)μ(x)=α+βx,求α+β的估計(jì)；（3）求誤差方差的