畢業(yè)論文--最小二乘法的應(yīng)用研究

1、<p>　　最小二乘法的應(yīng)用研究</p><p><b>　　摘 要</b></p><p>　　最小二乘法是從誤差擬合角度對回歸模型進(jìn)行參數(shù)估計或系統(tǒng)辨識,并在參數(shù)估計、系統(tǒng)辨識以及預(yù)測、預(yù)報等眾多領(lǐng)域中得到極為廣泛的應(yīng)用.然而,最小二乘法因其抽象、難懂常常不能被準(zhǔn)確理解.本文探討了最小二乘法的基本原理及其各種變形的擬合方法,其中包括:一元線性最小二乘法

2、擬合、多元線性擬合、多項式擬合、非線性擬合,并且討論了用鏡像映射和切比雪夫多項式解“病態(tài)”矛盾方程組的基本原理和方法,在此基礎(chǔ)上給出了幾種最小二乘法程序的設(shè)計原理.</p><p>　　關(guān)鍵詞：最小二乘法,線性擬合,曲線擬合,切比雪夫多項式</p><p>　　Study on the Application about Method of Least Square</p>

3、<p><b>　　Abstract</b></p><p>　　Least square was used to estimate parameters and identify system of regression model, by the point of error fitting. And it has widely application in the param

4、eters estimate, system identification, prediction, forecasting and other fields. However, the least square method because of its abstract and difficult ，often can not be accurately understanding. The least square method’

5、s principle and the various kinds of fitting methods such as the linear least square fitting, multiple linear fitting, po</p><p>　　Key Words：least square method, linear fitting, curve fitting, Chebyshev poly

6、nomial</p><p><b>　　目 錄</b></p><p>　　一、最小二乘法的統(tǒng)計學(xué)原理………………………………………………………1</p><p>　　二、曲線擬合…………………………………………………………………………2</p><p>　　1.一元線性擬合………………………………………………………

7、……………2</p><p>　　2.多元線性擬合……………………………………………………………………4</p><p>　　3.多項式擬合………………………………………………………………………5</p><p>　　4.非線性最小二乘法擬合…………………………………………………………6</p><p>　　5.多項式回歸的高精度快速算法……

8、……………………………………………7</p><p>　　三、應(yīng)用最小二乘法的幾個問題……………………………………………………9</p><p>　　四、程序設(shè)計原理……………………………………………………………………10</p><p>　　1.線性擬合程序的設(shè)計原理………………………………………………………10</p><p>　　2.多

9、元線性擬合程序的設(shè)計原理…………………………………………………10</p><p>　　3.Shehata 方程的擬合程序設(shè)計原理…………………………11</p><p>　　結(jié)束語………………………………………………………………………………11</p><p>　　參考文獻(xiàn)……………………………………………………………………………12</p><

10、;p>　　一、最小二乘法的統(tǒng)計學(xué)原理</p><p>　　基本最小二乘法,其統(tǒng)計學(xué)原理是:</p><p>　　設(shè)物理量與個變量間的依賴關(guān)系式為</p><p><b>　　,</b></p><p>　　其中是方程中需要確定的個參數(shù).</p><p>　　最小二乘法就是通過個實驗點確定出一

11、組參數(shù)值</p><p><b>　　,</b></p><p>　　使由這組參數(shù)得出的函數(shù)值</p><p>　　與實驗值間的偏差平方和</p><p><b>　　取得極小值.</b></p><p>　　在設(shè)計實驗時,為了減小隨機(jī)誤差,一般進(jìn)行多點測量,使方程式個數(shù)大于

12、待求參數(shù)的個數(shù),即.這時構(gòu)成的方程組叫做矛盾方程組.通過用最小二乘法進(jìn)行統(tǒng)計處理,將矛盾方程組轉(zhuǎn)換成未知數(shù)個數(shù)和方程個數(shù)相等的正規(guī)方程組,再進(jìn)行求解得出.</p><p>　　由微分學(xué)的求極值方法可知應(yīng)滿足下列方程組:</p><p><b>　　,</b></p><p>　　這樣就實現(xiàn)矛盾方程組向正規(guī)方程組的轉(zhuǎn)換.</p>&

13、lt;p><b>　　二、曲線擬合</b></p><p><b>　　1.一元線性擬合</b></p><p>　　設(shè)變量與成線性關(guān)系,即.現(xiàn)在已知個實驗點 ,求兩個未知參數(shù).</p><p>　　[方法一] 由最小二乘法原理,參數(shù)應(yīng)使</p><p>　　取得極小值.根據(jù)極小值的求法,和

14、應(yīng)滿足</p><p><b>　　,</b></p><p><b>　　,</b></p><p>　　這就是含有兩個未知數(shù)和兩個方程的正規(guī)方程組.</p><p><b>　　從中解得,即</b></p><p><b>　　(1)<

15、;/b></p><p><b>　　其中</b></p><p><b>　　,</b></p><p><b>　　線性相關(guān)系數(shù),式中</b></p><p><b>　　,</b></p><p>　　相關(guān)系數(shù)是用來衡量

16、實驗點的線性特性.</p><p>　　[方法二] 將代入得矛盾方程組</p><p><b>　　(2)</b></p><p><b>　　令</b></p><p><b>　　,,</b></p><p><b>　　則（2）式可寫成

17、</b></p><p><b>　　,</b></p><p><b>　　則有</b></p><p><b>　　,</b></p><p><b>　　所以</b></p><p><b>　　.<

18、;/b></p><p>　　其中稱為結(jié)構(gòu)矩陣,稱為數(shù)據(jù)矩陣,稱為信息矩陣,稱為常數(shù)矩陣.</p><p>　　為了定量地給出與實驗數(shù)據(jù)之間線性關(guān)系的符合程度,可以用相關(guān)系數(shù)來衡量.它定義為</p><p><b>　　.</b></p><p>　　值在中,值越接近1,與的線性關(guān)系越好.為正時,直線斜率為正,稱為

19、正相關(guān)；為負(fù)時,直線斜率為負(fù),稱為負(fù)相關(guān).接近于0時,測量數(shù)據(jù)點分散或之間為非線性.不論測量數(shù)據(jù)好壞都能求出和,所以我們必須有一種判斷測量數(shù)據(jù)好壞的方法,用來判斷什么樣的測量數(shù)據(jù)不宜擬合,判斷的方法是時,測量數(shù)據(jù)是非線性的.稱為相關(guān)系數(shù)的起碼值,與測量次數(shù)有關(guān),如圖表所示.</p><p><b>　　相關(guān)系數(shù)起碼值</b></p><p>　　在進(jìn)行一元線性擬合之前

20、應(yīng)先求出值,再與比較,若,則和具有線性關(guān)系,可求回歸直線；否則反之.</p><p><b>　　2.多元線性擬合</b></p><p>　　設(shè)變量與個變量間存在線性關(guān)系,.設(shè)變量的第次測量值為,對應(yīng)的函數(shù)值為,則偏差平方和</p><p>　　為使取極小值,得正規(guī)方程組為:</p><p><b>　　,&

21、lt;/b></p><p><b>　　即</b></p><p><b>　　,.</b></p><p>　　將實驗數(shù)據(jù)代入上述正規(guī)方程組中,即得出未知參數(shù).</p><p><b>　　3.多頂式擬合</b></p><p>　　對于次多項

22、式,令,則可轉(zhuǎn)化為線性形式這是曲線化直.對于個實驗點有,代入多元線性擬合的正規(guī)方程:</p><p><b>　　,</b></p><p>　　可直接得出多項式最小二乘擬合的正規(guī)方程:</p><p><b>　??；</b></p><p><b>　　矩陣形式:</b>&l

23、t;/p><p><b>　　,</b></p><p>　　式中代表,這是一個具有個參數(shù)和個方程的線性方程組,可用高斯迭代法求出這些未知參數(shù),得出回歸方程.</p><p>　　4.非線性最小二乘法擬合</p><p>　　將非線性關(guān)系直接代入偏差平方和表達(dá)式中,采用極小值的求法得出的數(shù)值,此方法常常較為繁瑣.為此,先將函

24、數(shù)展開成泰勒級數(shù),忽略高次項,化成線性形式后按線性擬合的方法求出參數(shù),經(jīng)多次逼近可得到滿足精度要求的結(jié)果.</p><p><b>　　計算步驟:</b></p><p>　　(1) 設(shè)所求參數(shù)真值為,另取初值,其差值,故.</p><p><b>　　(2) 將函數(shù)</b></p><p>　　在

25、處展開成泰勒級數(shù).由于初值與真值應(yīng)當(dāng)很接近,故可以略去函數(shù)的泰勒展開式高次項,取得一階近似展開式:</p><p><b>　　,</b></p><p><b>　　式中</b></p><p>　　(3) 令,則展開式可以寫為: </p><p><b>　　,</b>&l

26、t;/p><p>　　這是線性關(guān)系式的特殊形式.</p><p>　　(4) 將多元線性最小二乘法擬合的正規(guī)方程式應(yīng)用于上式,得出其正規(guī)方程組:</p><p><b>　　令</b></p><p><b>　　,</b></p><p><b>　　則上式成為: &

27、lt;/b></p><p><b>　　.</b></p><p>　　(5) 以高斯消元法或其它方法求解正規(guī)方程,即可得出即,求出,此式是一個近似式,因而得出的也是一個近似值.將首次求出的值賦給作為新的初值,重復(fù)上述過程,再求出新的值,從而得到新的初值,反復(fù)迭代,直到得出足夠精度的為止.</p><p>　　5.多項式回歸的高精度快速

28、算法</p><p>　　多項式回歸分析在回歸分析方法中具有特別重要的地位.在多項式回歸分析的矩陣運算中,解決數(shù)字病態(tài)問題則成為重要問題之一.為此采取兩個措施:第一,因為正規(guī)方程的條件數(shù)是矛盾方程組的平方倍,所以首先采用鏡像影射法解矛盾方程組,不解正規(guī)方程組；第二,采用切比雪夫多項式,使矛盾方程組系數(shù)矩陣正交化,使條件數(shù)進(jìn)一步減小.采用這兩種有效方法后,多項式逐次分析的運算工作就容易了,并且提高了精度.</

29、p><p><b>　　算法原理:</b></p><p>　　(1) 運用切比雪夫多項式降低矛盾方程的條件數(shù).對矛盾方程組的系數(shù)矩陣</p><p><b>　　,</b></p><p>　　向量的線性相關(guān)程度與矩陣的條件數(shù)有密切關(guān)系.當(dāng)系數(shù)矩陣為正交向量時條件數(shù)最小.因此,如果將多項式回歸轉(zhuǎn)化成切

30、比雪夫多項式回歸,就能將條件數(shù)降低到盡可能小的程度.</p><p>　　(2) 將測量數(shù)據(jù)化為區(qū)間的數(shù)據(jù).將一般多項式的測量數(shù)據(jù)</p><p>　　線性影射到內(nèi),就能把一般多項式的回歸問題轉(zhuǎn)化成切比雪夫回歸問題.</p><p>　　(3) 對數(shù)據(jù)擬合切比雪夫多項式.對</p><p>　　用切比雪夫多項式擬合數(shù)據(jù),,并經(jīng)過模型方次和參數(shù)

31、的最小二乘估計,算出,.</p><p>　　(4) 由切比雪夫多項式還原成普通多項式.這種算法能在一次輸入實驗數(shù)據(jù)后,系統(tǒng)自動根據(jù)殘差平方和的檢驗快速確定方次并求出參數(shù).例如,某振動筒式壓力傳感器的靜態(tài)標(biāo)定數(shù)據(jù),在95%的置信帶內(nèi),運行建模程序得到靜態(tài)頻率-壓力特性為二次多項式；</p><p>　　三、應(yīng)用最小二乘法的幾個問題</p><p>　　最小二乘法雖然

32、在數(shù)據(jù)處理方面具有顯著的效果,但如果使用不當(dāng)會導(dǎo)致很大的誤差,甚至錯誤的結(jié)果.因此,在應(yīng)用時必須注意以下幾個問題:</p><p>　　(1) 慎重選擇擬合關(guān)系式</p><p>　　在實際問題中,適當(dāng)選擇擬合關(guān)系式是一項十分謹(jǐn)慎的工作,它將直接影響計算的工作量和結(jié)論.</p><p>　　(2) 自變量的選擇</p><p>　　在實際工作

33、中,對一組實驗數(shù)據(jù)按不同的擬合形式,結(jié)果會不一樣.特別注意當(dāng)兩個變量都有一定誤差時,應(yīng)當(dāng)使用雙變量最小二乘法進(jìn)行處理,否則可以使用單變量最小二乘法.</p><p>　　(3) 加權(quán)最小二乘法</p><p>　　此法是應(yīng)用于實驗測量值非等精度的情況下的擬合方法.它不同程度的消除誤差因素,結(jié)果更準(zhǔn)確可靠.</p><p>　　設(shè)擬合函數(shù)為,當(dāng)值取時的實測值為,取.加

34、權(quán)偏差平方和</p><p><b>　　,</b></p><p>　　式中為個實驗點的權(quán)重因子.選取合適的權(quán)重因子可獲得高精度的擬合參數(shù).</p><p><b>　　四、程序設(shè)計原理</b></p><p>　　1.線性擬合程序的設(shè)計原理</p><p>　　對于給定的

35、實驗數(shù)據(jù),求作擬合直線,使總誤差為最小.</p><p>　　再由數(shù)學(xué)中極值求法得公式:</p><p><b>　　,</b></p><p><b>　　,</b></p><p><b>　　式中,.</b></p><p>　　2.多元線性擬合程

36、序的設(shè)計原理</p><p>　　對式,設(shè)變量的第次測量值為,對應(yīng)的函數(shù)值偏差平方和</p><p><b>　　,</b></p><p>　　求其極小值得正規(guī)方程組</p><p><b>　　,</b></p><p><b>　　, </b>&l

37、t;/p><p>　　式中：為實驗點數(shù),為未知參數(shù)個數(shù),為變量在第次測量中的取值；為函數(shù)第次測量值,為正規(guī)方程組的系數(shù)和,第列存放和;為存放未知參數(shù).</p><p>　　3.Shehata方程的擬合程序設(shè)計原理</p><p>　　將方程考慮為的函數(shù),將</p><p><b>　　,,</b></p>&l

38、t;p>　　代入正規(guī)方程即得結(jié)果.</p><p><b>　　結(jié)束語</b></p><p>　　最小二乘法是一個比較古老的方法,早在十八世紀(jì),就由首先創(chuàng)立并成功地應(yīng)用于天文觀測和大地測量工作中.此后近三百年來,它己廣泛應(yīng)用于科學(xué)實驗與工程技術(shù)中.最小二乘法能將從實驗中得出的一大堆看上去雜亂無章的數(shù)據(jù)中找出一定規(guī)律,擬合成一條曲線來反映所給數(shù)據(jù)點總趨勢,以消除

39、其局部波動.它為科研工作者提供了一種非常方便實效的數(shù)據(jù)處理方法.隨著現(xiàn)代電子計算機(jī)的普及與發(fā)展,這個占老的方法更加顯示出其強(qiáng)大的生命力.</p><p><b>　　參考文獻(xiàn):</b></p><p>　　[1]李慶揚,王能超,易大義.數(shù)值分析(第4版)[M].北京:清華大學(xué)出版社,2001.</p><p>　　[2]黃俊欽.靜動態(tài)數(shù)學(xué)模型的

40、實用建模方法[M].北京:機(jī)械工業(yè)出版社,1988.</p><p>　　[3]宋文臣主編.True Basic語言程序設(shè)計[M].北京:電子工業(yè)出版社,1994.</p><p>　　[4]王能超.數(shù)值分析簡明教程[M].北京:高等教育出版社,1984.</p><p>　　[5]肖明耀.誤差理論與應(yīng)用[M].北京:計量出版社,1985.</p>&