非線性?xún)?yōu)化問(wèn)題的罰函數(shù)算法和擬Newton算法.pdf

1、最優(yōu)化可以追溯到求解極值問(wèn)題。它最初是求解某些數(shù)學(xué)問(wèn)題的最優(yōu)解，即從眾多的方案中選出最優(yōu)方案。上世紀(jì)40年代末，最優(yōu)化理論和方法成為一門(mén)獨(dú)立的學(xué)科。自從Dantzig在1947年提出求解線性規(guī)劃問(wèn)題的單純形算法之后，求解非線性規(guī)劃、隨機(jī)規(guī)劃、多目標(biāo)規(guī)劃、半定規(guī)劃等多種最優(yōu)化問(wèn)題的理論研究得到長(zhǎng)足發(fā)展，新方法不斷涌現(xiàn)。
　　 最優(yōu)化方法中，解決約束非線性規(guī)劃問(wèn)題的一種思路是化成無(wú)約束非線性規(guī)劃問(wèn)題，最常用的兩種方法是罰函數(shù)方法和拉

2、格朗日乘子方法。由于罰函數(shù)的精確性和可微性難于同時(shí)滿足。因此本文針對(duì)傳統(tǒng)罰函數(shù)的結(jié)構(gòu)改進(jìn)，將優(yōu)化函數(shù)化為既精確又光滑的函數(shù)類(lèi)型。同時(shí)得到了相關(guān)理論，提出一種含參數(shù)的罰函數(shù)算法，并對(duì)算法進(jìn)行數(shù)值實(shí)驗(yàn)，結(jié)果顯示算法效果明顯提高。
　　 擬Newton法是求解非線性無(wú)約束優(yōu)化問(wèn)題的最有效、理論上也是最成熟的算法之一。在擬Newton方法中，擬Newton方程的結(jié)構(gòu)起著至關(guān)重要的作用。最初的擬Newton方程僅僅利用了目標(biāo)函數(shù)的一階導(dǎo)數(shù)

3、信息，而忽略了目標(biāo)函數(shù)值信息。
　　 因此，很多人對(duì)擬Newton方程進(jìn)行了研究，并取得了較好的成果。所以基于修正擬Newton方程成為擬Newton算法發(fā)展的一個(gè)研究熱點(diǎn)。本文提出兩種非單調(diào)線性搜索技術(shù)，修正得到三類(lèi)擬Newton方法，同時(shí)證明了全局收斂性，且對(duì)算法進(jìn)行了數(shù)值實(shí)驗(yàn)，結(jié)果表明數(shù)值效果較好。
　　 本文結(jié)構(gòu)安排如下：
　　 第一章緒論首先介紹最優(yōu)化的基本知識(shí)和非單調(diào)線性搜索技術(shù)，隨后介紹精確罰函數(shù)研

4、究和發(fā)展現(xiàn)狀、擬Newton法的理論和研究現(xiàn)狀，最后給出本文的研究成果。
　　 第二章提出一種新的含參數(shù)精確罰函數(shù)算法，并在前人研究基礎(chǔ)之上給出新的精確罰定理，一方面在理論上研究精確罰函數(shù)的近似精確性，另一方面進(jìn)行數(shù)值實(shí)驗(yàn)來(lái)驗(yàn)證方法的可行性。
　　 第三章提出一種無(wú)約束優(yōu)化問(wèn)題的對(duì)角稀疏擬Newton算法，采用了新的非單調(diào)線性搜索技術(shù)，在每次迭代中利用對(duì)角矩陣近似校正矩陣，使得每次的存儲(chǔ)量和工作量大為減少。并對(duì)擬Newt

5、on方程進(jìn)行了校正，利用更多的目標(biāo)函數(shù)信息。
　　 在一般假設(shè)條件下，證明了算法的全局收斂性和超線性收斂性。數(shù)值實(shí)驗(yàn)表明了算法的可行性。
　　 第四章提出一種非單調(diào)的線性搜索技術(shù)和修正的擬Newton方法，并證明了該算法在此線性搜索下對(duì)非凸極小化問(wèn)題的全局收斂性，建立了算法的全局收斂性定理，數(shù)值結(jié)果表明，采用非單調(diào)搜索技術(shù)的擬Newton方法比原有單調(diào)的擬Newton方法的數(shù)值效果明顯要好。
　　 第五章基于李董