新的共軛梯度法和譜梯度法的研究.pdf

1、本文給出求解大規(guī)模無約束優(yōu)化問題新的共軛梯度法和譜梯度法，并探討用譜梯度投影法來求解閉凸集約束優(yōu)化問題。在適當(dāng)?shù)臈l件下，證明了所提出算法的全局收斂性。初步的數(shù)值結(jié)果表明所提出的算法是有效的。 第一章先回顧共軛梯度法和譜梯度法的一些發(fā)展歷程，隨后介紹有關(guān)投影梯度法的相關(guān)知識。 經(jīng)典的LS共軛梯度法在實(shí)際計算中表現(xiàn)很好，但是采用傳統(tǒng)的線性搜索該方法尚未有全局收斂性結(jié)果。第二章給出求解無約束優(yōu)化問題的一個修正LS共軛梯度法，在

2、弱Wolfe-Powell線性搜索條件下，證明了所提出方法的全局收斂性。該方法的主要優(yōu)點(diǎn)是：(1)參數(shù)βκnew的非負(fù)性與所使用的線性搜索無關(guān)；(2)算法產(chǎn)生的方向在弱Wolfe-Powell線性搜索條件下滿足充分下降條件。初步的數(shù)值結(jié)果表明所提出的方法比經(jīng)典的PRP和Ls方法要好。 文[1]中給出的數(shù)值結(jié)果證實(shí)了譜梯度(Barzilai-Borwein)法在實(shí)際計算中的表現(xiàn)比一些著名的共軛梯度法要好?；赪ei等在文[2]中提

3、出的擬牛頓公式，第三章給出譜梯度法的新步長公式。結(jié)合非單調(diào)線性搜索技術(shù)，在適當(dāng)條件下，證明了所提出方法的全局收斂性。新方法的特點(diǎn)是：同時利用梯度和函數(shù)值的信息能更好地逼近目標(biāo)函數(shù)的二階曲率。初步的數(shù)值結(jié)果表明新方法比Barzilai-Borwein方法更有效。 文[3]的數(shù)值結(jié)果表明求解閉凸集約束優(yōu)化問題的非單調(diào)譜投影梯度法(SPG2)是有效的。第四章給出求解大規(guī)模閉凸集約束優(yōu)化問題新的非單調(diào)譜投影梯度算法。在目標(biāo)函數(shù)的梯度是一