第三章--無約束最優(yōu)化的梯度方法

1、第三章無約束最優(yōu)化的梯度方法1.最速下降法假定我們已經(jīng)迭代了次，獲得了第個(gè)迭代點(diǎn)。從出發(fā)，顯然應(yīng)沿下kkkxkx降方向進(jìn)行，由于負(fù)梯度方向是最速下降方向，因此沿負(fù)梯度方向應(yīng)該是有利的。因此，取搜索方向。)(kkxfp???)(1kkkkxftxx????此時(shí)有：0)()(1????kTkxfxf如將該方法應(yīng)用于二次函數(shù)，則可求出的顯式表達(dá)式。cxbQxxxfTT???21)(kt)()()())(()(1kkkkkkkkkkxfQtxf

2、xfQtbQxbxftxQbQxxf????????????????0)()()()(??????kTkkkTkxfQxftxfxfkTkkTkkTkkTkkQggggxfQxfxfxft??????)()()()(2.Newton法適用條件：如果目標(biāo)函數(shù)在上具有連續(xù)的二階偏導(dǎo)數(shù)，其Hesse矩)(xfnR陣正定。)(xG基本想法：考慮從到的迭代過程。kx1?kx在點(diǎn)處用二次函數(shù)來逼近，即：kx)(xf))(()(21)()()()()

3、(kkTkkTkkxxxGxxxxxgxfxQxf???????0)())(()(?????kkkxgxxxGxQ)()(11kkkkxgxGxxx?????3.共軛方向法與共軛梯度法1)共軛方向法22112)(?????????mmmmmQptQptxf.............................，????????111)(mjiiijQptxf)20(???mj將所得等式兩邊左乘，有Tjp0)()(111???????

4、???mjiiTjijTjmTjQpptxfpxfp證明②:按條件③，，則存在一組數(shù)使得]...:[1100??mmpppxLx110...?m????????100miiimpxx?同樣，對于任意?????100miiipxx?上面兩式相減得??????10)(miiiimpxx??由結(jié)論①可知0)(??mTjxfp0)()()()(10?????????mmiTiiimTmxfpxfxx??)()(21)()()(21)()()()

5、(mTmmmTmmTmmxxQxxxfxxQxxxfxxxfxf???????????由于是正定的，因此是在線性流行上的極小點(diǎn)。Qmx??1100...:?mpppxL當(dāng)時(shí)，線性流行就是整個(gè)維空間了，因此此時(shí)nm???1100...:?mpppxLnnR就是中的極小點(diǎn)。mxnR共軛方向法：已知：具有正定矩陣的二次目標(biāo)函數(shù)和終止限。QcxbQxxxfTT???21)(?①選定初始點(diǎn)和具有下降方向的向量；置。0x0p0?k②作直線搜索。)(