附錄《最優(yōu)化方法》復(fù)習(xí)題

1、附錄5《最優(yōu)化方法》復(fù)習(xí)題1、設(shè)是對(duì)稱矩陣，，求在任意點(diǎn)nnAR??nbRcR??1()2TTfxxAxbxc???x處的梯度和Hesse矩陣解2()()fxAxbfxA?????2、設(shè)，其中二階可導(dǎo)，，試求()()tfxtd???:nfRR?nnxRdRtR???()t???解2()()()()TTtfxtddtdfxtdd???????????3、設(shè)方向是函數(shù)在點(diǎn)處的下降方向，令ndR?()fxx，()()()()()TTTTddf

2、xfxHIdfxfxfx????????其中為單位矩陣，證明方向也是函數(shù)在點(diǎn)處的下降方I()pHfx???()fxx向證明由于方向是函數(shù)在點(diǎn)處的下降方向，因此，從而d()fxx()0Tfxd??()()()TTfxpfxHfx?????()()()()()()()()TTTTTddfxfxfxIfxdfxfxfx???????????()()()()()TTTfxfxfxdfxfx?????????，()0Tfxd???所以，方向是函數(shù)

3、在點(diǎn)處的下降方向p()fxx4、是凸集的充分必要條件是的一切nSR?12122mmmxxxSxxx??????凸組合都屬于S證明充分性顯然下證必要性設(shè)是凸集，對(duì)用歸納法證明當(dāng)Sm2m?時(shí)，由凸集的定義知結(jié)論成立，下面考慮時(shí)的情形令，1mk??11kiiixx?????，使由于為上的凸函數(shù)，因此xS??()()fxfx??()fxS，有(01)???((1))()(1)()()fxxfxfxfx????????????當(dāng)充分接近1時(shí)，可使

4、，于是?(1)()xxNxS????????()((1))fxfxx??????，矛盾從而是全局最優(yōu)解x7、設(shè)為非空凸集，是具有一階連續(xù)偏導(dǎo)數(shù)的凸函數(shù)，證明：nRS?RSf?:是問(wèn)題的最優(yōu)解的充要條件是：xmin()xSfx?()()0TfxxxxS?????證明必要性若為問(wèn)題的最優(yōu)解反設(shè)存在，使得xmin()xSfx?xS??，則是函數(shù)在點(diǎn)處的下降方向，這與為問(wèn)題()()0Tfxxx????dxx???()fxxx的最優(yōu)解矛盾故min

5、()xSfx?()()0TfxxxxS?????充分性若反設(shè)存在，使得()()0TfxxxxS?????xS??()()fxfx??(())()((1))()fxxxfxfxxfx??????????????，()(1)()()()()0((01)fxfxfxfxfx??????????????因?yàn)橥辜?，在上可微，故令，得SfS0???，這與已知條件矛盾，故是問(wèn)題的最()()()()0Tfxxxfxfx???????xmin()xSfx

6、?優(yōu)解8、設(shè)函數(shù)具有二階連續(xù)偏導(dǎo)數(shù)，是的極小點(diǎn)的第次近似，利用()fxkx()fxk在點(diǎn)處的二階Tayl展開(kāi)式推導(dǎo)Newton法的迭代公式為()fxkx211[()]()kkkkxxfxfx??????證明由于具有二階連續(xù)偏導(dǎo)數(shù)，故()fx21()()()()()()()()2TTkkkkkkfxxfxfxxxxxfxxx??????????且是對(duì)稱矩陣，因此是二次函數(shù)為求的極小點(diǎn)，可令2()kfx?()x?()x?，即，若正定，則上式