分布式網(wǎng)絡(luò)中的隨機(jī)優(yōu)化算法研究.pdf

1、本文研究分布式網(wǎng)絡(luò)中的優(yōu)化問題,并采用隨機(jī)優(yōu)化算法來進(jìn)行有效求解。具體而言,網(wǎng)絡(luò)中的節(jié)點(diǎn)都有本地的目標(biāo)函數(shù)與約束,我們的目的在于優(yōu)化全局的目標(biāo)函數(shù),使得整個(gè)網(wǎng)絡(luò)的效用最大化。分布式網(wǎng)絡(luò)按照信息處理方式可以分為有中心分布式計(jì)算與無中心分布式計(jì)算兩大類,其在魯棒性、工作時(shí)長(zhǎng)、通信代價(jià)、存儲(chǔ)代價(jià)等方面各有優(yōu)缺點(diǎn)。本文對(duì)這兩種分布式計(jì)算方式都有研究。具體包括:
　　本文對(duì)無中心分布式一致優(yōu)化問題進(jìn)行了研究,研究的具體內(nèi)容為網(wǎng)絡(luò)中的節(jié)點(diǎn)包含

2、復(fù)雜約束的情形,其中的復(fù)雜約束為多個(gè)簡(jiǎn)單約束的交集。本文在前人提出的集中式的梯度投影法,以及分布式的隨機(jī)梯度投影法的基礎(chǔ)上,提出了兩種分布式的原對(duì)偶分離投影算法。二者的不同點(diǎn)在于對(duì)于約束的處理方式,一種是確定性的處理,即每次迭代中都處理所有的約束;一種是隨機(jī)性的處理,即每次迭代中都隨機(jī)性挑選某個(gè)約束進(jìn)行處理。這兩種算法采用分離投影的方式,解決了復(fù)雜約束投影難以計(jì)算的問題,同時(shí)采用原對(duì)偶的方法,提高了算法的收斂精度與速度。且本文對(duì)確定性算

3、法進(jìn)行了理論分析,證明了其收斂性。在數(shù)值實(shí)驗(yàn)中,也證明了兩種算法的有效性。
　　本文對(duì)于有中心分布式的計(jì)算方式也進(jìn)行了研究,研究的具體內(nèi)容為社交網(wǎng)絡(luò)中的符號(hào)網(wǎng)絡(luò)的鏈路預(yù)測(cè)問題。針對(duì)該問題本文采用了低秩矩陣分解的問題模型來有效減少網(wǎng)絡(luò)的參數(shù),且適應(yīng)于大數(shù)據(jù)的情況。同時(shí)我們提出了兩種分布式的異步隨機(jī)梯度下降算法來進(jìn)行有效的求解。二者的不同點(diǎn)在于異步的完全程度,一種是部分異步的,即每個(gè)節(jié)點(diǎn)異步地處理隨機(jī)平均分配的多個(gè)目標(biāo)函數(shù),而后再進(jìn)行