大數(shù)據(jù)分布式在線學(xué)習(xí)算法研究及其隱私保護(hù).pdf

1、在當(dāng)今這個大數(shù)據(jù)的時代，越來越多的生產(chǎn)和活動被數(shù)據(jù)化到網(wǎng)絡(luò)和數(shù)據(jù)庫上。這些大數(shù)據(jù)記錄了人們生活的方方面面，研究這些數(shù)據(jù)會發(fā)現(xiàn)許多有價值的信息。諸如沃爾瑪超市將尿布啤酒放在一起買的例子就不多說了。大數(shù)據(jù)在醫(yī)療和商品推薦方面的應(yīng)用更是具有極大的商業(yè)價值。在使用大數(shù)據(jù)之前我們需要了解到現(xiàn)今數(shù)據(jù)表現(xiàn)出來的一些特征。由于現(xiàn)今互聯(lián)網(wǎng)的普及，數(shù)據(jù)顯示出分布廣泛、更新快速、高維度和隱私性的特點。為了解決這幾點問題，本文提出了一個具有隱私保護(hù)的分布式在線

2、學(xué)習(xí)框架來對這些數(shù)據(jù)進(jìn)行挖掘?qū)W習(xí)。
　　本文假設(shè)在這樣一個場景下：數(shù)據(jù)的收集與存儲是分布在不同的數(shù)據(jù)中心；由于隱私保護(hù)的原因，不同數(shù)據(jù)庫是不能進(jìn)行原始樣本數(shù)據(jù)的交換；但是為了充分發(fā)掘數(shù)據(jù)中的價值，各個數(shù)據(jù)中心必須協(xié)同合作完成研究。
　　為了解決在上述場景下的數(shù)據(jù)研究，那我們必須賦予每個節(jié)點（數(shù)據(jù)中心）根據(jù)本地數(shù)據(jù)進(jìn)行獨立學(xué)習(xí)處理數(shù)據(jù)的能力。節(jié)點之間只能交換計算中的中間變量。本文首先研究的就是如何在有限交流的情況下是的整體節(jié)點

3、目標(biāo)優(yōu)化函數(shù)收斂大一起。伴隨著數(shù)據(jù)交流必有隱私泄露的風(fēng)險，因此我們有考慮在分布式計算引用差分隱私來保護(hù)數(shù)據(jù)的安全。本文主要的貢獻(xiàn)在于理論上數(shù)學(xué)證明的這種分布式計算的可行性和安全隱私保護(hù)的級別。并且做了大量的實驗驗證理論推導(dǎo)的正確性。最后，本文根據(jù)實際場景，對我們的算法提出了兩點拓展應(yīng)用。一是將分布式在線學(xué)習(xí)的計算結(jié)果可以轉(zhuǎn)化為相應(yīng)的離線算法收斂結(jié)果；二是采用mini-batch的方法增加每次迭代使用的數(shù)據(jù)樣本數(shù)量，加快計算效率并提升隱私