基于Spark的分布式社區(qū)發(fā)現(xiàn)算法設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來(lái)，互聯(lián)網(wǎng)上社交應(yīng)用越來(lái)越多，人們之間形成的社會(huì)化網(wǎng)絡(luò)結(jié)構(gòu)呈現(xiàn)出復(fù)雜網(wǎng)絡(luò)的特征。社區(qū)發(fā)現(xiàn)是研究復(fù)雜網(wǎng)絡(luò)中節(jié)點(diǎn)關(guān)系的重要方法，對(duì)重疊社區(qū)結(jié)構(gòu)的研究更是此領(lǐng)域的重點(diǎn)與難點(diǎn)。目前大多數(shù)的重疊社區(qū)發(fā)現(xiàn)算法得到的結(jié)果還不夠準(zhǔn)確，并且針對(duì)目前大規(guī)模的網(wǎng)絡(luò)結(jié)構(gòu)，單機(jī)算法已不能高效處理。通過(guò)研究發(fā)現(xiàn)，節(jié)點(diǎn)處在的位置不同、鄰居節(jié)點(diǎn)數(shù)目不同等信息都會(huì)對(duì)它在網(wǎng)絡(luò)圖中的重要性造成影響，節(jié)點(diǎn)的重要性對(duì)社區(qū)的構(gòu)造也具有很大影響。為此，本文結(jié)合這一特性對(duì)標(biāo)簽傳播

2、算法進(jìn)行深入研究和改進(jìn)，以提高方法準(zhǔn)確性及效率，并將改進(jìn)算法在分布式集群環(huán)境下實(shí)現(xiàn)。
　　論文的研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目(No.61271308、61172072、61401015)及北京市教育委員會(huì)研究生學(xué)科建設(shè)項(xiàng)目的支持。主要工作如下:
　　針對(duì)國(guó)內(nèi)外社區(qū)發(fā)現(xiàn)算法、節(jié)點(diǎn)重要性排序進(jìn)行研究，在重疊社區(qū)發(fā)現(xiàn)算法COPRA(Community Overlap PRopagation Algorithm)的基礎(chǔ)上，提出

3、基于節(jié)點(diǎn)重要性的標(biāo)簽傳播算法NI-COPRA(Node Importance-Community Overlap PRopagation Algorithm)。用邊緣節(jié)點(diǎn)刪除方法對(duì)網(wǎng)絡(luò)中節(jié)點(diǎn)進(jìn)行重要性排序，并用前k個(gè)節(jié)點(diǎn)構(gòu)造初始團(tuán)，作為標(biāo)簽傳播的初始單位。通過(guò)實(shí)驗(yàn)確定k的最佳范圍。在傳播階段，根據(jù)重要性排序?qū)鞑ヒ?guī)則進(jìn)行改進(jìn)，避免了逆流現(xiàn)象并且大大提高了準(zhǔn)確性和效率。最后通過(guò)人工合成網(wǎng)絡(luò)和真實(shí)網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行算法的效能驗(yàn)證實(shí)驗(yàn)，并與幾個(gè)經(jīng)

4、典社區(qū)發(fā)現(xiàn)算法在執(zhí)行時(shí)間與發(fā)現(xiàn)結(jié)果質(zhì)量?jī)煞矫孀霰容^。
　　針對(duì)大規(guī)模網(wǎng)絡(luò)環(huán)境，研究Spark分布式技術(shù)，將NI-COPRA在Spark分布式環(huán)境中進(jìn)行并行化設(shè)計(jì)，并加以實(shí)現(xiàn)?？紤]到現(xiàn)有工具Spark擁有支持內(nèi)存計(jì)算、多迭代批量處理、圖計(jì)算等多種功能，能夠極大地提升大數(shù)據(jù)處理的效率和準(zhǔn)確性，因此將算法進(jìn)行并行化改進(jìn)以適應(yīng)發(fā)展需求。首先搭建Spark分布式計(jì)算集群，并構(gòu)建Spark開(kāi)發(fā)環(huán)境，然后將本文提出的算法NI-COPRA進(jìn)行并行