基于Spark的聚類集成系統(tǒng)研究與設(shè)計(jì).pdf

1、隨著云計(jì)算技術(shù)的發(fā)展，大數(shù)據(jù)應(yīng)用有了更廣的擴(kuò)展與延伸。大數(shù)據(jù)的價值開始日益受到重視，人們對數(shù)據(jù)處理的實(shí)時性和有效性的要求也在不斷提高。聚類分析技術(shù)在大數(shù)據(jù)中的應(yīng)用，使得人們從數(shù)據(jù)中獲取信息、知識和決策支持更加容易。但是，傳統(tǒng)串行式的聚類算法在處理海量或者高維數(shù)據(jù)時，聚類的速度不夠快，且單一聚類算法在處理新的數(shù)據(jù)時表現(xiàn)不盡如人意（泛化性較差）;在面對大規(guī)模數(shù)據(jù)時，受制于內(nèi)存容量，往往不能有效地運(yùn)行，因而傳統(tǒng)串行式聚類算法已經(jīng)難以滿足當(dāng)前實(shí)

2、際應(yīng)用的需求。
　　為提高聚類性能，作為當(dāng)前新的研究熱點(diǎn)，聚類集成技術(shù)已被證明可以較大地提高傳統(tǒng)聚類算法的性能。并行計(jì)算模型MapReduce的出現(xiàn)，使得大量用戶能夠在集群上分析超大數(shù)據(jù)集。然而MapReduce模型不是萬能的，針對多數(shù)分布式聚類算法在基于MapReduce模型做并行時，采取的不合理并行策略以及并行聚類結(jié)果不理想等缺陷。本文提出基于彈性分布式數(shù)據(jù)集(RDDs)的分布式聚類集成算法，充分利用RDDs模型和聚類集成算法

3、的優(yōu)勢，有效提高聚類分析在大數(shù)據(jù)應(yīng)用中的聚類結(jié)果質(zhì)量和處理能力。算法首先設(shè)計(jì)一個基于RDDs的分布式鄰接表，解決關(guān)聯(lián)數(shù)據(jù)在分布式環(huán)境中的表示和存儲;其次利用分布式的共識函數(shù)模型，綜合幾個海量基聚類結(jié)果并用分布式鄰接表表示;最后運(yùn)用改進(jìn)的分布式最近鄰傳播算法(MDAP)，劃分分布式鄰接表以獲得最終的聚類結(jié)果。
　　Spark是繼Hadoop之后的新一代大數(shù)據(jù)分布式處理框架。本文設(shè)計(jì)并實(shí)現(xiàn)了基于Spark的聚類集成系統(tǒng)，實(shí)現(xiàn)海量數(shù)據(jù)存

4、儲、處理、互操作，為大數(shù)據(jù)挖掘應(yīng)用提供高可靠性、高性能的聚類集成系統(tǒng)。在系統(tǒng)架構(gòu)設(shè)計(jì)時，采用分層的設(shè)計(jì)思想、面向組件設(shè)計(jì)的思路構(gòu)建系統(tǒng)，自下而上依次分為:分布式計(jì)算層、基礎(chǔ)平臺層、算法分析層、云服務(wù)層和用戶應(yīng)用層。在系統(tǒng)實(shí)現(xiàn)的過程中，充分利用當(dāng)下最流行的軟件框架，縮短系統(tǒng)的開發(fā)周期，同時提高系統(tǒng)的質(zhì)量。
　　最后在本文的系統(tǒng)測試中，進(jìn)行了系統(tǒng)核心算法的準(zhǔn)確性測試和系統(tǒng)的性能測試，通過結(jié)果的分析與對比，證明了本文工作的有效性和實(shí)用性