基于Mahout的并行化k-means聚類算法優(yōu)化研究.pdf

1、聚類分析是從大量數(shù)據(jù)中獲取有效信息的重要手段，用于聚類分析的算法稱為聚類算法。k-means聚類算法具備簡單、快速、有效等諸多優(yōu)點，是使用范圍最廣泛的經(jīng)典聚類算法之一。如今，快速發(fā)展的互聯(lián)網(wǎng)產(chǎn)業(yè)導(dǎo)致了數(shù)據(jù)量的劇增，傳統(tǒng)k-means算法已無法滿足海量數(shù)據(jù)的聚類需求，因此，k-means算法MapReduce并行化以及針對并行化 k-means算法的優(yōu)化研究尤為重要。本文將探討并行化 k-means算法的實現(xiàn)方式，并以此為基礎(chǔ)采用適合海量

2、數(shù)據(jù)處理需求的算法優(yōu)化策略，目標(biāo)是降低算法時間和空間復(fù)雜度的同時獲取更優(yōu)質(zhì)的聚類結(jié)果。
　　本文從k-means算法優(yōu)化與并行化的研究現(xiàn)狀出發(fā)，分析了目前k-means算法優(yōu)化方法主要是針對串行k-means，與此同時k-means并行化研究主要圍繞算法設(shè)計展開，由此可知現(xiàn)階段國內(nèi)外對并行化 k-means算法的優(yōu)化研究尚屬薄弱環(huán)節(jié)，因此本文確立了采用時間復(fù)雜度較低的算法對并行化 k-means進行優(yōu)化的研究思路。作為鋪墊，本文介

3、紹了分布式開源框架Hadoop、編程模式MapReduce以及提供協(xié)同過濾、聚類、分類等大規(guī)模機器學(xué)習(xí)算法分布式實現(xiàn)的算法庫Mahout；然后著重研究了k-means算法原理、算法缺陷以及它在Mahout中的并行化實現(xiàn)方式；最后，采用針對并行化k-means算法優(yōu)化方法，即利用時間復(fù)雜度極低的“粗聚類”算法Canopy對并行化k-means進行優(yōu)化。
　　在算法性能測試階段，本文利用Mahout算法庫提供的算法驅(qū)動等接口將Cano