基于Hadoop的海量圖書流通數(shù)據(jù)的kmeans分析.pdf

1、隨著數(shù)據(jù)時(shí)代的到來，我們無時(shí)無刻都要面對(duì)各種類型的數(shù)據(jù)。然而，這些龐大的數(shù)據(jù)雜亂無章，讓人束手無策，如何及時(shí)有效的發(fā)現(xiàn)這些數(shù)據(jù)背后的規(guī)律性的、價(jià)值性的信息變得尤為重要。聚類分析是數(shù)據(jù)挖掘領(lǐng)域中的一項(xiàng)重要技術(shù)，通過聚類可以發(fā)現(xiàn)數(shù)據(jù)的分布模式和數(shù)據(jù)屬性間存在的關(guān)系，它一直是學(xué)術(shù)界的研究熱點(diǎn)問題。除此之外，云計(jì)算平臺(tái)Hadoop的興起，使得數(shù)據(jù)挖掘變得快速高效。
　　本文通過對(duì)kmeans聚類算法的研究，針對(duì)傳統(tǒng)算法存在的缺陷提出了兩個(gè)

2、方面的改進(jìn)。第一點(diǎn)是對(duì)于kmeans初始聚類中心的確定，提出了基于抽樣和最大最小距離結(jié)合的方法，并對(duì)研究過程中出現(xiàn)的孤立點(diǎn)問題，提出了基于網(wǎng)格化和距離的處理方法。改進(jìn)后的算法提高了執(zhí)行效率和準(zhǔn)確度。第二點(diǎn)的改進(jìn)是在Hadoop上實(shí)現(xiàn)kmeans聚類算法的并行化設(shè)計(jì)，借助MapReduce并行編程模型，實(shí)現(xiàn)Map和Reduce兩個(gè)過程的設(shè)計(jì)。最后通過分析改進(jìn)后算法的加速比和復(fù)雜度，對(duì)算法性能進(jìn)行評(píng)估，改進(jìn)后的kmeans聚類算法的聚類效果