基于MapReduce的可擴展協(xié)同聚類算法的研究與實現(xiàn).pdf

1、文本聚類作為數(shù)據(jù)挖掘領域的主要分支之一，在許多領域占據(jù)了重要的地位。人們在處理數(shù)據(jù)時，經常遇到一些沒有標簽的數(shù)據(jù)，而人們往往需要了解這些數(shù)據(jù)間的關系，以便應用到實際情況中。為了解決這類問題，聚類算法應運面生。它是一種無監(jiān)督的學習算法，通過主動學習數(shù)據(jù)內部的結構，分析出數(shù)據(jù)的類別屬性，將相關的數(shù)據(jù)聚集到一起，不相關的數(shù)據(jù)分開，達到人們需要的結果。
　　 由于數(shù)據(jù)的表現(xiàn)形式多種多樣，聚類的算法也是種類繁多的。在文本聚類中數(shù)據(jù)用向量空

2、間模型表示，它把數(shù)據(jù)放在了一個向量空間中，通過距離的遠近來判斷數(shù)據(jù)間的相關性。然而，這類算法通過數(shù)據(jù)本身的維度來度量聚類的效果，忽略了數(shù)據(jù)內部的相關性，即本文中的特征的相關性。為此，本文研究了基于數(shù)據(jù)和特征兩個維度的協(xié)同聚類算法，發(fā)現(xiàn)該算法能取得比單一維度聚類更好的聚類效果。
　　 隨著信息技術的高速發(fā)展，海量數(shù)據(jù)、大數(shù)據(jù)的概念變得耳熟能詳，面對如此龐大的數(shù)據(jù)，原來的串行算法已不能滿足人們對算法速度和準確率的要求，于是人們逐漸把

3、眼光轉向并行計算。隨著計算機硬件的發(fā)展，并行在多核的單機上也可以實現(xiàn)。然而這些并行模式大多是基于機器本身的，在面對規(guī)模越來越龐大的海量數(shù)據(jù)時，無法在單機上完成數(shù)據(jù)的并行計算。與此同時，Google提出的MapReduce并行模式，能在普通商用機器上部署集群，具有健壯性強，易伸縮的優(yōu)點，受到廣大并行計算研究者的歡迎。
　　 本文在研究協(xié)同聚類算法的過程中，采用MapReduce編程模式對協(xié)同聚類算法進行改進。在實驗室中利用Hado