基于MapReduce的并行文本聚類.pdf

1、文本聚類是一項(xiàng)具有重要應(yīng)用價(jià)值的研究,在一些應(yīng)用領(lǐng)域中,文本聚類需要處理的數(shù)據(jù)規(guī)模正在以非?？斓乃俣仍龃?。處理大規(guī)模數(shù)據(jù)需要采用高效的大規(guī)模數(shù)據(jù)分析技術(shù),傳統(tǒng)的串行編程模型在可擴(kuò)展性上存在嚴(yán)重不足,無(wú)法滿足大規(guī)模數(shù)據(jù)處理對(duì)計(jì)算資源和存儲(chǔ)資源的需求。以MapReduce為代表的分布式計(jì)算技術(shù)具備了良好的擴(kuò)展性,能夠極大地提高數(shù)據(jù)密集型算法的執(zhí)行效率、充分發(fā)揮基于普通硬件的計(jì)算集群的計(jì)算能力。
　　MapReduce分布式計(jì)算框架的出

2、現(xiàn)極大地降低了并行計(jì)算的門檻,同時(shí)MapReduce編程模型又以自身優(yōu)秀的架構(gòu)設(shè)計(jì)成為大數(shù)據(jù)處理技術(shù)的不二選擇。為了利用MapReduce分布式計(jì)算框架解決傳統(tǒng)的層次聚類算法在處理大規(guī)模語(yǔ)料數(shù)據(jù)時(shí)可擴(kuò)展性不足的問(wèn)題,本文提出基于MapReduce編程模型的并行文本層次聚類算法。傳統(tǒng)的層次聚類算法針對(duì)串行編程模型進(jìn)行設(shè)計(jì),因此將層次聚類算法并行化時(shí),需要考量串行編程模型與分布式編程模型之間的差異,充分利用分布式計(jì)算平臺(tái)的特性來(lái)設(shè)計(jì)并行層次

3、聚類算法,以下是本文主要研究?jī)?nèi)容的簡(jiǎn)單概括:
　　1)對(duì)MapReduce分布式計(jì)算框架進(jìn)行深入的研究,包括MapReduce的數(shù)據(jù)分發(fā)策略、排序特性、將傳統(tǒng)的串行算法移植到MapReduce編程模型的必要條件。針對(duì) MapReduce最重要的開(kāi)源實(shí)現(xiàn) Hadoop中的關(guān)鍵模塊進(jìn)行了詳細(xì)的分析。
　　2)對(duì)文本聚類過(guò)程中涉及到的關(guān)鍵技術(shù)的MapReduce并行化進(jìn)行深入分析,重新設(shè)計(jì)包括文本分詞、特征選擇、特征權(quán)重計(jì)算在內(nèi)的

4、文本向量化關(guān)鍵步驟,為整個(gè)文本聚類過(guò)程的MapReduce并行化奠定基礎(chǔ)。
　　3)針對(duì)文本層次聚類算法很難實(shí)現(xiàn)計(jì)算并行的問(wèn)題,提出基于數(shù)據(jù)劃分的并行文本層次聚類算法,解決了文本層次聚類算法的并行化。并行文本層次聚類將數(shù)據(jù)劃分引入傳統(tǒng)的層次聚類算法,合理地利用了MapReduce編程模型的排序特性及二次排序技術(shù)來(lái)高效地選取合并點(diǎn)。數(shù)據(jù)劃分算法采用基于文本向量分量組特征統(tǒng)計(jì)的垂直劃分算法,該算法簡(jiǎn)單高效,可以有效地進(jìn)行大規(guī)模數(shù)據(jù)的快