基于MapReduce的文本聚類算法并行化研究與實現(xiàn).pdf

1、網(wǎng)絡中每天產(chǎn)生海量的文本、視頻、圖片等數(shù)據(jù)，其中文本數(shù)據(jù)占據(jù)了很大的比例且蘊含許多重要的信息，對文本數(shù)據(jù)進行數(shù)據(jù)挖掘在商業(yè)、醫(yī)療、科研等方面有著重要的價值。文本聚類是一種無監(jiān)督的文本挖掘方法，它將文本數(shù)據(jù)集合劃分為多個簇，簇中的文本相似，而不同簇間的文本相似度低。文本聚類在多個領域得到使用，如自然語言處理中利用文本聚類進行冗余消除，搜索引擎利用文本聚類產(chǎn)生簡潔高效的搜索結果等。在面對大規(guī)模文本數(shù)據(jù)時，傳統(tǒng)的文本聚類方法難以有效地處理。為

2、了有效地對大規(guī)模文本數(shù)據(jù)進行聚類，本文對基于MapReduce編程模型的文本聚類算法進行研究。
　　吸引子傳播算法（AP）是近年來提出的一種高效聚類算法，它通過數(shù)據(jù)對象間的消息傳遞選擇聚類中心，并且不使用聚類個數(shù)作為參數(shù)，但AP算法存在振蕩和聚類劃分過細的問題。本文在解決AP算法缺陷的基礎上，將其應用于文本聚類。
　　本文的主要內容如下：
　　1.在對文本預處理相關技術詳細研究的基礎上，針對詞袋子模型在文本語義表達上的

3、不足，提出將基于神經(jīng)網(wǎng)絡的 word2vec詞向量模型和詞頻逆文檔頻率（TFIDF）相結合進行文本表示的方案，并將此方案應用于本文的文本表示中。
　　2.布谷鳥搜索算法（CS）是一種簡單高效的元啟發(fā)式算法，針對CS算法使用固定步長因子和發(fā)現(xiàn)概率導致算法易陷入局部最優(yōu)解的不足，本文將當前最佳解信息和高斯擾動引入CS算法中，提出一種改進的CS算法，接著將其與AP算法相結合，提出一種基于改進CS算法的AP算法(CSAP)算法。