基于MapReduce的文本挖掘研究.pdf

1、由于互聯(lián)網(wǎng)與通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)逐漸呈現(xiàn)出海量、異構(gòu)、多樣等特性。在互聯(lián)網(wǎng)知識呈現(xiàn)的形式中，80％的信息是以文本形式存在，而人們在面對這些海量數(shù)據(jù)時，嘗嘗陷入“數(shù)據(jù)豐富，知識匱乏”的尷尬境地。文本挖掘的出現(xiàn)，使得信息雜亂的問題得到了有效改善。文本分類是文本挖掘與信息檢索的重要基礎(chǔ)與研究熱點，近年來隨著研究的廣泛，文本分類在信息檢索、輿情分析、信息過濾和新聞分類等多個領(lǐng)域取得成功了應(yīng)用。然而，隨著數(shù)據(jù)規(guī)模呈指數(shù)級的增長，傳統(tǒng)的串行算法

2、難以滿足海量文本數(shù)據(jù)分析處理所要求的計算空間與能力，這也導(dǎo)致文本分類面臨許多新的問題和挑戰(zhàn)。近年逐步興起的MapReduce計算模型能夠以簡單易于理解的框架和強大的并行計算能力解決了海量數(shù)據(jù)處理問題，并且在學(xué)術(shù)界與工業(yè)界也得到了廣泛認可與應(yīng)用。
　　本文的研究內(nèi)容主要從文本分類與大數(shù)據(jù)并行處理兩個方面著手，介紹了文本分類的相關(guān)理論知識和MapReduce編程模型的相關(guān)技術(shù)，在并行運算模型的開源實現(xiàn) Hadoop平臺上，提出并實現(xiàn)了

3、一種簡單、有效的文本分類方法----基于MapReduce的平均樸素貝葉斯文本分類算法。該方法在多項分布假設(shè)下，利用了文本特征的tfidf權(quán)值，較大限度地保存了文本的語義信息。同時實驗了在不同大小，不同語言的語料庫上的表現(xiàn)情況，并與普通貝葉斯分類在訓(xùn)練時間、分類性能等方面進行了對比。實驗結(jié)果表明，由于減小了文本冗余特征信息的影響與并行計算良好的擴展性，該方法適用于處理大數(shù)據(jù)集，尤其是在傳統(tǒng)串行算法無法處理的情況下；針對不同語言的數(shù)據(jù)集，