基于MapReduce的文本處理算法的研究與應(yīng)用.pdf

1、隨著社會(huì)進(jìn)入網(wǎng)絡(luò)時(shí)代,各種各樣的網(wǎng)絡(luò)設(shè)備驟增,產(chǎn)生了大量的數(shù)據(jù)信息,而這些數(shù)據(jù)大部分是以文本的形式存在的,如何高效快速的處理這些文本數(shù)據(jù),從中獲取有用的價(jià)值,是當(dāng)前大數(shù)據(jù)時(shí)代所面臨的主要問題之一。傳統(tǒng)的文本處理算法,很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求。MapRedcue是由Google所提出的一個(gè)并行編程模型和執(zhí)行框架,它為當(dāng)前大數(shù)據(jù)處理提供了一個(gè)標(biāo)準(zhǔn)的模型,可以很高效的完成PB級(jí)的數(shù)據(jù)處理工作;并且它很容易被掌握,開發(fā)人員只需關(guān)心問題

2、的本身,按模型所提供標(biāo)準(zhǔn)進(jìn)行編程實(shí)現(xiàn),而不用去關(guān)心底層的組織和執(zhí)行細(xì)節(jié),就可以輕松的應(yīng)對(duì)大數(shù)據(jù)問題。
　　本文首先從大數(shù)據(jù)問題開始,介紹了大數(shù)據(jù)的產(chǎn)生途徑及云計(jì)算技術(shù),接著闡述了MapReduce的基本思想來源-函數(shù)編程思想,對(duì)MapReduce編程模型中的Mapper及Reducer以及執(zhí)行框架怎樣協(xié)調(diào)MapReduce程序執(zhí)行的具體過程做了細(xì)致的分析,其中包括劃分器,合并器等。在介紹分布式文件系統(tǒng)的同時(shí),以Hadoop的文件系

3、統(tǒng)HDFS為例,詳細(xì)分析了分布式文件系統(tǒng)的原理及構(gòu)成。并對(duì)Hadoop集群架構(gòu)做了基本的講解。在 MapReduce算法設(shè)計(jì)方面,通過單詞共現(xiàn)矩陣構(gòu)造的示例,分析講解了兩個(gè)常見的設(shè)計(jì)模式:對(duì)(pairs)與帶(stripe),在對(duì)以上兩種設(shè)計(jì)模式深入的介紹后,引入了反序模式的概念。本文的創(chuàng)新之處在于對(duì)文本處理算法做了深入研究,不但深入分析了EM算法、Bayes文本分類算法及隱馬爾科夫模型,并且在此基礎(chǔ)上提出了采用EM算法進(jìn)行指導(dǎo)的改進(jìn)型