基于云計算的文本挖掘算法研究.pdf

1、文本挖掘就是從非結構化的文本數(shù)據(jù)中獲取用戶關心和有價值的信息的過程。作為數(shù)據(jù)挖掘中一個重要的研究方向，文本挖掘已經(jīng)被廣泛地應用到搜索、分類、推薦系統(tǒng)、輿情和觀點挖掘等多個領域。隨著互聯(lián)網(wǎng)上信息爆炸式的增長，海量數(shù)據(jù)的處理成為了當今的熱點也是難點，單一服務器在多數(shù)情況下已不能滿足海量數(shù)據(jù)處理的需要，所以分布式計算是未來的發(fā)展趨勢。而云計算又是分布式處理、并行計算以及網(wǎng)格計算的發(fā)展和延續(xù)，并發(fā)與分布是云計算的關鍵技術，海量數(shù)據(jù)處理和海量計算

2、是云計算的優(yōu)勢。在文本挖掘領域中，同樣面臨著海量數(shù)據(jù)處理的問題，所以把云計算與文本挖掘結合起來處理海量文本數(shù)據(jù)是十分有意義的。
　　本文正是以此為出發(fā)點，首先簡單介紹了文本挖掘、云計算的相關概念和關鍵技術，對Hadoop云計算平臺及MapReduce編程模式進行了詳細說明，著重對中文分詞、新詞識別、最短距離算法進行描述并提出了此三種算法基于Hadoop平臺的MapReduce解決方案。通過搭建Hadoop實驗平臺，編程實現(xiàn)三種改進