Hadoop調(diào)度器優(yōu)化及其在輿情分析中的應(yīng)用.pdf

1、新聞、微博和博客等媒體不斷產(chǎn)生海量的帶有情感傾向的數(shù)據(jù)，迫切需要采用數(shù)據(jù)挖掘的手段對這類信息做出及時(shí)、有效的輿情分析，以此幫助政府或者企業(yè)實(shí)施監(jiān)督和管理。如何提高針對海量數(shù)據(jù)的輿情分析效率是一個(gè)關(guān)鍵的問題，Hadoop因其具有高擴(kuò)展性、可靠性以及低成本等優(yōu)點(diǎn)已經(jīng)成為了最受關(guān)注的海量數(shù)據(jù)并行處理框架之一。然而，Hadoop目前的調(diào)度器忽略了Reduce任務(wù)的數(shù)據(jù)本地性和分區(qū)傾斜這兩個(gè)問題，導(dǎo)致產(chǎn)生額外的網(wǎng)絡(luò)流量，從而使得系統(tǒng)的性能大大降低

2、。為此，本文首先對Hadoop底層的調(diào)度器進(jìn)行性能優(yōu)化，并在優(yōu)化后的Hadoop平臺設(shè)計(jì)并實(shí)現(xiàn)了輿情分析系統(tǒng)，同時(shí)針對輿情分析中存在的難點(diǎn)進(jìn)行深入研究并提出了改進(jìn)的算法。本論文的主要研究內(nèi)容包括:
　　(1)設(shè)計(jì)了一種基于取樣評估的最小傳輸代價(jià)Reduce任務(wù)調(diào)度器（簡稱MTCRS），利用平均蓄水池取樣算法（ARS）對整體數(shù)據(jù)的取樣，構(gòu)建中間數(shù)據(jù)傳輸代價(jià)模型，將取樣數(shù)據(jù)處理后得到的相關(guān)信息作為參數(shù)，計(jì)算Reduce任務(wù)的最佳啟動位

3、置。通過大量對比實(shí)驗(yàn)發(fā)現(xiàn)，MTCRS調(diào)度器相較于Fair調(diào)度器減少了8.4％的網(wǎng)絡(luò)流量。
　　(2)提出了一種基于互信息和改進(jìn)KMeans聚類的混合輿情分析方法。首先使用停用詞和詞性標(biāo)注完成特征降維，接著使用density peaks算法和二分搜索來確定KMeans的聚類數(shù)目和初始聚類中心并完成聚類，最后通過互信息提取話題，并完成情感分析和趨勢分析。在Hadoop上進(jìn)行大量實(shí)驗(yàn)，其中聚類效果的準(zhǔn)確率、召回率和F1值分別是87.52