基于云計(jì)算的網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，互聯(lián)網(wǎng)傳播成為主要的社會信息傳播方式，當(dāng)社會上出現(xiàn)了突發(fā)的敏感事件時(shí)，公眾輿論會迅速集聚在網(wǎng)絡(luò)上，網(wǎng)絡(luò)輿情事件也就隨之形成。由于網(wǎng)絡(luò)輿情具有內(nèi)容豐富、信息量大、相關(guān)話題繁多等特點(diǎn)，這也讓網(wǎng)絡(luò)上更容易出現(xiàn)傳統(tǒng)意義上的低俗、露骨、色情、暴力，甚至是危害國家和諧、穩(wěn)定和安全的信息與言論，網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)可以幫助決策者快速準(zhǔn)確的對網(wǎng)民聚焦的話題進(jìn)行關(guān)注。網(wǎng)絡(luò)輿情熱點(diǎn)發(fā)現(xiàn)整個(gè)過程就是一個(gè)文本挖掘過程，但傳統(tǒng)的文本挖掘過程難以

2、適應(yīng)網(wǎng)絡(luò)輿情所具備的上述特性，故解決挖掘算法在效率、適應(yīng)性和可用性等方面的瓶頸問題變得日益重要。
　　本文參考借鑒近年來文本挖掘領(lǐng)域的相關(guān)理論與技術(shù)的最新研究成果，對傳統(tǒng)的文本挖掘模型進(jìn)行了分析研究，并進(jìn)行了包括數(shù)據(jù)采集、中文分詞、特征提取、特征項(xiàng)權(quán)重計(jì)算、文本特征向量空間表示模型的建立、相似度分析、聚類算法和熱度分析的實(shí)現(xiàn)。針對傳統(tǒng)文本表示模型建立過程中存在的特征項(xiàng)過多的問題，結(jié)合網(wǎng)絡(luò)輿情數(shù)據(jù)具備的短文本特性，給出了基于語義特征

3、項(xiàng)頻率的輿情短文本表示模型降維方法，以降低文本表示模型的維度；在聚類算法中選取了經(jīng)典的增量聚類算法Single-Pass，針對該算法存在的不足，給出了改進(jìn)Single-Pass聚類算法，以解決聚類過程中算法對輸入數(shù)據(jù)順序的敏感性和求解效率的問題，并提出了網(wǎng)絡(luò)輿情熱度分析模型；在上述工作基礎(chǔ)上，對數(shù)據(jù)預(yù)處理部分和聚類分析部分進(jìn)行了基于MapReduce的并行化處理和實(shí)驗(yàn)驗(yàn)證，并利用圖表對求解效率和求解質(zhì)量進(jìn)行了分析。本課題所研究的基于云計(jì)