基于AdaBoost-LC的微博垃圾評(píng)論識(shí)別研究.pdf

1、隨著Web2.0和互聯(lián)網(wǎng)的飛速發(fā)展,社交網(wǎng)絡(luò)呈現(xiàn)爆發(fā)式增長。微博作為社交網(wǎng)絡(luò)的一大重要代表逐漸深入人心,成為網(wǎng)民上網(wǎng)的主要活動(dòng)之一。正是由于微博具有便捷性、高速度、廣泛性、效率高、背對(duì)臉等特點(diǎn),吸引了垃圾制造者們的注意。垃圾制造者出于各種目的,在微博上發(fā)表了大量的各種垃圾評(píng)論,這些垃圾評(píng)論的泛濫既影響網(wǎng)民之間的交流,甚至使得網(wǎng)民上當(dāng)受騙,又阻礙了面向評(píng)論的數(shù)據(jù)挖掘工作,因此垃圾評(píng)論的識(shí)別與過濾具有重要意義。
　　本文面向微博領(lǐng)域進(jìn)

2、行識(shí)別垃圾評(píng)論的研究,主要的研究工作及成果如下:
　?、籴槍?duì)微博評(píng)論短小,分詞后容易出現(xiàn)特征稀疏的問題,提出把微博評(píng)論表示成特征值向量,由9個(gè)特征值組成,從多個(gè)不同的角度來描述評(píng)論的內(nèi)容,在此基礎(chǔ)上提出一種基于AdaBoost-LC的微博垃圾評(píng)論識(shí)別方法,該方法以線性分類器中最簡單的單閾值二值分類器作為基分類器,然后使用集成學(xué)習(xí)算法——AdaBoost算法來提升基分類器的分類精度。
　?、卺槍?duì)AdaBoost-LC算法存在的

3、不足之處,“困難”樣本權(quán)重急劇擴(kuò)張引起的退化現(xiàn)象,以及在垃圾評(píng)論識(shí)別場景下,正常評(píng)論被錯(cuò)誤識(shí)別的代價(jià)更加高昂的問題,提出一種改進(jìn)的AdaBoost-Ex算法來識(shí)別垃圾評(píng)論。
　?、坩槍?duì)垃圾評(píng)論出現(xiàn)新特征,或者分類器隨時(shí)間流逝分類性能下降需要重新學(xué)習(xí)的問題,本文設(shè)計(jì)了算法的模塊化增量學(xué)習(xí)模型,該模型在保留原本學(xué)習(xí)到的規(guī)則的基礎(chǔ)上,只需要學(xué)習(xí)新樣本的規(guī)則,學(xué)習(xí)到的子分類器以線性加權(quán)的方式融合到增量學(xué)習(xí)系統(tǒng)中,使得算法具有漸進(jìn)式的學(xué)習(xí)能