推特中的文本污染信息過濾方法研究.pdf

1、隨著通信與信息技術(shù)的高速發(fā)展，朝氣蓬勃的互聯(lián)網(wǎng)行業(yè)以其良好的實(shí)時(shí)性和動(dòng)態(tài)性廣受歡迎。而網(wǎng)絡(luò)媒體憑借著網(wǎng)絡(luò)對(duì)信息傳播的迅速和低成本，使得用戶更加青睞于這個(gè)新興的行業(yè)。同時(shí)，作為網(wǎng)絡(luò)信息傳播的一大渠道，以推特為代表的社交媒體在全球的許多行業(yè)中起到了越來越重要的作用。所以，從社交媒體的海量信息中如何高效地提取出有用信息引起了研究者的注意。
　　然而，推特在為研究者提供文本信息來源的同時(shí)，也有許多不同于普通文本的處理困難。一方面，通過觀察

2、推文發(fā)現(xiàn)，大部分推文是無意義的噪聲信息和重復(fù)冗余的無效信息，如用戶之間的閑聊、轉(zhuǎn)發(fā)等。另一方面，社交網(wǎng)絡(luò)是開放、非正式的媒體，用戶在使用推特時(shí)具有隨意性，其發(fā)表的文字內(nèi)容也會(huì)受到各種因素的影響，產(chǎn)生了大量的不規(guī)范單詞。本文通過對(duì)原始推文的統(tǒng)計(jì)與分析，分別從不規(guī)范單詞和垃圾推文兩種角度出發(fā)，就推特中的文本污染信息提出了一種有效的解決方案。本文主要貢獻(xiàn)如下：
　?。?）通過傳統(tǒng)的拼寫糾錯(cuò)技術(shù)與詞向量模型相結(jié)合，提出了結(jié)合語義信息對(duì)不規(guī)

3、范單詞進(jìn)行處理的方案。該方法針對(duì)最短編輯距離方法難以處理詞形差異較大的不規(guī)范單詞，使用了單詞的語義信息進(jìn)行規(guī)范化處理。另外，本文設(shè)計(jì)并實(shí)現(xiàn)了判別不規(guī)范單詞方案，并結(jié)合一些輔助工具，大幅縮小了需要比較語義相關(guān)性的單詞范圍，實(shí)現(xiàn)了提高單詞規(guī)范化速度的方案。在對(duì)推特中的單詞進(jìn)行規(guī)范化實(shí)驗(yàn)中，驗(yàn)證了通過詞向量之間的余弦距離實(shí)現(xiàn)單詞規(guī)范化的方案具有一定的實(shí)際意義。
　　（2）通過詞向量與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，形成了一個(gè)相對(duì)完整有效的對(duì)推