微博自動(dòng)分類(lèi)方法研究及應(yīng)用.pdf

1、微博是近幾年興起的一種網(wǎng)絡(luò)交流與信息分享平臺(tái),中國(guó)微博網(wǎng)民注冊(cè)用戶(hù)已經(jīng)超過(guò)3億,由于微博自身的傳播性質(zhì)以及信息內(nèi)容產(chǎn)生的速度,每個(gè)用戶(hù)都越來(lái)越需要應(yīng)對(duì)信息泛濫的考驗(yàn),同時(shí)每個(gè)用戶(hù)微博主頁(yè)上的信息雜亂無(wú)章,平臺(tái)本身沒(méi)有設(shè)置為微博進(jìn)行自動(dòng)分類(lèi)的功能,使用戶(hù)不能第一時(shí)間查看自己最關(guān)注的、最感興趣的微博。本文將對(duì)微博文本進(jìn)行分類(lèi)研究,并在此基礎(chǔ)上，結(jié)合微博用戶(hù)興趣對(duì)微博分類(lèi)進(jìn)行應(yīng)用分析。
　　首先通過(guò)對(duì)國(guó)內(nèi)外文本分類(lèi)領(lǐng)域的研究現(xiàn)狀和研究成

2、果進(jìn)行分析,總結(jié)微博分類(lèi)與文本分類(lèi)兩者之間異同點(diǎn),并針對(duì)這些異同點(diǎn)進(jìn)行對(duì)比分析,從而找出解決微博文本分類(lèi)中存在問(wèn)題的方法。然后通過(guò)對(duì)大量的微博數(shù)據(jù)進(jìn)行觀察分析,歸納總結(jié)微博的類(lèi)型、文本結(jié)構(gòu)以及微博編輯的語(yǔ)言特點(diǎn),并在此基礎(chǔ)上對(duì)微博文本的相關(guān)要素進(jìn)行定義及完成對(duì)微博數(shù)據(jù)模型的構(gòu)建,接下來(lái)設(shè)計(jì)了微博數(shù)據(jù)的收集與存儲(chǔ)策略,并最終確定微博文本的分詞方法。其次通過(guò)分析四大門(mén)戶(hù)網(wǎng)站內(nèi)類(lèi)別的分布情況,基于四大門(mén)戶(hù)網(wǎng)站內(nèi)的頻道欄目信息以及新浪微博平臺(tái)內(nèi)

3、的類(lèi)別層次結(jié)構(gòu)對(duì)微博文本的類(lèi)別體系進(jìn)行定義與說(shuō)明,在此類(lèi)別體系的基礎(chǔ)上利用網(wǎng)頁(yè)文本構(gòu)建相應(yīng)類(lèi)別的類(lèi)別特征模式庫(kù),并根據(jù)特征庫(kù)內(nèi)的結(jié)構(gòu)及詞匯特點(diǎn),設(shè)計(jì)特征庫(kù)調(diào)整算法用以剔除不同特征庫(kù)內(nèi)的重復(fù)詞及不相關(guān)的詞匯,以使每個(gè)特征庫(kù)內(nèi)包含的特征詞與類(lèi)別名稱(chēng)一致。最后通過(guò)提出一種微博文本特征詞與特征庫(kù)內(nèi)特征詞相匹配的分類(lèi)算法對(duì)微博進(jìn)行自動(dòng)類(lèi)別標(biāo)識(shí),利用微博數(shù)據(jù)來(lái)驗(yàn)證分類(lèi)算法的有效性和可行性,并在分類(lèi)算法的基礎(chǔ)上結(jié)合用戶(hù)使用微博的興趣來(lái)對(duì)微博分類(lèi)進(jìn)行應(yīng)