基于主題的文本分類模型研究與應用.pdf

1、文本分類很早就被提出了,早在人們使用互聯(lián)網(wǎng)來收發(fā)郵件的年代,它就被應用到處理垃圾郵件上。而現(xiàn)今人們已經(jīng)習慣了利用文本分類技術來幫助區(qū)分垃圾郵件和非垃圾郵件。隨著互聯(lián)網(wǎng)的發(fā)展,文字信息經(jīng)歷了從新聞、郵件到博客、論壇再到微博的形式轉變。各種形式的文字信息也帶來了不同的應用場景,如文本內(nèi)容由書面化到口語化,文本長短由長文本到短文本。對不同的應用場景,文本分類也都是文本挖掘中常用的首選步驟。然而是否可以方便的對文本數(shù)據(jù)進行分類,是否有新的技術可

2、以應用到文本分類中,這些依舊是文本分類中值得被不斷研究的問題。
　　近年來,在文本挖掘領域提出了主題模型的概念。與以往的文本關于詞的空間表示不同,文本可以被表示成為關于主題的空間。即一篇文本可以被認為是由固定數(shù)目的主題構成。而文本分類一直存在的一個問題就是文本的空間維度過高。本文的研究內(nèi)容將主題模型中的潛在狄利克雷分布應用到文本降維上。主要創(chuàng)新點和成果如下:
　　提出了一個基于主題模型的文本分類模型。該模型將主題模型應用到文

3、本分類中去,使用主題模型提取文本數(shù)據(jù)集的主題,并將文本表示為主題空間上的向量。然后使用支持向量機建立文本的分類模型,并使用分類模型來預測新文本的類別。由于主題個數(shù)遠遠比小于詞的個數(shù),所以,使用主題空間表示文檔時可以解決文本高維度的問題。并且相比于文本基于詞的表示,主題可以更好的在語義層面概括文本。實驗驗證使用此種方法,可以降低文本空間維度,提高分類性能,說明將主題模型應用于文本分類中的可行性和有效性。
　　對于實際應用中需要解決的