短文本的分類及語義分析方法.pdf

1、互聯(lián)網和手機的廣泛普及使人們越來越依賴于這些媒介提供的信息，而這類信息大部分是以短文本形式存放的，因此人們對短文本過濾技術要求越來越高。傳統(tǒng)的過濾技術僅僅實現(xiàn)關鍵字的判斷，不能根據(jù)文本的上下文較好地理解文本的語義特征，因而過濾的效果難以滿足人們的要求?；谶@樣的背景，本文對短文本建模、分類和過濾技術進行了研究和探索。本文的主要工作和貢獻在于:
　　 1.在研究短文本真實語料特征的基礎上，提出了一種基于語義分析方法的短文本描述模型

2、。該方法首先以“序列算法”處理原有向量空間，保留語法和語義特征，利用文本兩個層次相關性(句子之間的相關性和句子內代表特定含義的關鍵字之間的相關性)實現(xiàn)對關鍵字的動態(tài)加權，另外使用馬爾可夫模型來對局部權重與全局權重之間進行估計，最終生成了待分類的特征序列；在此基礎上，該模型利用“概率潛在語義分析”將特征序列映射到潛在語義空間。
　　 2.針對短文本語義信息缺乏的問題，提出了基于潛在語義分析的短文本分類體系。通過對統(tǒng)計語言模型和自然