短文本分類研究.pdf

1、伴隨著移動(dòng)互聯(lián)的快速發(fā)展，越來越多的像微博，微信，短信等短文本信息開始充斥著人們的日常生活。在推薦，輿情等方面，短文本信息的提取也起到越來越重要的作用，文本分類是一種有效的文本信息提取方法，然而由于短文本長度短，矩陣稀疏等特點(diǎn)，使得傳統(tǒng)的文本分類算法不能很好適用于短文本的分類研究中，對短文本進(jìn)行有效的分類也變得迫切起來。短文本分類主要涉及到短文本預(yù)處理，分詞，短文本特征詞提取，短文本相似度計(jì)算，短文本語義拓展等方面的技術(shù)，本文主要針對短

2、文本分類算法和短文本相似度計(jì)算兩個(gè)關(guān)鍵技術(shù)進(jìn)行研究，針對其所存在的問題改進(jìn)相關(guān)算法，提升短文本分類的性能。
　　本研究主要內(nèi)容包括：⑴在短文本分類方面，由于短文本信息提取過程中的語義信息添加，使得短文本的分類效率降低的問題，基于此問題，提出一種基于類別特征的KNN短文本分類算法。通過類別特征詞項(xiàng)與訓(xùn)練空間樣本的語義相似度，對訓(xùn)練空間進(jìn)行重新拆分，依據(jù)測試文本結(jié)合知網(wǎng)詞典語義信息，重構(gòu)訓(xùn)練集，減少對應(yīng)測試文本訓(xùn)練集的樣本數(shù)，提高KN

3、N短文本分類效率。實(shí)驗(yàn)結(jié)果顯示，相對于基于語義的KNN短文本分類算法，在相同測試文本數(shù)量情況下，基于類別特征的KNN短文本分類算法的測試文本平均運(yùn)行時(shí)間減少近50％。⑵在短文本相似度計(jì)算方面，針對基于知網(wǎng)的短文本語義相似度計(jì)算高度依賴知網(wǎng)詞典，僅計(jì)算核心詞間相似度，不能有效辨別文本核心詞的重要程度的問題，提出一種基于類別特征的短文本相似度算法。通過對短文本核心詞中類別特征詞項(xiàng)，非類別特征詞項(xiàng)中的名詞和動(dòng)詞，形容詞和副詞及其他詞性詞項(xiàng)給定