面向文本挖掘的同頻詞統(tǒng)計規(guī)律及短文本分類方法.pdf

1、隨著移動互聯(lián)網(wǎng)的快速發(fā)展，大規(guī)模的數(shù)據(jù)以文本形式快速累積。如何能高效而準確地對文本信息進行分類引起了人們的高度重視。對文本分類的研究，無論是長文本還是短文本，都極為迫切。
　　關鍵詞提取是文本分類的重要基礎工作之一。每個文本中低頻詞的數(shù)量往往占據(jù)著很大的比例，并且這些低頻詞大多為罕見詞和畸形詞或者是與文本主題不相關的詞語。在對文本進行關鍵詞提取的過程中，這些低頻詞的存在大大降低了提取效率。目前，對于如何處理文本中的低頻詞還沒有一個

2、有效的可操作標準。論文從研究適合中文文本的同頻詞統(tǒng)計規(guī)律出發(fā)，將所得的統(tǒng)計規(guī)律應用于文本關鍵詞提取，有效提高了關鍵詞提取效率，解決了學術界關心的如何處理中文低頻詞的問題，給關鍵詞提取中處理低頻詞提供了一個有效的可操作方法。在短文本分類方面，由于短文本內(nèi)容的特征過于稀疏、詞語歧義性強、新型詞匯層出不窮等特點使得對短文本的分類效果遠遠差于長文本。如何提高短文本分類的準確度已經(jīng)成為國內(nèi)外學術界研究的重點和難點之一。論文研究了利用維基百科數(shù)據(jù)庫

3、資源對短文本特征進行擴展、消歧等內(nèi)容，有效提高了短文本分類結果的查準率、查全率和F1評估值。
　　論文的主要工作為:
　　1)對大量中文文本同頻詞進行了統(tǒng)計，揭示了中文文本中頻次為1的同頻詞數(shù)與不同詞數(shù)的比值變化規(guī)律以及頻次為n的同頻詞數(shù)與頻次為1的同頻詞數(shù)比值的變化規(guī)律。依據(jù)齊普夫定律推導出了適合中文文本的同頻詞數(shù)的數(shù)學表達式，能更準確地表示出不同長度的文本中各頻次的同頻詞數(shù);借助同頻詞數(shù)的數(shù)學表達式，重新確立了中文文本中

4、高頻詞和低頻詞的界分公式，并通過實驗驗證了該公式能夠更好地界分高頻詞和低頻詞。
　　2)提出了基于中文文本同頻詞統(tǒng)計規(guī)律的關鍵詞提取方法。給中文文本關鍵詞提取的過程中如何處理低頻詞提供了一種理論依據(jù)，實驗驗證該方法能夠有效提高關鍵詞提取效率。在實際應用中，在文本長度不小于3010詞的前提下，頻次為1和頻次為2的詞不必參與TF-IDF值的計算，可將計算效率提高2-7倍，且沒有造成關鍵詞丟失。
　　3)提出了基于維基百科分類索引