基于維基百科的短文本處理方法.pdf

1、隨著即時(shí)通訊和互聯(lián)網(wǎng)技術(shù)的普及，多元化社交體系逐步形成，短文本數(shù)據(jù)量與日俱增，如何處理大量的短文本數(shù)據(jù)尤為重要。短文本具有內(nèi)容簡(jiǎn)短，特征稀疏等特點(diǎn)，普通文本分類(lèi)方法并不適用于短文本，短文本分類(lèi)成為目前的研究重點(diǎn)與難點(diǎn)。國(guó)內(nèi)外學(xué)者對(duì)短文本分類(lèi)的研究主要集中在短文本處理與分類(lèi)算法改進(jìn)兩個(gè)方面。論文主要從短文本處理方面入手，對(duì)短文本詞義消歧、特征擴(kuò)展進(jìn)行研究，最后利用常用的文本分類(lèi)算法對(duì)處理后的短文本進(jìn)行分類(lèi)。鑒于維基百科具有數(shù)據(jù)全面、語(yǔ)義豐

2、富等特點(diǎn)，論文將其作為外部知識(shí)庫(kù)，提出基于維基百科的短文本詞義消歧方法與特征擴(kuò)展方法，解決短文本中的一詞多義問(wèn)題與特征稀疏問(wèn)題，有效提高了短文本分類(lèi)性能。主要工作如下:
　　1)提出基于詞頻統(tǒng)計(jì)的TF-IDF算法
　　針對(duì)傳統(tǒng)TF-IDF(Term Frequency-Inverse Document Frequency)算法關(guān)鍵詞提取效率低下及準(zhǔn)確率欠佳的問(wèn)題，提出基于詞頻統(tǒng)計(jì)的TF-IDF算法。首先，通過(guò)齊普夫定律推導(dǎo)出

3、文本中同頻詞數(shù)的計(jì)算公式;其次，根據(jù)同頻詞數(shù)計(jì)算公式確定文本中各頻次詞語(yǔ)所占比重，發(fā)現(xiàn)文本中絕大多數(shù)是低頻詞;最后，將詞頻統(tǒng)計(jì)規(guī)律與傳統(tǒng)TF-IDF算法相結(jié)合，提出基于詞頻統(tǒng)計(jì)的TF-IDF算法——TFIDFWFS(TF-IDF Algorithm Basedon Word Frequency Statistics)。
　　采用中、英文文本實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明，在文本關(guān)鍵詞提取中，TFIDFWFS在查準(zhǔn)率、查全率及F1

4、指標(biāo)上均優(yōu)于傳統(tǒng)TF-IDF算法，并能夠有效降低關(guān)鍵詞提取的運(yùn)行時(shí)間。
　　2)提出面向維基百科的TFIDFWFS算法
　　針對(duì)TFIDFWFS算法未考慮維基百科頁(yè)面特點(diǎn)的問(wèn)題，提出面向維基百科的TFIDFWFS算法，選擇最具代表性的特征詞來(lái)表示維基百科詞條。首先，結(jié)合維基百科文本結(jié)構(gòu)特點(diǎn)，提出基于文本結(jié)構(gòu)加權(quán)的TF方法;其次，結(jié)合錨文本信息特點(diǎn)，提出基于錨文本加權(quán)的TF方法;然后，結(jié)合類(lèi)別信息特點(diǎn)，提出基于類(lèi)別信息加權(quán)的T

5、F-IDF方法;最后，將維基百科頁(yè)面特點(diǎn)與TFIDFWFS算法相結(jié)合，提出面向維基百科的TFIDFWFS算法——W-TFIDFWFS(Wikipedia Oriented TF-IDF Algorithm Based on WordFrequency Statistics)。
　　采用中、英文維基百科數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)，結(jié)果表明，在對(duì)維基百科頁(yè)面進(jìn)行關(guān)鍵詞提取時(shí)，W-TFIDFWFS在查準(zhǔn)率、查全率及F1指標(biāo)上均優(yōu)于TFIDFWF

6、S算法，可比較準(zhǔn)確地計(jì)算特征詞權(quán)重，有效提取維基百科頁(yè)面核心信息。
　　3)提出基于維基百科的短文本詞義消歧方法
　　針對(duì)短文本中的一詞多義問(wèn)題，提出基于維基百科的短文本詞義消歧方法——STWSDMW(Short Text Word Sense Disambiguation Method Based on Wikipedia)。首先，從維基百科消歧頁(yè)面中獲得待消歧詞的消歧候選集合;其次，獲得短文本中無(wú)歧義特征詞對(duì)應(yīng)的維基條目

7、標(biāo)題集合;然后，計(jì)算每一個(gè)消歧候選詞的相似度得分函數(shù)值;最后，選擇相似度得分值最大的消歧候選詞作為最終的消歧結(jié)果。
　　選取中、英文短文本實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行驗(yàn)證，實(shí)驗(yàn)表明，采用STWSDMW方法對(duì)短文本進(jìn)行詞義消歧可有效提高短文本分類(lèi)性能。
　　4)提出基于維基百科的短文本特征擴(kuò)展方法
　　針對(duì)短文本特征稀疏，導(dǎo)致短文本分類(lèi)準(zhǔn)確率低下的問(wèn)題，提出基于維基百科的短文本特征擴(kuò)展方法——STFEMW(Short Text Fea