基于詞嵌入文本聚類(lèi)技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和電子媒體的繁榮，新聞文本數(shù)據(jù)的規(guī)模日益增長(zhǎng)，而對(duì)新聞文本的組織、摘要和瀏覽會(huì)花費(fèi)大量的時(shí)間。為了保證新聞的時(shí)效性，同時(shí)讓讀者方便地獲取特定種類(lèi)的新聞，并使新聞的閱讀量最大化，需要對(duì)大規(guī)模的新聞文檔集進(jìn)行快速的分組。
　　文本聚類(lèi)技術(shù)做為一種非監(jiān)督的機(jī)器學(xué)習(xí)方法，能夠在沒(méi)有人工標(biāo)注的情況下，對(duì)未分類(lèi)的文本進(jìn)行快速的初步分組，因此具有一定的靈活性和較高的自動(dòng)化處理能力，故而使用文本聚類(lèi)技術(shù)可以對(duì)大規(guī)模的新聞文本集進(jìn)行

2、有效地組織、摘要和導(dǎo)航。
　　然而，傳統(tǒng)的基于詞袋模型（Bag of Words）的文本聚類(lèi)方法可以根據(jù)詞頻統(tǒng)計(jì)信息等特征對(duì)文本中詞性進(jìn)行加權(quán)，區(qū)別特征貢獻(xiàn)度，但無(wú)法捕捉文本中詞匯的語(yǔ)義關(guān)系；基于主題模型的文本聚類(lèi)方法可以捕捉到新聞中詞語(yǔ)與文章的共現(xiàn)，提取新聞的隱含主題，卻不能捕捉詞與詞之間的共現(xiàn)關(guān)系；近年由Mikolov等人提出的Skip-Gram方法通過(guò)統(tǒng)計(jì)詞與上下文的共現(xiàn)，訓(xùn)練得到的詞向量能夠攜帶詞匯間的語(yǔ)義關(guān)聯(lián)，在很多機(jī)器

3、學(xué)習(xí)任務(wù)中表現(xiàn)優(yōu)秀，但卻無(wú)法處理漢語(yǔ)中約20％的多義詞、同義詞和近義詞對(duì)文本語(yǔ)義的影響；而且，流行的文本聚類(lèi)方法大都在詞語(yǔ)、短語(yǔ)這樣短文本上進(jìn)行聚類(lèi)是表現(xiàn)較好，卻無(wú)法有效在新聞這樣的長(zhǎng)文本上進(jìn)行聚類(lèi)。
　　本文提出一個(gè)新的新聞文本聚類(lèi)方法TDE-DC(Topic Document Embedding based Document Clustering)，通過(guò)結(jié)合Skip-Gram模型、主題模型和TF-IDF加權(quán)方法的優(yōu)點(diǎn)，克服各模

4、型單獨(dú)使用時(shí)的缺陷來(lái)獲得更好的新聞長(zhǎng)文本聚類(lèi)效果。TDE-DC文本聚類(lèi)方法主要完成了如下工作：1）使用詞匯和詞匯所在文本的隱含主題一起作為輸入，通過(guò)Skip-Gram模型對(duì)上下文（Context）中的詞匯進(jìn)行預(yù)測(cè)，從而得到同時(shí)攜帶詞匯間隱含語(yǔ)義關(guān)系和隱含主題的主題詞向量（Topic Word Embedding），即獲得了高質(zhì)量的詞向量表示，也有效地克服了漢語(yǔ)中高頻出現(xiàn)的多義詞、同義詞及近義詞對(duì)文本含義的特殊影響；2)以TF-IDF值為