面向在線評(píng)論的關(guān)鍵詞抽取和知識(shí)關(guān)聯(lián)研究.pdf

1、電子商務(wù)交易過(guò)程中能夠產(chǎn)生大量有價(jià)值的用戶消費(fèi)數(shù)據(jù)和口碑信息，這些信息能夠提供最直觀的用戶體驗(yàn)，并有助于消費(fèi)者對(duì)不同偏好、不同品質(zhì)的產(chǎn)品進(jìn)行篩選。這些短文本信息數(shù)量大，所要表達(dá)的主題針對(duì)性強(qiáng)。針對(duì)以在線評(píng)論為載體的口碑信息挖掘是研究熱點(diǎn)，本文的核心是從海量的評(píng)論文本中提取出具有代表性的關(guān)鍵詞，并對(duì)關(guān)鍵詞進(jìn)行語(yǔ)義關(guān)聯(lián)，使之具有一定的解釋性和可讀性。該問(wèn)題研究的難點(diǎn)是提出有效的關(guān)鍵詞抽取方法以及建立關(guān)鍵詞間的語(yǔ)義關(guān)聯(lián)。本文主要分為以下三部分

2、：
　　第一，為盡可能多的保留評(píng)論文本信息，避免分詞工具錯(cuò)誤地識(shí)別未登錄詞而丟失信息，針對(duì)中文文本預(yù)處理過(guò)程中分詞后出現(xiàn)的大量的詞碎片，本文通過(guò)加入規(guī)則模型的詞碎片處理，識(shí)別詞碎片中單個(gè)字為主的未登錄詞和詞碎片組合的未登錄詞，以提高對(duì)評(píng)論文本的利用率和分詞準(zhǔn)確率，為關(guān)鍵詞抽取和以關(guān)鍵詞為基礎(chǔ)的語(yǔ)義關(guān)聯(lián)奠定了基礎(chǔ)并提供了更豐富的語(yǔ)料信息。
　　第二，針對(duì)在線評(píng)論進(jìn)行關(guān)鍵詞抽取，提出利用LDA主題模型、Word2vec詞向量模型

3、與TextRank相融合的關(guān)鍵詞抽取算法。本文將主題影響力納入到節(jié)點(diǎn)之間相互轉(zhuǎn)移的影響因素中，并認(rèn)為主題影響力大的節(jié)點(diǎn)向主題影響力小的節(jié)點(diǎn)轉(zhuǎn)移的概率要大，利用 LDA主題模型計(jì)算候選詞在文檔中以潛在主題為中間層的主題影響力；并且，認(rèn)為如果一個(gè)詞具有很強(qiáng)的文檔重要性，那么其他詞與該詞在語(yǔ)義上越是相近，則越具有重要性，這種語(yǔ)義上的相關(guān)性消除了基于詞頻辨識(shí)關(guān)鍵詞的影響，利用Word2vec詞向量方法計(jì)算文檔中詞匯之間的相似性度，將這種基于全局

4、和局部的候選關(guān)鍵詞信息融合到以鄰接關(guān)系為主的結(jié)構(gòu)信息中；最后，通過(guò)圖模型TextRank算法計(jì)算出詞匯節(jié)點(diǎn)的得分，最后得到按得分排序的關(guān)鍵詞抽取結(jié)果。
　　第三，利用LDA主題模型和分布式表示中的Sentence2vec模型，在詞性分類基礎(chǔ)上，計(jì)算主題和語(yǔ)義相似的關(guān)鍵詞間的關(guān)聯(lián)度，按照關(guān)聯(lián)度大小對(duì)不同類別關(guān)鍵詞語(yǔ)義關(guān)聯(lián)關(guān)系進(jìn)行排序，最終得到帶有關(guān)聯(lián)程度的在線評(píng)論文本的關(guān)鍵詞關(guān)聯(lián)結(jié)果。
　　本文針對(duì)在線評(píng)論的關(guān)鍵詞知識(shí)，提出語(yǔ)