基于詞向量和主題模型的生物醫(yī)學(xué)摘要技術(shù).pdf

1、隨著科學(xué)技術(shù)的快速發(fā)展，因特網(wǎng)上的在線資源和文獻(xiàn)數(shù)量都在呈指數(shù)性的增長(zhǎng)。這些資源在給人類帶來海量信息的同時(shí)，也帶來數(shù)據(jù)冗余和垃圾信息等問題，用戶往往需要花費(fèi)更多的時(shí)間才能找到所需要的信息。而文本摘要技術(shù)可以快速抽取文檔集中的重要信息，并用指定長(zhǎng)度的一段話反映原文信息，實(shí)現(xiàn)為用戶節(jié)省搜索時(shí)間，提高工作效率的目的。在生物醫(yī)學(xué)領(lǐng)域，如MEDLINE數(shù)據(jù)庫中，一個(gè)概念能檢索到上萬篇相關(guān)文獻(xiàn)。因此文本摘要技術(shù)的研究對(duì)于生物醫(yī)學(xué)領(lǐng)域的研究人員具有重

2、大意義。
　　自2013年word2vec工具被提出以來，由于其高效性和簡(jiǎn)易性，該模型被廣泛使用，另外由于近些年深度學(xué)習(xí)出色的性能效果，使得詞向量的研究受到文本挖掘領(lǐng)域研究人員的重視。如何將詞向量的研究加入到文本摘要技術(shù)方法中，使得摘要性能有進(jìn)一步的提升，是本文的研究重點(diǎn)。本文將語料集劃分為句子集合，每條句子作為圖中結(jié)點(diǎn)并賦予平均初始權(quán)重，利用詞向量計(jì)算句子間的語義相似性作為兩兩句子間邊的權(quán)重，基于PageRank思想對(duì)圖中結(jié)點(diǎn)迭

3、代計(jì)算結(jié)點(diǎn)權(quán)重直至收斂。最終結(jié)點(diǎn)權(quán)重反映句子的重要性，最后利用最大邊緣相關(guān)算法消除句子中的冗余信息生成摘要。為充分驗(yàn)證詞向量在計(jì)算句子相似性的性能效果，本文采用多種方式利用詞向量，如采用特征詞均值、特征詞對(duì)應(yīng)維的最大值、結(jié)合語義相似性計(jì)算等，以找到最適合本文摘要方法的使用方式。本文通過三組實(shí)驗(yàn)，對(duì)比發(fā)現(xiàn)結(jié)合語義相似性計(jì)算的方式能夠更大程度地提升文本摘要性能。
　　盡管文本摘要技術(shù)可以使用戶快速瀏覽大量信息，但是由于不同角色的用戶會(huì)

4、有不同的信息需求。如對(duì)于某一疾病，醫(yī)生想了解的是相關(guān)的最新研究成果等，而病人則關(guān)注的是該疾病的癥狀、治療方案等。因此本文針對(duì)不同類用戶，提出面向用戶角色的自動(dòng)文本摘要技術(shù)。以醫(yī)生和病人為研究對(duì)象，首先搜集兩類用戶關(guān)于疾病“HIVInfections”的評(píng)論信息，生成兩個(gè)用戶評(píng)論集，然后分別利用pLSA和LDA對(duì)評(píng)論集進(jìn)行主題建模，找到用戶對(duì)該疾病關(guān)注的主題詞，并加入到句子權(quán)重計(jì)算過程中最終生成摘要。通過評(píng)價(jià)系統(tǒng)摘要性能以及計(jì)算摘要和主題