基于語(yǔ)義分析的文本相似度算法研究.pdf

1、隨著計(jì)算機(jī)信息技術(shù)的飛速發(fā)展，文本相似度逐漸成為信息處理領(lǐng)域的研究熱點(diǎn)。目前基于語(yǔ)義分析的文本相似度算法一般都是利用語(yǔ)義詞典對(duì)文本中的詞匯進(jìn)行分析，并沒(méi)有考查詞匯對(duì)文本主旨表達(dá)所做的貢獻(xiàn)值，因此計(jì)算準(zhǔn)確率較低。針對(duì)這個(gè)缺陷，本文提出了一種基于語(yǔ)義分析的文本相似度計(jì)算方法，該方法通過(guò)考查詞匯語(yǔ)義權(quán)值對(duì)文本進(jìn)行特征提取，并通過(guò)特征的語(yǔ)義權(quán)值來(lái)計(jì)算文本相似度。
　　本文首先研究了文本內(nèi)部詞匯的分布規(guī)律和詞匯之間的關(guān)系，提出了一種基于語(yǔ)義

2、分析和語(yǔ)義關(guān)系網(wǎng)絡(luò)的文本特征提取算法。針對(duì)目前算法沒(méi)有考查詞匯對(duì)文本主旨表達(dá)所做貢獻(xiàn)值的不足，該算法利用詞匯語(yǔ)義相似度將文本抽象表示為一個(gè)語(yǔ)義關(guān)系網(wǎng)絡(luò)，通過(guò)對(duì)網(wǎng)絡(luò)中節(jié)點(diǎn)的重要性評(píng)估得到相應(yīng)詞匯的語(yǔ)義權(quán)值，并根據(jù)語(yǔ)義權(quán)值的排序結(jié)果提取文本特征，實(shí)驗(yàn)證明該算法提取的特征能夠很好的代表文本主旨。
　　本文接著研究了兩個(gè)文本特征集合之間的關(guān)系，提出了一種基于語(yǔ)義分析和二分圖最優(yōu)匹配的文本相似度算法。為了提高文本相似度計(jì)算的準(zhǔn)確性，該算法考

3、查了特征詞匯在文本中的語(yǔ)義權(quán)值。該算法將兩個(gè)文本特征集合表示為二分圖的兩個(gè)部分，其中每個(gè)部分中的節(jié)點(diǎn)為相應(yīng)特征集合中的詞匯，并通過(guò)特征詞匯的語(yǔ)義權(quán)值和詞匯間的語(yǔ)義相似度得到二分圖中邊的權(quán)值，繼而利用二分圖最優(yōu)匹配算法得到最優(yōu)匹配，最終根據(jù)匹配結(jié)果計(jì)算兩個(gè)文本的相似度，實(shí)驗(yàn)證明該算法在一定程度上提高了文本相似度計(jì)算的正確性。
　　在上述研究的基礎(chǔ)之上，本文對(duì)所提出的兩個(gè)算法分別進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)使用了大量文本作為數(shù)據(jù)集，并將實(shí)驗(yàn)結(jié)