基于Hadoop平臺的多特征融合文本相似度計(jì)算研究與應(yīng)用.pdf

1、云計(jì)算技術(shù)的成熟及大數(shù)據(jù)時(shí)代的來臨給傳統(tǒng)行業(yè)帶來了巨大的沖擊，適用于傳統(tǒng)行業(yè)的分析方法及解決方案需要進(jìn)行重新設(shè)計(jì)。交通信息工程及控制領(lǐng)域的眾多半結(jié)構(gòu)及非結(jié)構(gòu)化信息也需要引入云計(jì)算及自然語言處理等新的分析平臺與及應(yīng)對方案。
　　自然語言處理從不同的層次可以分為詞法分析、句法分析、語義分析、文摘生成、文本分類及文本聚類等。自然語言處理的很多技術(shù)已得到較為成功的應(yīng)用，如中文分詞、機(jī)器翻譯等。經(jīng)過長期的發(fā)展，低層次的自然語言處理已有很多較

2、為成熟的方法，而高層次的自然語言處理由于計(jì)算復(fù)雜度高等其他方面的原因而進(jìn)展緩慢。云計(jì)算為文本相似度計(jì)算等高層次的自然語言處理提供了新的解決方案。本文對基于云計(jì)算的多特征融合文本相似度計(jì)算進(jìn)行研究，主要是在Hadoop云計(jì)算平臺下，對低層次的基于詞語共現(xiàn)的文本相似度、較高層次的基于語義相似度的文本相似度、高層次的基于余弦相似度的文本相似度、更高層次的基于語言網(wǎng)絡(luò)的文本相似度進(jìn)行分析，通過對四個(gè)不同層次特征的文本相似度進(jìn)行線性融合，提出了基

3、于云計(jì)算的多特征融合文本相似度計(jì)算方法并在Hadoop平臺上進(jìn)行驗(yàn)證。論文主要包括以下五個(gè)方面的內(nèi)容:
　　首先，對低層次的基于詞語共現(xiàn)的文本相似度計(jì)算進(jìn)行研究并進(jìn)行并行化，針對Hadoop云計(jì)算平臺的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)計(jì)算基于詞語共現(xiàn)的文本相似度，將文本的Jaccard相似度作為基于詞語共現(xiàn)的文本相似度計(jì)算結(jié)果。
　　其次，對較高層次的基于語義相似度的文本相似度計(jì)算進(jìn)行研究并進(jìn)行并行化，采用現(xiàn)

4、有的語義相似度計(jì)算方法，針對Hadoop云計(jì)算平臺的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)計(jì)算基于語義相似度的文本相似度，將文本所有詞語對的語義相似度之和的算術(shù)平均值作為基于語義相似度的文本相似度計(jì)算結(jié)果。
　　再次，對高層次的基于余弦相似度的文本相似度進(jìn)行研究并進(jìn)行并行化，對中文分詞及去停用詞后的文本向量進(jìn)行處理，并計(jì)算文本向量的余弦相似度，針對Hadoop云計(jì)算平臺的特點(diǎn)設(shè)計(jì)Map、Combine、Reduce函數(shù)計(jì)

5、算基于余弦相似度的文本相似度，將文本向量的余弦值作為基于余弦相似度的文本相似度計(jì)算結(jié)果。
　　然后，對更高層次的基于語言網(wǎng)絡(luò)的文本相似度計(jì)算進(jìn)行研究并在Hadoop云計(jì)算平臺下借助X-RIME實(shí)現(xiàn)了對語言網(wǎng)絡(luò)的節(jié)點(diǎn)的PageRank值計(jì)算，將較低的PageRank值之和與較高的PageRank值之和的比值作為基于語言網(wǎng)絡(luò)的文本相似度計(jì)算結(jié)果。
　　最后，在Hadoop云計(jì)算平臺下將低層次的基于詞語共現(xiàn)的文本相似度、較高層次的