Blog檢索中的關(guān)鍵問題研究.pdf

1、本文針對當前互聯(lián)網(wǎng)環(huán)境及對文本情感分析技術(shù)的需求，研究了Blog檢索中的網(wǎng)頁信息抽取和文本情感分析問題，主要創(chuàng)新工作和成果如下： 第一，提出了一套高效、健壯的網(wǎng)頁文本抽取算法。 該算法克服了主流的基于DOM模型的網(wǎng)頁文本抽取算法性能的性能缺陷，首次以SAX接口實現(xiàn)了對頁面框架結(jié)構(gòu)信息的利用。提出了基于全局噪聲信息去重的方式提取頁面正文的方法。 該方法被應(yīng)用在TREC Blog06數(shù)據(jù)集上，在將文檔集規(guī)模壓縮87.

2、5％的同時，提高相關(guān)性檢索性能指標52.5％以上。 第二，提出了基于統(tǒng)計模型的情感分析中的幾組關(guān)鍵特征。 對情感分析中詞匯的N-gram特征及其各種權(quán)重計算方法、詞性特征、否定詞特征和同義詞擴展特征在當前情感分析領(lǐng)域的應(yīng)用和效果進行了分析。通過詞級別和句子級別的情感極性分類實驗，分析了幾種特征及其各種組合的應(yīng)用效果，發(fā)現(xiàn)詞性、否定詞等高級文本特征在用于詞級別情感分析時需要與位置信息結(jié)合，同時這些高級特征在使用基于統(tǒng)計的分

3、類模型進行句子級別情感分類時效果不如單純使用詞的Unigram特征。 使用本文發(fā)現(xiàn)的特征組合，詞級別情感極性分類準確率達到88.6％，句子級別情感極性分類準確率達到83.9％。 第三，實現(xiàn)了一套Blog觀點發(fā)現(xiàn)系統(tǒng)。 該系統(tǒng)引入網(wǎng)站全局噪聲信息凈化網(wǎng)頁，創(chuàng)造性的結(jié)合段落和篇章全文級別的檢索結(jié)果，從而大幅度提高了話題相關(guān)性檢索性能。在2008年的TREC Blog測試中，該系統(tǒng)由于表現(xiàn)出色被列為后續(xù)任務(wù)的基準系統(tǒng)。