基于領(lǐng)域本體的新聞搜索引擎的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的大規(guī)模覆蓋,瀏覽網(wǎng)絡(luò)新聞已成為大家了解社會動態(tài)的一個重要渠道,新聞搜索引擎不可或缺。然而,雖然網(wǎng)絡(luò)如一本無所不包的百科全書,由于當前搜索引擎技術(shù)仍處在革新階段,致使信息檢索結(jié)果還不盡如人意。
　　 由此,本文將本體、信息檢索等技術(shù)相結(jié)合,使搜索引擎能夠朝著智能化方向發(fā)展,進而改善當前搜索引擎性能。本文的主要研究工作如下:
　　 一、提出了基于領(lǐng)域本體的新聞網(wǎng)頁分類算法。為了改進當前分類算法只考慮內(nèi)容相似度的普遍

2、性不足,本文提出了兼顧內(nèi)容相似度與結(jié)構(gòu)相關(guān)度的語義分類思想:首先,解析本體得到本體類別向量,抽取新聞網(wǎng)頁文本關(guān)鍵詞并進行語義降維,此時找出網(wǎng)頁文本中存在的與本體類別向量相同的詞匯構(gòu)成文本期望向量,再運用向量余弦定理計算兩者的內(nèi)容相似度。其次,將上述共同詞匯映射到本體層次結(jié)構(gòu)圖上,通過計算該有向無環(huán)圖的加權(quán)路徑得到結(jié)構(gòu)相關(guān)度。最后,結(jié)合內(nèi)容相似度與結(jié)構(gòu)相關(guān)度計算新聞網(wǎng)頁與本體的綜合關(guān)聯(lián)度,通過判斷結(jié)果與閾值的大小關(guān)系來決定新聞網(wǎng)頁的類別。

3、
　　 二、提出了加權(quán)修正信息增益的ωID3算法。針對ID3算法偏向選擇取值較多屬性作為分裂節(jié)點的缺陷,ωID3算法的改進思路是:找出信息增益及取值個數(shù)都達到閾值的屬性,并同時考慮條件屬性與決策屬性的相關(guān)性,加權(quán)修正上述屬性的信息增益值,再依據(jù)修正值選擇分裂節(jié)點。實例對比說明本算法構(gòu)造的決策樹在一定程度上有所改善。
　　 三、設(shè)計了基于領(lǐng)域本體的新聞搜索引擎MONSE原型系統(tǒng),并在Heritrix、Lucene、Ecli