基于維基百科的語(yǔ)義Web搜索技術(shù)研究.pdf

1、目前的Web搜索技術(shù)是基于關(guān)鍵詞的搜索，信息的查全率和精確度仍然不能滿(mǎn)足用戶(hù)的需求，其效果常常不能使人滿(mǎn)意。這是由于在Web搜索過(guò)程中，缺乏搜索引擎可讀的語(yǔ)義信息，因而限制了計(jì)算機(jī)自動(dòng)分析處理以及進(jìn)一步的智能化處理的能力。因此，為了提高搜索引擎檢索信息的精準(zhǔn)度和智能性，傳統(tǒng)的基于關(guān)鍵字的搜索引擎要向更智能的語(yǔ)義檢索方向發(fā)展。語(yǔ)義搜索要有一個(gè)概念的語(yǔ)義空間網(wǎng)絡(luò)作為支撐，維基百科（Wikipedia）是一個(gè)開(kāi)放式的在線百科全書(shū)，它是世界最大

2、的包含了大量人類(lèi)知識(shí)和語(yǔ)義關(guān)系的知識(shí)庫(kù)資源。如何充分利用維基百科的知識(shí)，為現(xiàn)有的搜索技術(shù)添加語(yǔ)義處理能力，優(yōu)化信息檢索過(guò)程，即成為本論文的研究課題。本文主要的工作如下：
　　首先，針對(duì)維基百科中的信息組織及結(jié)構(gòu)特點(diǎn)，抽取出語(yǔ)義信息。對(duì)維基百科數(shù)據(jù)的處理，我們應(yīng)用了大數(shù)據(jù)處理的技術(shù)，構(gòu)建了基于Hadoop的維基數(shù)據(jù)包處理云平臺(tái)。通過(guò)建立一套基于對(duì)象模型的應(yīng)用程序接口，得到了維基百科主題頁(yè)面中我們感興趣的語(yǔ)義信息，包括概念、類(lèi)別、鏈接

3、、摘要段（主題頁(yè)面的第一段），這為后續(xù)的語(yǔ)義相關(guān)度計(jì)算提供了必要的結(jié)構(gòu)性和內(nèi)涵性信息。本文的處理技術(shù)還能為以后的維基百科大數(shù)據(jù)處理提供借鑒。
　　其次，提出了一種計(jì)算詞條語(yǔ)義相關(guān)度的新方法，稱(chēng)為WLA算法（Wikipedia Link and Abstract）。在上述對(duì)維基百科抽取出相關(guān)信息的基礎(chǔ)上，我們重點(diǎn)研究了鏈接關(guān)系和摘要段的內(nèi)容。鏈接關(guān)系（包括入鏈和出鏈）與摘要段公共詞的特征能很好地反映出概念之間的聯(lián)系，通過(guò)對(duì)其分別賦以

4、不同的權(quán)重，實(shí)驗(yàn)結(jié)果顯示W(wǎng)LA的Spearman相關(guān)系數(shù)達(dá)到了0.68，取得了令人滿(mǎn)意的結(jié)果。
　　最后，開(kāi)發(fā)了語(yǔ)義搜索系統(tǒng)的原型。將我們提出的WLA算法集成到系統(tǒng)中，實(shí)現(xiàn)了能夠提供普通用戶(hù)和語(yǔ)義研究人員進(jìn)行語(yǔ)義搜索的平臺(tái)。該搜索系統(tǒng)以維基百科對(duì)詞語(yǔ)的解釋為背景知識(shí)，包括語(yǔ)義計(jì)算，語(yǔ)義概念查詢(xún)和文本注釋三大功能。語(yǔ)義計(jì)算功能可計(jì)算出詞條語(yǔ)義相關(guān)性；語(yǔ)義概念查詢(xún)系統(tǒng)提供基于維基百科的語(yǔ)義詞典功能，對(duì)偏生詞，多義詞，歧義詞進(jìn)行語(yǔ)義解釋