一種基于Spark的語義推理引擎實(shí)現(xiàn)及應(yīng)用.pdf

1、近些年在知識(shí)圖譜蓬勃發(fā)展的大背景下，與之相關(guān)的語義Web的數(shù)據(jù)規(guī)模也呈現(xiàn)爆發(fā)態(tài)勢(shì)。如何在大規(guī)模語義Web數(shù)據(jù)上有效地進(jìn)行語義推理是研究者們面臨的棘手問題。具體來說，在大規(guī)模語義Web數(shù)據(jù)上實(shí)施語義推理時(shí)，計(jì)算量巨大、消耗時(shí)間長都是突出的問題，特別是當(dāng)應(yīng)用復(fù)雜規(guī)則邏輯進(jìn)行推理時(shí)，情況更是如此。傳統(tǒng)單機(jī)環(huán)境下的語義推理引擎無法應(yīng)對(duì)大規(guī)模知識(shí)圖譜下的推理，缺乏可擴(kuò)展性方面的考慮，難以滿足在數(shù)據(jù)規(guī)模上日益增長的語義關(guān)聯(lián)數(shù)據(jù)的推理需求。從分布式角

2、度來看，已有的基于Hadoop MapReduce實(shí)現(xiàn)的語義推理框架由于欠缺推理算法相關(guān)的網(wǎng)絡(luò)通信和磁盤I/0等的優(yōu)化，推理效率依然較低。
　　本文針對(duì)上述問題，圍繞分布式內(nèi)存計(jì)算平臺(tái)Spark，研究以下幾個(gè)方面的內(nèi)容:首先設(shè)計(jì)一個(gè)良好模塊化且推理規(guī)則可配置的完整分布式推理引擎架構(gòu)。接著研究現(xiàn)有的單機(jī)和分布式語義推理算法，基于Spark框架對(duì)相關(guān)算法進(jìn)行分布式的實(shí)現(xiàn)，并針對(duì)Spark的原理和特點(diǎn)做相應(yīng)的優(yōu)化。將基于Spark實(shí)現(xiàn)的