RDF語義數(shù)據(jù)存儲編碼與查詢優(yōu)化研究.pdf

1、隨著語義網(wǎng)研究的深入以及信息抽取技術(shù)的進(jìn)步，近年來RDF語義數(shù)據(jù)增長迅速，更多復(fù)雜的語義數(shù)據(jù)需要處理與應(yīng)用。常見的RDF數(shù)據(jù)集都有上億的三元組，如何高效地對海量RDF語義數(shù)據(jù)進(jìn)行存儲與查詢，已經(jīng)成為學(xué)術(shù)界研究的熱點(diǎn)。RDF具有龐大的數(shù)據(jù)量，現(xiàn)有的RDF存儲系統(tǒng)采用的編碼方式已經(jīng)可以大幅度壓縮數(shù)據(jù)，不過大多編碼方法不支持?jǐn)?shù)據(jù)的增量更新操作?，F(xiàn)有的RDF存儲系統(tǒng)多采用完備的三元組存儲方式，具有較高的查全率，不過在查詢效率上還有待提高。作為未

2、來發(fā)展的一個重要領(lǐng)域，RDF語義數(shù)據(jù)的處理還有很多值得研究的方面。本文主要研究的是RDF數(shù)據(jù)的編碼和存儲技術(shù)。通過分析國內(nèi)外研究現(xiàn)狀，對現(xiàn)有的系統(tǒng)進(jìn)行大量研究和實(shí)驗(yàn)，針對RDF語義數(shù)據(jù)的編碼方式和存儲方式提出了改進(jìn)方法，并運(yùn)用該方法做了實(shí)驗(yàn)與分析。
　　本研究主要內(nèi)容包括：⑴結(jié)合RDF語義數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)實(shí)現(xiàn)了基于哈希的HBRA編碼方案。HBRA編碼方案采用Hash Lookup算法實(shí)現(xiàn)了文本到ID的映射，支持?jǐn)?shù)據(jù)的初始化批量加載

3、，也可以實(shí)現(xiàn)較快的增量更新操作，滿足了RDF數(shù)據(jù)不斷增加的特性。通過在內(nèi)存中建立沖突處理表、使用Bloom filter查找算法和建立分塊索引等策略，提升了編碼時數(shù)據(jù)查找、判重和更新的效率。⑵通過研究RDF的查詢處理技術(shù)，提出了基于三元組的二級索引存儲方法，設(shè)計(jì)了二級索引的存儲結(jié)構(gòu)，實(shí)現(xiàn)了相應(yīng)的存儲過程。采用的二級索引結(jié)構(gòu)不僅可以減少RDF數(shù)據(jù)的存儲空間，還可以減少RDF語義數(shù)據(jù)查詢時的比較次數(shù)。通過研究查詢引擎的總體結(jié)構(gòu)以及查詢引擎的

4、查詢機(jī)理，結(jié)合二級索引存儲的特點(diǎn)，設(shè)計(jì)了對應(yīng)的RDF語義數(shù)據(jù)查詢的處理過程。⑶根據(jù)提出的RDF語義數(shù)據(jù)編碼方案和查詢策略，對 RDF-3X系統(tǒng)做了改進(jìn)，并做了相關(guān)實(shí)驗(yàn)。在編碼方面，對數(shù)據(jù)編碼方案進(jìn)行了功能測試、沖突處理測試。在查詢性能方面，選取9個SPARQL查詢語句，采用YAGO數(shù)據(jù)集對幾個存儲系統(tǒng)做了實(shí)驗(yàn)，得到查詢的查全率和時間效率。實(shí)驗(yàn)表明，使用新的編碼方案和存儲技術(shù)在不影響查全率的基礎(chǔ)上，在簡單查詢和并列查詢方面的查詢效率有一定