海量數(shù)據(jù)存儲與查詢策略的優(yōu)化研究.pdf

1、在全面信息化的過程中,產(chǎn)生了海量的數(shù)據(jù)和信息資源,非常需要一種方法對海量數(shù)據(jù)進(jìn)行科學(xué)高效的組織、管理和使用,以滿足日益多樣的業(yè)務(wù)應(yīng)用,同時提高信息資源的管理效率。國內(nèi)外的分析表明,海量數(shù)據(jù)管理水平將成為下一輪衡量企業(yè)生命力的指標(biāo)之一。海量數(shù)據(jù)管理的前景雖然樂觀,但目前仍然存在著很多技術(shù)上的難題需要克服。存儲策略的研究側(cè)重于空間效率的改進(jìn),而查詢策略側(cè)重于時間效率的提高,不能綜合地發(fā)揮出系統(tǒng)的整體優(yōu)勢。本文從這一角度出發(fā),以海量數(shù)據(jù)作為研

2、究對象,研究海量數(shù)據(jù)存儲策略與查詢策略的優(yōu)化。
　　 論文首先分析了國內(nèi)外學(xué)者取得的主要理論研究成果,總結(jié)了現(xiàn)行主要的存儲和查詢策略的特點(diǎn),針對現(xiàn)有研究中存在的問題,提出了優(yōu)化的內(nèi)容和目標(biāo),接著從海量數(shù)據(jù)生命周期出發(fā),深入研究了表分區(qū),基于對象存儲,查詢分解等多項(xiàng)關(guān)鍵技術(shù),然后,提出了利用表分區(qū)技術(shù)的基于對象存儲優(yōu)化策略和基于查詢分解的查詢優(yōu)化策略。而后,針對這些關(guān)鍵技術(shù)進(jìn)行了一系列的探討,通過研究得出優(yōu)化策略的基本方案,同時把

3、分布式環(huán)境確立為策略驗(yàn)證的環(huán)境。最后,在模擬環(huán)境中實(shí)現(xiàn)了存儲部分的配置信息、文件信息和讀寫操作功能,查詢部分設(shè)計(jì)實(shí)現(xiàn)了查詢分解、查詢優(yōu)化和結(jié)果合成功能;通過以上模塊的綜合作用,完成了對優(yōu)化策略的可行性的驗(yàn)證工作。
　　 本文從全面信息化的實(shí)際需求出發(fā),通過對常規(guī)理論的深入研究,提出了海量數(shù)據(jù)的存儲和查詢的優(yōu)化后的策略,并模擬環(huán)境中進(jìn)行了驗(yàn)證;該優(yōu)化策略平衡了系統(tǒng)的時間效率和空間效率,最終實(shí)現(xiàn)了系統(tǒng)優(yōu)化的預(yù)期目標(biāo),具有一定的應(yīng)用價