大數(shù)據(jù)遷移過程中數(shù)據(jù)完整性問題研究.pdf

1、數(shù)據(jù)作為信息系統(tǒng)正常運(yùn)作的基礎(chǔ)，是一個(gè)企業(yè)正常運(yùn)營的核心。業(yè)務(wù)的橫向和縱向發(fā)展，新型的交互模式，以及移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展使得數(shù)據(jù)呈現(xiàn)指數(shù)增長。服務(wù)以及管理也逐漸精細(xì)化，信息系統(tǒng)逐漸集中式，這些因素共同催生了大規(guī)模的數(shù)據(jù)中心。再加上新技術(shù)架構(gòu)以及新型業(yè)務(wù)的產(chǎn)生，對系統(tǒng)性能提出了更高的要求，這些都要通過軟件升級來實(shí)現(xiàn)，在軟件升級以及新老系統(tǒng)更替的過程中必然要面對數(shù)據(jù)遷移的問題。數(shù)據(jù)遷移項(xiàng)目過程中必然要面對很多風(fēng)險(xiǎn)分析。本文針對數(shù)據(jù)遷移過程中

2、的數(shù)據(jù)完整性問題進(jìn)行研究，進(jìn)行了數(shù)據(jù)完整性風(fēng)險(xiǎn)分析和數(shù)據(jù)完整性檢測。數(shù)據(jù)完整性檢測是數(shù)據(jù)遷移必不可少的環(huán)節(jié)，對其進(jìn)行深入研究有重要的意義。
　　首先，本論文基于故障樹理論對數(shù)據(jù)遷移過程中數(shù)據(jù)完整性風(fēng)險(xiǎn)進(jìn)行分析。該過程清晰的呈現(xiàn)了數(shù)據(jù)完整性在數(shù)據(jù)遷移過程中會(huì)遇到的風(fēng)險(xiǎn)因素以及風(fēng)險(xiǎn)因素的結(jié)構(gòu)重要度。通過分析結(jié)構(gòu)重要度，可以得到在進(jìn)行數(shù)據(jù)遷移的過程中，為了不發(fā)生數(shù)據(jù)完整性遭到破壞的風(fēng)險(xiǎn)，要著重注意的風(fēng)險(xiǎn)事項(xiàng)。并在此基礎(chǔ)上計(jì)算出數(shù)據(jù)完整性

3、遭到破壞風(fēng)險(xiǎn)發(fā)生的概率，為數(shù)據(jù)遷移項(xiàng)目的可行性分析提供依據(jù)。該過程中主要分為三個(gè)過程:首先建立數(shù)據(jù)完整性風(fēng)險(xiǎn)故障樹，然后根據(jù)故障樹分析各個(gè)風(fēng)險(xiǎn)因素的結(jié)構(gòu)重要度，最后依據(jù)專家給出的數(shù)據(jù)計(jì)算出數(shù)據(jù)完整性遭到破壞風(fēng)險(xiǎn)發(fā)生的概率。
　　其次，本文提出了新的基于MD5分組數(shù)據(jù)完整性檢測與回溯方法。該方法解決了MD5算法本身只能串行計(jì)算的難題，提高了數(shù)據(jù)完整性檢測的性能與速度。并且能夠根據(jù)每個(gè)分組定義的標(biāo)簽回溯到問題數(shù)據(jù)分組的位置，減少問題數(shù)

4、據(jù)排查的工作量。該方法通過先將大的數(shù)據(jù)文件根據(jù)事先設(shè)定的分組大小PS進(jìn)行分組，再在每個(gè)分組中截取前100字節(jié)作為本數(shù)據(jù)分組的標(biāo)簽鏈接，通過多次的MD5摘要計(jì)算，有效解決MD5本身存在的碰撞問題，得到每個(gè)分組的MD5摘要值和最終數(shù)據(jù)文件的MD5摘要值。進(jìn)行數(shù)據(jù)完整性檢測之后可以根據(jù)每個(gè)分組的標(biāo)簽鏈接快速定位數(shù)據(jù)分組的位置。
　　最后，將基于MD5分組數(shù)據(jù)完整性檢測方法應(yīng)用到具體實(shí)際當(dāng)中，驗(yàn)證該方法的可靠性和可行性。用于頭有的數(shù)據(jù)文件