基于Bloom Filter的數(shù)據(jù)集比對方案——方案在Hadoop上的實(shí)施分析.pdf

1、數(shù)據(jù)倉庫(Teradata)中的數(shù)據(jù)常遷移到Hadoop分布式系統(tǒng)上進(jìn)行高效的計(jì)算和分析，當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)發(fā)生變化而未及時與 Hadoop系統(tǒng)上同步或者因?yàn)樵谕ㄓ崱⑼?、?fù)制過程中的數(shù)據(jù)丟失等情況出現(xiàn)時，會導(dǎo)致數(shù)據(jù)不一致的問題，數(shù)據(jù)集比對是為了找出兩端數(shù)據(jù)的差異，以維護(hù)數(shù)據(jù)的一致性。Bloom Filter（布魯姆過濾器）是一種空間高效但有一定假陽性的數(shù)據(jù)表示方法。它提供高效的存在性查詢操作。結(jié)合實(shí)際項(xiàng)目背景，本方案通過MD5哈希的方式

2、縮小待比對的兩端數(shù)據(jù)集，以減少數(shù)據(jù)傳輸?shù)膲毫?。通過Bloom Filter算法進(jìn)行數(shù)據(jù)記錄的比對，可以獲得原始數(shù)據(jù)中具有差異的數(shù)據(jù)的PK（主鍵），以此作為結(jié)果可跟蹤到原始數(shù)據(jù)的變化。
　　本文利用Hadoop分布式系統(tǒng)上的Mapreduce程序模型設(shè)計(jì)一個實(shí)驗(yàn)系統(tǒng)，該系統(tǒng)可以明確指出數(shù)據(jù)集中不一致記錄的PK，以便進(jìn)行后續(xù)的數(shù)據(jù)恢復(fù)操作。實(shí)驗(yàn)中實(shí)現(xiàn)了基本交運(yùn)算、計(jì)數(shù)型布魯姆過濾器、可擴(kuò)展型布魯姆過濾器和可反向型布魯姆過濾器，并根據(jù)實(shí)