基于Hadoop的重復(fù)數(shù)據(jù)清理模型研究與實(shí)現(xiàn).pdf

1、當(dāng)今，晶體管電路已經(jīng)逐漸接近其物理上的性能極限，摩爾定律在2005年左右開始失效了，人類再也不能期待單個(gè)CPU的速度每隔18個(gè)月就翻一倍，單機(jī)的數(shù)據(jù)清理能力再也滿足不了當(dāng)今人們對(duì)海量數(shù)據(jù)的處理要求?；诖笠?guī)模計(jì)算機(jī)集群的分布式并行計(jì)算將成為未來數(shù)據(jù)處理軟件性能提升的主要途徑。
　　借助分布式計(jì)算近年來的應(yīng)用熱風(fēng)，本研究從數(shù)據(jù)質(zhì)量這個(gè)重要因素出發(fā)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Hadoop分布式框架的重復(fù)數(shù)據(jù)清理平臺(tái)。
　　Hadoop

2、是一個(gè)開源的分布式計(jì)算框架。該分布式框架具備良好的擴(kuò)充能力、較低的運(yùn)作成本、較高的效率和較好的穩(wěn)定性，而且它的Map/Reduce編程模式能夠與本文的應(yīng)用（重復(fù)數(shù)據(jù)清理）完美兼容，因此選擇Hadoop框架作為本文研究的基礎(chǔ)實(shí)驗(yàn)框架。當(dāng)今世界，信息顯得尤為寶貴，而數(shù)據(jù)質(zhì)量是保證信息提取的一個(gè)重要前提。因此利用計(jì)算機(jī)來進(jìn)行重復(fù)數(shù)據(jù)清理，減小信息系統(tǒng)數(shù)據(jù)的冗余度成為一個(gè)有意義的研究方向，這也是選擇重復(fù)數(shù)據(jù)清理作為本文應(yīng)用主題的關(guān)鍵原因。

3、>　　本文利用Hadoop的分布式數(shù)據(jù)處理特性，完成了完全重復(fù)數(shù)據(jù)清理并實(shí)現(xiàn)了數(shù)據(jù)按關(guān)鍵字段的排序過程，得到了初步聚類數(shù)據(jù)，然后采用單機(jī)預(yù)處理的方式對(duì)初步聚類數(shù)據(jù)進(jìn)行再聚類。再聚類過程是該研究模型設(shè)計(jì)的重點(diǎn)和難點(diǎn)，它依靠一系列重要算法和清理規(guī)則做支撐，得到一個(gè)更加精確的聚類結(jié)果。經(jīng)過再聚類處理后的數(shù)據(jù)最后交由Hadoop平臺(tái)進(jìn)行相似重復(fù)數(shù)據(jù)清理，得到最終的清理結(jié)果。
　　本研究中，通過對(duì)該模型“過濾”后的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，結(jié)果證實(shí)