海量數(shù)據(jù)處理與挖掘關(guān)鍵技術(shù)研究.pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，產(chǎn)生了呈爆炸式遞增的海量數(shù)據(jù)。數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程，如何有效地處理、存儲這些海量數(shù)據(jù)，并從這些數(shù)據(jù)中挖掘隱藏其中的知識是一項重要而有意義的工作。本文針對大規(guī)模海量數(shù)據(jù)存在的問題，對數(shù)據(jù)預(yù)處理技術(shù)、海量數(shù)據(jù)存儲方法等進行介紹，尤其對數(shù)據(jù)預(yù)處理中的重復(fù)數(shù)據(jù)刪除技術(shù)進行了深入研究改進；在此基礎(chǔ)上，對數(shù)據(jù)挖掘技術(shù)中的多視角聚類算法和關(guān)聯(lián)規(guī)則算法進行了有針對性的研究和改進，具體

2、包括以下幾個方面的工作：
　　1.面對海量數(shù)據(jù)中存在的問題，在研究數(shù)據(jù)預(yù)處理技術(shù)的基礎(chǔ)上，對數(shù)據(jù)壓縮、增量備份及重復(fù)數(shù)據(jù)刪除技術(shù)等數(shù)據(jù)處理技術(shù)進行技術(shù)比較，著重針對重復(fù)數(shù)據(jù)刪除技術(shù)開展深入研究，提出一種基于自適應(yīng)優(yōu)化和K-Means的重復(fù)數(shù)據(jù)刪除方法。首先通過在分布式存儲系統(tǒng)中使用一致性哈希算法，以及在目標機器系統(tǒng)查詢中使用Bloom Filter結(jié)構(gòu)算法相結(jié)合的索引搜索方式，提升分布式數(shù)據(jù)索引搜索的效率；同時，通過改進基于Rab

3、in指紋的分塊算法，以及用后綴名劃分的自適應(yīng)數(shù)據(jù)分塊優(yōu)化方法，使數(shù)據(jù)選擇分塊方法具有自適應(yīng)性和更好的數(shù)據(jù)傳輸效果；另外，提出基于K-Means的重復(fù)數(shù)據(jù)刪除方法，準確識別重復(fù)的數(shù)據(jù)，提高重復(fù)數(shù)據(jù)檢測和刪除的效率。
　　2.應(yīng)用數(shù)據(jù)挖掘中的聚類算法對預(yù)處理消冗后的數(shù)據(jù)進行研究，提出一種基于特征加權(quán)和非負矩陣分解的多視角聚類（FeatureWeighting andNon-negativeMatrix Factorization-Mu

4、ltiview Clustering，F(xiàn)WNMF-MC）算法。FWNMF-MC算法在多視角聚類過程中同時考慮特征權(quán)重和數(shù)據(jù)高維性問題，針對不同特征的差異性，根據(jù)每個視角中每個特征在聚類過程中的重要性，自動賦予不同的權(quán)值。通過將每個視角空間中的特征矩陣分解為基矩陣與系數(shù)矩陣的乘積，將多視角數(shù)據(jù)從高維空間映射到低維空間。同時，為了有效利用每個視角信息挖掘聚簇結(jié)構(gòu)，最大化每個視角在低維空間的一致性。實驗表明，已有的算法相比，F(xiàn)WNMF-MC算

5、法能夠取得更好的聚類效果，適用于處理大規(guī)模數(shù)據(jù)。
　　3.應(yīng)用數(shù)據(jù)挖掘中的關(guān)聯(lián)規(guī)則算法對預(yù)處理消冗后的數(shù)據(jù)進行研究，提出一種基于粒子群優(yōu)化的關(guān)聯(lián)規(guī)則挖掘算法（Association Rules Mining based on Particle Swarm Optimizaton，ARM-PSO）。ARM-PSO算法基于粒子群優(yōu)化策略，首先找到每個粒子的最優(yōu)適應(yīng)值，通過將這些數(shù)據(jù)轉(zhuǎn)換成二進制值后，計算出相應(yīng)的支持度和可信度作為最小的