基于Rough Set的海量數(shù)據(jù)挖掘算法研究.pdf

1、數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中挖掘出有用的或者人們感興趣的知識的一種方法。處理海量數(shù)據(jù)一直是數(shù)據(jù)挖掘要解決的一個(gè)重要問題。本論文結(jié)合RoughSet理論提出了一種直接處理海量數(shù)據(jù)全集的方法，并研究了分布式處理海量數(shù)據(jù)中的關(guān)鍵問題，即分割海量數(shù)據(jù)集的問題。 經(jīng)典的RoughSet算法要求數(shù)據(jù)常駐內(nèi)存，因此不能有效地處理海量數(shù)據(jù)。本論文首先提出了類分布鏈表的結(jié)構(gòu)來表示一個(gè)屬性組合對樣本空間的分類情況，類分布鏈表可以通過使用數(shù)據(jù)庫技術(shù)對原始

2、數(shù)據(jù)集進(jìn)行直接分類來獲取。通過類分布鏈表，本論文改進(jìn)了一組RoughSet知識約簡算法，從而使它們能夠直接處理海量數(shù)據(jù)集。類分布鏈表的方法還可以作為一種框架擴(kuò)展到其它的RoughSet算法來提高這些算法的可伸縮性，同時(shí)不影響它們的正確性。 在分布式處理海量數(shù)據(jù)中，關(guān)鍵的第一步就是如何有效地將原始海量數(shù)據(jù)集分割成許多可以在單機(jī)上處理的數(shù)據(jù)子集。本論文根據(jù)RoughSet的特點(diǎn)提出了最佳分割的定義，然后提出了一種海量數(shù)據(jù)分割算法來尋