一種流數(shù)據(jù)頻繁模式挖掘算法的研究與實現(xiàn).pdf

1、數(shù)據(jù)挖掘，是數(shù)據(jù)庫研究中的一個很有應用價值的領域，目的是從大型數(shù)據(jù)庫中提取隱含的、人們事先不知道的、潛在有用的信息或模式。經(jīng)過近十幾年的努力，已經(jīng)相當成熟。然而，隨著電子商務、傳感器網(wǎng)絡、股票數(shù)據(jù)分析等的應用，提出一種新的數(shù)據(jù)模型——流數(shù)據(jù)。這些數(shù)據(jù)源源不斷地到來，只能按順序進行處理，因此在流數(shù)據(jù)環(huán)境中進行挖掘是一項具有挑戰(zhàn)性的工作，在數(shù)據(jù)庫應用領域有很高的研究價值。 本文主要是對流數(shù)據(jù)中的頻繁項集的挖掘進行研究。分析了流數(shù)據(jù)模

2、型與傳統(tǒng)的數(shù)據(jù)模型的區(qū)別、主要的流數(shù)據(jù)處理技術、當前的挖掘任務等。針對如何在流數(shù)據(jù)上挖掘頻繁模式這一課題，分析了經(jīng)典的流數(shù)據(jù)挖掘算法FP-stream算法，結合流數(shù)據(jù)分段理論和滑動窗口技術，采用批處理式挖掘方式，進行基于滑動窗口的流數(shù)據(jù)頻繁模式挖掘算法DSFP-SW(Data Stream Frequent Pattern based-on Sliding Window)的研究。 DSFP-SW算法是一種批處理式的挖掘算法，先將

3、流數(shù)據(jù)分段，每段作為一個滑動窗口，再將滑動窗口劃分為幾個基本的窗口，利用改進的頻繁模式挖掘算法，計算每個基本窗口的臨界頻繁項集。為了適應流數(shù)據(jù)快速、大量的特性，在頻繁模式樹的基礎上，改進了一種新的前綴樹結構DSFP-SW-tree來存儲每個基本窗口的臨界頻繁項集，樹中的每個結點代表了一個頻繁項集。隨著滑動窗口的更新，更新DSFP-SW-tree。并每隔一段時間調用剪枝算法，快速地挖掘滑動窗口中所有的頻繁模式。通過試驗把該算法于經(jīng)典的FP