數(shù)據(jù)挖掘中關聯(lián)規(guī)則算法的改進與并行化處理.pdf

1、關聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的一個重要研究課題，其主要目地是發(fā)現(xiàn)數(shù)據(jù)之間的相關性。針對關聯(lián)規(guī)則挖掘在處理大數(shù)據(jù)集遇到的瓶頸問題，分析造成關聯(lián)規(guī)則挖掘算法低效的原因，對關聯(lián)規(guī)則挖掘算法Apriori和FP-Growth(Frequent Pattern Growth)的挖掘過程進行了深入研究。基于候選集的Apriori算法在挖掘關聯(lián)規(guī)則時，需要多次掃描數(shù)據(jù)庫，占用大量的I/O資源，算法效率降低；無候選集的FP-Growth算法在運行過程中只需掃

2、描兩次數(shù)據(jù)庫，在處理海量數(shù)據(jù)時，F(xiàn)P-Tree的存儲操作會消耗大量的內存。針對兩個算法存在的問題，主要研究內容如下：
　　Apriori算法的改進。針對基于候選集的Apriori算法處理數(shù)據(jù)效率較低問題，通過去除候選集并結合布爾矩陣的方式來壓縮存儲事務數(shù)據(jù)，提出了Apriori的改進算法，改進算法通過條件連接矩陣后直接生成頻繁項集，可以大幅減少掃描數(shù)據(jù)庫的次數(shù)，提高處理效率。
　　FP-Growth算法的改進。針對無候選集的

3、FP-Growth算法運用頻繁模式樹存儲數(shù)據(jù)浪費內存問題，使用差集和剪枝技術對垂直存儲的事務數(shù)據(jù)進行關聯(lián)挖掘，提出FP-Growth的改進算法，有效的減少了內存的消耗。
　　并行化處理為處理海量數(shù)據(jù)提供了一個新的解決方案。課題在優(yōu)秀的并行化框架CPU/GPU上對Apriori改進算法和FP-Growth改進算法進行并行化處理。并行系統(tǒng)上，算法的邏輯處理部分在CPU中實現(xiàn)，并行處理部分在GPU中實現(xiàn)，利用各自性能優(yōu)勢提升算法性能。通