改進(jìn)的垂直數(shù)據(jù)表示的高效頻繁項(xiàng)集挖掘算法研究.pdf

1、關(guān)聯(lián)規(guī)則挖掘是近年來(lái)發(fā)展十分迅速而且非?；钴S的研究領(lǐng)域。它主要應(yīng)用于發(fā)現(xiàn)數(shù)據(jù)中不同項(xiàng)目或?qū)傩灾g的有趣聯(lián)系。隨著被收集和存儲(chǔ)數(shù)據(jù)的高速增長(zhǎng)，許多業(yè)界人士對(duì)于從他們的數(shù)據(jù)庫(kù)中挖掘關(guān)聯(lián)規(guī)則的興趣愈加濃厚。頻繁項(xiàng)集挖掘是關(guān)聯(lián)規(guī)則挖掘的基礎(chǔ)和核心問(wèn)題。相關(guān)挖掘算法的性能直接影響數(shù)據(jù)挖掘尤其是關(guān)聯(lián)挖掘的效率和應(yīng)用范圍。為了進(jìn)一步適應(yīng)和滿足用戶不斷變化的需求，本文進(jìn)行了一系列關(guān)于提高頻繁項(xiàng)集挖掘算法的性能和完善相關(guān)功能的研究工作。 本文首先

2、認(rèn)真地分析和歸納了當(dāng)前頻繁項(xiàng)集挖掘算法的研究成果，并測(cè)試和總結(jié)出相關(guān)算法的實(shí)現(xiàn)方法和性能特點(diǎn)，為提出性能和功能更優(yōu)的頻繁項(xiàng)集挖掘算法作好理論準(zhǔn)備。然后在提高執(zhí)行挖掘的效率和消除矛盾或無(wú)效規(guī)則相關(guān)信息這兩個(gè)方面對(duì)當(dāng)前的高效挖掘算法進(jìn)行一系列的改進(jìn)。1)本文提出的HybridSet算法結(jié)合了采用垂直數(shù)據(jù)表示的Eclat和Diffset算法分別善于處理稀疏和稠密數(shù)據(jù)集的優(yōu)點(diǎn)。實(shí)驗(yàn)證明，HybirdSet算法在分析稀密程度不同的數(shù)據(jù)集時(shí)的性能與

3、Eclat等經(jīng)典算法的最優(yōu)性能基本一致甚至更優(yōu)。2)充分利用頻繁項(xiàng)集的相關(guān)信息是減少計(jì)算候選集的支持度的時(shí)間開(kāi)銷(xiāo)的重要途徑。實(shí)驗(yàn)證明，本文根據(jù)這一特點(diǎn)提出的HybirdSet+算法能在很多情況下進(jìn)一步提高執(zhí)行頻繁項(xiàng)集挖掘任務(wù)的效率；3)由于上述算法的結(jié)果中存在與矛盾或無(wú)效規(guī)則相關(guān)的頻繁項(xiàng)集，本文根據(jù)頻繁項(xiàng)集和相關(guān)度之間的聯(lián)系對(duì)HybirdSet+算法做出相應(yīng)改進(jìn)。實(shí)驗(yàn)證明，改進(jìn)后的DHybirdSet算法能在真實(shí)數(shù)據(jù)的分析中減少部分冗余