大數(shù)據(jù)背景下并行動(dòng)態(tài)關(guān)聯(lián)規(guī)則挖掘研究.pdf

1、目前，大數(shù)據(jù)技術(shù)在社會(huì)各個(gè)領(lǐng)域和層面都發(fā)揮著巨大作用，且地位不斷躍升。能否整合并利用好大數(shù)據(jù)已經(jīng)成為政府和各經(jīng)濟(jì)體事業(yè)成敗的關(guān)鍵。作為一種新型的戰(zhàn)略資源，大數(shù)據(jù)具有明顯的自身特征：體量大、種類(lèi)多、產(chǎn)生速度快、實(shí)時(shí)性要求高、價(jià)值密度低，這意味著傳統(tǒng)的單機(jī)串行算法已不能滿足大數(shù)據(jù)的處理需求，面向多機(jī)、并行、分布式的大數(shù)據(jù)處理方式變得越來(lái)越重要。
　　數(shù)據(jù)挖掘是挖掘數(shù)據(jù)潛在價(jià)值的關(guān)鍵技術(shù)，關(guān)聯(lián)規(guī)則技術(shù)作為一種經(jīng)典的數(shù)據(jù)挖掘方法備受關(guān)注。

2、傳統(tǒng)的關(guān)聯(lián)規(guī)則技術(shù)認(rèn)為規(guī)則是靜態(tài)的、一成不變的，只要被挖掘出來(lái)便可永久用于指導(dǎo)生產(chǎn)實(shí)踐。然而，現(xiàn)實(shí)中的規(guī)則是隨著時(shí)間變化的，為更好地描述這種規(guī)則隨時(shí)間變化的特性，本文采用了支持度向量SV和置信度向量CV，重點(diǎn)研究動(dòng)態(tài)關(guān)聯(lián)規(guī)則的并行分層挖掘方法。
　　首先，本文通過(guò)對(duì)現(xiàn)有并行技術(shù)、并行關(guān)聯(lián)規(guī)則挖掘算法和動(dòng)態(tài)關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行研究，提出了一種能夠?qū)崟r(shí)高效地處理大量數(shù)據(jù)的并行關(guān)聯(lián)規(guī)則挖掘算法——基于劃分的并行分層關(guān)聯(lián)規(guī)則挖掘（PHAR

3、M）算法。該算法基本思想是將整個(gè)數(shù)據(jù)集D隨機(jī)分割成若干個(gè)非重疊子數(shù)據(jù)集，并且每個(gè)子數(shù)據(jù)集還可繼續(xù)劃分成更小的子集，進(jìn)而并行分層地挖掘出局部頻繁項(xiàng)集；根據(jù)頻繁項(xiàng)集先驗(yàn)性質(zhì)，連接局部頻繁項(xiàng)集得到全局候選項(xiàng)集；掃描D統(tǒng)計(jì)出每個(gè)候選項(xiàng)集的實(shí)際支持度，以確定全局頻繁項(xiàng)集。并通過(guò)建模分析和實(shí)驗(yàn)，證明了該算法的高效性和在數(shù)據(jù)量較大時(shí)具有的明顯優(yōu)勢(shì)。
　　其次，本文在兩階段ITS算法的基礎(chǔ)上，將并行分層挖掘思想應(yīng)用到動(dòng)態(tài)關(guān)聯(lián)規(guī)則挖掘的第一階段，提