面向數(shù)據(jù)流的ToP-k頻繁閉項集挖掘算法研究.pdf

1、現(xiàn)實生活中的信息，有很多都是以流數(shù)據(jù)的形式產(chǎn)生的，如傳感器網(wǎng)絡監(jiān)控信息、網(wǎng)絡安全監(jiān)控、web用戶點擊流、氣象監(jiān)控及分析，有著廣泛的應用背景。又因數(shù)據(jù)流具有連續(xù)性、未知性、潛在無限性，傳統(tǒng)的數(shù)據(jù)挖掘算法不能直接應用在數(shù)據(jù)流之上。因此,如何有效地挖掘和管理數(shù)據(jù)流吸引了大批研究人員的目光，成為了一個新的研究熱點，其中頻繁項集挖掘是數(shù)據(jù)流處理技術中的一個重要組成部分。
　　本文首先對數(shù)據(jù)挖掘技術進行了簡要介紹，并對經(jīng)典算法進行了介紹及分析

2、。為了避免用戶在每次挖掘時都要設置一個恰當?shù)淖钚≈С侄乳撝担腋玫乩斫馔诰虻降念l繁項集，提出了挖掘數(shù)據(jù)流中Top-k頻繁閉項集的挖掘算法。該算法采用分段挖掘的思想挖掘基本窗口中的頻繁閉合模式，以實現(xiàn)挖掘滑動窗口中的k個最頻繁的閉合項集。并且通過對挖掘項集長度的限制，更好的滿足用戶的需求，同時由于算法對不符合用戶指定長度的項集不進行處理，勢必會使精度有一定的損失，但也可以提高算法的挖掘速度。用戶需要做的就是根據(jù)實際應用的需要，在速度和精

3、度之間找到平衡。為了驗證算法的有效性，對算法進行了仿真實驗，結(jié)果表明算法擁有良好的時空效率，對項集長度的限制所帶來的精度下降也可以由用戶來控制，可以較好地完成相關的數(shù)據(jù)流挖掘任務。
　　為了能夠同時處理多條數(shù)據(jù)流，提高算法的整體效率，在挖掘基本窗口頻繁閉合模式算法的基礎上，引入了諸如輪詢，預處理以及對數(shù)據(jù)流的加入和退出等處理方案，形成了一個可以處理多數(shù)據(jù)流的策略。最后，按照MapReduce編程框架對算法進行了實現(xiàn)，構成了一個多數(shù)