并行化流式數(shù)據(jù)聚類及其在交通熱點挖掘中的應(yīng)用.pdf

1、隨著交通、GPS監(jiān)控等方面數(shù)據(jù)量的海量增長,伴隨出現(xiàn)交通實時路況延時性、交通預(yù)測不準確等現(xiàn)象,對流式數(shù)據(jù)的實時處理提出更高的要求,挖掘交通熱點區(qū)域成為交通領(lǐng)域研究熱點;盡管目前對交通領(lǐng)域流式數(shù)據(jù)聚類的研究已取得顯著成就,但仍存在聚類時效性、伸縮性差,不可實現(xiàn)任意形狀類簇等缺點。因此,為高精度實時的挖掘交通熱點區(qū)域,減少城市交通擁堵和方便資源調(diào)度,提出兩階段快速流式數(shù)據(jù)聚類框架并在Storm集群下實現(xiàn)并行化。
　　本文提出的兩階段快

2、速流式數(shù)據(jù)聚類框架(Canopy-Kmeans,簡稱CK)針對流式數(shù)據(jù),在線階段選擇改進Canopy算法粗聚類產(chǎn)生宏簇并緩存概要信息;離線階段使用Kmeans算法細聚類;引入滑動時間窗口并抽取概要信息以自動確定Kmeans初始輸入和微簇時間標志。為增加聚類實時性,將CK算法在Storm集群并行化,提出并行化流式數(shù)據(jù)聚類算法(Parallel-Canopy-Kmeans,簡稱PCK)并實現(xiàn)。
　　為驗證PCK算法性能,選取測試數(shù)據(jù)集

3、對PCK、CK、Kmeans進行聚類就準確性、執(zhí)行時間對比;對PCK自身就擴展性對比。為提高交通熱點區(qū)域挖掘的可行性,選取北京市某七天的出租車定位數(shù)據(jù)模擬流式數(shù)據(jù),使用PCK算法聚類生成微簇集合并結(jié)合熱力圖和電子地圖可視化表達。實驗結(jié)果表明:生成的交通熱力圖可直觀地發(fā)現(xiàn)出租車活動較為頻繁的熱點區(qū)域和線路,且與日常出行經(jīng)驗相符合;生成的微簇集合可實現(xiàn)用戶在任意時間窗口范圍內(nèi)交通狀況實時查詢,提高流式數(shù)據(jù)的聚類質(zhì)量的同時保證交通路況預(yù)測實時