基于云計(jì)算的并行聚類(lèi)算法研究.pdf

1、近年來(lái)，隨著信息技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的迅猛發(fā)展，尤其是互聯(lián)網(wǎng)的廣泛應(yīng)用，需要分析和管理的數(shù)據(jù)迅速增多。數(shù)據(jù)挖掘技術(shù)便應(yīng)運(yùn)而生，聚類(lèi)分析是數(shù)據(jù)挖掘領(lǐng)域的重要內(nèi)容和基本工具，研究如何提高聚類(lèi)算法的性能具有重要的意義。
　　 云計(jì)算作為目前國(guó)內(nèi)外研究的熱點(diǎn)，是網(wǎng)格計(jì)算、并行計(jì)算和分布式計(jì)算的發(fā)展。利用云計(jì)算技術(shù)，人們可以通過(guò)網(wǎng)絡(luò)獲得強(qiáng)大的計(jì)算能力、存儲(chǔ)能力以及基礎(chǔ)設(shè)施，并可以有效地解決分析與處理海量數(shù)據(jù)時(shí)所面臨的問(wèn)題，在降低終端設(shè)備要求的

2、同時(shí)提高數(shù)據(jù)處理能力。
　　 本文主要研究如何利用云計(jì)算機(jī)集群系統(tǒng)的并行計(jì)算能力來(lái)解決海量數(shù)據(jù)聚類(lèi)問(wèn)題。首先，本文在重點(diǎn)分析了DBSCAN算法的基礎(chǔ)上，提出了一種基于層次的HDBSCAN算法。該算法不僅糾正了由于輸入?yún)?shù)Eps選擇不當(dāng)而造成的聚類(lèi)結(jié)果不佳的問(wèn)題，屏蔽了算法對(duì)輸入?yún)?shù)的敏感性；而且無(wú)需對(duì)每個(gè)點(diǎn)進(jìn)行檢測(cè)和判斷，從而減少了查詢(xún)次數(shù)，降低了I/O開(kāi)銷(xiāo)。接著，利用Hadoop搭建云計(jì)算環(huán)境，在云計(jì)算環(huán)境下對(duì)HDBSCAN算