云計算環(huán)境下構(gòu)件資源聚類技術(shù)研究.pdf

1、隨著軟件復(fù)用及應(yīng)用的深入研究，可復(fù)用軟件構(gòu)件庫作為軟件復(fù)用的一項重要基礎(chǔ)設(shè)施已經(jīng)越來越得到產(chǎn)業(yè)界與學(xué)術(shù)界的重視。構(gòu)件的查詢是構(gòu)件庫的基本功能，利用聚類技術(shù)對構(gòu)件進行聚類，可以實現(xiàn)構(gòu)件的自動分類，有效地提高構(gòu)件的查詢效率。目前，Internet上出現(xiàn)了很多專門的構(gòu)件庫，但是各個專用的構(gòu)件庫由于對構(gòu)件的表示以及組織形式上各不相同，使用不夠靈活。現(xiàn)在對分布式構(gòu)件庫方面的研究，提高了構(gòu)件的管理和訪問效率，并且采用XML技術(shù)有效地解決了異質(zhì)構(gòu)件庫

2、的檢索問題，但構(gòu)件資源的規(guī)模隨著應(yīng)用的推廣會不斷擴大，負責(zé)存儲構(gòu)件的中心服務(wù)器的存儲能力是有限的。此外，提供服務(wù)的增長給計算資源帶來相當(dāng)大的壓力，當(dāng)負載過重時，查詢構(gòu)件的效率會降低，并且傳統(tǒng)模式中聚類方法在處理海量、高維和稀疏的數(shù)據(jù)上存在不足，這已成為當(dāng)前研究的熱點也是一個待解決的難點。
　　 針對分布式模式的構(gòu)件庫所存在的問題，由于云計算所具有的可擴展和高性能計算特性，將云計算技術(shù)運用到構(gòu)件技術(shù)研究中，探討利用云存儲將網(wǎng)絡(luò)中的

3、構(gòu)件資源組織起來，設(shè)計在云計算環(huán)境下的構(gòu)件資源的檢索架構(gòu)，著重研究這種架構(gòu)中的構(gòu)件聚類技術(shù)。針對傳統(tǒng)聚類方法在處理大規(guī)模數(shù)據(jù)上的不足，對聚類算法性能產(chǎn)生了很大的負面影響，結(jié)合MapReduce并行計算的研究，在云計算平臺Hadoop上設(shè)計并實現(xiàn)了基于MapReduce的聚類模型。為了減少I/O操作和CPU的性能瓶頸，通過調(diào)整算法輸入?yún)?shù)和集群數(shù)量對設(shè)計的算法進行了優(yōu)化。這在很大程序上改善了數(shù)據(jù)處理和聚類算法的可擴展性和性能要求。

4、　　 分別從數(shù)據(jù)規(guī)模、節(jié)點數(shù)量和不同任務(wù)粒度對系統(tǒng)性能的影響，以及對聚類中兩種相似性計算方法的性能進行了比較，實驗結(jié)果表明MapReduce框架提高了大型數(shù)據(jù)集的吞吐效率，可以有效減少計算時間，基于Hadoop實現(xiàn)聚類算法具有較高的擴放性和靈活性，能有效解決聚類處理中數(shù)據(jù)規(guī)模問題和實時性問題;通過調(diào)整Hadoop的實現(xiàn)來確定數(shù)據(jù)大小閾值和每個節(jié)點需要的計算任務(wù)，實驗結(jié)果表明每一項任務(wù)都有其最佳節(jié)點規(guī)模，過多的任務(wù)粒度同樣會對性能造成負