基于云計(jì)算的Web結(jié)構(gòu)挖掘算法研究.pdf

1、Web結(jié)構(gòu)挖掘是通過(guò)研究網(wǎng)頁(yè)之間的鏈接結(jié)構(gòu)來(lái)發(fā)現(xiàn)網(wǎng)絡(luò)的組織結(jié)構(gòu)和鏈接關(guān)系中隱藏的知識(shí)。隨著互聯(lián)網(wǎng)的發(fā)展,對(duì)網(wǎng)絡(luò)中的海量數(shù)據(jù)分析與挖掘都面臨著在計(jì)算能力和存儲(chǔ)空間方面的瓶頸。云計(jì)算作為目前國(guó)內(nèi)外研究的熱點(diǎn),是網(wǎng)格計(jì)算、并行計(jì)算、分布式計(jì)算的發(fā)展,利用云計(jì)算技術(shù),人們可以方便的通過(guò)網(wǎng)絡(luò)獲取強(qiáng)大的計(jì)算能力、存儲(chǔ)能力以及基礎(chǔ)設(shè)施。云計(jì)算思想可以有效解決分析與處理海量數(shù)據(jù)時(shí)面臨的問(wèn)題,并提供了可靠性高、可擴(kuò)展的的數(shù)據(jù)處理存儲(chǔ)中心,在降低了終端設(shè)備

2、要求的同時(shí)提高了處理數(shù)據(jù)的能力。
　　 本文在研究Web結(jié)構(gòu)挖掘經(jīng)典算法Pagerank和云計(jì)算關(guān)鍵技術(shù)Mapreduce的基礎(chǔ)上,做了如下工作:
　　 1.在云計(jì)算環(huán)境下對(duì)Pagerank算法進(jìn)行研究,將Pagerank算法與Mapreduce編程模型結(jié)合。對(duì)不同規(guī)模的數(shù)據(jù)集測(cè)試基于Mapreduce的Pagerank算法的性能。
　　 2.針對(duì)并行Pagerank算法運(yùn)行大數(shù)據(jù)集時(shí)面臨的:每次迭代都需要訪問(wèn)H

3、DFS導(dǎo)致I/O消耗增加;每次Mapreduce迭代在混合階段和排序階段因?yàn)橐幚泶罅縦ey而導(dǎo)致時(shí)間消耗多的問(wèn)題提出了兩個(gè)改進(jìn)算法。一個(gè)是利用矩陣分塊的思想將鄰接矩陣分塊處理,以減少每次MapReduce迭代在混合階段和排序階段的時(shí)間消耗。另一個(gè)是在通過(guò)增加每次迭代Pagerank計(jì)算跨度基礎(chǔ)上,成倍減少迭代次數(shù),即減少與迭代次數(shù)相關(guān)的網(wǎng)絡(luò)通信消耗和訪問(wèn)HDFS的I/O操作消耗。
　　 3.利用Hadoop搭建云環(huán)境,在實(shí)驗(yàn)環(huán)