基于云計(jì)算的Web鏈接結(jié)構(gòu)分析及應(yīng)用研究.pdf

1、互聯(lián)網(wǎng)和信息技術(shù)的迅速發(fā)展導(dǎo)致了信息的爆炸，巨大的 Web信息資源庫(kù)不但給人們提供了各種信息，同時(shí)也增加了人們從海量數(shù)據(jù)中獲取有用信息的難度。Web鏈接結(jié)構(gòu)分析算法，特別是PageRank和HITS算法的出現(xiàn)和發(fā)展，極大地方便了人們提取更加有用的信息。然而，隨著數(shù)據(jù)的不斷增加，傳統(tǒng)的單機(jī)Web鏈接結(jié)構(gòu)算法已經(jīng)無(wú)法滿(mǎn)足處理海量數(shù)據(jù)的需求。
　　為解決Web鏈接結(jié)構(gòu)算法在海量數(shù)據(jù)計(jì)算和存儲(chǔ)中存在的瓶頸問(wèn)題，本文引入Hadoop云計(jì)算平

2、臺(tái)解決此問(wèn)題。Hadoop框架是為處理海量數(shù)據(jù)的需求而提出的，可被用來(lái)開(kāi)發(fā)高性能的分布式程序，對(duì)于海量數(shù)據(jù)的存儲(chǔ)和計(jì)算有著極大的優(yōu)勢(shì)。本文研究的主要內(nèi)容為：
　　(1)研究基于Hadoop平臺(tái)的云計(jì)算理論和相關(guān)技術(shù)，并搭建部署Hadoop云平臺(tái)集群；
　　(2)在Hadoop云計(jì)算平臺(tái)上，重新設(shè)計(jì)和實(shí)現(xiàn)基于重要度分析算法PageRank。通過(guò)對(duì)傳統(tǒng)的算法重新設(shè)計(jì)，考慮了結(jié)點(diǎn)存在的各種情況，有針對(duì)性的對(duì) Key和Value進(jìn)行

3、設(shè)計(jì)，使算法并行化，并采用多種數(shù)據(jù)集對(duì)設(shè)計(jì)的算法進(jìn)行測(cè)試并分析實(shí)驗(yàn)結(jié)果，驗(yàn)證算法的有效性、可行性。最后，分析PageRank算法在網(wǎng)站排名應(yīng)用中存在的問(wèn)題；
　　(3)在Hadoop云計(jì)算平臺(tái)上，重新設(shè)計(jì)和實(shí)現(xiàn)基于中文詞網(wǎng)絡(luò)的HITS算法，并對(duì)該算法的應(yīng)用進(jìn)行研究。通過(guò)改變信息結(jié)點(diǎn)的存儲(chǔ)結(jié)構(gòu)，對(duì)算法進(jìn)行Map/Reduce化，實(shí)現(xiàn)分布式矩陣、向量運(yùn)算，打破Hub值和Authority值的共引用共耦合的復(fù)雜關(guān)系，測(cè)試并分析實(shí)驗(yàn)結(jié)果。