應(yīng)用于海量數(shù)據(jù)處理分析的云計算平臺搭建研究.pdf

1、在因特網(wǎng)高速發(fā)展、上網(wǎng)人群急劇增長的今天，對于那些提供網(wǎng)絡(luò)服務(wù)的互聯(lián)網(wǎng)公司來說，每天都會有海量的信息需要處理，用以分析出用戶的需求、各種產(chǎn)品的效果等，往往某些數(shù)據(jù)分析都會有時間上的要求。對于現(xiàn)實中存儲空間和處理時間的需求，傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已很難滿足。本文的主要目的是構(gòu)建一個成本較低的分布式海量數(shù)據(jù)處理系統(tǒng)來存儲和處理這些數(shù)據(jù)。
　　 本文在分析現(xiàn)有分布式計算和存儲等關(guān)鍵技術(shù)基礎(chǔ)上，結(jié)合對Hadoop云計算技術(shù)的研究和校園網(wǎng)實際軟

2、硬件條件，為滿足自身的業(yè)務(wù)需求，提出了一種基于云計算技術(shù)的數(shù)據(jù)處理模型，并從數(shù)據(jù)結(jié)構(gòu)設(shè)計、系統(tǒng)模塊化、程序流程化和編程技術(shù)平臺等方面研究該模型的開發(fā)方法，最后將該模型應(yīng)用于分布式海量數(shù)據(jù)搜索引擎。經(jīng)過以上研究得知，Hadoop云計算平臺的可靠性、高效性、可伸縮性滿足了分布式搜索引擎的技術(shù)需求，因此本文選用Hadoop系統(tǒng)作為該應(yīng)用系統(tǒng)的分布式計算平臺。本文對傳統(tǒng)搜索引擎中爬行、索引、搜索過程中的每一步驟進(jìn)行詳細(xì)分析，并改進(jìn)了其功能模塊，

3、將非順序執(zhí)行的步驟分解為兩個子任務(wù):數(shù)據(jù)計算任務(wù)及數(shù)據(jù)合并任務(wù)。同時，應(yīng)用MapReduce編程思想，把所有數(shù)據(jù)計算任務(wù)都封裝到Map函數(shù)中，把所有數(shù)據(jù)合并任務(wù)都封裝到Reduce函數(shù)中。研究工作主要在于將改進(jìn)的搜索引擎系統(tǒng)部署在廉價計算機(jī)構(gòu)成的Hadoop云計算環(huán)境中，使之具有較快的響應(yīng)速度、較高的可靠性及擴(kuò)展性。本文的主要特點(diǎn)是將經(jīng)研究提出的模型與實際應(yīng)用業(yè)務(wù)相結(jié)合，利用前沿的分布式框架技術(shù)較好地滿足了項目需求，并將該模型部署到實際