基于搜索框-資源池的云計算模型研究.pdf

1、本文以電子商務(wù)平臺供應(yīng)鏈云預(yù)研項目的研究開發(fā)為應(yīng)用背景，對基于搜索框／資源池的云計算模型進行了研究，在分析當(dāng)前集中式搜索引擎系統(tǒng)的基礎(chǔ)上，總結(jié)了現(xiàn)有系統(tǒng)的優(yōu)缺點，針對現(xiàn)有系統(tǒng)的缺陷和不足，建立基于搜索框／資源池的云計算框架，采用面向?qū)ο蟮姆椒ㄕ摓橹笇?dǎo)，重點側(cè)重于云搜索引擎的分析設(shè)計與實現(xiàn)。主要研究工作在于對傳統(tǒng)搜索引擎的功能模塊加以改進，對搜索器、索引器、查詢器各部分進行了詳細(xì)分析，采用分布式云計算技術(shù)進行重新設(shè)計。同時，應(yīng)用Map/R

2、educe編程模型思想，把數(shù)據(jù)計算任務(wù)封裝到Map函數(shù)中，把數(shù)據(jù)合并任務(wù)封裝到Reduce函數(shù)中。經(jīng)過以上改進的搜索引擎系統(tǒng)可以部署在廉價機器構(gòu)成的Hadoop分布式環(huán)境中，并顯著提高搜索引擎系統(tǒng)的查準(zhǔn)率、查全率和響應(yīng)速度。
　　首先，文章給出基于搜索框／資源池的云計算框架，對云計算定義及特點、搜索框、搜索引擎、資源池各部分做了初步的探討。之后探討了云計算關(guān)鍵技術(shù)和典型的云計算平臺、并行工作流和并行編程模式以及資源池和分布式文件系

3、統(tǒng)，分析了分布式文件系統(tǒng)以及Map/Reduce編程模型在數(shù)據(jù)處理中的具體應(yīng)用，同時討論了搜索引擎相關(guān)的倒排文檔索引機制，中文分詞原理以及相關(guān)的工具軟件的使用范圍，對傳統(tǒng)搜索引擎并行化改進也進行了初步討論。
　　接著，依據(jù)搜索引擎各子系統(tǒng)業(yè)務(wù)功能，闡述了分布式搜索引擎系統(tǒng)的設(shè)計思想。并對搜索引擎的核心三大部件：搜索器、索引器和查詢器進行了功能設(shè)計，并給出了各個部件的工作執(zhí)行流程，并用BPEL業(yè)務(wù)流程描述語言給出了形式化描述，利用M

4、ap/Reduce模型改進這三個功能部件，使它們具有分布式處理的能力。
　　然后，根據(jù)功能設(shè)計和分布式搜索器、索引器、查詢器部件的內(nèi)部執(zhí)行過程，結(jié)合BPEL業(yè)務(wù)流程描述，給出類關(guān)系實現(xiàn)圖，對單機運行模式的nutch搜索引擎部件進行云分布式改進，進行系統(tǒng)的代碼編程實現(xiàn)，并探討了實現(xiàn)過程中的難點，及其解決方法。
　　最后，進行開發(fā)環(huán)境搭建，實現(xiàn)了面向電子商務(wù)的云搜索引擎，給出典型分布式搜索器部件實驗抓取數(shù)據(jù)的比對和分析,充分驗證