2023年全國(guó)碩士研究生考試考研英語(yǔ)一試題真題(含答案詳解+作文范文)_第1頁(yè)
已閱讀1頁(yè),還剩72頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、大數(shù)據(jù)時(shí)代下,通用處理器的處理能力無法滿足工業(yè)界、學(xué)術(shù)界對(duì)數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)類算法計(jì)算性能要求,加速設(shè)備與Hadoop集群融合已成為一種重要的趨勢(shì)。當(dāng)前研究主要集中在利用加速設(shè)備實(shí)現(xiàn)MapReduce編程模型,或者利用Hadoop集群集成加速設(shè)備,探討利用加速設(shè)備的并行計(jì)算能力及其他優(yōu)勢(shì)優(yōu)化MapReduce計(jì)算框架。在Hadoop集群上集成加速設(shè)備,需要從實(shí)現(xiàn)的角度,研究加速設(shè)備的具體集成方式,構(gòu)造更通用、可靠性更高的加速系統(tǒng)。

2、>  Hadoop集群中計(jì)算任務(wù)分為本地任務(wù)與非本地任務(wù),任務(wù)執(zhí)行的基本設(shè)計(jì)思想是“計(jì)算跟著數(shù)據(jù)走”,但考慮到作業(yè)執(zhí)行效率,非本地任務(wù)的計(jì)算數(shù)據(jù)會(huì)通過網(wǎng)絡(luò)傳輸?shù)竭_(dá)任務(wù)執(zhí)行節(jié)點(diǎn),利用任務(wù)執(zhí)行節(jié)點(diǎn)的計(jì)算資源進(jìn)行運(yùn)算。當(dāng)加速設(shè)備在Hadoop集群中每臺(tái)計(jì)算節(jié)點(diǎn)不統(tǒng)一部署時(shí),即YARN異構(gòu)集群,任務(wù)執(zhí)行節(jié)點(diǎn)有可能沒有加速計(jì)算資源,但現(xiàn)有的研究工作中非本地任務(wù)有可能無法完成計(jì)算,導(dǎo)致加速程序運(yùn)行失敗。在YARN平臺(tái)集成FPGA加速器基礎(chǔ)上針對(duì)YA

3、RN異構(gòu)集群提出解決方案,方案首先將集群計(jì)算節(jié)點(diǎn)分為加速類型計(jì)算節(jié)點(diǎn)和非加速類型計(jì)算節(jié)點(diǎn),針對(duì)加速程序,數(shù)據(jù)塊副本定向存儲(chǔ)到加速類型計(jì)算節(jié)點(diǎn)上,并且集群資源調(diào)度器只分配加速類型計(jì)算節(jié)點(diǎn)的資源容器,有效地解決了加速程序的非本地任務(wù)成功執(zhí)行問題。普通類型應(yīng)用程序則按照原有的執(zhí)行方式運(yùn)行。
  所提解決方案主要對(duì)HDFS客戶端寫數(shù)據(jù)過程以及資源調(diào)度器資源調(diào)度算法進(jìn)行改造,通過實(shí)驗(yàn)驗(yàn)證其可行性和向前兼容性,并對(duì)擴(kuò)展后的資源調(diào)度器就小規(guī)模集

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論