數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)挖掘網(wǎng)格是一種專用網(wǎng)格，它是數(shù)據(jù)挖掘技術(shù)與網(wǎng)格技術(shù)的有機(jī)結(jié)合，主要用來解決面向海量數(shù)據(jù)的、高計(jì)算能力要求的數(shù)據(jù)挖掘問題，它能夠在動(dòng)態(tài)變化的多個(gè)網(wǎng)格節(jié)點(diǎn)間共享資源和協(xié)同解決面向各領(lǐng)域的智能分析問題。 由于數(shù)據(jù)挖掘應(yīng)用本身的復(fù)雜性和網(wǎng)格的異構(gòu)性、動(dòng)態(tài)性，使得數(shù)據(jù)挖掘網(wǎng)格具有自己的特點(diǎn)，它的很多關(guān)鍵技術(shù)還有待進(jìn)一步研究，作業(yè)分配與調(diào)度技術(shù)便是其一．作業(yè)分配與調(diào)度的核心功能是識(shí)別作業(yè)的資源需求，查詢、分配、調(diào)度和監(jiān)視資源，以盡可能高

2、效地利用資源，提高整個(gè)網(wǎng)格系統(tǒng)的性能，保證資源使用者和提供者的利益。作業(yè)的分配與調(diào)度分為三個(gè)階段：資源發(fā)現(xiàn)、資源分配和任務(wù)調(diào)度，這是一個(gè)完整的過程，本文圍繞該過程所涉及到的關(guān)鍵技術(shù)，對(duì)分配與調(diào)度架構(gòu)、作業(yè)與調(diào)度建模、資源發(fā)現(xiàn)、資源分配和定價(jià)策略等方面進(jìn)行了系統(tǒng)而深入的研究。 論文的主要工作和貢獻(xiàn)歸納如下： 1、提出一種基于可變結(jié)構(gòu)Petri網(wǎng)的作業(yè)模型作業(yè)分配、調(diào)度和運(yùn)行過程的形式化描述有助于過程的正確性檢驗(yàn)、性能評(píng)價(jià)和

3、優(yōu)化。根據(jù)數(shù)據(jù)挖掘網(wǎng)格中作業(yè)分配與調(diào)度的需求和特點(diǎn)，論文中提出了一種基于可變結(jié)構(gòu)Petri網(wǎng)的作業(yè)模型和相應(yīng)的作業(yè)調(diào)度模型。它們不僅能夠?qū)ψ鳂I(yè)分配與調(diào)度的過程和作業(yè)運(yùn)行過程進(jìn)行精確定義，還能對(duì)整個(gè)過程進(jìn)行各種正確性和性能分析，以處理作業(yè)在使用數(shù)據(jù)挖掘網(wǎng)格中的動(dòng)態(tài)、分布式資源時(shí)所產(chǎn)生的沖突、異常等問題。論文對(duì)各粒度作業(yè)之間的分解規(guī)則進(jìn)行了詳細(xì)定義，并通過設(shè)計(jì)變遷樹來分析作業(yè)網(wǎng)的性能和優(yōu)化作業(yè)的分配過程。 2、提出了一種基于興趣組的

4、分布式信息服務(wù)資源發(fā)現(xiàn)是作業(yè)分配與調(diào)度中必不可少的階段。論文中提出了一種基于興趣組的信息服務(wù)，它為作業(yè)分配與調(diào)度提供可靠、高效的資源信息管理與發(fā)現(xiàn)服務(wù)。該信息服務(wù)采用了信息備份和鄰居分類機(jī)制來有效地縮短查詢距離，提高查詢的成功率和保證系統(tǒng)的連通性。實(shí)驗(yàn)結(jié)果表明，基于興趣組的信息服務(wù)適合于大規(guī)模的、可靠性要求高的網(wǎng)格系統(tǒng)。 3、提出了一種基于性價(jià)比的資源分配機(jī)制資源分配從可用資源集中為各個(gè)任務(wù)選擇最合適的資源或資源集，并為它們分配

5、具體的工作量，它是作業(yè)分配與調(diào)度的重要組成部分。論文中提出了一種基于性價(jià)比的資源分配機(jī)制，該分配機(jī)制在滿足任務(wù)時(shí)限和預(yù)算的前提下，使資源使用者在使用資源時(shí)達(dá)到個(gè)體的效用最大化。實(shí)驗(yàn)分析表明基于性價(jià)比的分配在實(shí)現(xiàn)了用戶使用資源效用最大化的同時(shí)，在分配成功率、時(shí)間和費(fèi)用優(yōu)化方面也取得了不錯(cuò)的效果。 4、提出了一種基于資源負(fù)載預(yù)測(cè)和任務(wù)分類的動(dòng)態(tài)價(jià)格機(jī)制在作業(yè)分配與調(diào)度過程中，除了要保證資源使用者的利益外，還要保證資源提供者的利益，并