網(wǎng)格環(huán)境中數(shù)據(jù)挖掘執(zhí)行過程模型的研究.pdf

1、隨著信息技術(shù)的發(fā)展，大量數(shù)據(jù)在各種應(yīng)用中被產(chǎn)生出來，并被分布的存儲(chǔ)和積累在不同地點(diǎn)，如何從這些大量積累的、分布的數(shù)據(jù)中發(fā)現(xiàn)有用的、潛在的知識(shí)模式是一個(gè)極具挑戰(zhàn)性的問題。網(wǎng)格技術(shù)用于在分布異構(gòu)的資源間實(shí)現(xiàn)協(xié)作和共享，將數(shù)據(jù)挖掘技術(shù)運(yùn)用于網(wǎng)格平臺(tái)之上，為從大量分布的數(shù)據(jù)中獲取有用的知識(shí)模式提供了有效的解決方案。但數(shù)據(jù)挖掘過程是一個(gè)涉及大量操作和數(shù)據(jù)的復(fù)雜過程，與網(wǎng)格平臺(tái)相結(jié)合，無疑又增加了挖掘過程的復(fù)雜性。目前在數(shù)據(jù)挖掘技術(shù)的研究中，數(shù)據(jù)挖

2、掘算法被作為一個(gè)獨(dú)立的整體，以黑盒的方式出現(xiàn)在應(yīng)用中，在這種情況下，數(shù)據(jù)挖掘執(zhí)行過程對(duì)用戶和執(zhí)行環(huán)境是不可見的，這使得集中式環(huán)境中的數(shù)據(jù)挖掘算法不能根據(jù)分布式環(huán)境的特點(diǎn)動(dòng)態(tài)的轉(zhuǎn)化為分布式的數(shù)據(jù)挖掘過程，用戶不能靈活的對(duì)數(shù)據(jù)挖掘執(zhí)行過程進(jìn)行控制。此外，訪問數(shù)據(jù)挖掘服務(wù)與訪問網(wǎng)格服務(wù)的接口相互獨(dú)立給用戶訪問網(wǎng)格中的數(shù)據(jù)挖掘服務(wù)帶來不便。這些因素都導(dǎo)致了數(shù)據(jù)挖掘技術(shù)在網(wǎng)格平臺(tái)上不能有效的發(fā)揮其作用。正如實(shí)際的鐵路貨運(yùn)應(yīng)用系統(tǒng)中需要解決的問題:

3、在鐵路貨運(yùn)網(wǎng)格平臺(tái)的基礎(chǔ)上，如何充分利用分布的計(jì)算資源，對(duì)分布在各個(gè)鐵路局的貨運(yùn)數(shù)據(jù)進(jìn)行有效的深層次的挖掘以輔助決策。
　　在本文提出的方法中，數(shù)據(jù)挖掘算法被分解成由細(xì)粒度數(shù)據(jù)挖掘操作組成的執(zhí)行過程模型;在此基礎(chǔ)之上，結(jié)合網(wǎng)格環(huán)境中數(shù)據(jù)資源和計(jì)算資源的分布情況，對(duì)模型進(jìn)行優(yōu)化，得到可以在網(wǎng)格中執(zhí)行的分布式數(shù)據(jù)挖掘執(zhí)行過程模型;然后，執(zhí)行引擎將模型調(diào)度到各個(gè)網(wǎng)格節(jié)點(diǎn)執(zhí)行;最后通過統(tǒng)一的、與網(wǎng)格平臺(tái)相兼容的接口將數(shù)據(jù)挖掘結(jié)果提供給用戶

4、。本文在網(wǎng)格平臺(tái)上，使用提出的方法實(shí)現(xiàn)了關(guān)聯(lián)規(guī)則、序列模式、決策樹分類器和樸素貝葉斯分類器等典型的數(shù)據(jù)挖掘執(zhí)行過程模型的分解、優(yōu)化與執(zhí)行。
　　本文的主要工作及創(chuàng)新點(diǎn)包括:
　　提出了由細(xì)粒度的數(shù)據(jù)挖掘操作組成的數(shù)據(jù)挖掘執(zhí)行過程模型，用于描述數(shù)據(jù)挖掘算法的執(zhí)行過程，將數(shù)據(jù)挖掘算法白盒化。通過該模型，用戶、應(yīng)用程序和執(zhí)行環(huán)境能清晰的理解整個(gè)數(shù)據(jù)挖掘算法執(zhí)行經(jīng)過的中間步驟及各步驟產(chǎn)生的中間結(jié)果的信息。本文在集中式環(huán)境中，基于仿真

5、數(shù)據(jù)對(duì)數(shù)據(jù)挖掘執(zhí)行過程模型中的各個(gè)操作進(jìn)行了實(shí)驗(yàn)評(píng)估，證明了數(shù)據(jù)挖掘執(zhí)行過程模型能夠?qū)?shù)據(jù)挖掘算法白盒化，將算法中各個(gè)步驟的執(zhí)行情況展現(xiàn)出來。
　　設(shè)計(jì)了基于網(wǎng)格環(huán)境的數(shù)據(jù)挖掘執(zhí)行過程模型的優(yōu)化算法，用于將集中式執(zhí)行過程模型轉(zhuǎn)化為可在多個(gè)網(wǎng)格節(jié)點(diǎn)上并行執(zhí)行的分布式執(zhí)行過程模型，該優(yōu)化算法采用從部分到整體逐層處理的方式，將整個(gè)優(yōu)化過程分為數(shù)據(jù)具體化、全局優(yōu)化和局部?jī)?yōu)化三個(gè)子過程，在每個(gè)子過程中，根據(jù)數(shù)據(jù)挖掘操作的類型和數(shù)據(jù)分布的特征

6、對(duì)操作依次進(jìn)行優(yōu)化。本文基于網(wǎng)格平臺(tái)，使用仿真數(shù)據(jù)對(duì)分布式數(shù)據(jù)挖掘執(zhí)行過程模型進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了分布式數(shù)據(jù)挖掘執(zhí)行過程模型在響應(yīng)時(shí)間和資源使用平衡方面優(yōu)于集中式的處理方式。
　　設(shè)計(jì)了數(shù)據(jù)挖掘執(zhí)行過程模型引擎，為分布式數(shù)據(jù)挖掘執(zhí)行過程模型在網(wǎng)格平臺(tái)上執(zhí)行提供了運(yùn)行環(huán)境，其中，設(shè)計(jì)了(a)基于網(wǎng)格環(huán)境的調(diào)度算法，用于將分布式數(shù)據(jù)挖掘執(zhí)行過程模型以流程鏈為單位調(diào)度到各個(gè)網(wǎng)格節(jié)點(diǎn)執(zhí)行;(b)基于WSRF規(guī)范實(shí)現(xiàn)的執(zhí)行服務(wù)和控制服務(wù)。本文

7、在網(wǎng)格平臺(tái)上，使用仿真數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，分析了分布式數(shù)據(jù)挖掘執(zhí)行過程模型在網(wǎng)格環(huán)境中使用引擎調(diào)度執(zhí)行時(shí)，各個(gè)流程鏈調(diào)度執(zhí)行的響應(yīng)時(shí)間;并基于鐵路貨運(yùn)網(wǎng)格實(shí)驗(yàn)平臺(tái)和實(shí)際的貨票數(shù)據(jù)，使用CART決策樹分類器實(shí)現(xiàn)了鐵路重點(diǎn)客戶的預(yù)測(cè)。
　　設(shè)計(jì)了在網(wǎng)格環(huán)境中訪問數(shù)據(jù)挖掘服務(wù)的接口規(guī)范WS-DAI-DM，其目的是使數(shù)據(jù)挖掘服務(wù)與基于OGSA體系架構(gòu)的網(wǎng)格平臺(tái)無縫融合，使用戶能夠像使用網(wǎng)格平臺(tái)提供的其他服務(wù)一樣來使用網(wǎng)格環(huán)境中的數(shù)據(jù)挖掘服務(wù)。本