網(wǎng)格環(huán)境下面向服務(wù)的分布式數(shù)據(jù)挖掘研究與實(shí)現(xiàn).pdf

1、目前，無(wú)論是數(shù)字化管理的需要還是后工業(yè)化進(jìn)程的要求，都使我們?nèi)找婷鎸?duì)以前無(wú)法想象的海量數(shù)據(jù)。雖然數(shù)據(jù)挖掘技術(shù)已經(jīng)在醫(yī)學(xué)診斷、市場(chǎng)與銷(xiāo)售、圖像篩選、負(fù)載預(yù)測(cè)等領(lǐng)域得到了廣泛的應(yīng)用，但是面對(duì)日益爆炸式增長(zhǎng)的數(shù)據(jù)和高度復(fù)雜的計(jì)算模型，傳統(tǒng)的集中式數(shù)據(jù)挖掘技術(shù)已顯得有些力不從心，必須利用分布式、并行計(jì)算技術(shù)將其過(guò)渡到新的處理模式上。網(wǎng)格技術(shù)和We服務(wù)技術(shù)的出現(xiàn)，為分布式數(shù)據(jù)挖掘的研究帶來(lái)了新的契機(jī)，因?yàn)榫W(wǎng)格技術(shù)可以將分散在不同地理位置的各種異構(gòu)

2、資源有機(jī)地整合起來(lái)形成一個(gè)具有超級(jí)計(jì)算能力的平臺(tái)，從而達(dá)到計(jì)算資源、存儲(chǔ)資源、算法資源、信息資源等的全面共享，而Web服務(wù)作為一種新興的Web應(yīng)用模式和分布式計(jì)算模型，正可以用來(lái)解決各種異構(gòu)資源之間的互操作和互通信問(wèn)題。因此，在網(wǎng)格環(huán)境下，將Web服務(wù)技術(shù)應(yīng)用到數(shù)據(jù)挖掘領(lǐng)域是一個(gè)全新的理念，利用Web服務(wù)機(jī)制對(duì)服務(wù)的發(fā)布、發(fā)現(xiàn)及管理來(lái)達(dá)到資源的共享，有效地彌補(bǔ)網(wǎng)格資源的動(dòng)態(tài)性及分布性。本文在深入研究相關(guān)理論的基礎(chǔ)上，對(duì)如何將網(wǎng)格與Web

3、服務(wù)技術(shù)融合并應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域做了初步的探索，主要工作包括： （1）結(jié)合數(shù)據(jù)挖掘的全過(guò)程提出了面向服務(wù)的基于工作流的數(shù)據(jù)挖掘管道模型，基于此模型提出并設(shè)計(jì)了一種新型的面向服務(wù)的分布式數(shù)據(jù)挖掘平臺(tái)SODDM體系結(jié)構(gòu)，實(shí)現(xiàn)了用戶可以交互式地完成整個(gè)數(shù)據(jù)挖掘任務(wù)的執(zhí)行。 （2）利用Web服務(wù)的發(fā)布與發(fā)現(xiàn)機(jī)制設(shè)計(jì)并實(shí)現(xiàn)了面向服務(wù)的分布式數(shù)據(jù)挖掘門(mén)戶PDDM。構(gòu)建了私有的UDDI注冊(cè)中心來(lái)對(duì)服務(wù)資源進(jìn)行統(tǒng)一的存儲(chǔ)和管理，不僅為提

4、供者發(fā)布服務(wù)提供宿主，同時(shí)能為請(qǐng)求者查找服務(wù)提供基礎(chǔ)。在服務(wù)查找時(shí)提出了一種新型的服務(wù)質(zhì)量計(jì)算模型來(lái)度量用戶對(duì)服務(wù)的滿意度。 （3）基于Weka類(lèi)庫(kù)開(kāi)發(fā)了一系列通用的、可擴(kuò)展的數(shù)據(jù)挖掘工具，包括數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、算法選擇、算法參數(shù)配置、屬性選擇及結(jié)果集的表示。這些工具集可以使用戶交互式地參與整個(gè)數(shù)據(jù)挖掘過(guò)程，同時(shí)也能與數(shù)據(jù)挖掘服務(wù)進(jìn)行動(dòng)態(tài)組合，完成數(shù)據(jù)挖掘管道的構(gòu)建。 （4）隨著網(wǎng)格與Web服務(wù)的融合，越來(lái)越多的資源會(huì)

5、以Web服務(wù)的形式提供，以分布式問(wèn)題求解環(huán)境Triana和開(kāi)源數(shù)據(jù)挖掘類(lèi)庫(kù)Weka為底層支撐環(huán)境，設(shè)計(jì)并實(shí)現(xiàn)了面向服務(wù)的分布式數(shù)據(jù)挖掘系統(tǒng)DDMWS，實(shí)現(xiàn)了對(duì)PDDM門(mén)戶中查找到的數(shù)據(jù)挖掘服務(wù)的導(dǎo)入、組合和調(diào)用。此外，系統(tǒng)能以工作流形式靈活地構(gòu)建數(shù)據(jù)挖掘管道，用來(lái)支持交互式、分布式和并行數(shù)據(jù)挖掘的實(shí)現(xiàn)。 （5）本文對(duì)所提出的SODDM平臺(tái)進(jìn)行了有效性驗(yàn)證，利用WAT對(duì)PDDM門(mén)戶進(jìn)行了定量分析，測(cè)試門(mén)戶能夠承受并發(fā)用戶的數(shù)目；利

6、用校園網(wǎng)搭建虛擬網(wǎng)格實(shí)驗(yàn)環(huán)境，基于該環(huán)境對(duì)DDMWS系統(tǒng)的可用性及通用性進(jìn)行了論證，分別采用分類(lèi)、聚類(lèi)、關(guān)聯(lián)規(guī)則進(jìn)行了系統(tǒng)驗(yàn)證，結(jié)果表明該系統(tǒng)可以有效地解決各類(lèi)分布式/并行數(shù)據(jù)挖掘任務(wù)。 基于上述對(duì)本文工作內(nèi)容的總結(jié)及目前國(guó)內(nèi)外對(duì)該課題的研究現(xiàn)狀，本文研究工作的特色在于： （1）結(jié)合數(shù)據(jù)挖掘領(lǐng)域的特點(diǎn)，提取了一組服務(wù)質(zhì)量參數(shù)及計(jì)算模型。并定義了服務(wù)質(zhì)量的計(jì)算方法，用來(lái)為請(qǐng)求者提供滿意的服務(wù)提供質(zhì)量擔(dān)保。 （2）構(gòu)