Weka平臺(tái)設(shè)計(jì)的研究和其數(shù)據(jù)預(yù)處理功能的改進(jìn).pdf

1、Weka已經(jīng)逐漸成為一個(gè)國(guó)際知名的數(shù)據(jù)挖掘平臺(tái)，其免費(fèi)開(kāi)源、算法豐富、架構(gòu)相對(duì)規(guī)范、兼容性好，因此吸引了越來(lái)越多的研究者參入其中。隨著數(shù)據(jù)挖掘技術(shù)在海量信息處理中卓越的表現(xiàn)，數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)也會(huì)越來(lái)越有價(jià)值，但由于商業(yè)數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)和代碼的保密性，開(kāi)源的Weka是一個(gè)不可多得的選擇，就像Linux正在吸引更多的用戶(hù)和內(nèi)核研究者一樣，Weka在數(shù)據(jù)挖掘界也將可能勢(shì)不可擋。 本文分析了Weka的框架(architecture)，

2、剖析了Weka的各個(gè)包(package)的結(jié)構(gòu)設(shè)計(jì)和功能，分析了weka的內(nèi)核文件。還就Weka的來(lái)源、功能、使用、輸入輸出、可視化、二次開(kāi)發(fā)、擴(kuò)展領(lǐng)域進(jìn)行了簡(jiǎn)要介紹，指出了Weka存在的主要問(wèn)題，并對(duì)Weka數(shù)據(jù)預(yù)處理的增強(qiáng)提出了改進(jìn)的措施。 另外由于Weka系統(tǒng)包含了林林總總的功能和算法，數(shù)據(jù)挖掘算法本身又十分復(fù)雜，使Weka十分“龐大”，Weka系統(tǒng)的最新版本3-5-2源代碼約30萬(wàn)行，800個(gè)java源文件。將Weka的

3、部分內(nèi)核分離出來(lái)，也是一件十分有意義的事情，本文就分類(lèi)算法，將Weka做了最小精簡(jiǎn)瘦身，完整的NaviesBayes分類(lèi)算法僅需31個(gè)Weka中的源文件。 Weka作為一個(gè)松散耦合(或者不耦合)的數(shù)據(jù)挖掘系統(tǒng)[1]，由于不能使用DB/DW(數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù))系統(tǒng)的功能，在數(shù)據(jù)預(yù)準(zhǔn)備階段要花大量的時(shí)間查找、收集、清理和轉(zhuǎn)換數(shù)據(jù)。不與這些系統(tǒng)耦合，DM(數(shù)據(jù)挖掘)就很難將這種系統(tǒng)集成到信息處理環(huán)境中。但在數(shù)據(jù)挖掘過(guò)程中，普遍認(rèn)為數(shù)據(jù)