Weka平臺設(shè)計的研究和其數(shù)據(jù)預(yù)處理功能的改進.pdf

1、Weka已經(jīng)逐漸成為一個國際知名的數(shù)據(jù)挖掘平臺，其免費開源、算法豐富、架構(gòu)相對規(guī)范、兼容性好，因此吸引了越來越多的研究者參入其中。隨著數(shù)據(jù)挖掘技術(shù)在海量信息處理中卓越的表現(xiàn)，數(shù)據(jù)挖掘系統(tǒng)的設(shè)計也會越來越有價值，但由于商業(yè)數(shù)據(jù)挖掘系統(tǒng)設(shè)計和代碼的保密性，開源的Weka是一個不可多得的選擇，就像Linux正在吸引更多的用戶和內(nèi)核研究者一樣，Weka在數(shù)據(jù)挖掘界也將可能勢不可擋。 本文分析了Weka的框架(architecture)，

2、剖析了Weka的各個包(package)的結(jié)構(gòu)設(shè)計和功能，分析了weka的內(nèi)核文件。還就Weka的來源、功能、使用、輸入輸出、可視化、二次開發(fā)、擴展領(lǐng)域進行了簡要介紹，指出了Weka存在的主要問題，并對Weka數(shù)據(jù)預(yù)處理的增強提出了改進的措施。 另外由于Weka系統(tǒng)包含了林林總總的功能和算法，數(shù)據(jù)挖掘算法本身又十分復(fù)雜，使Weka十分“龐大”，Weka系統(tǒng)的最新版本3-5-2源代碼約30萬行，800個java源文件。將Weka的

3、部分內(nèi)核分離出來，也是一件十分有意義的事情，本文就分類算法，將Weka做了最小精簡瘦身，完整的NaviesBayes分類算法僅需31個Weka中的源文件。 Weka作為一個松散耦合(或者不耦合)的數(shù)據(jù)挖掘系統(tǒng)[1]，由于不能使用DB/DW(數(shù)據(jù)庫/數(shù)據(jù)倉庫)系統(tǒng)的功能，在數(shù)據(jù)預(yù)準備階段要花大量的時間查找、收集、清理和轉(zhuǎn)換數(shù)據(jù)。不與這些系統(tǒng)耦合，DM(數(shù)據(jù)挖掘)就很難將這種系統(tǒng)集成到信息處理環(huán)境中。但在數(shù)據(jù)挖掘過程中，普遍認為數(shù)據(jù)