海量數(shù)據(jù)關(guān)鍵分類挖掘算法.pdf

1、隨著Internet的出現(xiàn),人類已經(jīng)進(jìn)入了新的信息時(shí)代,信息的獲取已經(jīng)不像過(guò)去那樣途徑單一,內(nèi)容有限,人們可以通過(guò)網(wǎng)絡(luò)獲得各種信息,并且每時(shí)每刻都有更多新的信息在產(chǎn)生。然而在給人們帶來(lái)便捷的同時(shí),不斷膨脹的信息也給人們帶來(lái)了一系列問(wèn)題,信息的海量規(guī)模使得一些真正有價(jià)值的信息被淹沒(méi)在大量無(wú)用的噪聲信息中間,而一般人缺乏有效的方法或工具進(jìn)行辨別,使其獲取有價(jià)值的信息變得更加困難。數(shù)據(jù)挖掘技術(shù)的出現(xiàn),正是為了幫助人們更有效地從海量的數(shù)據(jù)中發(fā)現(xiàn)

2、有用的知識(shí),幫助人們獲得有價(jià)值的信息,輔助人們進(jìn)行決策。
　　同時(shí),由于Internet的發(fā)展,海量的Web數(shù)據(jù)逐漸成為了一個(gè)重要的數(shù)據(jù)源,從靜態(tài)的HTML頁(yè)面,數(shù)據(jù)庫(kù)中存儲(chǔ)的交互信息,用戶訪問(wèn)網(wǎng)站留下的日志信息,多元化的數(shù)據(jù)構(gòu)成了Web。而在這些數(shù)據(jù)中,也不乏存在許多有價(jià)值的信息,越來(lái)越多的研究人員和公司企業(yè)都在將數(shù)據(jù)挖掘技術(shù)運(yùn)用到Web數(shù)據(jù)挖掘中,以發(fā)現(xiàn)潛在的知識(shí)以及商業(yè)規(guī)律。
　　我們發(fā)現(xiàn)Web數(shù)據(jù)中存在大量的分類數(shù)據(jù)

3、,并且在一些具體應(yīng)用中,存在挖掘分類數(shù)據(jù)的需求,以更好地提供決策支持,為此,本文結(jié)合實(shí)際應(yīng)用需求提出了關(guān)鍵分類查詢,主要工作有以下4個(gè)方面:
　　1.對(duì)決策支持應(yīng)用中普遍用到的查詢算法Top-K查詢、KNN查詢、Skyline查詢及相關(guān)工作進(jìn)行了討論,并根據(jù)他們的共同特征總結(jié)出查找關(guān)鍵的對(duì)象是決策支持應(yīng)用中需求較多的查詢?nèi)蝿?wù)。
　　2.對(duì)Web數(shù)據(jù)中普遍存在的分類數(shù)據(jù)及其挖掘價(jià)值進(jìn)行了探討,并結(jié)合決策支持應(yīng)用中對(duì)數(shù)據(jù)挖掘的需

4、求提出了新問(wèn)題,關(guān)鍵分類查詢。同時(shí)我們對(duì)新問(wèn)題進(jìn)行了詳細(xì)地分析,給出了兩種定義和相應(yīng)的基本處理算法。
　　3.分析了基本處理算法的復(fù)雜度,并針對(duì)關(guān)鍵分類查詢第二種定義的處理算法,提出了一系列啟發(fā)式剪枝規(guī)則,設(shè)計(jì)了改進(jìn)的算法,并通過(guò)大量實(shí)驗(yàn)驗(yàn)證了改進(jìn)后算法的有效性和高效性。
　　4.討論了關(guān)鍵分類查詢應(yīng)用在海量數(shù)據(jù)環(huán)境下可能遇到的性能問(wèn)題,并應(yīng)用了Map-Reduce算法框架對(duì)處理算法進(jìn)行分布式改造,使其能夠有效處理海量數(shù)據(jù),