數(shù)據(jù)挖掘中的離群點(diǎn)檢測(cè)算法研究.pdf

1、離群點(diǎn)檢測(cè)是數(shù)據(jù)挖掘中的一個(gè)分支，它的任務(wù)是識(shí)別其特征顯著不同于其他數(shù)據(jù)的觀測(cè)值。在我們平常的社會(huì)生活和自然界中，大部分的事件和對(duì)象，都是很尋常或者是平凡的。但是我們也不能因此忽視，在其中也有很多不尋?；蛘卟黄椒驳膶?duì)象存在的可能性。這些對(duì)象的事件背后可能蘊(yùn)含著更大的研究?jī)r(jià)值，有著廣闊的應(yīng)用前景。因此，離群點(diǎn)檢測(cè)是一個(gè)非常有意義的研究方向。
　　目前，研究者們已經(jīng)提出了很多離群點(diǎn)檢測(cè)方法，包括基于統(tǒng)計(jì)的離群點(diǎn)檢測(cè)方法、基于頻率的離群

2、點(diǎn)檢測(cè)方法、基于深度的離群點(diǎn)檢測(cè)方法、基于距離的離群點(diǎn)檢測(cè)方法和基于密度的離群點(diǎn)檢測(cè)方法等。本文分析了離群點(diǎn)檢測(cè)的研究背景、意義和國(guó)內(nèi)外研究現(xiàn)狀，研究基于距離的離群點(diǎn)檢測(cè)方法和基于頻率的離群點(diǎn)檢測(cè)方法，并改進(jìn)了傳統(tǒng)的離群點(diǎn)檢測(cè)方法。
　　屬性通常可以分為兩類，包括數(shù)值屬性以及分類屬性。本文詳細(xì)分析了兩種屬性的區(qū)別，并做了以下工作:
　　針對(duì)數(shù)值數(shù)據(jù)，對(duì)傳統(tǒng)的基于距離的檢測(cè)算法進(jìn)行改進(jìn)。傳統(tǒng)的基于距離的檢測(cè)算法輸入?yún)?shù)多，而且

3、算法對(duì)參數(shù)比較敏感，因此選擇基于平均距離的離群點(diǎn)檢測(cè)算法。針對(duì)這種算法計(jì)算量大，在大數(shù)據(jù)集中不適用的問(wèn)題，根據(jù)如果數(shù)據(jù)對(duì)象r鄰域內(nèi)數(shù)據(jù)的個(gè)數(shù)達(dá)到k個(gè)以上就不是離群點(diǎn)的規(guī)則剪去部分非離群點(diǎn)，通過(guò)聚類，將類別按照密度進(jìn)行排序，先選擇密度小的類別開始檢測(cè)，離群度閾值可以迅速增大，利用剪枝規(guī)則再次剪枝。這樣可以大大減小運(yùn)算時(shí)間。
　　針對(duì)分類數(shù)據(jù)，分析了基于距離的算法的不足，介紹了針對(duì)分類數(shù)據(jù)的常用的離群點(diǎn)檢測(cè)方法，包括基于頻率的方法和基