分類數(shù)據(jù)離群點檢測算法的研究與改進.pdf

1、離群點檢測是數(shù)據(jù)挖掘中重要的研究分支，用于識別某些特征顯著區(qū)別于其他觀測數(shù)據(jù)的對象。在實際應(yīng)用如評估金融風(fēng)險、檢測結(jié)構(gòu)的缺陷、侵入檢測等領(lǐng)域中會出現(xiàn)的一些離群數(shù)據(jù)，它們往往預(yù)示了某些重要的信息。通過對檢測出的離群數(shù)據(jù)進行分析，可以獲取大量能用于預(yù)測和決策支持的有用的知識。因此，離群點檢測是一個相當(dāng)有意義的研究方向。
　　本文以離群點檢測為研究背景，以提高分類數(shù)據(jù)離群點檢測性能為主要目標(biāo)，在介紹離群點相關(guān)的概念和主要檢測方法的基礎(chǔ)上

2、，主要對基于加權(quán)頻率和聚類、基于信息熵的半監(jiān)督離群檢測算法進行了深入研究并進行改進，具體工作如下:
　　1、分類數(shù)據(jù)集中含有多種屬性，不同屬性對數(shù)據(jù)對象的離群程度的影響是不同的。針對現(xiàn)有分類數(shù)據(jù)離群檢測算法將屬性視為同等重要的不足，提出基于加權(quán)頻率的離群檢測策略。根據(jù)屬性對離群性的貢獻程度賦予不同的權(quán)值，再結(jié)合數(shù)據(jù)的屬性頻率，計算數(shù)據(jù)對象的加權(quán)頻率值。數(shù)據(jù)加權(quán)頻率值的大小能夠反應(yīng)數(shù)據(jù)離群程度的大小。
　　2、針對基于頻率的算

3、法對多個頻繁屬性共同作用的離群點檢測效果不佳的情況，通過對兩種類型離群點進行定義，在加權(quán)頻率離群檢測策略的基礎(chǔ)上，結(jié)合聚類算法提出基于加權(quán)頻率聚類的離群檢測算法。根據(jù)加權(quán)頻率策略和聚類距離得到的數(shù)據(jù)離群程度的排序，構(gòu)造得到最終的離群點數(shù)據(jù)集。該算法能夠有效檢測兩種類型的離群點，從而提高離群檢測率。
　　3、針對現(xiàn)有的大多數(shù)無監(jiān)督分類數(shù)據(jù)離群點檢測算法，誤報率較高且精確率較低的不足進行改進，提出基于信息熵的半監(jiān)督離群點檢測算法，同時