電信數(shù)據(jù)挖掘的數(shù)據(jù)質(zhì)量評估技術(shù)研究.pdf

1、近年來，數(shù)據(jù)挖掘作為海量數(shù)據(jù)中知識提取的有效手段，已廣泛應(yīng)用于電信領(lǐng)域，如話費(fèi)欺詐分析、客戶細(xì)分、客戶流失預(yù)測、交叉銷售等。然而，現(xiàn)實中的電信數(shù)據(jù)往往質(zhì)量較差，不能滿足數(shù)據(jù)挖掘的要求，導(dǎo)致數(shù)據(jù)挖掘在電信中應(yīng)用的成功案例較少，數(shù)據(jù)質(zhì)量低下已成為制約數(shù)據(jù)挖掘在電信行業(yè)應(yīng)用的主要瓶頸之一，因此，在進(jìn)行數(shù)據(jù)挖掘之前，有必要進(jìn)行數(shù)據(jù)質(zhì)量評估，以衡量挖掘的可行性，避免時間和精力的浪費(fèi)。對于數(shù)據(jù)質(zhì)量評估，雖然前人已有較多的研究成果，但大部分集中在框架

2、理論，較少涉及特定的行業(yè)背景和具體應(yīng)用，而面向特定挖掘主題的數(shù)據(jù)質(zhì)量評估，尚未有專門的文獻(xiàn)討論。本文針對電信數(shù)據(jù)挖掘的常用主題—欠費(fèi)挖掘，在深入研究缺失和離群對數(shù)據(jù)挖掘影響的基礎(chǔ)上，對面向數(shù)據(jù)挖掘的數(shù)據(jù)質(zhì)量評估技術(shù)展開研究，具體的研究工作如下：
　　 1．對于缺失評估，提出類分布CD((Class Distribution)的概念，以衡量各個輸入屬性和目標(biāo)屬性之間的關(guān)聯(lián)度，基于此，提出類分布差異的屬性加權(quán)算法CAWA，算法能夠區(qū)

3、分不同輸入屬性對分類結(jié)果的重要性，并由此提出基于屬性加權(quán)的缺失評估算法AMEA，以實現(xiàn)數(shù)據(jù)的缺失評估。實驗結(jié)果表明，該評估算法能夠合理量化缺失對挖掘結(jié)果的影響。
　　 2．對于離群評估，針對電信數(shù)據(jù)的特點(diǎn)，尤其是欠費(fèi)數(shù)據(jù)非平衡的特性，分析了非平衡數(shù)據(jù)中的離群點(diǎn)對分類結(jié)果的影響，并結(jié)合超圖離群檢測(HOT)算法，提出離群度OD(Outlier Degree)的概念，基于此，提出非平衡離群評估算法IOEA，以實現(xiàn)數(shù)據(jù)的離群評估。實驗