市場(chǎng)營(yíng)銷(xiāo)中的數(shù)據(jù)分析方法

1、市場(chǎng)營(yíng)銷(xiāo)中的數(shù)據(jù)分析方法,,報(bào)告內(nèi)容,原理篇客戶(hù)關(guān)系管理中的數(shù)量方法 方法篇數(shù)據(jù)分析方法概論統(tǒng)計(jì)分析方法數(shù)據(jù)挖掘分析方法 工具篇常用數(shù)據(jù)分析工具簡(jiǎn)介 總結(jié)基本結(jié)論,,市場(chǎng)營(yíng)銷(xiāo)中的數(shù)量決策問(wèn)題,傳統(tǒng)的純粹定性描述方法已遠(yuǎn)遠(yuǎn)不能滿(mǎn)足現(xiàn)代市場(chǎng)營(yíng)銷(xiāo)實(shí)踐的需要，為了體現(xiàn)市場(chǎng)營(yíng)銷(xiāo)學(xué)本身的科學(xué)性和對(duì)企業(yè)實(shí)踐的指導(dǎo)性，數(shù)據(jù)分析理論與方法在市場(chǎng)營(yíng)銷(xiāo)學(xué)中占有越來(lái)越重要的地位。理論上－>計(jì)量市場(chǎng)營(yíng)銷(xiāo)學(xué)的出現(xiàn)理念上－>數(shù)據(jù)庫(kù)營(yíng)

2、銷(xiāo)、關(guān)系營(yíng)銷(xiāo)的興起實(shí)務(wù)上－>數(shù)據(jù)挖掘技術(shù)在客戶(hù)關(guān)系管理中的應(yīng)用探察數(shù)量決策問(wèn)題的兩個(gè)視角理論上的框架要素實(shí)務(wù)上的業(yè)務(wù)流程,,視角一：市場(chǎng)營(yíng)銷(xiāo)學(xué)的理論框架,,核心概念營(yíng)銷(xiāo)觀(guān)念,營(yíng)銷(xiāo)計(jì)劃營(yíng)銷(xiāo)組織營(yíng)銷(xiāo)控制營(yíng)銷(xiāo)審計(jì),產(chǎn)品策略定價(jià)策略分銷(xiāo)策略促銷(xiāo)策略,需求分析市場(chǎng)細(xì)分目標(biāo)市場(chǎng)市場(chǎng)定位,,,基礎(chǔ)理論,戰(zhàn)略理論,策略理論,管理理論,,視角一示例：市場(chǎng)營(yíng)銷(xiāo)中的產(chǎn)品決策,產(chǎn)品定位定位圖分析（感知定位圖、偏好定位圖等）

3、新產(chǎn)品擴(kuò)散與產(chǎn)品生命周期管理巴斯模型（BASS Model）生長(zhǎng)曲線(xiàn)模型（Growth Curve Model）品牌決策消費(fèi)者品牌選擇模型,視角二示例：電信業(yè)業(yè)務(wù)流程視圖（eTOM）,,視角二示例：理解客戶(hù)與市場(chǎng),市場(chǎng)購(gòu)買(mǎi)行為消費(fèi)者購(gòu)買(mǎi)行為模型消費(fèi)者品牌選擇模型市場(chǎng)需求測(cè)量市場(chǎng)需求預(yù)測(cè)模型市場(chǎng)細(xì)分,客戶(hù)生命周期與市場(chǎng)營(yíng)銷(xiāo)策略,,客戶(hù)生命周期,在不同生命周期階段需考慮不同問(wèn)題,,如何發(fā)現(xiàn)并獲取潛在客戶(hù)？,階段A （A

4、cquisition）客戶(hù)獲取,,,,如何把客戶(hù)培養(yǎng)成高價(jià)值客戶(hù)？,階段B：（Build-up）客戶(hù)提升,如何使客戶(hù)使用新電信產(chǎn)品?如何培養(yǎng)顧客忠誠(chéng)度？,階段C：(Climax)客戶(hù)成熟,,如何延長(zhǎng)客戶(hù)“生命周期”？,階段D：(Decline)客戶(hù)衰退,,如何贏回客戶(hù)？,階段E：(Exit)客戶(hù)離網(wǎng),,,,客戶(hù)價(jià)值,多種分析主題在不同時(shí)期應(yīng)用,,客戶(hù)獲取市場(chǎng)細(xì)分與產(chǎn)品定位目標(biāo)客戶(hù)特征識(shí)別,刺激需求提升銷(xiāo)售,交叉

5、銷(xiāo)售目標(biāo)營(yíng)銷(xiāo),客戶(hù)保持生存分析客戶(hù)風(fēng)險(xiǎn),客戶(hù)挽留,,客戶(hù)細(xì)分,細(xì)分是指將一個(gè)大的消費(fèi)群體劃分成一個(gè)個(gè)細(xì)分群的動(dòng)作，同屬于一個(gè)細(xì)分群的消費(fèi)者彼此相似，而隸屬于不同細(xì)分群的消費(fèi)者被視為不同。細(xì)分的目的可以讓管理者從一個(gè)比較高的層次上“鳥(niǎo)瞰”整個(gè)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，從而可以用不同的方法對(duì)待處于不同細(xì)分群眾的客戶(hù)，提供相對(duì)個(gè)性化的服務(wù)。客戶(hù)細(xì)分的目的更好的了解客戶(hù)結(jié)構(gòu)改善客戶(hù)管理與溝通增加客戶(hù)貢獻(xiàn)度客戶(hù)細(xì)分中的數(shù)量方法聚類(lèi)分析卡

6、方自動(dòng)交互檢測(cè)（CHAID）,營(yíng)銷(xiāo)策略客戶(hù)保持基于獎(jiǎng)賞及高成本事件驅(qū)動(dòng)的保持策略專(zhuān)注的, 區(qū)分優(yōu)先級(jí)的Call center支持客戶(hù)獲取刻畫(huà)子分群的特征建立跟蹤系統(tǒng)（tracking systems）以從價(jià)值的角度監(jiān)控新來(lái)的客戶(hù)交叉銷(xiāo)售對(duì)高價(jià)值客戶(hù)進(jìn)行交叉銷(xiāo)售會(huì)產(chǎn)生更大的收益,,經(jīng)常地, 頭20%的客戶(hù)貢獻(xiàn)了將近100% 的整體利潤(rùn). 這些客戶(hù)對(duì)CRM策略開(kāi)發(fā)是至關(guān)重要的。,示例：基于價(jià)值的客戶(hù)細(xì)分（高價(jià)值客戶(hù)）,中間層

7、代表了客戶(hù)的大多數(shù). 他們利潤(rùn)較?。╰hin margins）但容量巨大（high volume）.,,營(yíng)銷(xiāo)策略定價(jià)與行為改變識(shí)別服務(wù)機(jī)會(huì) – 增強(qiáng)可能的定價(jià)結(jié)構(gòu)性定價(jià)以鼓勵(lì)改善收益性的行為交叉銷(xiāo)售利用預(yù)測(cè)模型識(shí)別具有潛在價(jià)值的客戶(hù)利用事件營(yíng)銷(xiāo)與關(guān)系營(yíng)銷(xiāo)策略去增加產(chǎn)品的持有量渠道與服務(wù)的效率識(shí)別高成本/低回報(bào)的渠道并重新部署或調(diào)整結(jié)構(gòu)定位高成本業(yè)務(wù)流程以流線(xiàn)化或渠道遷移,示例：基于價(jià)值的客戶(hù)細(xì)分（中價(jià)值客戶(hù)）,盡管數(shù)量

8、很少 (10% to 20%) 但他們消除了很大一部分的利潤(rùn).,,營(yíng)銷(xiāo)策略改變定價(jià)識(shí)別與負(fù)利潤(rùn)相關(guān)的定價(jià)策略與行為, 鼓勵(lì)服務(wù)使用與目標(biāo)定價(jià)以增加或引入由服務(wù)改變而帶來(lái)的可能收入客戶(hù)風(fēng)險(xiǎn)避免向具有信用風(fēng)險(xiǎn)的客戶(hù)進(jìn)行交叉銷(xiāo)售客戶(hù)獲取識(shí)別低價(jià)值客戶(hù)并積極地在獲取過(guò)程中避免與這類(lèi)客戶(hù)發(fā)生接觸,示例：基于價(jià)值的客戶(hù)細(xì)分（低價(jià)值客戶(hù)）,,,High Value ??,High Value ??,Low Value ??,Low Val

9、ue ??,示例：基于生命階段的客戶(hù)細(xì)分,,客戶(hù)獲取,在大多數(shù)商業(yè)領(lǐng)域中，業(yè)務(wù)發(fā)展的主要指標(biāo)里包括新客戶(hù)的獲取能力。新客戶(hù)的獲取包括發(fā)現(xiàn)那些對(duì)你的產(chǎn)品不了解的客戶(hù)，也包括以前接受你的競(jìng)爭(zhēng)對(duì)手服務(wù)的顧客。客戶(hù)獲取中的數(shù)量方法特征識(shí)別（Profiling and Penetration Analysis）響應(yīng)模型（Response Model）,,客戶(hù)保持,隨著行業(yè)的競(jìng)爭(zhēng)越來(lái)越激烈和獲得一個(gè)新客戶(hù)的開(kāi)支愈來(lái)愈大，保持原有客戶(hù)的工作愈

10、來(lái)愈有價(jià)值?？蛻?hù)保持中的數(shù)量方法流失預(yù)測(cè)模型客戶(hù)忠誠(chéng)度模型,,交叉銷(xiāo)售與提升銷(xiāo)售,交叉營(yíng)銷(xiāo)是指你向現(xiàn)有的客戶(hù)提供新的產(chǎn)品和服務(wù)的營(yíng)銷(xiāo)過(guò)程。公司與其客戶(hù)之間的商業(yè)關(guān)系是一種持續(xù)的不斷發(fā)展的關(guān)系，在這種關(guān)系建立起來(lái)以后，可以有很多種方法來(lái)不斷改善這種關(guān)系。雙方的目標(biāo)是達(dá)到雙贏的結(jié)果，客戶(hù)獲益是由于他們得到了更好更貼切的服務(wù)質(zhì)量，商家則因?yàn)樵黾愉N(xiāo)售量獲利。交叉銷(xiāo)售中的數(shù)量方法購(gòu)買(mǎi)傾向預(yù)測(cè)產(chǎn)品關(guān)聯(lián)分析,客戶(hù)流失,客戶(hù)流失預(yù)警分品牌

11、、高/中/低價(jià)值、主動(dòng)/被動(dòng)構(gòu)建模型分類(lèi)預(yù)測(cè)數(shù)據(jù)挖掘模型客戶(hù)挽留流程設(shè)計(jì)彩鈴客戶(hù)流失預(yù)警分主動(dòng)/捆綁構(gòu)建模型分類(lèi)預(yù)測(cè)數(shù)據(jù)挖掘模型客戶(hù)挽留流程設(shè)計(jì)競(jìng)爭(zhēng)對(duì)手流失預(yù)警聯(lián)通用戶(hù)流失預(yù)測(cè)客戶(hù)挽留流程設(shè)計(jì),交叉銷(xiāo)售與提升銷(xiāo)售,購(gòu)買(mǎi)傾向預(yù)測(cè)彩鈴預(yù)測(cè)模型彩信預(yù)測(cè)模型WAP預(yù)測(cè)模型購(gòu)物藍(lán)分析產(chǎn)品關(guān)聯(lián)分析營(yíng)銷(xiāo)方案關(guān)聯(lián)分析提升銷(xiāo)售價(jià)值提升預(yù)測(cè)模型,營(yíng)銷(xiāo)案預(yù)演,營(yíng)銷(xiāo)預(yù)演是為了支持業(yè)務(wù)人員制訂新的資費(fèi)營(yíng)銷(xiāo)方案，然后對(duì)該方案在歷史

12、數(shù)據(jù)上做相應(yīng)的測(cè)算，從而根據(jù)測(cè)算結(jié)果來(lái)指導(dǎo)下一步工作。,營(yíng)銷(xiāo)活動(dòng)管理-CMP,KPI預(yù)測(cè)模型,個(gè)人客戶(hù)分群,個(gè)人客戶(hù)價(jià)值評(píng)估,新產(chǎn)品生命周期分析,,報(bào)告內(nèi)容,原理篇客戶(hù)關(guān)系管理中的數(shù)量方法 方法篇數(shù)據(jù)分析方法概論統(tǒng)計(jì)分析方法數(shù)據(jù)挖掘分析方法 工具篇常用數(shù)據(jù)分析工具簡(jiǎn)介 總結(jié)基本結(jié)論,,數(shù)量分析方法（Quantitative Analysis）,數(shù)量分析是對(duì)事物的數(shù)量特征、數(shù)量關(guān)系與數(shù)量變化的分析。數(shù)量分析的類(lèi)型按照

13、分析的目的探索性數(shù)據(jù)分析描述性數(shù)據(jù)分析解釋性數(shù)據(jù)分析按照問(wèn)題的本質(zhì)確定性分析不確定性分析,,數(shù)量分析中的模型化方法,數(shù)量模型是對(duì)現(xiàn)實(shí)問(wèn)題的描述和模仿模型是為認(rèn)識(shí)目的或?qū)嵺`目的而建立的典型的模型化過(guò)程,數(shù)據(jù)分析模型,E.F.Codd的數(shù)據(jù)分析模型絕對(duì)模型（Categorical Model）：依據(jù)預(yù)定義路徑尋找原因，如查詢(xún)解釋模型（Exegetical Model）：依據(jù)多層次路徑尋找原因，如多維分析思考模型（Con

14、templative Model）：參數(shù)化路徑，如場(chǎng)景分析公式模型（Formulaic Model）：模型化路徑，如數(shù)據(jù)挖掘,,What happened ?,Why did it happen ?,What will happen ?,,ROI,,應(yīng)用復(fù)雜性,,Human Discovery,Machine-assisted Discovery,,常用的數(shù)據(jù)分析方法/模型,數(shù)量分析是對(duì)事物的數(shù)量特征、數(shù)量關(guān)系與數(shù)量變化的分析。數(shù)量

15、分析的類(lèi)型按照分析的目的探索性數(shù)據(jù)分析描述性數(shù)據(jù)分析解釋性數(shù)據(jù)分析按照問(wèn)題的本質(zhì)確定性分析不確定性分析,,認(rèn)識(shí)分析數(shù)據(jù)：數(shù)據(jù)測(cè)量尺度,名義尺度有序尺度間隔尺度比例尺度,,認(rèn)識(shí)分析數(shù)據(jù)：數(shù)據(jù)結(jié)構(gòu)類(lèi)型,截面數(shù)據(jù)（Cross-section Data）時(shí)間序列數(shù)據(jù)（Time-series Data）面板數(shù)據(jù)（Panel Data）,,數(shù)據(jù)分析的出發(fā)點(diǎn)：數(shù)據(jù)矩陣,截面數(shù)據(jù)（Cross-section Data）時(shí)間序列

16、數(shù)據(jù)（Time-series Data）面板數(shù)據(jù)（Panel Data）,,常用的統(tǒng)計(jì)分析方法,數(shù)據(jù)分類(lèi)分析聚類(lèi)分析判別分析數(shù)據(jù)化簡(jiǎn)分析主成分分析因子分析數(shù)據(jù)相關(guān)分析回歸分析典型相關(guān)分析數(shù)據(jù)預(yù)測(cè)分析時(shí)間序列預(yù)測(cè),什么是數(shù)據(jù)挖掘？,Data,Information,Knowledge,Wisdom,存在太多數(shù)據(jù)挖掘的定義，但基本上有這樣一種描述結(jié)構(gòu)To find / discover / extract / dr

17、edge / harvest 、、、Interesting / novel / useful / implicit / actable / meaningful 、、、Information / knowledge / patterns / trends / rules / anomalies 、、、In massive data / large data set / large database / data warehouse

18、 、、、,Data + context,Information + rules,Knowledge + experience,為什么會(huì)出現(xiàn)數(shù)據(jù)挖掘？,數(shù)據(jù)爆炸性增長(zhǎng)是數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生的根本原因。只見(jiàn)樹(shù)木，不見(jiàn)森林（Drowning in data but starving for information）計(jì)算復(fù)雜度數(shù)據(jù)管理問(wèn)題數(shù)據(jù)類(lèi)型的多樣性,處理大容量數(shù)據(jù)是數(shù)據(jù)挖掘技術(shù)區(qū)別于其他數(shù)據(jù)分析方法的唯一標(biāo)志嗎？,其他數(shù)據(jù)

19、分析方法：統(tǒng)計(jì)學(xué),從處理數(shù)據(jù)的角度看、、、數(shù)據(jù)規(guī)模不同數(shù)據(jù)來(lái)源不同：觀(guān)測(cè)數(shù)據(jù)（Secondary Analysis） VS 試驗(yàn)數(shù)據(jù)（Primary Analysis）數(shù)據(jù)類(lèi)型不同（結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）從分析思想的角度看更關(guān)注實(shí)證性分析（Empirical Analysis）而非探索性分析（Exploratory Analysis）更關(guān)注模型（Model）而非算法（Algorithm）但二者具有相當(dāng)密切

20、的聯(lián)系從數(shù)據(jù)分析的角度，統(tǒng)計(jì)學(xué)現(xiàn)在是且仍將是數(shù)據(jù)挖掘最重要的技術(shù)支撐和思想源泉更加深入的滲透和交叉（如探索性數(shù)據(jù)分析，EDA）,數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動(dòng)的探索性分析 !,數(shù)據(jù)挖掘：多學(xué)科的匯合,數(shù)據(jù)挖掘,數(shù)據(jù)庫(kù)技術(shù),統(tǒng)計(jì)學(xué),其它學(xué)科,信息科學(xué),機(jī)器學(xué)習(xí),可視化,,,,,,,人工智能,,科學(xué)計(jì)算,,數(shù)據(jù)挖掘是一個(gè)過(guò)程,“from data mining to knowledge discovery in database”. U. fay

21、yad, G.P.Shapiro and P.Smyth (1996),數(shù)據(jù)挖掘過(guò)程中的數(shù)據(jù)預(yù)處理,數(shù)據(jù)清洗填充缺失值, 修均噪聲數(shù)據(jù), 識(shí)別或刪除孤立點(diǎn), 并解決數(shù)據(jù)不一致問(wèn)題主要分析方法：分箱（Binning）、聚類(lèi)、回歸數(shù)據(jù)集成多個(gè)數(shù)據(jù)庫(kù)、數(shù)據(jù)方或文件的集成數(shù)據(jù)變換規(guī)范化與匯總數(shù)據(jù)簡(jiǎn)化減少數(shù)據(jù)量的同時(shí), 還可以得到相同或相近的分析結(jié)果主要分析方法：抽樣、主成分分析數(shù)據(jù)離散化數(shù)據(jù)簡(jiǎn)化的一部分, 但非常重要 (尤

22、其對(duì)于數(shù)值型數(shù)據(jù)來(lái)說(shuō)),數(shù)據(jù)挖掘過(guò)程中的數(shù)據(jù)探索,探索性數(shù)據(jù)分析（Exploratory Data Analysis, EDA）探索性地查看數(shù)據(jù)，概括數(shù)據(jù)集的結(jié)構(gòu)和關(guān)系對(duì)數(shù)據(jù)集沒(méi)有各種嚴(yán)格假定“玩”數(shù)據(jù)主要任務(wù)數(shù)據(jù)可視化（a picture is worth a thousand words）殘差分析（數(shù)據(jù)＝擬合 + 殘差）數(shù)據(jù)的重新表達(dá)（什么樣的尺度－對(duì)數(shù)抑或平方跟－會(huì)簡(jiǎn)化分析？）方法的耐抗性（對(duì)數(shù)據(jù)局部不良的不敏感性

23、，如中位數(shù)耐抗甚于均值）常見(jiàn)方法統(tǒng)計(jì)量，如均值、方差、根方差、協(xié)方差、峰度、偏度、相關(guān)系數(shù)等統(tǒng)計(jì)圖，如餅圖、直方圖、散點(diǎn)圖、箱尾圖等模型，如聚類(lèi),數(shù)據(jù)挖掘結(jié)果的評(píng)價(jià),興趣度度量：一個(gè)模式是有意義的，如果它易于被人理解，在某種程度上，對(duì)于新數(shù)據(jù)或者測(cè)試數(shù)據(jù)是有效的、潛在有用或者驗(yàn)證了用戶(hù)渴望確認(rèn)的某些假設(shè)。目前仍無(wú)很好的解決辦法，很大程度上仍依靠人工不存在解決這個(gè)問(wèn)題的簡(jiǎn)單技術(shù)，最終答案是不要把數(shù)據(jù)挖掘當(dāng)作脫離數(shù)據(jù)內(nèi)涵的簡(jiǎn)單技

24、術(shù)來(lái)運(yùn)用客觀(guān)興趣度：基于統(tǒng)計(jì)或模式的結(jié)構(gòu)，如統(tǒng)計(jì)量、支持度、lift等主觀(guān)興趣度：基于用戶(hù)對(duì)數(shù)據(jù)的確信程度，如意外程度、新奇程度或者可行動(dòng)性等過(guò)度擬合（Over-fitting）問(wèn)題,什么不是數(shù)據(jù)挖掘？,定量分析（Quantitative Analysis）的需要存在企業(yè)管理運(yùn)行的各個(gè)側(cè)面或環(huán)節(jié)，但并非所有的定量分析問(wèn)題都可以歸結(jié)到數(shù)據(jù)挖掘范疇的問(wèn)題。簡(jiǎn)單的報(bào)表、圖表及多維分析仍是日常分析工作的主要內(nèi)容小樣本數(shù)據(jù)的分析傳統(tǒng)統(tǒng)計(jì)

25、分析方法更成熟有效，如趨勢(shì)預(yù)測(cè)某些特定業(yè)務(wù)問(wèn)題無(wú)法用數(shù)據(jù)挖掘算法加以解決，例如資源最優(yōu)配置問(wèn)題是個(gè)運(yùn)籌學(xué)問(wèn)題某些物流管理問(wèn)題或者供應(yīng)鏈管理問(wèn)題是個(gè)隨機(jī)規(guī)劃問(wèn)題營(yíng)銷(xiāo)預(yù)演本質(zhì)是個(gè)系統(tǒng)仿真問(wèn)題,幾個(gè)基本概念,模型（Model） vs 模式（Pattern）數(shù)據(jù)挖掘的根本目的就是把樣本數(shù)據(jù)中隱含的結(jié)構(gòu)泛化（Generalize）到總體（Population）上去模型：對(duì)數(shù)據(jù)集的一種全局性的整體特征的描述或概括，適用于數(shù)據(jù)空間中的所有

26、點(diǎn)，例如聚類(lèi)分析模式：對(duì)數(shù)據(jù)集的一種局部性的有限特征的描述或概括，適用于數(shù)據(jù)空間的一個(gè)子集，例如關(guān)聯(lián)分析算法（Algorithm）：一個(gè)定義完備（well-defined）的過(guò)程，它以數(shù)據(jù)作為輸入并產(chǎn)生模型或模式形式的輸出描述型挖掘（Descriptive） vs 預(yù)測(cè)型挖掘（Predictive）描述型挖掘：對(duì)數(shù)據(jù)進(jìn)行概括，以方便的形式呈現(xiàn)數(shù)據(jù)的重要特征預(yù)測(cè)型挖掘：根據(jù)觀(guān)察到的對(duì)象特征值來(lái)預(yù)測(cè)它的其他特征值描述型挖掘可以是

27、目的，也可以是手段,幾類(lèi)基本的挖掘算法,關(guān)聯(lián)規(guī)則（模式、描述型）發(fā)現(xiàn)數(shù)據(jù)集中的頻繁模式例如：buy(x,”diapers”) ? buy(x,”beers”) [0.5%, 60%]分類(lèi)與預(yù)測(cè)（模型、預(yù)測(cè)型）發(fā)現(xiàn)能夠區(qū)分或預(yù)測(cè)目標(biāo)變量（唯一的）的規(guī)則或者函數(shù)分類(lèi)的目標(biāo)變量一般是范疇型的，而預(yù)測(cè)則是數(shù)量型的，并不必然帶有任何時(shí)間延續(xù)型的暗示例如：股票市值的預(yù)測(cè)，病人病情的判斷聚類(lèi)（模型、描述型）對(duì)數(shù)據(jù)分組以形成新類(lèi)，類(lèi)標(biāo)記

28、是未知的例如：市場(chǎng)細(xì)分孤立點(diǎn)探測(cè)（Outlier Detection）（模式、預(yù)測(cè)型）分析異?；蛟肼晹?shù)據(jù)的行為模式例如：欺詐檢測(cè),關(guān)聯(lián)規(guī)則的基本概念,基本定義給定（1）事務(wù)數(shù)據(jù)集（2）每個(gè)事務(wù)是數(shù)據(jù)項(xiàng)的集合，試圖發(fā)現(xiàn)項(xiàng)集中的頻繁模式或關(guān)聯(lián)關(guān)系所謂頻繁模式或者關(guān)聯(lián)規(guī)則就是一個(gè)具有“A ? B”形式的邏輯蘊(yùn)涵式頻繁模式并不必然蘊(yùn)涵著因果關(guān)系或相關(guān)關(guān)系！算法實(shí)現(xiàn)基本上基于APRIORI法則：頻繁項(xiàng)集的所有非空子集一定也是頻繁（

29、Frequent）的基本分類(lèi)布爾關(guān)聯(lián)規(guī)則 vs 定量關(guān)聯(lián)規(guī)則buy(x,”diapers”) ? buy(x,”beers”)Age(x,”30..39”) ^ income(x,”42k..48k”) ? buy(x,”P(pán)C”)單維關(guān)聯(lián)規(guī)則 vs 多維關(guān)聯(lián)規(guī)則單層關(guān)聯(lián)規(guī)則 vs 多層關(guān)聯(lián)規(guī)則Age(x,”30..39”) ^ income(x,”42k..48k”) ? buy(x,”IBM PC”)序列模式（Sequ

30、ence Pattern）數(shù)據(jù)項(xiàng)是一個(gè)包含時(shí)間標(biāo)簽的序偶[item(i),t],關(guān)聯(lián)規(guī)則的度量,發(fā)現(xiàn)具有最小置信度和支持度的全部規(guī)則 X ^ Y ? Z 支持度(support), s, 事務(wù)中包含{X & Y & Z}的概率置信度(confidence), c, 事務(wù)中包含{X & Y}的條件下, 包含Z的條件概率,令最小支持度為50%, 最小置信度為50%, 則有A ? C (50%, 66.6

31、%)C ? A (50%, 100%),,,,,,顧客購(gòu)買(mǎi)尿布,顧客購(gòu)買(mǎi)兩者,顧客購(gòu)買(mǎi)啤酒,,對(duì)支持度與置信度的批判,示例總共5000名學(xué)生, 其中3000人玩籃球3750人吃谷類(lèi)食品2000人既玩籃球又吃谷類(lèi)食品play basketball ? eat cereal [40%, 66.7%] 是一個(gè)誤導(dǎo)規(guī)則, 因?yàn)槌怨阮?lèi)食品的學(xué)生占學(xué)生總數(shù)的75%, 比66.7%更高play basketball ? not

32、 eat cereal [20%, 33.3%] 其實(shí)是一個(gè)更精確的規(guī)則, 盡管它的支持度和置信度都比較低,關(guān)聯(lián)規(guī)則的應(yīng)用,市場(chǎng)購(gòu)物籃分析（Market Basket Analysis）例如一個(gè)事務(wù)是客戶(hù)的一個(gè)購(gòu)物清單，同一客戶(hù)的兩份清單被認(rèn)為是兩個(gè)不同的事務(wù)數(shù)據(jù)項(xiàng)是所有可能陳列貨物的全集目標(biāo)是發(fā)現(xiàn)同時(shí)出現(xiàn)的貨品組合間的關(guān)聯(lián)模式應(yīng)用：商品貨價(jià)設(shè)計(jì)、倉(cāng)儲(chǔ)規(guī)劃、網(wǎng)頁(yè)布局、產(chǎn)品目錄設(shè)計(jì)等等交叉銷(xiāo)售（Cross Selling）客戶(hù)

33、依次購(gòu)買(mǎi)不同產(chǎn)品的序列目標(biāo)是發(fā)現(xiàn)在購(gòu)買(mǎi)某一產(chǎn)品組合之后客戶(hù)可能購(gòu)買(mǎi)的另一產(chǎn)品或服務(wù)應(yīng)用：網(wǎng)絡(luò)故障分析、網(wǎng)站門(mén)戶(hù)設(shè)計(jì)等,分類(lèi)問(wèn)題的基本定義,給定一數(shù)據(jù)集合（訓(xùn)練集）數(shù)據(jù)記錄由一系列變量組成其中有一個(gè)變量是目標(biāo)分類(lèi)標(biāo)簽尋找一模型，使目標(biāo)分類(lèi)變量值是其他變量值的一個(gè)函數(shù)利用上述函數(shù)，一未知分類(lèi)變量值的數(shù)據(jù)記錄能夠盡可能準(zhǔn)確地被判定到某一類(lèi)別中去一般會(huì)有另一獨(dú)立地?cái)?shù)據(jù)集（測(cè)試集）用以驗(yàn)證所構(gòu)建分類(lèi)函數(shù)的準(zhǔn)確性，避免過(guò)度擬合,分類(lèi)過(guò)

34、程示意,訓(xùn)練集,,分類(lèi)學(xué)習(xí),訓(xùn)練集,,分類(lèi)器,,,,,IF rank = ‘professor’OR years > 6THEN tenured = ‘yes’,,,Jef is YES!,,,分類(lèi)中的決策樹(shù)（Decision Tree）歸納,決策樹(shù) 類(lèi)似于流程圖的樹(shù)型結(jié)構(gòu)內(nèi)部節(jié)點(diǎn)代表對(duì)某個(gè)屬性的一次測(cè)試分支代表測(cè)試的輸出結(jié)果葉節(jié)點(diǎn)代表分類(lèi)標(biāo)簽或分布決策樹(shù)的生成包括兩個(gè)階段樹(shù)的創(chuàng)建首先, 所有訓(xùn)練樣本都位于根節(jié)點(diǎn)

35、遞歸地基于選擇屬性來(lái)劃分樣本集樹(shù)的修剪識(shí)別并刪除那些反映噪聲或孤立點(diǎn)的分支應(yīng)用決策樹(shù): 對(duì)未知樣本進(jìn)行分類(lèi)在決策樹(shù)上測(cè)試樣本的各個(gè)屬性值,決策樹(shù)示意,age?,overcast,student?,credit rating?,no,yes,fair,excellent,,,,<=30,>40,,,,,,,,,,no,no,yes,yes,yes,30..40,示例：是否購(gòu)買(mǎi)計(jì)算機(jī)？,聚類(lèi)的基本概念,基本定義將數(shù)據(jù)

36、對(duì)象集劃分成事先未知的分組或類(lèi)別聚類(lèi)的原則：類(lèi)內(nèi)相似度高，類(lèi)間相似度低相似度一般為某種距離函數(shù)D(i,j)聚類(lèi)既可以作為獨(dú)立分析工具考察數(shù)據(jù)分布結(jié)構(gòu)，也可以作為其他分析方法的預(yù)處理步驟很不幸，對(duì)聚類(lèi)結(jié)果的評(píng)價(jià)一般都是主觀(guān)的基本分類(lèi)將數(shù)據(jù)對(duì)象集劃分成事先未知的分組或類(lèi)別,聚類(lèi)示意,基于歐氏距離的三維空間中的聚類(lèi),,,,,,,,,,,,,,,,,,,,,,,,,,,A1,A2,B1,,,,x,y,z,從算法到應(yīng)用,,報(bào)告內(nèi)容,原

37、理篇客戶(hù)關(guān)系管理中的數(shù)量方法 方法篇數(shù)據(jù)分析方法概論統(tǒng)計(jì)分析方法數(shù)據(jù)挖掘分析方法其他分析方法 工具篇常用數(shù)據(jù)分析工具簡(jiǎn)介 總結(jié)基本結(jié)論,,數(shù)據(jù)分析軟件,數(shù)據(jù)分析軟件的種類(lèi)按照分析模式統(tǒng)計(jì)分析軟件數(shù)據(jù)挖掘軟件OLAP軟件科學(xué)計(jì)算軟件按照分析范圍通用分析軟件專(zhuān)用分析軟件按照分析規(guī)模企業(yè)級(jí)分析軟件桌面級(jí)分析軟件,,數(shù)據(jù)分析軟件的基本特點(diǎn),功能全面，系統(tǒng)地集成了多種成熟的數(shù)據(jù)分析方法有完善的數(shù)據(jù)定義、

38、操作和管理功能方便地生成各種統(tǒng)計(jì)圖形和統(tǒng)計(jì)表格使用方式簡(jiǎn)單、靈活，有完備的聯(lián)機(jī)幫助功能軟件開(kāi)放性好，能方便地和其他軟件進(jìn)行數(shù)據(jù)交換,,學(xué)習(xí)使用統(tǒng)計(jì)分析軟件的基本方法,弄清分析的目的正確收集待處理和分析的數(shù)據(jù)(目的、影響因素的剔除）弄清分析方法的概念、含義和適用范圍。無(wú)需記憶公式選擇一種或幾種分析方法來(lái)探索性地分析數(shù)據(jù)讀懂計(jì)算機(jī)分析的數(shù)據(jù)結(jié)果，發(fā)現(xiàn)規(guī)律，得出結(jié)論,,SAS：The Power to Know,SAS (Sta

39、tistical Analysis System)是一個(gè)模塊化、集成化的大型應(yīng)用軟件系統(tǒng)；目前國(guó)際上最流行的一種大型統(tǒng)計(jì)分析系統(tǒng)；統(tǒng)計(jì)分析的標(biāo)準(zhǔn)軟件SAS系統(tǒng)主要完成以數(shù)據(jù)為中心的四大任務(wù)：數(shù)據(jù)訪(fǎng)問(wèn)；數(shù)據(jù)管理；數(shù)據(jù)呈現(xiàn)；數(shù)據(jù)分析。 它由數(shù)十個(gè)專(zhuān)用模塊構(gòu)成，SAS/STAT（統(tǒng)計(jì)分析）；SAS/ETS（經(jīng)濟(jì)計(jì)量與時(shí)間序列分析）；SAS/QC（質(zhì)量控制管理）；SAS/OR（運(yùn)籌學(xué)）；SAS/IML（矩陣運(yùn)算）；SAS/GRAPH（繪圖）

40、等,,SPSS：Real Stat, Real Easy,SPSS（Statistical Package for the Social Science）－－社會(huì)科學(xué)統(tǒng)計(jì)軟件包是世界是著名的統(tǒng)計(jì)分析軟件之一。SPSS for Windows是一個(gè)組合式軟件包，它集數(shù)據(jù)整理、分析功能于一身。用戶(hù)可以根據(jù)實(shí)際需要和計(jì)算機(jī)的功能選擇模塊，以降低對(duì)系統(tǒng)硬盤(pán)容量的要求，有利于該軟件的推廣應(yīng)用。SPSS的基本功能包括數(shù)據(jù)管理、統(tǒng)計(jì)分析、圖表分析

41、、輸出管理等等。SPSS統(tǒng)計(jì)分析過(guò)程包括描述性統(tǒng)計(jì)、均值比較、一般線(xiàn)性模型、相關(guān)分析、回歸分析、對(duì)數(shù)線(xiàn)性模型、聚類(lèi)分析、數(shù)據(jù)簡(jiǎn)化、生存分析、時(shí)間序列分析、多重響應(yīng)等幾大類(lèi)，每類(lèi)中又分好幾個(gè)統(tǒng)計(jì)過(guò)程，比如回歸分析中又分線(xiàn)性回歸分析、曲線(xiàn)估計(jì)、Logistic回歸、Probit回歸、加權(quán)估計(jì)、兩階段最小二乘法、非線(xiàn)性回歸等多個(gè)統(tǒng)計(jì)過(guò)程，而且每個(gè)過(guò)程中又允許用戶(hù)選擇不同的方法及參數(shù)。SPSS也有專(zhuān)門(mén)的繪圖系統(tǒng)，可以根據(jù)數(shù)據(jù)繪制各種圖形。,,報(bào)

42、告內(nèi)容,原理篇客戶(hù)關(guān)系管理中的數(shù)量方法 方法篇數(shù)據(jù)分析方法概論統(tǒng)計(jì)分析方法數(shù)據(jù)挖掘分析方法 工具篇常用數(shù)據(jù)分析工具簡(jiǎn)介 總結(jié)基本結(jié)論,總結(jié),關(guān)鍵是業(yè)務(wù)問(wèn)題的發(fā)現(xiàn)及其構(gòu)建以及切實(shí)迎合業(yè)務(wù)需要 從分析方法的角度切入討論只是手段而非目的 方法還是很重要的 方法應(yīng)該是最不會(huì)成為問(wèn)題的 方法是個(gè)工具箱,關(guān)于Teradata,,2005 Revenue by Business Unit,Teradata Dat

43、a Warehouse,Retail Solutions,Financial Solutions,Worldwide Customer Services,Systemedia,NCR公司概貌,Fortune 500 companyGlobal operations in over 100 countries & territoriesMore than 28,000 employe

44、es$6B revenueNon-pension operating income 3 point improvement to 9%,Teradata在Fortune500中的優(yōu)異表現(xiàn),Leading industriesBanking GovernmentInsurance & HealthcareManufacturing RetailTelecommunicationsTransportation Lo

45、gisticsTravel World class customer listMore than 800 customersGlobal presence Over 100 countries and territories,FORTUNE Global Rankings, July 2005,Top Ten Ranking in Fortune 500,分析型CRM是擅長(zhǎng)之一,,Retail,Financial,Trav

46、el,,,,Communications,,Insurance,,,,Manufacturing/Sourcing,Union Bank of Norway,,Technology ROI AwardsHarrah’s - Grand Prize WinnerState of Iowa - Winner, Public SectorTDWI Best Practices Award Enterprise Data Wareho

47、use: Union PacificGovernment & Non-profit: State of MichiganWorld Class Solution Awards Jefferson County Public Schools, winner- Data Management category; GCN Agency Awards US Air Force Knowledge Systems, Mate

48、rial Systems Group/Enterprise Systems DivisionNCDM Database Excellence AwardFubon Financial Holding Company (Taiwan) - Silver Award,CIO Magazine Enterprise Value AwardsContinental Airlines, Winner - TransportationAc

49、e Hardware, Winner - Retail/WholesaleIntelligent Enterprise Editors’ Choice AwardsTeradata named one of Intelligent Enterprise Dozen Most Influential CompaniesDM Review 100Teradata - industry leader in business int

50、elligence, data warehousing and analytics market CRM Market LeaderTeradata - Market Leader in CRM Analytics categoryBest Practices in Business IntelligenceLexisNexis, Managing and Enhancing BI Applications and Inf

51、rastructure categoryRealWare AwardsFubon Financial Holding Company, Merit Award Winner - Marketing Management, Best Intelligent CRM Application category,Teradata用戶(hù)所獲贊譽(yù) - 2004,Teradata用戶(hù)所獲贊譽(yù) - 2005,BI Excellence Award

52、Sponsor: Gartner GroupContinental Airlines 1to1 Impact AwardSponsor: Peppers & Rogers Continental Airlines - Technology OptimizationTDWI Best Practices AwardSunrise – Customer Relationship ManagementIn

53、novation PrizeSponsor: 01 InformatiqueChampion (groupe Carrefour),Computerworld’s Best Practices Award in Business IntelligenceHospital Corporation of America, Inc. - Creating a BI Vision and Strategies for Improved

54、ROI 2005 World Class Solution Award in the Business IntelligenceSponsor: DM Review Verizon Wireless – Business Intelligence CRM Magazine’s 2005 Market Leaders Awards Fubon Financial Holding - CRM Elite, Analytics,

55、,Teradata用戶(hù)所獲贊譽(yù) - 2006,,TDWI Best Practices AwardsRoyal Bank of Canada - Enterprise Data WarehousingNationwide Insurance – Master Data ManagementPannon GSM - Predictive AnalyticsBNSF Railway, Inc. – Business Performa

56、nce ManagementVentana Research 2006 Performance Leadership AwardsBNSF Railway, Inc. - winner in Finance Performance Leadership,The DMA Awards, Financial Services Council National Australia Bank selected as winner of

57、The DMA’s Financial Services Company of the Year awardFinTech Asia AwardsSponsor: Financial Insight Asia/PacificChina Trust Commercial Bank – Winner in Customer Analytics2006 Supply & Demand Chain Executive 10