數(shù)據(jù)集中相關(guān)關(guān)系的評估與發(fā)掘.pdf

1、大數(shù)據(jù)時代最重要的不在于“大量的數(shù)據(jù)”，而在于思維的變革，變革之一即是從注重因果關(guān)系到注重相關(guān)關(guān)系。因果關(guān)系即是“為什么”，是導(dǎo)致事物發(fā)生的根本原因，而這常常是難以捉摸的，晦澀艱深的，甚至是不可得知的。相關(guān)關(guān)系即是“是什么”，即是事物之間的依存關(guān)系，相比因果關(guān)系，這要容易探知，而且在大部分情況下能夠替代因果關(guān)系的作用。相關(guān)關(guān)系的評估與發(fā)掘已經(jīng)或正在影響著數(shù)據(jù)挖掘、機器學(xué)習(xí)、知識發(fā)現(xiàn)等廣闊領(lǐng)域的發(fā)展。
　　傳統(tǒng)的相關(guān)關(guān)系評估方法包括

2、相關(guān)系數(shù)、互信息、機器學(xué)習(xí)和數(shù)據(jù)挖掘里面的一些相關(guān)性度量方法，然而這些方法具有很大的局限性，不能夠?qū)Ψ蔷€性等更寬泛更一般的相關(guān)關(guān)系進(jìn)行公平地評估，新近提出的統(tǒng)計量MIC能夠有效的評估兩變量相關(guān)關(guān)系，然而卻無法在多項式時間計算求解，且直到目前為止，仍缺乏多變量相關(guān)關(guān)系評估和發(fā)掘的有效方法。
　　針對上述問題，本文提出了一種衡量兩變量相關(guān)關(guān)系強度的統(tǒng)計量ARTMIC（交替遞歸型拓?fù)渥畲髽?biāo)準(zhǔn)化互信息），以及其它一些衡量關(guān)系性質(zhì)的統(tǒng)計量。

3、這些統(tǒng)計量能夠有效而公平地評估包括線性和非線性關(guān)系在內(nèi)的較為寬泛的相關(guān)關(guān)系，并且彌補了Reshef所提出的統(tǒng)計量(MIC)無法在多項式時間精確求解的缺陷，解決了MIC不能識別“局部隨機”現(xiàn)象的問題。使用ARTMIC等統(tǒng)計量分析了美國自1959年至2013年的19個典型指標(biāo)的數(shù)據(jù)集，發(fā)現(xiàn)了一些新穎的兩變量相關(guān)關(guān)系。
　　此外，借助化學(xué)體系的思想，提出了“理想相關(guān)體系”的多變量相關(guān)關(guān)系框架，探討了兩者的映射關(guān)系。通過證明三個互信息分解