聚類分析在stata中的實(shí)現(xiàn)和案例

1、第 15 15 章 聚類分析 聚類分析聚類分析是根據(jù)樣品或指標(biāo)的“相似”特征進(jìn)行分類的一種多元統(tǒng)計(jì)分析 方法，其目標(biāo)是發(fā)現(xiàn)樣品或指標(biāo)的自然分類方法。在社會(huì)經(jīng)濟(jì)領(lǐng)域中存在著大量分類問題，比如對(duì)我國 31 個(gè)省市自治區(qū)獨(dú)立核算工業(yè)企業(yè)經(jīng)濟(jì)效益進(jìn)行分 析，一般不逐個(gè)分析省市自治區(qū)，而較好的做法是選取反映企業(yè)經(jīng)濟(jì)效益的代表性指標(biāo)，如百元固定資產(chǎn)實(shí)現(xiàn)利率、資金利稅率、產(chǎn)值利稅率、百元銷售收入實(shí)現(xiàn)利潤、全員勞動(dòng)生產(chǎn)率等等，根據(jù)這些指標(biāo)對(duì) 31 個(gè)省

2、市自治區(qū)進(jìn)行分 類，然后根據(jù)分類結(jié)果對(duì)企業(yè)經(jīng)濟(jì)效益進(jìn)行綜合評(píng)價(jià)，就易于得出科學(xué)的分 析。聚類分析方法包括兩個(gè)體系：系統(tǒng)聚類和非系統(tǒng)聚類。系統(tǒng)聚類法包括最短距離法、最長距離法、中間距離法、可變距離法、重心法、類平均法、加權(quán)類平均法、Ward 最小方差法。非系統(tǒng)聚類方根包括 K 均值、K 中位數(shù)法。15.1 15.1 相似性測(cè)度 相似性測(cè)度很多多元統(tǒng)計(jì)方法，包括聚類分析，是基于變量或觀測(cè)值的相近程度來分析的，因此在介紹聚類的 Stata 命

3、令之前，我們首先介紹一下 Stata 中關(guān)于矩陣相似性或異性的測(cè)度方法。統(tǒng)計(jì)學(xué)中用各種距離來測(cè)度變量或觀測(cè)值的相似性或相異性。一般將這種相似性稱為相似系數(shù)，來刻畫兩個(gè)指標(biāo)的相似程度，相似系數(shù)絕對(duì)值越接近于 1,表示兩個(gè)指標(biāo)之間的關(guān)系越密切，相似系數(shù)絕對(duì)值 越接近于 0,則表示兩個(gè)指標(biāo)之間的關(guān)系越疏遠(yuǎn)。Stata 計(jì)算相似性的命令格式如下：matrix dissimilarity matname = [varlist] [if] [in]

4、 [,options] 一般情況下，我們選用默認(rèn)情況就行了，對(duì)于 options 不用去理。15.2 15.2 系統(tǒng)聚類法 系統(tǒng)聚類法命令格式 1（利用數(shù)據(jù)進(jìn)行系統(tǒng)聚類）：cluster singlelinkage [varlist] [if] [in] [, options] 最短距離法將兩個(gè)組之間最接近的一對(duì)觀測(cè)案例之間的相異性作為兩個(gè)組之間的相異性來加以計(jì)算。盡管簡(jiǎn)單，但是這一方法對(duì)特異值或測(cè)量錯(cuò)誤的耐抗性較差。觀測(cè)案例是

5、一次性聚類，往往形成非平衡的、不斷加大的組。在這組中，成員很少具有共性，但是又通過中間觀測(cè)案例連結(jié)起來，這種問題被稱作鏈接問題。cluster completelinkage [varlist] [if] [in] [, options] 最長距離法使用兩組之間距離最遠(yuǎn)的一對(duì)觀測(cè)案例作為代表。該方法對(duì)特異值沒有最短聯(lián)結(jié)法那樣敏感，但具有相反的傾向，即容易將許多案例聚集成空間緊密的群。cluster averagelinkage [v

6、arlist] [if] [in] [, options] 類平均法使用兩個(gè)組之間觀測(cè)案例的平均相異性，產(chǎn)生的屬性居于最短聯(lián)結(jié)法和最長聯(lián)結(jié)法之間。模擬研究報(bào)告表明，這一方法在許多情況下都表現(xiàn)很好，并且合理地穩(wěn)健。這種方法常用于考古學(xué)中。cluster waveragelinkage [varlist] [if] [in] [, options] 加權(quán)類平均法cluster medianlinkage [varlist] [if

7、] [in] [, options] 中間距離法加權(quán)平均聯(lián)結(jié)法和中位數(shù)聯(lián)結(jié)法分別是平均聯(lián)結(jié)法和重心聯(lián)結(jié)法的變種。在這兩種情形中，差異在于不等規(guī)模的組在合并時(shí)是如何處理的。對(duì)于平均聯(lián)結(jié)法和重心聯(lián)結(jié)法說，每一組元素的數(shù)量被分解到計(jì)算中，并對(duì)更大的組相應(yīng)地賦予更大的影響（因?yàn)槊織l觀測(cè)15.3 15.3 K 均值聚類法 均值聚類法利用數(shù)據(jù)進(jìn)行 k 均值聚類和 k 中位數(shù)聚類的 Stata 命令為：cluster kmeans [varl

8、ist] [if] [in] ,k(#) [options]cluster kmedians [varlist] [if] [in] ,k(#) [options]其中，k(#)表示分為#組。measure(measure) 相似性的測(cè)度方法，見測(cè)度方法匯總表name(clname) 聚類分析的名稱start(*) 初始值的設(shè)定方法，包括如下幾種：krandom[(see

9、d#)] 隨機(jī)抽取 k 個(gè)不同的觀測(cè)值作為 k 組的中心點(diǎn)firstk[,exclude] 前 k 個(gè)觀測(cè)值作為 k 組的初始中心點(diǎn)，exclude 表示前 k個(gè)觀測(cè)值不進(jìn)行聚類last[,exclude] 后 k 個(gè)觀測(cè)值作為 k 組的初始中心點(diǎn)，exclude 表示后 k個(gè)觀測(cè)值不進(jìn)行聚類random[seed(#)] 從[min,max]的均勻分布中隨機(jī)生成 k 個(gè)數(shù)作為 k 組的初始中心

10、點(diǎn)prandom[seed(#)] 將觀測(cè)值隨機(jī)分為 k 組，用 k 組的均值作為 k 組的初始中心點(diǎn)例子： 例子：use http://www.stata-press.com/data/r11/physed,clearsummarize flex speed strengthgraph matrix flex speed strength*從圖形中判斷要分成多少類cluster k flex speed strength,k(

11、4) name(g4abs) cluster list g4abstable g4abstabstat flex speed strength,by(g4abs) stat(min mean max)graph matrix flex speed strength,m(i) mlabel(g4abs) mlabpos(0)cluster k flex speed strength,k(3) name(g3abs) cluster k f

12、lex speed strength,k(5) name(g5abs) table g3abs g4abs,coltable g5abs g4abs,col15.4 15.4 聚類停止法則 聚類停止法則對(duì)于系統(tǒng)聚類法，Stata 可以計(jì)算不同分類的 Calinski and Harabasz(1974)pseudo-F 指數(shù)和 Duda and Hart(1973)Je(2)/Je(1)指數(shù)，從而 判斷最優(yōu)的分類數(shù)。對(duì)于 k 均值分類