因子分析-湖北大學(xué)新聞傳播學(xué)院歡迎你！

1、第五章 因子分析,第一節(jié) 因子分析簡介第二節(jié) 基本原理第三節(jié) 求解初始因子第四節(jié) 解釋因子第五節(jié) 因子值及其應(yīng)用第六節(jié) 研究實(shí)例,參見郭志剛主編，《社會統(tǒng)計(jì)分析方法—SPSS軟件應(yīng)用》第三章， 中國人民大學(xué)出版社1999,第一節(jié) 因子分析簡介,因子分析( Factor Analysis ,也稱因素分析)是一種數(shù)據(jù)化簡技術(shù)1、考察一組變量之間的協(xié)方差或相關(guān)系數(shù)結(jié)構(gòu)2、解釋這些變量與為數(shù)較少的因子(即不可觀測

2、的潛變量) 之間的關(guān)聯(lián),分類,探索性因子分析( Exploratory Factor Analysis ,EFA) 驗(yàn)證性因子分析(Confirmatory Factory Analysis ,CFA ） ——也稱為實(shí)證性因子分析、證實(shí)性因子分析、確定性因子分析) 。,共同點(diǎn),1、理論基礎(chǔ)：普通因子分析模型2、主要目的：濃縮數(shù)據(jù) ——通過對諸多變量的相關(guān)性研究,用假想的少數(shù)幾個(gè)變量(因子、潛變量) 來表示原來

3、變量(觀測變量) 的主要信息。,不同,1、基本思想不同因子分析的基本思想是要尋找公共因子,以達(dá)到數(shù)據(jù)化簡的目的。探索性因子分析：找出影響觀測變量的因子個(gè)數(shù),以及各個(gè)因子和各個(gè)觀測變量之間的相關(guān)程度,以試圖揭示一套相對比較大的變量的內(nèi)在結(jié)構(gòu)。研究者的假定是每個(gè)指標(biāo)變量都與某個(gè)因子匹配,而且只能通過因子載荷憑知覺推斷數(shù)據(jù)的因子結(jié)構(gòu)。,驗(yàn)證性因子：決定事前定義因子的模型擬合實(shí)際數(shù)據(jù)的能力,以試圖檢驗(yàn)觀測變量的因子個(gè)數(shù)和因子載荷是否與基于

4、預(yù)先建立的理論的預(yù)期一致。指標(biāo)變量是基于先驗(yàn)理論選出的,而因子分析是用來看它們是否如預(yù)期的一樣。先驗(yàn)假設(shè)：每個(gè)因子都與一個(gè)具體的指示變量子集對應(yīng),并且至少要求預(yù)先假設(shè)模型中因子的數(shù)目,但有時(shí)也預(yù)期哪些變量依賴哪個(gè)因子。,2、應(yīng)用前提不同探索性因子分析沒有先驗(yàn)信息,而驗(yàn)證性因子分析有先驗(yàn)信息。探索性因子分析是在事先不知道影響因子的基礎(chǔ)上,完全依據(jù)樣本數(shù)據(jù),利用統(tǒng)計(jì)軟件以一定的原則進(jìn)行因子分析,通過因子載荷憑知覺推斷數(shù)據(jù)的因子結(jié)構(gòu)，

5、最后得出因子的過程。適合于在沒有理論支持的情況下對數(shù)據(jù)的試探性分析。這就需要用驗(yàn)證性因子分析來做進(jìn)一步檢驗(yàn),驗(yàn)證性因子分析基于預(yù)先建立的理論,要求事先假設(shè)因子結(jié)構(gòu),其先驗(yàn)假設(shè)是每個(gè)因子都與一個(gè)具體的指示變量子集對應(yīng),以檢驗(yàn)這種結(jié)構(gòu)是否與觀測數(shù)據(jù)一致。也就是在上述數(shù)學(xué)模型中,首先要根據(jù)先驗(yàn)信息判定公共因子數(shù)m ,同時(shí)還要根據(jù)實(shí)際情況將模型中某些參數(shù)設(shè)定為某一定值。這樣,驗(yàn)證性因子分析也就充分利用了先驗(yàn)信息,在已知因子的情況下檢驗(yàn)所

6、搜集的數(shù)據(jù)資料是否按事先預(yù)定的結(jié)構(gòu)方式產(chǎn)生作用。,3、理論假設(shè)不同探索性因子分析的假設(shè)主要包括: ①所有的公共因子都相關(guān)(或都不相關(guān)) ; ②所有的公共因子都直接影響所有的觀測變量; ③特殊(唯一性) 因子之間相互獨(dú)立; ④所有觀測變量只受一個(gè)特殊(唯一性) 因子的影響; ⑤公共因子與特殊因子(唯一性) 相互獨(dú)立。,驗(yàn)證性因子分析克服了探索性因子分析假設(shè)條件約束太強(qiáng)的缺陷,其假設(shè)主要包括: ①公共因子之間可以相關(guān),也可以無

7、關(guān); ②觀測變量可以只受一個(gè)或幾個(gè)公共因子的影響,而不必受所有公共因子的影響; ③特殊因子之間可以相關(guān),還可以出現(xiàn)不存在誤差因素的觀測變量; ④公共因子與特殊因子之間相互獨(dú)立,4、分析步驟不同探索性因子分析主要有以下七個(gè)步驟: ①收集觀測變量:通常采用抽樣的方法,按照實(shí)際情況收集觀測變量數(shù)據(jù)。②構(gòu)造相關(guān)矩陣:根據(jù)相關(guān)矩陣可以確定是否適合進(jìn)行因子分析。③確定因子個(gè)數(shù):可根據(jù)實(shí)際情況事先假定因子個(gè)數(shù),也可以按照特征根大于1 的

8、準(zhǔn)則或碎石準(zhǔn)則來確定因子個(gè)數(shù)。④提取因子:可以根據(jù)需要選擇合適的因子提取方法,如主成分方法、加權(quán)最小平方法、極大似然法等。,,⑤因子旋轉(zhuǎn):由于初始因子綜合性太強(qiáng),難以找出實(shí)際意義,因此一般都需要對因子進(jìn)行旋轉(zhuǎn)(常用的旋轉(zhuǎn)方法有正交旋轉(zhuǎn)、斜交旋轉(zhuǎn)等) ,以便于對因子結(jié)構(gòu)進(jìn)行合理解釋。⑥解釋因子結(jié)構(gòu):可以根據(jù)實(shí)際情況及負(fù)載大小對因子進(jìn)行具體解釋。⑦計(jì)算因子得分:可以利用公共因子來做進(jìn)一步的研究,如聚類分析、評價(jià)等。,驗(yàn)證性因子分析主要

9、有以下六個(gè)步驟: ①定義因子模型:包括選擇因子個(gè)數(shù)和定義因子載荷。因子載荷可以事先定為0 、或者其它自由變化的常數(shù),或者在一定的約束條件下變化的數(shù)(比如與另一載荷相等) 。②收集觀測值:根據(jù)研究目的收集觀測值。③獲得相關(guān)系數(shù)矩陣:根據(jù)原始資料數(shù)據(jù)獲得變量協(xié)方差陣。④擬合模型:這里需要選擇一種方法(如極大似然估計(jì)、漸進(jìn)分布自由估計(jì)等) 來估計(jì)自由變化的因子載荷。,⑤評價(jià)模型:當(dāng)因子模型能夠擬合數(shù)據(jù)時(shí),因子載荷的選擇要使模型暗含的相

10、關(guān)矩陣與實(shí)際觀測矩陣之間的差異最小。常用的統(tǒng)計(jì)參數(shù)有:卡方擬合指數(shù)(χ2 ) 、比較擬合指數(shù)(CFI) 、擬合優(yōu)度指數(shù)( GFI) 和估計(jì)誤差均方根( RMSEA) 。根據(jù)Bentler(1990) 的建議標(biāo)準(zhǔn),χ2 ≤3. 0 、CFI ≥0. 90 、GFI ≥0. 85 、RMSE ≤0. 05 ,則表明該模型的擬合程度是可接受的。⑥修正模型:如果模型擬合效果不佳,應(yīng)根據(jù)理論分析修正或重新限定約束關(guān)系,對模型進(jìn)行修正,以得到最

11、優(yōu)模型。,5、主要應(yīng)用范圍不同探索性因子分析: ①尋求基本結(jié)構(gòu),解決多元統(tǒng)計(jì)分析中的變量間強(qiáng)相關(guān)問題;②數(shù)據(jù)化簡。,驗(yàn)證性因子分析允許研究者將觀察變量依據(jù)理論或先前假設(shè)構(gòu)成測量模式,然后評價(jià)此因子結(jié)構(gòu)和該理論界定的樣本資料間符合的程度。因此,主要應(yīng)用于以下三個(gè)方面: ①驗(yàn)證量表的維度或面向性( dimensionality) ,或者稱因子結(jié)構(gòu),決定最有效因子結(jié)構(gòu); ②驗(yàn)證因子的階層關(guān)系; ③評估量表的信度和效度。,,假設(shè)觀

12、測變量之間相關(guān)是因?yàn)樗麄児蚕砉蜃印?探索性因子分析思路,目的：化簡數(shù)據(jù)方式：研究眾多變量之間的內(nèi)部依賴關(guān)系，探求觀測數(shù)據(jù)中的基本結(jié)構(gòu)，并用少數(shù)幾個(gè)假想變量（因子）表示基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)實(shí)質(zhì)：研究如何以最少的信息丟失把眾多觀測變量濃縮為少數(shù)幾個(gè)因子,將每個(gè)觀測變量用一組因子的線性組合表示：xi = ai1 f1 + ai2 f2 + …+ aim fm + ui ( i = 1,2,…,k)(1) f1 ，f2 ，…

13、，fm 叫做公因子(Common factors)，它們是各個(gè)觀測變量所共有的因子，解釋了變量之間的相關(guān)。(2) ui稱為特殊因子(Unique factor)，它是每個(gè)觀測變量所特有的因子，相當(dāng)于多元回歸中的殘差項(xiàng)，表示該變量不能被公因子所解釋的部分。(3) aij 稱為因子負(fù)載(Factor loadings)，它是第i個(gè)變量在第j個(gè)公因子上的負(fù)載，相當(dāng)于多元回歸分析中的標(biāo)準(zhǔn)回歸系數(shù)（i=1,…,k; j=1,…,m）。,第

14、二節(jié) （探索性）因子分析原理,一、模型,因子分析模型,公因子個(gè)數(shù)小于等于觀測變量數(shù),1、因子負(fù)載 （factor loading） 反映了因子和變量之間的相關(guān)程度，當(dāng)公因子之間完全不相關(guān)時(shí)，等于變量和因子之間的相關(guān)系數(shù)。,二、概念,大多數(shù)情況下，人們往往假設(shè)公因子之間的關(guān)系是彼此正交的（orthogonal），即不相關(guān)——因子負(fù)載不僅表示了觀測變量如何由因子線性表示，而且反映了因子和變量間的相關(guān)程度,2、公因子方差(Co

15、mmunality) 又稱共同度、公共方差，指觀測變量方差中由公因子決定的比例。 當(dāng)公因子之間彼此正交時(shí)，公因子方差等于和該變量有關(guān)的因子負(fù)載的平方和，用公式表示為：hi2 = ai12 + ai22 + … + aim2 （行平均和）,,變量方差＝公因子方差＋特殊因子方差,值越大，變量能被因子說明的程度越高意義：說明如果用公因子替代觀測變量后，原來每個(gè)變量的信息被保留的程度,3、因子貢獻(xiàn)(Contribution

16、s) 反映每個(gè)公因子對數(shù)據(jù)的解釋能力，用該因子所解釋的總方差來衡量。,,因子貢獻(xiàn)：因子負(fù)載列平方和即：數(shù)據(jù)輸出中的特征值,更常用指標(biāo)：每個(gè)因子所解釋的方差（因子貢獻(xiàn)）占所有變量總方差的比例 （即：因子貢獻(xiàn)或特征值除以變量個(gè)數(shù)——即總方差，因?yàn)闃?biāo)準(zhǔn)化變量的標(biāo)準(zhǔn)差和方差均為1）衡量公因子的相對重要性,公因子累積解釋方差比例，判斷因子分析效果,1、檢查相關(guān)矩陣是否適合做因子分析（變量間應(yīng)高度相關(guān) >0.3）2、提取因子

17、3、因子旋轉(zhuǎn)4、計(jì)算因子值,三、因子分析的步驟,變量：間距測度及以上。樣本規(guī)模：至少是變量數(shù)的5倍,判斷數(shù)據(jù)是否適合做 因子分析,1、反映象相關(guān)矩陣 (Anti-image correlation matrix)。 其元素等于負(fù)的偏相關(guān)系數(shù)。2、巴特利特球體檢驗(yàn)(Bartlett test of sphericity) 零假設(shè)為相關(guān)矩陣是單位陣（說明變量間不相關(guān)）3、KMO (Kaiser-Meyer-

18、Olkin Measure of Sampling Adequacy) 測度。 該測度從比較觀測變量之間的簡單相關(guān)系數(shù)和偏相關(guān)系數(shù)的相對大小出發(fā)，【0，1】。當(dāng)所有變量之間的偏相關(guān)系數(shù)的平方和，遠(yuǎn)遠(yuǎn)小于簡單相關(guān)系數(shù)的平方和時(shí)，KMO值接近1. 0.9以上，非常好; 0.6，差; 0.8以上，好; 0.5，很差; 0.7，一般;

19、 0.5 以下，不能接受,該矩陣中各項(xiàng)值應(yīng)該比較小。因?yàn)檫@說明變量間存在大量的重疊影響（公因子）,應(yīng)該通過檢驗(yàn),數(shù)(純)量矩陣（標(biāo)量矩陣）,稱為單位矩陣（或單位陣）.有時(shí)也記作E.,為數(shù)量矩陣或標(biāo)量陣。,當(dāng) 時(shí)，記作,,,,,,第三節(jié) 求解初始因子,目的：確定能夠解釋觀測變量之間相關(guān)關(guān)系的最小因子個(gè)數(shù)主成分分析：獨(dú)立的數(shù)據(jù)化簡技術(shù)。因子分析將其結(jié)果作為初始因子解（特征值）公因

20、子分析：主軸因子法、極大似然法、最小二乘法、alpha法,一、主成分分析法,把給定的一組（k個(gè)）相關(guān)變量通過線性變換轉(zhuǎn)換成另一組不相關(guān)的變量，這些新的變量按照方差依次遞減的順序排列。轉(zhuǎn)換中保持變量的總方差不變，使第一個(gè)變量具有最大的方差，稱為第一主成分，第二個(gè)變量方差次大，且和第一個(gè)變量不相關(guān)，稱為第二主成分，依次類推，k個(gè)變量有k個(gè)主成分,1、主成分的幾何意義,最長的軸：第一主成分次長的軸：第二主成分……,2、主成分的求解,數(shù)

21、學(xué)工具：特征方程做法：通過求解觀測變量相關(guān)矩陣的特征方程，得到k個(gè)特征值和對應(yīng)的k個(gè)單位特征向量，把k個(gè)特征值從大到小排列，它們分別代表k個(gè)主成分所解釋的觀測變量的方差主成分是觀測變量的線性組合，線性組合的權(quán)數(shù)即為相應(yīng)的單位特征向量中的元素,1）特征值準(zhǔn)則：保留特征值大于等于1的因子2）碎石檢驗(yàn)準(zhǔn)則（SCREE TEST CRITERION）——因子特征值隨因子個(gè)數(shù)變化的散點(diǎn)圖曲線變平開始的前一點(diǎn)被認(rèn)為是提取的最大因子數(shù)

22、因子累計(jì)解釋方差的比例超過70-80%。3）直接指定因子個(gè)數(shù)。,3、確定因子個(gè)數(shù),二、公因子分析法,從解釋變量的方差出發(fā)，假設(shè)變量的方差能完全被主成分所解釋,從解釋變量之間的相關(guān)關(guān)系出發(fā)，假設(shè)觀測變量之間的相關(guān)能完全被公因子解釋但變量的方差不一定完全被公因子解釋，這樣每個(gè)變量被公因子所解釋的方差不再是1，而是公因子方差求解因子解時(shí)，只考慮公因子方差,,主成分法,公因子法,公因子方差的估計(jì)主軸因子法最小二乘法最大似然法a因

23、子提取法映象分析法,,,方法選擇,依據(jù)：目的＋對變量方差的了解程度——以最少的因子最大程度地解釋原始數(shù)據(jù)中的方差 / 知道特殊因子和誤差帶來的方差很小 主成分分析法——為了確定數(shù)據(jù)結(jié)構(gòu)，而且并不了解變量方差 公因子分析法,,,,解很接近,第四節(jié) 解釋因子,求得因子解后，大多數(shù)因子都和很多變量有關(guān)，無法很好地說明其實(shí)際含義,,一、思路,因子旋轉(zhuǎn)的目的: 通過改變坐標(biāo)軸的位置，重新分配各個(gè)因子所解釋的方差的比例，使因子

24、結(jié)構(gòu)更簡單，更易于解釋。 因子旋轉(zhuǎn)不改變模型對數(shù)據(jù)的擬合程度，不改變每個(gè)變量的公因子方差,因子旋轉(zhuǎn)方法 Rotation,正交旋轉(zhuǎn)(Orthogonal Rotation): 因子軸之間仍然保持90度角，即因子之間是不相關(guān)的。斜交旋轉(zhuǎn)（Oblique Rotation): 因子軸之間不必是90度角，即因子之間可以是相關(guān)的。,,四次方最大法－QUARTIMAX

25、 方差最大法－VARIMAX 等量最大法－EQUIMAX,二、正交旋轉(zhuǎn)方法,目標(biāo)：簡化因子負(fù)載矩陣的行和列，使因子負(fù)載向0,1兩極分化,,因子模式和因子結(jié)構(gòu)因子模式(Factor pattern)矩陣：因子負(fù)載矩陣因子結(jié)構(gòu)(Factor structure)矩陣：因子和變量之間的相關(guān)矩陣。 在斜交旋轉(zhuǎn)中，因子負(fù)載不

26、再等于因子和變量之間的相關(guān)系數(shù)，因子結(jié)構(gòu)和因子模式之間是有區(qū)別的。二者關(guān)系： S = BWS 因子結(jié)構(gòu)矩陣B 因子模式矩陣W 斜交因子之間的相關(guān)系數(shù)矩陣斜交因子解,三、斜交旋轉(zhuǎn)方法,數(shù)據(jù)化簡，把很多變量濃縮成少數(shù)幾個(gè)因子，對因子的確切含義不在意——正交旋轉(zhuǎn)得到理論上有意義的因子——斜交,四、選擇旋轉(zhuǎn)方法,理論上斜交優(yōu)于正交但實(shí)際上正交應(yīng)用更為廣泛默認(rèn)：方差最大法,做法：從簡化因子負(fù)載矩

27、陣的每列出發(fā)，使和每個(gè)因子有關(guān)的負(fù)載平方的方差最大意義：希望通過因子旋轉(zhuǎn)后，使每個(gè)因子上的負(fù)載盡可能地拉開距離，趨于0或1,得到最后因子解后，我們希望給每個(gè)因子一個(gè)有意義的解釋。解釋因子主要是借助于因子負(fù)載矩陣，首先找出在每個(gè)因子上有顯著負(fù)載的變量，根據(jù)這些變量的意義給因子一個(gè)合適的名稱，具有較高負(fù)載的變量對因子名稱的影響更大。實(shí)際中，一般認(rèn)為絕對值大于0.3 的因子負(fù)載就是顯著的。,四、解釋因子,因子值(Factor sc

28、ores)： 因子在每個(gè)樣本案例上的值。,xji是第j個(gè)變量在第i個(gè)案例上的值，wpj是第p個(gè)因子和第j個(gè)變量之間的因子值系數(shù),第五節(jié) 因子值及其應(yīng)用,有了因子值，就可以把因子作為變量來用，進(jìn)行其他的統(tǒng)計(jì)分析,,,理解,因子分析模型是用因子的線性組合來表示一個(gè)觀測變量，因子負(fù)載是該線性組合的權(quán)數(shù)（標(biāo)準(zhǔn)化回歸系數(shù)）求因子值的過程正好相反，它通過觀測變量的線性組合來表示因子，因子值是觀測變量的加權(quán)平均。因?yàn)楦鱾€(gè)變量在因