Trong phạm vi luận văn này, chúng tôi sẽgiới thiệu phương pháp phân tích nhân tố, phân tích thành phần chính, so sánhgiữa hai phương pháp và áp dụng chúng vào giải bài toán thực tế.. Tro
Giá trị trung bình và phương sai của biến ngẫu nhiên một chiều
Biến ngẫu nhiên được định nghĩa là một biến mà giá trị của nó phụ thuộc vào kết quả ngẫu nhiên của phép thử.
Hàm mật độf(y)là tần số xuất hiện của biến ngẫu nhiên y Do đó, nếu f(y 1 )> f(y 2 ) thì các điểm lân cận của y 1 xuất hiện nhiều hơn các điểm lân cận của y 2
Trung bình tổng thể của biến ngẫu nhiên được định nghĩa là trung bình tất cả cỏc giỏ trị cú thể của y và được ký hiệu là à Giỏ trị trung bỡnh này cũn được gọi là giá trị kỳ vọng của y hoặc E(y).Trung bình mẫu của mẫu ngẫu nhiên n biến quan sát y 1 , y 2 , , y n được tính theo công thức y= 1 n n
Nếu mỗi y trong tổng thể được nhân với một hằng số a, giá trị kỳ vọng cũng được nhân với a :
Trung bình mẫu có tính chất tương tự Nếu z i =ay i , i= 1,2, , n, thì z =ay (1.3)
Phương sai của tổng thể được định nghĩa là var(y) =σ 2 =E(y−à) 2 và σ 2 =E y 2
−à 2 Phương sai mẫu được định nghĩa s 2 n
P i=1 y 2 i −ny 2 n−1 (1.5) Độ lệch chuẩn là căn bậc hai của phương sai tổng thể hoặc là phương sai mẫu.
Nếu mỗi y được nhân với một hằng số a thì phương sai tổng thể được nhân với a 2 var(ay) =a 2 σ 2
Tương tự, nếuz i =ay i , i= 1,2, , nthì phương sai mẫu của z được tính theo công thức s 2 z =a 2 s 2 (1.6)
Hiệp phương sai và tương quan của biến ngẫu nhiên hai chiều
Hiệp phương sai
Nếu hai biếnxvàyđược đo lường trên cùng một đơn vị nghiên cứu, ta có biến ngẫu nhiên hai chiều(x, y).
Hiệp phương sai tổng thể được định nghĩa cov (x, y) = σ xy =E[(x−à x ) (y−à y )], (1.7) với à x và à y tương ứng là trung bỡnh của x và y Nếu x và y cựng trờn hoặc dưới giỏ trị trung bỡnh thỡ tớch (x−à x ) (y−à y ) sẽ dương và giỏ trị trung bỡnh của tớch này sẽ dương Ngược lại, tớch (x−à x ) (y−à y )sẽ õm và giỏ trị trung bỡnh của tớch này sẽ âm.
Hiệp phương sai tổng thể có thể được biểu diễn dưới dạng σ xy =E(xy)−à x à y Nếux và y là biến ngẫu nhiên hai chiều thì
E(x+y) =E(x) +E(y) (1.8) E(xy) = E(x)E(y) nếu x và y độc lập (1.9) Nếux và y độc lập thì σ xy = 0 σ xy =E(xy)−à x à y
=à x à y −à x à y = 0 Hiệp phương sai mẫu được dịnh nghĩa là s xy n
Sự tương quan
Hiệp phương sai phụ thuộc vào thang đo củaxvày, rất khó để so sánh hiệp phương sai giữa các cặp khác nhau của các biến Để tìm thước đo của mối quan hệ tuyến tính bất biến khi thay đổi tỷ lệ, ta có thể chuẩn hóa hiệp phương sai bằng cách chia cho độ lệch chuẩn của hai biến Sự chuẩn hóa hiệp phương sai này được gọi là tương quan Tương quan tổng thể của hai biến xvà y là ρ xy =corr(x, y) = σ xy σ x σ y = E[(x−à x ) (y−à y )] q E(x−à x ) 2 q E(y−à y ) 2
, (1.12) và tương quan mẫulà rxy = s xy s x s y n
Tương quan này nằm trong khoảng −1 và 1.
Tương quan mẫu r xy có liên quan đến cosin của góc giữa hai vectơ Đặt θ là góc giữa vectơa vàb Vectơ từ điểm cuối củaađến điểm cuối củablà vectơc=b−a.
= 0, từ(1.14)a / b = 0 khiθ= 90 0 Do đóavàb vuông góc nhau khi a / b = 0, hai vectơ avà b cũng được gọi là trực giao.
Từ(1.14), đặtnvectơ quan sát(x 1 , y 1 ),(x 2 , y 2 ), ,(x n , y n )theo hai chiều được biểu diễn như hai vectơ x / = (x 1 , x 2 , , x n ) và y / = (y 1 , y 2 , , y n ) theo n chiều, và qui tâm x và y, nghĩa là x−xj và y−yj Khi đó cosin của góc θ (1.14) bằng tương quan mẫu giữax và y cosθ = (x−xj) / (y−yj) p[(x−xj) / (x−xj)] [(y−yj) / (y−yj)] n
Hình 1.1: Vectơ a và b trong không gian 3 chiều.
Do đó nếu góc θ giữa hai vectơ qui tâm x−xj và y−yj nhỏ để cosθ gần 1, r xy sẽ gần 1 Nếu hai vectơ vuông góc,cosθ và r xy bằng 0 Nếu hai vectơ ngược hướng nhau, r xy sẽ bằng−1.
Vectơ trung bình
Đặt ylà một vectơ ngẫu nhiên của pbiến đo trên cùng một đơn vị mẫu Nếu có n cá thể trong mẫu,n vectơ quan sát được ký hiệu lày 1 ,y 2 , ,y n , y i
Vectơ trung bình mẫuylà trung bình củan vectơ quan sát hoặc tính toán bằng giá trị trung bình củap biến riêng biệt y = 1 n n
X i = 1 y i2 n Khi đó y 1 là trung bình của n quan sát của biến đầu tiên, y 2 trung bình của n quan sát của biến thứ hai,
Tất cản vectơ quan sát y 1 ,y 2 , ,y n có thể được chuyển thành vectơ hàng và được liệt kê trong ma trận Y:
Vìnthường lớn hơn p, dữ liệu có thể lập bảng thuận tiện hơn bằng cách nhập vectơ quan sát theo hàng hơn là theo cột Kí hiệu itương ứng với các đơn vị (đối tượng) và j các biến.
Có hai cách để tínhy trong(1.16), ta có thể tính ytừY Tổngn phần tử trên mỗi cột củaY và chia cho n (gọi là y / ) y / = 1 nj / Y, (1.18) với j / là các vectơ của 1 Ví dụ, phần tử thứ hai của j / Y là
Ta chuyển vị (1.18) thành y= 1 nY / j (1.19)
Vectơ trung bình tổng thể (hoặc giá trị kỳ vọng củay) là trung bình của tất cả các giá trị có thể của y trong tổng thể Nó được định nghĩa như là một vectơ của các giá trị kỳ vọng của mỗi biến,
=à, (1.20) với à j là trung bỡnh tổng thể của biến thứ j.
Cú thể biểu diễn giỏ trị kỳ vọng của mỗiy j trongy lààj, nghĩa làE y j
=àj Do đó giá trị kỳ vọng củay (trên tất cả các mẫu có thể) là
Vỡ vậy, y là ước lượng khụng chệch của à.
Ma trận hiệp phương sai
Ma trận hiệp phương sai mẫuS= (sjk) là ma trận của phương sai mẫu và hiệp phương sai của p biến :
Trong S phương sai mẫu của p biến nằm trên đường chéo, và tất cả các cặp hiệp phương sai mẫu nằm ngoài đường chéo Hàng (cột) thứj chứa các hiệp phương sai của y j với p−1 các biến khác.
Có 3 hướng tínhS Cách thứ nhất ta chỉ đơn giản tính toán trên các phần tử riêng lẽ s jk Phương sai mẫu của biến thứ j, s jj =s 2 j được tính như (1.4) hoặc (1.5), sử dụng cột thứ j của Y s jj =s 2 j = 1 n−1 n
, (1.24) với y j là trung bình của biến thứj, như trong (1.16) Hiệp phương sai mẫu của các biến thứ j và k,s jk , được tính như trong (1.9) hoặc(1.10), dùng các cột thứ j và k của Y sjk = 1 n−1 n
Trong (1.23) phương sai s jj được biểu diễn như s 2 j , bình phương độ lệch chuẩn s j , S đối xứng vì sjk =skj trong (1.25) Tên gọi khác của ma trận hiệp phương sai là ma trận phương sai, ma trận phương sai – hiệp phương sai hay ma trận phân tán.
Ma trận hiệp phương sai mẫuS cũng có thể biểu diễn theo các vectơ quan sát:
, phần tử ở vị trí(1,1)của(y i −y) (y i −y) / là(y i 1 −y 1 ) 2 , và khi tính tổng theo i như trong (1.27), kết quả làs 11 trong (1.23).
Tương tự, phần tử ở vị trí (1,2) của (y i −y) (y i −y) / là (yi 1 −y 1 )(yi 2 −y 2 ), và khi tính tổng là s 12 trong (1.25) Do đó, (1.27) tương đương với (1.23) và (1.25), tương tự (1.28) tương đương(1.24) và (1.26).
Có thể biểu diễnStrực tiếp từ ma trậnY trong(1.17) Vế phải của(1.26),X i y ij y ik , là các cột thứj và thứkcủaY,ny j y k là phần tử thứ(jk)của nyy / Y / Y chứa tích các cột của Y Từ (1.18) và (1.19), y= Y / j n và y / = j / Y n , ta có nyy / =Y / J nY. Do đóS có thể được viết lại
Ma trận hiệp phương sai tổng thể được định nghĩa Σ= cov(y)
Các phần tử trên đường chéo σ jj = σ 2 j là các phương sai tổng thể của y, các phần tử không nằm trên đường chéo σ jk là các hiệp phương sai của tất cả các cặp có thể có củay.
Ma trận hiệp phương sai tổng thể cũng có thể được biểu diễn Σ=Eh
, (1.31) tương tự như (1.27) cho ma trận hiệp phương sai mẫu Ma trận p × p chiều(y−à) (y−à) / là một ma trận ngẫu nhiờn Giỏ trị kỳ vọng của một ma trận ngẫu nhiên được định nghĩa như là ma trận của các giá trị kỳ vọng của các phần tử tương ứng Để thấy tích (1.31) của phương sai tổng thể và hiệp phương sai của pbiến như (1.30), lưu ý rằng Σ=Eh
Σcó thể được biểu diễn dạng tương tự (1.28) Σ=E yy /
Khi E(s jk ) = σ jk với mọi j, k, ma trận hiệp phương sai mẫu S là một ước lượng không chệch của Σ
Ma trận tương quan
Ma trận tương quan mẫu tương tự như ma trận hiệp phương sai với các tương quan thay thế cho các hiệp phương sai.
Hàng thứ hai, là tương quan củay 2 với mỗi phần tử củay (bao gồm cả tương quan của chínhy 2 , bằng 1) Ma trận Rđối xứng khi r jk =r kj
Ma trận tương quan có thể tính được từ ma trận hiệp phương sai và ngược lại Định nghĩa
Ma trận tương quan tổng thể tương tự (1.35) được định nghĩa
Tổ hợp tuyến tính giữa các biến
Đặt a 1 , a 2 , , a p là các hằng số và xét tổ hợp tuyến tính của vectơ y, z =a 1 y 1 +a 2 y 2 + +a p y p =a / y, (1.39) với a / = (a 1 , a 2 , , a p ) Nếu có cùng vectơ hệ số acho mỗiy i trong một mẫu, ta có z i =a 1 y i1 +a 2 y i2 + +a p y ip
Trung bình mẫu của z có thể được tính bằng cách lấy trung bình n các giá trị z 1 =a / y 1 , z 2 =a / y 2 , , z n =a / y n hay là tổ hợp tuyến tính củay, trung bình mẫu của vectơ y 1 ,y 2 , ,y n z = 1 n n
Kết quả trong(1.41)tương tự như kết quả(1.3), z =ay, vớiz i =ay i ,i= 1,2, , n.
Tương tự, phương sai mẫu củaz i =a / y i ,i= 1,2, , n, có thể được tính như phương sai mẫu củaz 1 , z 2 , , z n hoặc trực tiếp từa và S, với S là ma trận hiệp phương sai mẫu của y 1 ,y 2 , ,y n s 2 z P i = 1
Lưu ý rằng s 2 z = a / Sa tương tự như kết quả trong (1.6), s 2 z = a 2 s 2 , với z i = ay i , i= 1,2, , n, vàs 2 là phương sai củay1, y2, , yn.
Vì phương sai luôn không âm, ta có s 2 z ≥0, và do đó a / Sa≥0, với mỗi a Vì thế S ít nhất là xác định dương Nếu các biến liên tục và không quan hệ tuyến tính, và n−1> p thì S xác định dương.
Nếu chúng ta định nghĩa sự kết hợp tuyến tính khácω=b / y =b 1 y 1 +b 2 y 2 + +b p y p , với b / = (b 1 , b 2 , b p ) là một vectơ hằng số khác với a / , hiệp phương sai mẫu của z và ω s zω n
Tương quan mẫu giữa z và ω rzω = s zω ps 2 z s 2 ω = a / Sb r (a / Sa) b / Sb
Ta ký hiệu hai vectơ hằng số avà b như a1 vàa2 để thuận tiện mở rộng nhiều hơn hai vectơ Đặt
! y =Ay z i =Ay i , i= 1,2, , n Trung bình của z trong mẫu có thể được tính từy ¯ z z¯ 1 ¯ z 2
Ta dùng (1.42) và (1.43) để xây dựng ma trận hiệp phương sai của z
Nếu ta cók phép biến đổi tuyến tính, z 1 =a 11 y 1 +a 12 y 2 + +a 1p y p =a / 1 y z 2 =a 21 y 1 +a 22 y 2 + +a 2p y p =a / 2 y zk =ak1y1+ak2y2+ +akpyp =a / k y hay trong ký hiệu ma trận z
y =Ay, với z là ma trận k ×1, A là ma trận k×p và y là ma trận p×1 (k ≤ p) Nếu z i =Ay i với mọiy i ,i= 1,2, , n thì từ (1.41) z
Mở rộng (1.47), ma trận hiệp phương sai mẫu của z trở thành
a / 1 Sa1 a / 1 Sa2 a / 1 Sak a / 2 Sa 1 a / 2 Sa 2 a / 2 Sa k . a / k Sa1 a / k Sa2 a / k Sak
a / 1 (Sa 1 , Sa 2 , , Sa k ) a / 2 (Sa 1 , Sa 2 , , Sa k )
Từ (1.50) và (1.51) ta có tr ASA / k
Một biến đổi tuyến tính tổng quát hơn là z i =Ay i +b, i= 1,2, n (1.53) Vectơ trung bình mẫu và ma trận hiệp phương sai của z z=Ay i +b, (1.54)
1.2.6.2 Thuộc tính tổng thể Đặt z =a / y với a là một vectơ hằng số Trung bình tổng thể của z là
E(z) =E(a / y) =a / E(y) =a / à (1.56) và phương sai tổng thể là σ z 2 = var(a / y) =a / Σa (1.57) Đặt ω = b / y, với b là vectơ hằng số khác vectơ a Hiệp phương sai tổng thể của z =a / y và ω=b / y là cov (z, ω) = σ zω =a / Σb (1.58) Từ (1.12) tương quang tổng thể của z và ω là ρ zω = corr a / y,b / y
Nếu Ay đại diện nhiều tổ hợp tuyến tính, vectơ trung bình tổng thể và ma trận hiệp phương sai là
E(Ay) = AE(y) =Aà, (1.60) cov (Ay) = AΣA / (1.61)
Sự biến đổi tuyến tính tổng quát hơn z =Ay+b có vectơ trung bình tổng thể và ma trận hiệp phương sai
Phân tích nhân tố
Giới thiệu
Phân tích nhân tố là tên chung của một nhóm các thủ tục được sử dụng chủ yếu để thu nhỏ và tóm tắt các dữ liệu Trong nghiên cứu chúng ta có thể thu thập một số lượng biến khá lớn và hầu hết các biến này có liên hệ với nhau và số lượng của chúng phải được giảm bớt xuống đến một số lượng mà chúng ta có thể sự dụng được Liên hệ giữa các nhóm biến có liên hệ qua lại lẫn nhau được xem xét và được trình bày dưới dạng một số ít các nhân tố cơ bản.
Phân tích nhân tố là một kỹ thuật phụ thuộc lẫn nhau trong đó toàn bộ các mối liên hệ lẫn nhau sẽ được nghiên cứu
Phân tích nhân tố được sử dụng trong các trường hợp sau:
• Nhận diện các khía cạnh hay nhân tố giải thích được các liên hệ tương quan trong một tập biến.
• Nhận diện một tập hợp gồm một số lượng biến mới tương đối ít không có tương quan với nhau để thay thế tập hợp biến gốc có tương quan với nhau để thực hiện một phân tích đa biến tiếp theo sau Chẳng hạn như sau khi nhận diện các nhân tố thuộc về nhân tố ta có thể sử dụng chúng như những biến độc lập để giải thích những khác biệt giữa người trung thành và người không trung thành.
• Để nhận ra một tập hợp gồm một số ít các biến nổi trội từ một tập hợp nhiều biến để sử dụng trong các phân tích đa biến Ví dụ như từ một số khá nhiều các câu phát biểu về lối sống (biến gốc), ta chọn ra một số ít biến được sử dụng như những biến độc lập để giải thích những khác biệt giữa những nhóm người có hành vi khác nhau.
Phương pháp phân tích nhân tố được ứng dụng trong các lĩnh vực nghiên cứu kinh tế và xã hội Trong kinh doanh, phân tích nhân tố có thể được ứng dụng trong nhiều trường hợp:
• Phân tích nhân tố có thể sử dụng trong phân khúc thị trường để nhận ra các biến quan trọng để phân nhóm người tiêu dùng.
• Trong nghiên cứu sản phẩm, ta có thể sử dụng phân tích nhân tố để xác định thuộc tính các nhãn hiệu có ảnh hưởng đến lựa chọn của người tiêu dùng.
Phương pháp phân tích nhân tố được sử dụng để phân tích số lượng lớn các biến phụ thuộc để phát hiện một số khía cạnh của các biến độc lập (gọi là nhân tố) ảnh hưởng đến các biến phụ thuộc mà không cần trực tiếp phân tích các biến độc lập.
Nó cho phép một nhà phân tích để giảm số lượng các yếu tố được nghiên cứu và quan sát cách thức chúng được liên kết với nhau.
Mô hình nhân tố trực giao
Giả định cho một mẫu ngẫu nhiên y 1 ,y 2 ,y n từ một tổng thể thuần nhất với vectơ trung bỡnh àvà ma trận hiệp phương sai Σ Mụ hỡnh phõn tớch nhõn tố biểu diễn mỗi biến như là một sự kết hợp tuyến tính của các nhân tố chung cơ bản f1, f2, , fm và sai số ứng với mỗi biến là duy nhất Choy 1 ,y 2 ,y p trong bất kỳ quan sát của vectơ y, khi đó y 1 −à 1 =λ 11 f 1 +λ 12 f 2 + .+λ 1m f m +ε 1 y 2 −à 2 =λ 21 f 1 +λ 22 f 2 + .+λ 2m f m +ε 2
Lý tưởng nhất,m nhỏ hơn đáng kể so vớip Xemf trong (2.1) như là các biến ngẫu nhiên sinh ra y Hệ số λ ij được gọi là các hệ số tải và đóng vai trò là trọng lượng, cho thấy mỗiy i phụ thuộc như thế nào vàof Với giả định thích hợp,λ i j chỉ ra tầm quan trọng của nhân tố fj thứ j đến biến yi thứ i và có thể được dùng giải thích cho f j
Giả định rằng j = 1,2, , m, E(f i ) = 0,var (f i ) = 1, và cov (f i , f k ) = 0, j 6=k Giả địnhε i ,i= 1,2, , p cũng tương tự, ngoại trừ mỗiε i có một phương sai khác nhau, khi đó phần dư của y i không giống với các biến khác Vì thếE(ε i ) = 0,var (ε i ) =ψ i và cov (ε i , ε k ) = 0, i6=k, cov (ε i , f j ) = 0, với mọi i và j Xem ψ i là một phương sai đặc trưng.
Các giả định này là kết quả tự nhiên của mô hình cơ bản (2.1) và là mục tiêu của phõn tớch nhõn tố Vỡ E(y i −à i ) = 0, ta cần E(f i ) = 0, j = 1,2, , m Giả định cov (f i , f k ) = 0 trong biểu diễn của y như là hàm của một vài nhân tố Giả định var (fi) = 1, var (εi) = ψi, cov (fi, fk) = 0 và cov (εi, fj) = 0 sẽ cho một biểu thức đơn giản cho phương sai của y i var (y i ) =λ 2 i 1 +λ 2 i 2 + +λ 2 i m +ψ i , (2.2) đóng vai trò quan trọng trong nghiên cứu Lưu ý rằng giả định cov (ε i , ε k ) = 0bao hàm các nhân tố giải thích cho tất cả các tương quang của y, nghĩa là tất cả các biến củaycó điểm chung Vì vậy sự nhấn mạnh trong phân tích nhân tố là mô hình hiệp phương sai hoặc tương quan của y.
Mô hình (2.1) có thể được viết dưới dạng ma trận y−à=Λf +ε, (2.3) trong đúy= (y 1 , y 2 , , y p ) / ,à= (à 1 , à 2 , , à p ) / ,f = (f 1 , f 2 , , f m ) / ,ε= (ε 1 , ε 2 , , ε p ) / và Λ
Với p= 5 và m= 2, mô hình (2.1) được minh họa y 1 −à 1 =λ 11 f 1 +λ 12 f 2 +ε 1 y 2 −à 2 =λ 21 f 1 +λ 22 f 2 +ε 2 y 3 −à 3 =λ 31 f 1 +λ 32 f 2 +ε 3 y4−à4 =λ41f1+λ42f2+ε4 y 5 −à 5 =λ 51 f 1 +λ 52 f 2 +ε 5 Ký hiệu theo ma trận trong (2.3)
Các giả định liệt kê giữa (2.1) và (2.2) có thể được biểu diễn chính xác bằng cách sử dụng ký hiệu vectơ và ma trận E(f i ) = 0,j = 1,2, , mtrở thành
E(f) = 0, (2.6) var (f i ) = 1, j = 1,2, , mvà cov (f i , f k ) = 0, trở thành cov (f) =I, (2.7)
E(ε) = 0, (2.8) var (ε i ) =ψ i ,i= 1,2, , p vàcov (ε i , ε k ) = 0, i6=k trở thành cov(ε) =Ψ
(2.9) và cov (ε i , f j ) = 0 với mọii và j trở thành cov (f,ε) =0 (2.10)
Ký hiệu cov (f,ε)là ma trận hình chữ nhật gồm hiệp phương sai của f và của ε: cov(f,ε)
Theo (2.2) nhấn mạnh phân tích nhân tố là mô hình hiệp phương sai trong các biến y Mong muốn biểu diễn 1
2p(p−1)các hiệp phương sai (vàpcác phương sai) của các biến y 1 , y 2 , , y p theo một cấu trúc đơn giản bao gồm pm hệ số tải λ ij vàp phương sai đặc trưng ψi; Nghĩa là ta mong muốn biểu diễn Σ theo Λvà Ψ Ta có thể sử dụng mụ hỡnh (2.3) và cỏc giả định (2.7), (2.9), (2.10) Vỡ à khụng ảnh hưởng đến phương sai và hiệp phương sai của y, ta có từ (2.3) Σ= cov (y) = cov (Λf +ε).
Từ (2.10), Λf và ε không tương quan; Do đó ma trận hiệp phương sai của tổng bằng tổng các ma trận hiệp phương sai Σ= cov (y) = cov (Λf +ε)
NếuΛ có hai hoặc ba cột thì Σ=ΛΛ / +Ψ trong (2.11) đại diện cho cấu trúc đơn giản củaΣ, trong đó các hiệp phương sai được mô hình hóa bởiλ ij vì Ψlà ma trận chéo Ví dụ, minh họa trong (2.5) với m = 2 nhân tố, σ 12 là tích số hai hàng đầu tiên của Λ, nghĩa là : σ 12 = cov (y 1 , y 2 ) =λ 11 λ 21 +λ 12 λ 22 , với (λ 11 , λ 12 ) là hàng đầu tiên của Λvà (λ 21 , λ 22 ) là hàng thứ hai củaΛ Nếu y 1 và y 2 có nhiều điểm chung, chúng sẽ có hệ số tải giống nhau trên hai nhân tố f 1 và f 2 ; Nghĩa là(λ 11 , λ 12 )sẽ tương tự như (λ 21 , λ 22 ) Trong trường hợp này,λ 11 λ 21 hoặc λ 12 λ 22 sẽ cao Ngược lại, nếu y 1 và y 2 có ít điểm chung, thì hệ số tải của λ 11 và λ 21 trên f 1 sẽ khác nhau và hệ số tải của λ 12 và λ 22 trên f 2 tương tự cũng khác nhau.
Trong trường hợp này, tích của λ 11 λ 21 và λ 12 λ 22 sẽ có xu hướng nhỏ.
Cú thể tỡm hiệp phương sai củayvớif theoλ Vớ dụ,cov (y 1 , f 2 ) Từ (2.1),y 1 −à 1 λ 11 f 1 +λ 12 f 2 + +λ 1m f m +ε 1 Từ (2.7), f 2 không tương quan với các f j và từ (2.10),f 2 không tương quan với ε 1 Do đó cov (y 1 , f 2 ) =E[(y 1 −à 1 ) (f 2 −à f 2 )]
=λ 12 vìvar(f 2 ) = 1 Do đó các hệ số tải đại diện các hiệp phương sai của các biến với các nhân tố Tổng quát, cov (yi, fi) = λi j, i= 1,2, , p;j = 1,2, , m (2.12) Vì λ i j là phần tử thứ (i j) của Λ, ta có thể viết (2.12) dưới dạng cov (y,f) = Λ (2.13)
Nếu các biến chuẩn hóa được sử dụng, (2.11) được thay thế bởi P ρ =ΛΛ / +Ψ và hệ số trở nên tương quang : corr (y i , f j ) =λ i j (2.14)
Trong (2.2), ta có một phân hoạch phương sai của biến y i thành một thành phần theo các nhân tố chung, được gọi là phương sai tương đối, và thành phần duy nhất còn lại của yi, được gọi là phương sai đặc trưng : σ ii = var (y i ) = λ 2 i 1 +λ 2 i 2 + +λ 2 i m
=phương sai tương đối+ phương sai đặc trưng, với
Phương sai tương đối=h 2 i =λ 2 i 1 +λ 2 i 2 + +λ 2 i m (2.15) Phương sai đặc trưng= Ψ i
Phương sai tương đối h 2 i còn được xem như là phương sai chung, và phương sai đặc trưng Ψ i còn được gọi là phương sai duy nhất, phương sai độ lệch.
Các giả định từ (2.6) đến (2.10) dẫn đến cấu trúc hiệp phương sai đơn giản của (2.11),Σ=ΛΛ / +Ψ, là một phần cần thiết của mô hình phân tích nhân tố Dạng sơ đồ, Σ=ΛΛ / +Ψcó hình dạng như sau
Các phần tử trên đường chéo của Σ có thể mô hình hóa dễ dàng bằng cách điều chỉnh các phần tử trên đường chéo củaΨ, nhưngΛΛ / là một cấu hình đơn giản của các phần tử không nằm trên đườngchéo Vì thế khía cạnh quan trọng của mô hình liên quan đến các hiệp phương sai, và điều này là sự nhấn mạnh chính của phân tích nhân tố.
2.1.2.2 Tính không duy nhất của các hệ số tảiCác hệ số tải trong (2.3) có thể được nhân bởi một ma trận trực giao mà không làm suy giảm khả năng tái lập ma trận hiệp phương sai trong Σ=ΛΛ / +Ψ Để nhận thấy điều này, đặt T là một ma trận trực giao tùy ý, ta có T T / =I, đưa T T / =I vào trong mô hình cơ bản (2.3) : y−à=ΛT T / f +ε.
Kết hợp T với Λ và T / với f, ta có : y−à=Λ ∗ f ∗ +ε, (2.16) với Λ ∗ =ΛT, (2.17) f ∗ =T / f (2.18)
NếuΛ trong Σ=ΛΛ / +Ψ được thay thế bằngΛ ∗ =ΛT, ta có Σ=Λ ∗ Λ ∗/ +Ψ=ΛT (ΛT) / +Ψ
VìT T / =I Do đó hệ số tải mới trong (2.17)Λ ∗ =ΛT tái lập ma trận hiệp phương sai, cũng giống như Λ trong (2.11) Σ=Λ ∗ Λ ∗/ +Ψ=ΛΛ / +Ψ (2.19)
Nhân tố mới f ∗ =T / f trong (2.18) thỏa các giả định (2.6), (2.7) và (2.10); Nghĩa làE(f ∗ ) = 0,cov(f ∗ ) = I và cov (f ∗ ,ε).=0
Phương sai tương đối h 2 i =λ 2 i1 +λ 2 i2 , +λ 2 im , i = 1,2, , p, như định nghĩa trong (2.15), cũng không bị ảnh hưởng bởi phép biến đổi Λ ∗ =ΛT Phương sai tương đối h 2 i là tổng bình phương hàng thứ icủa Λ Nếu ký hiệu hàng thứi của Λ làλ / i , thì h 2 i =λ / i λi Hàng thứ i của Λ ∗ =ΛT làλ /∗ i =λ / i T và phương sai tương đối tương ứng là h ∗2 i =λ ∗/ i λ ∗ i =λ / i T T / λ i =λ / i λ i =h 2 i
Vì thế phương sai tương đối vẫn giữ nguyên đối với hệ số tải mới Lưu ý rằng h 2 i = λ 2 i1 + λ 2 i2 , + λ 2 im = λ / i λ i là khoảng cách từ điểm gốc đến điểm λ / i (λ i1 , λ i2 , , λ im ) trong không gian m chiều của hệ số nhân tố tải Vì khoảng cách λ / i λ i giống với khoảng cáchλ ∗/ i λ ∗ i , điểmλ ∗ i được quay từ điểm λ i
2.1.2.3 Ước lượng của hệ số tải và phương sai tương đối 2.1.2.3.a Phương pháp thành phần chính
Trong phương pháp phân tích nhân tố, phương pháp thành phần chính cho ước lượng hệ số tải, ta không tính toán bất kỳ thành phần chính nào.
Từ một mẫu ngẫu nhiêny 1 ,y 2 , ,y n , ta được ma trận hiệp phương mẫu S và tìm một ước lượngΛb sẽ xấp xỉ (2.11) với S thay thế cho Σ
Tiếp cận thành phần chính, ta bỏ quaΨb và phân tích S thành S =ΛbΛb / Để phân tíchS, ta dùng phân tích phổ
S / , (2.21) với C là một ma trận trực giao được xây dựng bởi các vectơ trực chuẩn c / i c i = 1 của S như các cột và D là ma trận đường chéo với các trị riêng θ 1 , θ 2 , , θ p của S trên đường chéo
Ta dùng kí hiệu θi cho các giá trị riêng thay cho λi để tránh nhầm lẫn với kí hiệu λ i j được dùng cho hệ số tải Để phân tích CDC / trong (2.21) thành ΛbΛb / , ta nhận thấy rằng khi các trị riêng θ i của ma trận S nửa xác định dương luôn dương hoặc bằng 0,D được phân tích thành D thành
Phân tích thành phần chính
Giới thiệu
Theo quan điểm của các nhà phân tích số liệu thì phân tích thành phần chính là một kỹ thuật biểu diễn các số liệu một cách tối ưu theo một tiêu chuẩn đại số và hình học đặc biệt Khi sử dụng kỹ thuật này người ta không đòi hỏi một giả thuyết thống kê hoặc một mô hình đặc biệt nào.
Lĩnh vực ứng dụng của phân tích thành phần chính rất rộng trong nông nghiệp, kinh tế, khoa học cơ bản, với bản số liệu mà các cột là các biến và các dòng là các cá thể, trên đó đo giá trị các biến.
Mục đích chính của phân tích thành phần chính là rút ra thông tin chủ yếu trong bản số liệu bằng cách xây dựng một biểu diễn đơn giản hơn sao cho trong biểu diễn đó đám mây số liệu thể hiện rõ nhất, mà thông tin không bị sai lạc.
Trong phân tích thành phần chính, vai trò của các biến là như nhau trong phân tích Sau đó nếu quan tâm đến một biến nào đó, xem như biến cần giải thích thì ta xét khoảng cách và góc giữa biến đó với các biến còn lại Đặc biệt của phương pháp là quan sát các biến trên một số ít mặt phẳng chính để phân tích. Ý tưởng chính của phương pháp phân tích thành phần chính (PCA) là làm giảm số chiều của tập dữ liệu có số lượng lớn biến liên hệ nhau, trong khi giữ lại nhiều nhất có thể những biến có trong tập dữ liệu Điều này được thực hiện bằng cách biến đổi đến một tập mới các biến (thành phần chính) không tương quang, được sắp để biến thiên của các biến được giữ lại đại diện tất cả các biến ban đầu.
Hình 2.3: Đồ thị của 50 quan sát trên hai biến x 1 , x 2
Định nghĩa và nguồn gốc của thành phần chính
Giả sử xlà một vectơ của p biến ngẫu nhiên, phương sai của p biến ngẫu nhiên và cấu trúc của hiệp phương sai hoặc tương quan giữa p biến được xem xét Trừ khip nhỏ hoặc cấu trúc rất đơn giản, nó sẽ không hữu ích để tìmpbiến và 1
2p(p−1)hiệp phương sai hoặc tương quan Cách tiếp cận thay thế là tìm một ít các biến ( λ 2 > > λ p , rõ ràng p
! λ j đạt cực đại nếu ta tìm một tập của c jk thỏa p
0, j còn lại, thỏa (2.66) Do đó tr(Σ y ) đạt giá trị cực đại khi B / =A / q Tính chất A2:Xét phép biến đổi trực chuẩn y=B / x, vớix,B,AvàΣ y được định nghĩa như trên Khi đó tr(Σ y ) đạt giá trị cực tiểu khi B=A ∗ q với A ∗ q bao gồm các cột còn lại của A.
Chứng minh Nguồn gốc của thành phần chính trong định nghĩa có thể dể dàng quay lại mục tiêu tìm kiếm hàm tuyến tính của x mà các phương sai nhỏ có thể, tùy thuộc vào tính không tương quan của hàm tuyến tính trước đó Nghiệm có được bằng cách tìm vectơ riêng củaΣnhưng theo trình tự ngược lại, bắt đầu với giá trị riêng nhỏ nhất.
Chứng minh A2 tương tự như chứng minh A1.
Tính chất A3:(Phân tách quang phổ của Σ) Σ=λ 1 α 1 α / 1 +λ 2 α 2 α / 2 + +λ p α p α / p (2.67) Chứng minh Σ=AΛA / , từ (2.61) khai triển vế phải của ma trận ta có Σ p
Tính chất A4:Trong tính chất A1, A2 xét phép biến đổi y=B / x Nếu det (Σ y ) là định thức của ma trận hiệp phương sai y thì det (Σy) đạt cực tiểu khi B =Aq.
Xét số nguyên k bất kỳ giữa 1 và q, đặt S k là không gian con vectơ p chiều trực giao α 1 ,α 2 , ,α k−1 Thì dim (S k ) =p−k+ 1 với dim (S k ) là số chiều của S k Giá trị riêng thứ k,λ k , của Σ thỏa λk= sup α∈S k α6=0 α / Σα α / α
Giả sửà1 > à2 > > àq là cỏc giỏ trị riờng của B / ΣB và γ1, γ2, , γq là cỏc vectơ riêng tương ứng Đặt T k là không gian con vectơ trực giao q chiều γ k+1 , , γ q với dim (T k ) =k Khi đó với bất kỳ vectơ γ khác vectơ 0 trong T k , γ / B / ΣBγ γ / γ ≥à k Xét
S k là không gian vectơ con pchiều của B γ với γ trong T k dim ∼ S k
Có một vectơ α khác vectơ 0 trongS k có dạng α=Bγ với γ trong T k , à k 6 γ / B / ΣBγ γ / γ = γ / B / ΣBγ γ / B / Bγ = α / Σα α / α 6λ k Trị riêng thứ k của B / ΣB≤ trị riêng thứk của Σvới k= 1, , q Có nghĩa là det (Σ y ) q
Nhưng nếu B = A q thì trị riêng của B / ΣB là λ 1 , λ 2 , , λ q để det (Σ y ) q
Từ đódet (Σ y )đạt cực đại khi B=A q 2.2.3.2 Tính chất hình học
Tính chất G1: Xét họ ellipsoids p chiều x / Σ −1 x= hằng số (2.68)
Các thành phần chính xác định các trục chính của các ellipsoids này.
Chứng minh : Các thành phần chính được xác định bởi phép biến đổi (2.58) z =A / x,A là ma trận trực giao, thay x=Az vào (2.68)
(Az) / Σ −1 Az=hằng số=z / A / Σ −1 Az.
Các vectơ riêng của Σ −1 tương tự như các vectơ riêng của Σ, các giá trị riêng của Σ −1 nghịch đảo với các giá trị riêng của Σ, giả định tất cả chúng đều dương Từ (2.60),AΣ −1 A / =Λ −1 và do đó z −1 Λ −1 z =hằng số.
Phương trình này có thể viết lại p
= hằng số (2.69) và (2.69) là phương trình cho một ellipsoid liên quan đến trục chính.
Tính chất G2 : Giả sử x 1 ,x 2 là hai vectơ độc lập ngẫu nhiên, cả hai có cùng phân phối xác suất và cùng phép biến đổi tuyến tính y i =B / x i , i= 1,2.
Nếu B là một ma trận (p × q) với những cột trực chuẩn được chọn để cực đại Eh
Lưu ý x 1 ,x 2 cú cựng giỏ trị trung bỡnh à và ma trận hiệp phương sai Σ Từ đú y 1 ,y 2 cũng cú cựng giỏ trị trung bỡnh và ma trận hiệp phương sai tương ứng làB / à và B / ΣB.
B / ΣB đạt giá trị cực đại khi B =Aq, từ tính chất A1.
Tính chất G3 : Giả sử có n quan sátx 1 ,x 2 , ,x n được biểu diễn bởi y i =B / x i , i= 1,2, n., vớiBlà ma trận(p × q)cột trực chuẩn sao choy 1 ,y 2 , ,y n là phép chiếu củax1,x2, ,xn trên không gian conqchiều Khoảng cách thích hợp từ không gian conqchiều này đếnx 1 ,x 2 , ,x n có thể được định nghĩa như là tổng bình phương khoảng cách vuông góc của x 1 ,x 2 , ,x n Khoảng cách đạt cực tiểu khi B=Aq.
Vectơ y i là một phép chiếu trực giao của x i trên một không gian con q chiều của B Đặt m i là vị trí của y i về gốc tọa độ vàr i =x i −m i Vì m i là một phép chiếu trực giao của y i lên một không gian con q chiều, r i trực giao trong không gian con nên r / i m i = 0 Hơn nữa,r / i r i là bình phương khoảng cách vuông góc củax i Do đó tổng bình phương khoảng cách vuông góc của x 1 ,x 2 , ,x n là n
Hình 2.5: Phép chiếu trực giao của véctơ 2 chiều lên không gian con 1 chiều
X i =1 m / i m i đạt cực đại Khoảng cách được bảo toàn dưới phép biến đổi trực giao, vì thế bình phương khoảng cách n
X i=1 m / i mi của y i từ gốc được giữ nguyên với trục tọa độ y hay trục tọa độ x Từ đó, n
B / SB đạt cực đai khiB=A q
Số lượng thành phần chính
Trong mỗi ứng dụng, một quyết định phải làm là phải giữ lại bao nhiêu thành phần chính để có thể tổng hợp dữ liệu hiệu quả nhất Có bốn phương pháp xác định số lượng thành phần chính nên giữ lại
• Giữ lại đủ các thành phần để giải thích cho một tỷ lệ phần trăm lý thuyết của tổng phương sai, gợi ý là khoảng 80%.
• Giữ lại đủ các thành phần có các giá trị riêng lớn hơn trung bình của các giá trị riêng p
X i=1 λ j p Trong ma trận tương quan thì trung bình này bằng 1.
• Dùng biểu đồ Srcee graph, biểu đồ vẽ các trị riêng λ i và các i Ta tìm khoảng cách, đoạn ngắt tự nhiên giữa các giá trị riêng lớn nhất và giá trị riêng nhỏ nhất.
• Kiểm định ý nghĩa các thành phần lớn hơn, nghĩa là, các thành phần tương ứng với giá trị riêng lớn hơn.
Biễu diễn hình học
Với n cá thể ∈R p , hai cá thể bất kỳ gọi là "gần nhau" nếu ptọa độ của chúng gần nhau.
Với p biến trong R n Về ý nghĩa hình học đơn thuần thì hai biến "gần nhau" nếu n tọa độ của chúng gần nhau Tuy nhiên, về ý nghĩa vật lý thì do đơn vị đo, do đó vấn đề đặt ra liệu ta sẽ đo khoảng cách giữa hai biến như thế nào nếu biến này là độ dài, biến kia là trọng lượng của các cá thể?
Mặt khác, với các cá thể∈R p , cũng như các biến∈R n thì liệu có phải chúng được gọi là gần nhau nếu mọi thành phần tương ứng của chúng gần nhau, hay chúng chỉ cần một số phần tử gần nhau còn xa nhau với những cặp còn lại?
Phân tích thành phần chính giúp chúng ta trả lời những câu hỏi đó Nội dung của nó là tìm trong R n (trong R p ) những không gian con số chiều ít hơn thâu tóm tốt nhất đám mây điểm - biến (điểm - cá thể), sao cho hình ảnh của đám mây số liệu được thể hiện một cách rõ ràng nhất, tức là những xấp xỉ đo trong không gian con phản ánh tốt nhất các khoảng cách thực.
Từ đó, một mặt có thể loại bỏ những biến không quan trọng, mặt khác, bằng cách phi thứ nguyên hóa các biến, ta xét các khoảng cách giữa chúng.
Nếu biểu diễn đám mây điểm trong siêu phẳng một chiều, thì ta cần tìm đường thẳng gần đám mây nhất, và đám mây sẽ biểu diễn bằng hình chiếu của các điểm trên đường thẳng đó Sự "gần gũi" của đám mây với đường thẳng được đo bằng quán tính của nó theo đường thẳng đó.
Vì quán tính là tổng bình phương khoảng cách từ các điểm đến đường thẳng, nên quán tính càng nhỏ thì đường thẳng càng gần đám mây điểm, và ngược lại.
Gọitrục chính thứ nhất là trục mà quán tính nhỏ nhất, tức là đường thẳng qua tâm gần đám mây điểm nhất.
Tiếp tục tìm trục chính thứ hai là trục qua tâm trực, giao với trục chính thứ nhất, và quán tính của đám mây theo nó nhỏ nhất.
Hai trục này kết hợp tạo thành một mặt phẳng chính thứ nhất, mặt phẳng này có quán tính của đám mây theo nó nhỏ nhất Khi đó đám mây điểm thể hiện trên nó rõ nhất so với các mặt phẳng khác.
Tiếp tục,tìm trục chính thứ ba là đường thẳng qua tâm, trực giao với hai trục chính trên và gần đám mây nhất sau hai trục thứ nhất và thứ hai Với sự có mặt của trục này ta được thêm hai mặt phẳng chính nữa được tạo nên do trục 1 và trục 3, trục 2 và trục 3.
Nếu việc tìm các trục chính được tiến hành đến trục chính thứ q (q ≤ p, n) thì ta được một hệq vectơ trực giao, tạo thành không gian conqchiều, mà đám mây điểm thể hiện trên nó rõ nhất.
Về ý nghĩa hình học thì bài toán tìm trục chính tương đương với bài toán:
• Tịnh tiến gốc tọa độ về trọng tâm đám mây.
• Quay hệ trục tọa độ sao cho trong hệ trục mới đám mây thể hiện rõ nhất, tức là tổng bình phương khoảng cách từ đám mây điểm đến chúng nhỏ nhất.
• Trong hệ mới chỉ cần giữ lại q trục chính, từ thứ nhất đến thứ q ta được siêu phẳng q chiều thể hiện rõ nhất đám mây số liệu.
Tìm trục chính trong R p
Mỗi dòng của ma trận quy tâm Xn,p là một vectơ (điểm cá thể) ∈ R p Tích mô hướng trongR p gắn với ma trận I, tức có dạng x / y∈R với x, y ∈R p
Gọi ∆ là đường thẳng qua gốc tọc độ O, đường thẳng này là giá của vectơ đơn vị u, u / u= 1.
GọiM i là điểm thứicủa R p , tương ứng với vectơx i Hình chiếu trực giao của vectơ OH i của vectơ OM i trên ∆ có tọa độ là
||OH i ||= (OM i )u=x i u, (2.70) trong đó u / = (u1, u2, , up)
Khi đó, rõ ràng tích
(2.71) là véctơ n chiều mà phần tử thứ i , i = 1,2, , n của nó là độ dài hình chiếu của vectơ x / i trên ∆ Theo tiêu chuẩn bình phương bé nhất, ta cần tìm
Hình 2.6: Phép chiếu trực giao của véctơ 2 chiều lên không gian con 1 chiều min n
(OM i ) 2 không đổi, nên việc tìm min n
(M i H i ) 2 tương đương với việc tìm max n
Như vậy để tìm trục chính thứ nhất ∆1, ta tìmu1 sao cho u / 1 X / Xu 1 →max với điều kiện u / 1 u 1 = 1.
Ta có ma trận quán tính
1 nX / X =M 0 = (à jk ) ; j, k = 1, p và cũng chính là ma trận phương sai - hiệp phương sai, vì số liệu đã được qui tâm.
Như vậy bài toán là tìm u 1 sao cho u / 1 M 0 u 1 →max (2.73) với điều kiện u / 1 u1 = 1 (2.74)
Bài toán (2.73) và (2.74) tương đương với bài toán tìm u 1 sao cho u / 1 M 0 u 1 −λ u / 1 u 1 −1
→max (2.75) trong đó λ là nhân tử Lagrange.
Muốn vậy ta phải có
Do đó λ là giá trị riêng và u 1 là vectơ riêng của ánh xạ f cho tương ứng mỗi x i ∈R p , , i= 1,2, , n một điểm trên đường thẳng δ∈R p gắn với ma trận phương sai - hiệp phương sai M 0 , sao cho δ 1 gần các điểm x i nhất.
Nói cách khác tìm trục chính của R p là tìm các giá trị riêng, vectơ riêng của ma trận quán tínhM 0
Tương tự, ta giải phương trình
|M 0 −λI|= 0 (2.78) ta được các giá trị riêngλ 1 >λ 2 > .>λ p
Chọn giá trị lớn nhất λ 1 ta tìm được vectơ riêng tương ứng u 1 , ||u 1 || 2 = 1, do đó xác định được ∆1.
=u / 1 X 1 / Xu 1 =u / 1 M 0 u 1 (2.79) trong đó N là ký hiệu đám mây điểm – cá thể trong R p
Kết hợp (2.76) và (2.79), ta được
Giá trị riêng lớn nhất λ 1 của M 0 bằng quán tính giải thích N bởi đường thẳng ∆ 1 gần đám mây điểm N nhất, vàu1 là vectơ riêng của M0 nằm trên ∆1.Đường thẳng
∆ 1 là trục chính thứ nhất.
Tiếp tục tìm trục chính thứ hai ∆ 2 , trực giao với ∆ 2 , sao cho I N (∆ 2 ) nhỏ nhất.
Muốn vậy ta phải giả hệ phương trình :
Bằng phương pháp nhân tử Lagrange
2M 0 u 2 −2λu 2 −àu 1 = 0 (2.82) Nhân vế trái của (2.82) với u 1 , ta được
Vỡ M 0 u 1 −λu 1 = 0 và u / 1 u 1 = 1, nờn à= 0 Do đó (2.82) trở thành
M 0 u 2 =λu 2 và λ là nghiệm của phương trình bậcp (2.78)
Giá trị riêng lớn nhất hai λ 2 cho tưng ứng vectơ riêng u = u 2 và do đó cho trục chính thứ hai ∆2.
Tương tự để tìm trục chính thứ q, ∆ q (q ≤p, n) ta giải hệ phương trình:
u / M 0 u→max u / u= 1, u / u j = 0 với mọij = 1,2, q−1 Kết quả lại có∆ q là nghiệm của
Với q trục chính (q < p, n) ta lập được siêu phẳng F của R p , sao cho I N (F) nhỏ nhất Siêu phẳng này có một cơ sở trực chuẩn làq vectơ riêng gần với qgiá trị riêng lớn nhất λ 1 ≥λ 2 ≥ ≥λ q của M 0
2.2.6.2 Tỷ lệ đóng góp của các quán tính
Vậy tỷ lệ phần trăm quán tính giải thích bởi ∆ j ,j = 1,2, q và q ≤p, n là lượng
Tỷ lệ phần trăm quán tính giải thích bởi siêu phẳng q chiều tạo bởi ∆ 1 ,∆ 2 , ,∆ q là λ j
2.2.6.3 Biểu diễn đám mây điểm – cá thể trong siêu phẳng đã chọn
Ta chiếu các vectơ cá thể x i trên siêu phẳng tạo bởi q trục chính đầu tiên đã chọn.
Vì ku j k 2 = 1, nên tọa độ (độ dài hình chiếu) của x i trên ∆là z ij =x / i u j (2.85)
Các điểm x i mà tọa độ của chúng trong siêu phẳng thỏa mãn (2.85) cho hình ảnh của đám may số liệu trong siêu phẳng.
Tìm các thành phần chính trong R n
Mỗi cột của X n,p là một vectơ - biến ∈R n Tương tự với việc tìm trục chính trong R n , việc tìm vectơ đơn vị ν∈R n sao cho giá trị của nó thể hiện tốt nhất đám mây pđiểm - biến∈R n dẫn đến việc tìm max (cực đại) tổng bình phương các hình chiếu của p điểm - biến trên ν, các hình chiếu đó chính là p thành phần chính của vectơ X / ν ∈R n
2.2.7.1 Phương pháp tìm các thành phần chính
Ta tìm ν 1 sao cho kX / ν 1 k 2 =ν 1 / XX / ν 1 →max (2.86) với điều kiệm ν 1 / ν 1 = 1 Vectơν 1 gọi là thành phần chính thứ nhất
Ta tìm tiếp thành phần chính thứ 2, tức là vectơ ν2 thỏa
Quá trình tiếp tục cho đến vectơν q - thành phần chính thứ q Bài toán dẫn tới việc tìm q vectơ riêng của X / X (ma trận vuông cấpn) ứng với q giá trị riêng lớn nhất à 1 ≥à 2 ≥ .≥à q ≥
2.2.7.2 Các giá trị riêng và vectơ riêng củaX / X Để tìm các giá trị riêng của X / X, ta giải phương trình
= 0 (2.87) trong đó I là ma trận đơn vị cấp n. Để tỡm cỏc vectơ riờng ν j tương ứng với à j (tỡm thành phần chớnh thứ j), ta dựa vào nhận xét kXu j k 2 =u / j XX / u j =λ j nên vectơ đơn vị tương ứng ν j cùng với giá trị riêng λ j (λ j 6= 0) được cho bởi νj = 1 pλj
X / ν j (2.89) với u j là trục chính thứ jtrong R p , j = 1,2, , q ν j là thành phần chính thứ j trongR n , j = 1,2, , q.
2.2.7.3 Biểu diễn đám mây điểm - biến trong siêu phẳng đã chọn
Siêu phẳng đã chọn trongR n được tạo nên bởi hệqvectơ cơ sở trực chuẩnν1, ν2, , νq ứng với q giá trị riêng lớn nhất λ 1 ≥ λ 2 ≥ ≥λ q của ma trận vuông X / X cấp n (cũng là q giá trị riêng lớn nhất của ma trận vuông X / X cấp p).
Biểu diễn đám mây điểm - biến trong siêu phẳng đã chọn nghĩa là tái lập vị trí của mỗi điểm - biếnX j , j = 1,2, , ptrong siêu phẳng đó Muốn vậy ta chỉ cần tìm tọa độ của biến - điểm đó trên mỗi trục thành phần chính thứk tức là giá của vectơ đơn vị ν k , k = 1,2, , q; Nói cách khác tìm độ dài hình chiếu X j / ν k = kX j / kcos(X j / ν k ) của X j trên ν k
Hình chiếu điểm - biến Xj trên νk có độ dài bằng thành phần thứ j của vectơ u k p λ k ;j = 1,2, p và k= 1,2, q.
Nội dung phân tích thành phần chính
Cho bảng số liệu với rất nhiều cột và dòng, mỗi cột là một biến, mỗi dòng là một cá thể, trên đó đo đồng thời giá trị các biến Ta cần biết mối quan hệ giữa các biến, giữa các cá thể qua thể hiện rõ nhất trong một không gian con số chiều ít hơn.
1 Qui tâm bảng số liệu (tức là tịnh tiến gốc tọa độ về trọng tâm đám mây).
Mỗi giá trị thứ i trên cá thể i của X j đều được trừ cho số bình quân x j của biến X j Ta được ma trận qui tâm X = [x ij ] np
2 Tính ma trận phương sai – hiệp phương sai ( ma trận quán tính theo gốc mới bằng X / X)
3 Tìm các giá trị riêng λ 1 ≥ λ 2 ≥ ≥ λ q ≥ ≥ λ p (q < p) bằng cách giải phương trình
4 Tìm trục chính thứ j trong R p bằng cách giải phương trình
(M 0 −λ j I)u j = 0 u j = (u 1j , u 2j , , u pj ) / là vectơ riêng (đơn vị) ứng với giá trị riêng λ j (j 1,2, , q < p) Trục chính thứ nhất và trục chính thứ hai tạo thành mặt phẳng chính thứ nhất, .
5 Tái lập số liệu ban đầu: Hình chiếu của cá thể i trên trục chính j là z ij =x / i u i
6 Tìm thành phần chính thứ j trong R n (j = 1,2, , q)theo công thức vj
1 pλ j Xu j nếu λ j là nghiệm riêng của X / X 1 pnλ j Xu j nếu λ j là nghiệm riêng của M 0 = 1 nX / X
7 Tái lập các điểm – biến : Hình chiếu của điểm biến X j trên thành phần chính thứ k(k = 1,2, , q)làX j / v k , tức là bằng thành phần thứj của vectơu k (j = 1,2, , p)nhân với p λk Dưới dạng tường minh ta có X j / v k =u jk p λ k 8 Phân tích kết quả.
So sánh giữa phương pháp phân tích thành phần chính và phương pháp phân tích nhân tố
và phương pháp phân tích nhân tố
Một sự khác biệt lớn giữa phân tích nhân tố và phân tích thành phần chính là phân tích nhân tố có mô hình định nghĩa xác định cơ bản nhưng trong phân tích thành phần chính không có mô hình cụ thể Một mô hình được đề xuất trong phân tích thành phần chính là mô hình x có ma trận hiệp phương sai BB / +σ 2 I p , với B là ma trận (p×q) Xác định B với Λ và q với m, thì mô hình tương đương với một trường hợp đặc biệt của phương trình (2.11) Σ=ΛΛ / +Ψ trong đó Ψ=σ 2 I p , để tất cả pphương sai đặc trưng đều bằng nhau.
Mô hình phân tích nhân tố và phân tích thành phần chính cố gắng trình bày một số khía cạnh của ma trận hiệp phương sai Σ (hoặc ma trận tương quan) càng tốt có thể, nhưng phân tích thành phần chính tập trung vào các phần tử trên đường chéo, trong khi trong phân tích nhân tố quan tâm đến các phần tử không nằm trên đường chéo.
Trong phân tích thành phần chính, mục tiêu cực đại m
X j=1 var (x j ), giải thích càng nhiều càng tốt tổng của các phần tử trên đường chéo của Σ m thành phần chính đầu tiên sẽ làm thêm việc giải thích tốt các phần tử không nằm trên đường chéo củaΣ, nghĩa là các thành phần chính này có thể thường xuyên cung cấp một nghiệm ban đầu đầy đủ trong phân tích nhân tố Tuy nhiên, đây không phải là mục tiêu đặt ra của phân tích thành phần chính.
Trong phõn tớch nhõn tố, xột mụ hỡnh (2.3)y−à=Λf+εvà tương ứng là phương trình (2.11) Σ=ΛΛ / +Ψ cho Σ Khi Ψ chéo, nhân tố chung Λf trong (2.3) giải thích hoàn toàn các phần tử không nằm trên đường chéo củaΣtrong mô hình nhân tố đầy đủ, nhưng không bắt buộc các phần tử trên đường chéo được giải thích tốt.
Tất cả các phần tử ψ i , j = 1,2, p, của Ψ thấp nếu tất cả các biến có sự biến thiên chung đáng kể, nhưng nếu biến x j hoàn toàn độc lập với các biến khác thì ψ i = var (ε i )sẽ lớn bằng var (x j ) Vì thế, phân tích nhân tố tập trung giải thích các phần tử không nằm trên đường chéo củaΣbởi một số lượng nhỏ các nhân tố trong khi phân tích thành phần chính tập trung các phần tử trên đường chéo của Σ.
Sự khác biệt khác nữa giữa hai kỹ thuật là số m chiều cho một biểu diễn thích hợp của biến x cóp chiều Trong phân tích thành phần chính, nếu bất kỳ biến nào độc lập với tất cả các biến khác, sẽ có một thành phần chính tương ứng cho mỗi biến và thành phần chính đó sẽ tương đương với biến tương ứng Ngược lại, một nhân tố chung trong phân tích nhân tố phải đóng góp cho ít nhất hai biến Nhiều nhân tố xuất hiện như nhân tố đặc biệt (sai số) và không đóng góp cho số chiều của mô hình Như vậy, đối với một tập dữ liệu, số lượng các nhân tố cần thiết cho một mô hình nhân tố thích hợp là không lớn (và có thể nhỏ nghiêm ngặt) hơn số lượng của các thành chính yêu cầu giải thích cho hầu hết sự biến thiên trong tập dữ liệu.
Một mô hình nhân tố tập trung giải thích cho các phần tử không nằm trên đường chéo của Σdẫn đến thay đổi khác nhau của ý tưởng sử dụng m thành phần chính đầu tiên để đạt được ước lượng ban đầu của hệ số tải Khi ma trận hiệp phương sai của các nhân tố chung đóng góp cho x là Σ−Ψ, nó dường như hợp lý dùng các thành phần chính tính choΣ−Ψhơn làΣđể xây dựng các ước lượng ban đầu dẫn đến cách gọi phân tích nhân tố chính.
Sự khác biệt giữa phân tích thành phần chính và phân tích nhân tố (sau khi quay) là sự thay đổim, số chiều của mô hình, có thể ảnh hưởng mạnh đến phân tích nhân tố hơn là phân tích thành phần chính Trong phân tích thành phần chính, nếu m tăng từ m 1 đến m 2 , thêm (m 2 −m 1 ) thành phần chính vào nhưng m 1 thành phần chính vẫn còn và không bị ảnh hưởng Tuy nhiên, trong phân tích nhân tố tăng từ m1 đến m2 tạo ram2 nhân tố, không cần giống vớim1 nhân tố ban đầu.
Sự khác nhau cuối cùng giữa các thành phần chính và nhân tố chung là trước đây có thể tính toán chính xác từx, trong khi sau này không thể Các thành phần chính là hàm tuyến tính chính xác củax và có dạng z =A / x.
Tuy nhiên, các nhân tố không là hàm tuyến tính chính xác của x; Thay vào đó x được định nghĩa là một hàm tuyến tính của f cùng các sai số và khi hệ thức được đảo lại, chắc chắn nó không dẫn đến hệ thức chính xác giữa f và x Thật vậy, kỳ vọng của x là một hàm tuyến tính củaf (không có nghĩa là kỳ vọng của f là một hàm tuyến tính của x) Do đó, việc sử dụng các thành phần chính như các nhân tố ban đầu có thể buộc các nhân tố trong một khuôn khổ tuyến tính không cần thiết.
Bởi vì sự không chính xác của hệ thức giữaf vàx, giá trị củaf, nhân số phải được ước lượng.
Tóm lại, có rất nhiều điểm trong phân tích thành phần chính và phân tích nhân tố khác biệt nhau Bất chấp sự khác nhau, chúng có chung mục đích là giảm số chiều vectơ của các biến ngẫu nhiên Việc sử dụng các thành phần chính để tìm ra các hệ số nhân tố tải ban đầu, mặc dù không có chứng minh vững chắc trong lý thuyết.
Trong trường hợp đặc biệt, các phần tử củaΨtỉ lệ với các phần tử trên đường chéo chính của Σ, cấu trúc của các điểm được tạo bởi các nhân tố tương tự trong phân tích nhân tố Trong phân tích nhân tố chính, kết quả tương đương trong phân tích thành phần chính nếu tất cả các phần tử khác không củaΨgiống nhau Tổng quát hơn, các hệ số được tìm thấy trong phân tích thành phần chính và hệ số tải từ phân tích nhân tố (trực giao) sẽ thường tương tự nhau, mặc dù điều này sẽ không cố định trừ khi tất cả các phần tử củaΨ xấp xỉ cùng kích thước.
Chương 3 Ứng dụng giải bài toán thực tế
Các tham số thống kê trong phân tích nhân tố 60 3.2 Kiểm tra sự tương quan giữa các biến và tính toán Cronbach alpha 60
Các tham số thống kê trong phân tích nhân tố
• Đại lượng Bartlett là một đại lượng thống kê dùng để xem xét giả thuyết các biến không có tương quan trong tổng thể Nói cách khác, ma trận tương quan tổng thể là một ma trận đồng nhất, mỗi biến tương quan hoàn toàn với chính nó nhưng không có tương quan với những biến khác Điều kiện cần để áp dụng phân tích nhân tố là các biến phải có tương quan với nhau (các biến đo lường phản ánh những khía cạnh khác nhau của cùng một yếu tố chung) Do đó nếu kiểm định cho thấy không có ý nghĩa thống kê thì không nên áp dụng phân tích nhân tố cho các biến đang xét.
• Kaiser Meyer Olkin (KMO) là một chỉ số dùng để xem xét sự thích hợp của phân tích nhân tố Trị số của KMO lớn (0.5 và 1) là điều kiện đủ để phân tích nhân tố là thích hợp và nếu trị số này nhỏ hơn 0.5 thì phân tích nhân tố có khả năng không thích hợp với dữ liệu.
3.2 Kiểm tra sự tương quan giữa các biến và tính toán Cron- bach alpha
Hệ sốα của Cronbach là một phép kiểm định thống kê về mức độ chặt chẽ mà các biến trong thang đo tương quan với nhau Công thức của hệ số Cronbach α là α= N ρ
[1 +ρ(N −1)] với ρ là hệ số tương quan trung bình giữa các biến và N là số lượng cá thể.
Phân tích
Kiểm định thang đo
Hệ số Cronbach được thực hiện Tiêu chuẩn Cronbach lớn hơn 0.6 thì thang đo có độ tin cậy Các biến có hệ số tương quan bé hơn 0.3 sẽ bị loại Ngoài ra có ba biến qua sát CL13, CL14, CL15 bị loại do có hệ số nhân tố tải bé hơn 0.5
Các nhân tố chính của chất lượng đào tạo
• Nhân tố 1 là “Hoạt động đào tạo” gồm chương trình đào tạo, phương pháp giảng dạy, kiến thức chuyên sâu của giáo viên, cách đánh giá và cho điểm học sinh, tổ chức thi cử.
• Nhân tố 2 là “Cơ sở vật chất” gồm quy mô phòng học, chất lượng phòng thí nghiệm, phòng thư viện.
• Nhân tố 3 là “Hỗ trợ và phục vụ” gồm phục vụ của căn tin, dịch vụ y tế, Ban giám hiệu lắng nghe ý kiến của học sinh.
Bảng 3.1: Kết quả phân tích thang đo chất lượng đào tạo
Biến Các nhân tố chính Hệ số nhân tố tải
FAC1 Hoạt động đào tạo 37.122 0.806
CL01 Chương trình đào tạo của trường phù hợp tốt với yêu cầu của thực tiễn.
CL02 Nội dung các môn học được cập nhật, đổi mới, đáp ứng tốt yêu cầu đào tạo.
CL03 Phương pháp giảng dạy của giáo viên phù hợp với yêu cầu từng môn học.
CL04 Giáo viên có kiến thức chuyên sâu về môn học đảm trách.
CL05 Cách đánh giá và cho điểm học sinh công bằng.
CL06 Tổ chức thi cử, giám thị coi thi nghiêm túc.
FAC2 Cơ sở vật chất 10.947 0.730
CL07 Quy mô lớp học (sĩ số học sinh của lớp) hợp lý cho việc tiếp thu các môn học.
CL08 Cơ sở vật chất nhà trường (phòng học, bàn ghế, máy chiếu, ) đáp ứng tốt nhu cầu đào tạo và học tập.
CL09 Phòng máy vi tính, phòng Lab, đáp ứng tốt nhu cầu thực hành của học sinh.
CL10 Cơ sở vật chất thư viện tốt (số lượng và chất lượng sách báo, tài liệu tham khảo, không gian phòng thư viện).
FAC3 Hỗ trợ và phục vụ 9.851 0.714
CL11 Căn tin phục vụ phù hợp với nhu cầu của học sinh.
CL12 Dịch vụ y tế, chăm sóc sức khỏe đáp ứng tốt học sinh có nhu cầu.
Các nhân tố chính của sự hài lòng
Nhân tố cơ bản của thang đo của sự hài lòng của học sinh được xác định bởi nhân tố sự hài lòng của học sinh.
Bảng 3.2: Kết quả phân tích thang đo sự hài lòng của học sinh
Biến Các nhân tố chính Hệ số nhân tố tải
FAC1 Sự hài lòng của học sinh 68.305 0.767
HL01 Tỷ lệ học sinh thi đậu vào Cao đẳng và Đại học cao.
HL02 Tôi hài lòng khi học tại trường THPT
HL03 THọc tại trường THPT Nguyễn Thái
Bình hơn những gì tôi mong đợi.
Kết quả phân tích cho thấy nhân tố sự hài lòng của học sinh thỏa mãn với chất lượng đào tạo của trường.
Phân tích hồi quy
Dùng phương pháp phân tích hồi quy bội để kiểm định vai trò quan trọng của các nhân tố chất lượng đào tạo Biến phụ thuộc là nhân tố sự hài lòng của học sinh.
Bảng 3.3: Kết quả phân tích hồi quy về chất lượng đào tạo
Biến Các nhân tố Hệ số nhân beta
FAC1 Hoạt động đào tạo 0.411 0.000
FAC2 Cơ sở vật chất 0.364 0.000
FAC3 Hỗ trợ và phục vụ 0.251 0.000
Ba nhân tố trên đều đóng vai trò quang trọng đến sự hài lòng của học sinh Tuy nhiên nhân tố hoạt động đào tạo là nhân tố tác động nhiều nhất đến sự hài lòng của học sinh.
Luận văn là rõ lý thuyết của hai phương pháp phân tích nhân tố và phương pháp phân tích thành phần chính Từ đó so sánh hai phương pháp này.
Dùng phần mềm SPSS đánh giá về sự hài lòng của học sinh thông qua chất lượng đào tạo bằng phương pháp phân tích nhân tố và phân tích hồi quy Kết quả cho thấy học sinh hài lòng về chất lượng đào tạo của trường THPT Nguyễn Thái Bình.
Tôi nhận thấy bản thân cần bổ sung thêm kiến thức liên quan về lĩnh vực kinh tế để có thể trình bày luận văn tốt hơn.
[1] Đậu Thế Cấp, 2008,Xác suất thống kê, NXB giáo dục.
[2] Đỗ Công Khanh, 2004, Đại số tuyến tính, NXB ĐH quốc gia TP Hồ Chí Minh.
[3] Tô Anh Dũng, 2004,Lý thuyết xác suất và thống kê toán, NXB ĐH quốc gia TP Hồ Chí Minh.
[4] Tô Cẩm Tú, 2003, Phân tích số liệu nhiều chiều, NXB ĐH quốc gia TP Hồ Chí Minh.
[5] I.T Joiffe, 2002,Principal component analysis, second edition, Springer.
[6] Alvin C Rencher, 2002,Methods of multivariate Analysis, A John Wiley & Sons, inc publication.
[7] M.Burgman & J.Carey, 2006,Multivariate data analysis.
[8] Hoàng Trọng – Chu Nguyễn Mộng Ngọc, 2008,Phân tích dữ liệu nghiên cứu vớiSPSS tập I, II, NXB Hồng Đức.
Bảng 3.4: Phiếu thăm dò chất lượng đào tạo trường THPT Nguyễn Thái Bình
Stt Tiêu chí đánh giá Điểm đánh giá
01 Chương trình đào tào của trường phù hợp tốt với yêu cầu của thực tiễn.
02 Nội dung các môn học được cập nhật, đổi mới, đáp ứng tốt yêu cầu đào tạo.
03 Phương pháp giảng dạy của giáo viên phù hợp với yêu cầu từng môn học.
04 Giáo viên có kiến thức chuyên sâu về môn học đảm trách.
05 Cách đánh giá và cho điểm học sinh công bằng.
06 Tổ chức thi cử, giám thị coi thi nghiêm túc.
07 Quy mô lớp học (sĩ số học sinh của lớp) hợp lý cho việc tiếp thu các môn học.
08 Cơ sở vật chất nhà trường (phòng học, bàn ghế, máy chiếu, ) đáp ứng tốt nhu cầu đào tạo và học tập.
09 Phòng máy vi tính, phòng Lab, đáp ứng tốt nhu cầu thực hành của học sinh.
10 Cơ sở vật chất thư viện tốt (số lượng và chất lượng sách báo, tài liệu tham khảo, không gian phòng thư viện).
11 Căn tin phục vụ phù hợp với nhu cầu của học sinh.
12 Dịch vụ y tế, chăm sóc sức khỏe đáp ứng tốt học sinh có nhu cầu.
13 Hoạt động xã hội, hoạt động phong trào tại trường rất mạnh.
14 CBCNV nhiệt tình giúp đỡ, giải đáp thắc mắc cho học sinh khi cần.
15 Nhà trường và Ban Giám Hiệu lắng nghe và thu thập ý kiến của học sinh.
16 Tỷ lệ học sinh thi đậu vào Cao đẳng và Đại học cao.
17 Tôi hài lòng khi học tại trường THPT Nguyễn Thái
18 Học tại trường THPT Nguyễn Thái Bình hơn những gì tôi mong đợi.
DANH SÁCH CÁC BIẾN QUAN SÁT
Bảng 3.5: Các biến quan sát đo lường chất lượng đào tạo
CL01 Chương trình đào tào của trường phù hợp tốt với yêu cầu của thực tiễn.
CL02 Nội dung các môn học được cập nhật, đổi mới, đáp ứng tốt yêu cầu đào tạo.
CL03 Phương pháp giảng dạy của giáo viên phù hợp với yêu cầu từng môn học.
CL04 Giáo viên có kiến thức chuyên sâu về môn học đảm trách.
CL05 Cách đánh giá và cho điểm học sinh công bằng.
CL06 Tổ chức thi cử, giám thị coi thi nghiêm túc.
CL07 TQuy mô lớp học (sĩ số học sinh của lớp) hợp lý cho việc tiếp thu các môn học.
CL08 Cơ sở vật chất nhà trường (phòng học, bàn ghế, máy chiếu, ) đáp ứng tốt nhu cầu đào tạo và học tập.
CL09 Phòng máy vi tính, phòng Lab, đáp ứng tốt nhu cầu thực hành của học sinh.
CL10 Cơ sở vật chất thư viện tốt (số lượng và chất lượng sách báo, tài liệu tham khảo, không gian phòng thư viện).
CL11 Căn tin phục vụ phù hợp với nhu cầu của học sinh.
CL12 Dịch vụ y tế, chăm sóc sức khỏe đáp ứng tốt học sinh có nhu cầu.
CL13 Hoạt động xã hội, hoạt động phong trào tại trường rất mạnh.
CL14 CBCNV nhiệt tình giúp đỡ, giải đáp thắc mắc cho học sinh khi cần.
CL15 Nhà trường và Ban Giám Hiệu lắng nghe và thu thập ý kiến của học sinh.
Bảng 3.6: Các biến quan sát đo lường sự hài lòng của học sinh
HL01 Tỷ lệ học sinh thi đậu vào Cao đẳng và Đại học cao.
HL02 17 Tôi hài lòng khi học tại trường THPT Nguyễn Thái Bình.
HL03 Học tại trường THPT Nguyễn Thái Bình hơn những gì tôi mong đợi.
KIỂM ĐỊNH THANG ĐO CHẤT LƯỢNG ĐÀO TẠO HOẠT ĐỘNG ĐÀO TẠO
Scale Mean if Item Deleted
Scale Variance if Item Deleted
Scale Variance if Item Deleted
Scale Mean if Item Deleted
Scale Variance if Item Deleted
Scale Variance if Item Deleted
Scale Mean if Item Deleted
Scale Variance if Item Deleted
Scale Variance if Item Deleted
KIỂM ĐỊNH THANG ĐO SỰ HÀI LÒNG CỦA HỌC SINH Reliability Statistics
Scale Mean if Item Deleted
Scale Variance if Item Deleted
Scale Variance if Item Deleted
KẾT QUẢ PHÂN TÍCH NHÂN TỐ CHẤT LƯỢNG ĐÀO TẠO
Kaiser-Meyer-Olkin Measure of Sampling Adequacy 0.828 Bartlett’s Test of Sphericity Approx Chi-Square 1064.236 df 66
Initial Eigenvalues Extraction Sums of Squared Loadings Rotation Sums of Squared Loading
SỰ HÀI LÒNG CỦA HỌC SINH KMO and Bartlett’s Test
Kaiser-Meyer-Olkin Measure of Sampling Adequacy 0.663 Bartlett’s Test of Sphericity Approx Chi-Square 233.496 df 3
Initial Eigenvalues Extraction Sums of Squared Loadings
Total % of Variance Cumula- tive % Total % of Variance Cumula- tive %