Trong phân tích nhân tố, chúng ta giả thiết rằng mỗi biến được tạo thành từ một tổ hợp tuyến tính của các nhân tố chung (các nhân tố ẩn mà ảnh hưởng đến biến và có thể ảnh hưởng đến các biến khác) và một thành phần riêng lẻ duy nhất đối với biến đó.
K biến gốc Xi được viết dưới dạng tổ hợp của một tập con m nhân tố chung và một thành phần duy nhất đối với mỗi biến:
X1 = b11F1 +b12 F2 + ….+ b1mFm + U1 X2 = b21F1 +b22 F2 + ….+ b2mFm + U2 . . . Xk = bk1F1 +bk2 F2 + ….+ bkmFm + Uk (5)
Fj, j = 1,…,m, là nhân tố chung. Mỗi Ui, i = 1,…,k, là thành phần duy nhất đối với biến Xi. Hệ số bijđược gọi là factor loadings.
Tổng các biến thiên trong dữ liệu của phân tích nhân tố được phân rã thành các thành phần nhân tố chung, gọi là communality (chung) và phần riêng biệt (specific), đối với từng biến riêng biệt.
Tách nhân tố (The Extraction of Factors)
Các nhân tố được tách dựa trên thành phần chung. Chúng ta xác định số lượng các nhân tố trong một phân tích dựa trên tỷ lệ của các biến thiên được giải thích bởi mỗi nhân tố. Đôi khi một vài lưu ý tiền phân tích dẫn đến việc xác định số lượng các nhân tố. Một quy tắc chính trong xác định số lượng nhân tố cần tách là xem xét tổng biến thiên được giải thích bởi nhân tố. Trong đầu ra máy tính, tổng biến thiên được giải thích bởi một nhân tố được liệt kê là eigenvalue
(giá trị riêng) và là cơ sở cho hầu hết các phân tích đa chiều. Vì để hiểu được chúng cần có kiến thức về đại số tuyến tính, chúng ta sẽ không thảo luận về eigenvalue, ngoại trừ rằng chúng được sử dụng làm thước đo biến thiên được giải thích bởi nhân tố.) Quy tắc được đề cập đến ở trên cho biết một nhân tố với một eigenvalue nhỏ hơn 1.0 thì không được sử dụng bởi vì nó bao hàm cho ít sự biến thiên được giải thích bởi một biến duy nhất. Quy tắc này là rất bảo thủ theo nghĩa rằng chúng ta có thể tóm lược được các biến với một tập các nhân tố nhỏ
hơn. Một quy tắc khác, ít bảo thủ hơn, cho rằng các nhân tố nên bao hàm được tỷ lệ tương đối độ biến thiên của các biến là: 80%, 75%, 65% hay bất kỳ một tỷ lệ biến thiên tương đối cao nào đó. Việc xem xét trong thiết lập tỷ lệ là tương tự như việc đánh giá R2trong phân tích hồi quy. Thực tế không tồn tại một quy tắc tuyệt đối nào cả.
Chúng ta bắt đầu việc phân tích nhân tố bằng cách tính ma trận tương quan của tất cả các biến. Ma trận đường chéo này có một đường chéo gồm toàn số 1 bởi vì tương quan của chính mỗi biến với chính nó là bằng 1.0. Hệ số tương quan ở hàng i cột j của ma trận này là hệ số tương quan giữa biến Xi và Xj . Ma trận tương quan, sau đó, được sử dụng cho máy tính để tách các nhân tố và tạo ra ma trận nhân tố. Ma trận nhân tố là một ma trận trình bày các factor loadings – các tương quan mẫu giữa mỗi nhân tố với các biến. Đó là các hệ số bij trong phương trình (5). Phân tích thành phần chính thường được sử dụng trong phần đầu của thủ tục tách nhân tố, mặc dù các phương pháp cũng rất hữu ích.
Phân tích nhân tố bằng các thành phần chính cho phép rút gọn nhiều biến số (variables hoặc items) ít nhiều có một tương quan lẫn nhau thành những đại lượng được thể hiện dưới dạng mối tương quan theo đường thẳng gọi là những nhân tố (factors).
Xoay nhân tố (The Rotation of Factors)
Một khi các nhân tố đã được tách, bước tiếp theo của phân tích được thực hiện. Trong giai đoạn này, các nhân tố được xoay (rotated). Mục đích của xoay
là tìm ra phân phối tốt nhất cho các factor loadings theo hàm ý về ý nghĩa của các nhân tố. Nếu bạn nghĩ về ví dụ mang tính giả thuyết về điểm số của các thí sinh trong một kỳ thi, nó có thể là các nhân tố đầu tiên thu được (chúng có thể là các thành phần chính) giải thích các phần trong biến thiên của các điểm số, nhưng không theo một cách có ý nghĩa. Việc xoay có thể đưa ta đến việc tìm ra một nhân tố mà bao hàm cho sự thông minh, một nhân tố chứa đựng khả năng ngôn ngữ, và nhân tố thứ ba chứa đựng năng khiếu thể dục, và cứ như vậy. Việc xoay là một phần không thể thiếu trong phân tích nhân tố và giúp chúng ta rút ra được các nhân tố có xu hướng tương quan với nhiều biến khác. Mục đích của
mỗi nhân tố - do vậy mỗi nhân tố đều được diễn giải theo các cách có ý nghĩa. Mỗi nhân tố sau đó sẽ tương ứng với một thuộc tính ẩn: thông minh, khả năng ngôn ngữ, hoặc năng khiếu thể thao.
Có hai loại phương pháp xoay. Một là Trực giao. Ở đây, các trục vẫn giữ được tính trực giao; nghĩa là, giữa mỗi trục với nhau tạo thành góc 900. Điều đó có nghĩa rằng các nhân tố, một khi chúng được xoay, sẽ giữ được tính chất không tương quan với nhau. Điều đó có thể có ích nếu chúng ta tin tưởng rằng, các chiều ẩn, cố hữu trong các vấn đề của chúng ta là độc lập với nhau (ở đây có nghĩa là chúng ta tin tưởng rằng tồn tại sự độc lập giữa khả năng ngôn ngữ, trí thông minh và năng khiếu thể dục). Phép xoay rigid cũng đơn giản để thực hiện hơn phép xoay nonrigid. Phép xoay nonrigid được gọi là xoay xiên. Trong xoay
xiên, chúng ta cho phép các nhân tố có tương quan với nhau. Chúng ta chia góc 900gốc của một cặp trục (cặp nhân tố), và tìm sự kết hợp tốt nhất giữa các nhân tố và các biến mà bao gồm chúng, mặc cho các nhân tố có độc lập đối với nhau hay không (nghĩa là góc xoay có giữ được góc 900 hay không).
Hình 5: Phép xoay trực giao và Phép xoay Oblique Factor
Hình 3 chỉ ra hai khả năng về loại phép xoay. Các dấu chấm trong hình vẽ là tương ứng với các biến, và các trục tương ứng với các nhân tố. Trong ví dụ thứ nhất, xoay trực giao, quan sát hình chiếu của bảy điểm (bảy biến) dọc theo hai trục. Đây là các factor loadings. Khi chúng ta xoay trục (các nhân tố), duy trì góc 900 giữa hai trục, chúng tra tìm được sự phù hợp tốt nhất giữa các biến và các nhân tố. Bốn biến ở trên cùng chứa đựng nhiều nhất trong trục đã được dịch
chuyển, trong khi ba biến ở dưới chứa đựng trong trục hoành được xoay. Trong hình vẽ bên phải, chúng ta quan sát thấy một phép xoay oblique ratation cung cấp một sự kết hợp tốt hơn giữa nhân tố và biến.
Có rất nhiều thuật toán cho phép xoay trực giao. Được dùng nhiều nhất là VARIMAX. Thuật toán VARIMAX nhắm đến việc tìm kiếm một giải pháp mà một biến mang nhiều nhất thông tin về một nhân tố và chứa đựng ít nhất thông tin về nhân tố khác. Thuật toán cực đại hoá tổng các phương sai chứa đựng trong một ma trận nhân tố; do vậy có tên là VARIMAX. Khi sử dụng phương pháp này, giải pháp cuối cùng của chúng ta sẽ có các nhân tố với việc chứa đụng cao ở một vài biến và thấp ở các biến khác. Điều đó làm đơn giản việc diễn giải các nhân tố. Hai phương pháp khác là QUARTIMAX và EQUIMAX.
Cuối cùng, chúng ta đề cập đến việc sử dụng phân tích nhân tố như là bước đầu của các dạng phân tích. Chúng ta có thể gán điểm các nhân tố cho mỗi đối tượng (mỗi thành phần của tập dữ liệu) và thực hiện bất kỳ phân tích nào mà chúng ta quan tâm,sử dụng các điểm nhân tố thay vì điểm cho các biến gốc. Điều này có ý nghĩa lớn khi các nhân tố tóm lược các thông tin theo cách mà chúng có thể được diễn giải một cách dễ dàng.