báo cáo đồ án trí tuệ nhân tạo cơ bản đề tài thuật toán pca và ứng dụng

Dimensionality Reduction, nói một cách đơn giản, là việc đi tìm một hàm só, hàm só này lấy đầu vào là một điểm dữ liệu ban đầu x € IRP với D rất lớn, và tạo ra một điêm dữ liệu mới z 6 R

ý

‘A

Dé tai: Thuật toán PCA và ứng dụng

Số phách (Do hội đồng chấm thi ghi)

‘A f

Hoc ky I, nam hoc 2023 - 2024

Học phần: Trí tuệ nhân tạo cơ bản Đề tài: Thuật toán PCA và ứng dụng Giảng viên hướng dẫn: Quách Hải Thọ Lớp: Khoa học dữ liệu & Trí tuệ nhân tạo K1 Sinh viên thực hiện: Nguyễn Phước (ký tên và ghi rõ họ tên)

Số phách (Do hội đồng chấm thi ghi)

v ;

Thừa Thiên Huế, tháng 1 năm 2024 ———a-z>«+†‡2»®c—=-©=————

2

Mục lục

4 _ Các bước thực hiện PCA LH Hà HH Ho kh TT TT kh KT kh kh ki

5 _ Mối quan hệ giữa PCA và SVD

Quan hệ giữa PCA và SVD

Chuẩn hĩa các vector riêng Với các bài tốn Lagre-scaÏe Tnhh HH Hà Ho HH kh HT kh Tế Hư kh ki Hiện

1 Bộ dữ liệu Top 250 Anime 2023 ch KH HH KH HT KH Hy 20 2 _ Trực quan dữ liệu

n 28

3 _ Phân tích hồi quy

Phân I: Kiến thức tổng quan thuật toán

I giới thiệu thuật toán PCA 1 Mở đầu

Principal Component Analysis (còn được gọi là phân tích thành phản chính) (PCA) là một kỹ

thuật thống kê đề đơn giản hóa tập dữ liệu Nó được phát triển boi Pearson (1901) va Hotelling (1933), trong khi tài liệu tham khảo hiện đại tốt nhát là Jolliffe (2002)

Dimensionality Reduction (giám chiều dữ liệu), như đã được đề cập một vài làn trong blog, là

một trong những kỹ thuật quan trọng trong Machine Learning Các feature vectors trong các bài

toán thực tế có thê có số chiều rất lớn, tới vài nghìn Ngoài ra, số lượng các điểm dữ liệu cũng thường rất lớn Nếu thực hiện lưu trữ và tính toán trực tiếp trên dữ liệu có só chiều cao này thì sẽ gặp khó khăn cả vẻ việc lưu trữ và tốc độ tính toán Vì vậy, giảm số chiều dữ liệu là một bước

quan trọng trong nhiều bải toán Đây cũng được coi là một phương pháp nén dữ liệu

Dimensionality Reduction, nói một cách đơn giản, là việc đi tìm một hàm só, hàm só này lấy đầu vào là một điểm dữ liệu ban đầu x € IRP với D rất lớn, và tạo ra một điêm dữ liệu mới z 6 R* cé số chiều K < D

Principal Component Analysis (PCA) là một phương pháp thống kê được sử dụng để giảm số chiều của dữ liệu mà không mát mát nhiều thông tin PCA là một trong những phương pháp phố biến nhất để giảm só chiêu của dữ liệu trong data science và machine learning PCA giúp giảm kích thước của tập dữ liệu bằng cách tìm các hướng của phương sai lớn nhát Nó tìm kiếm các thành phân chính của dữ liệu để giảm số chiều của dữ liệu đó và giữ lại các thông tin quan trọng nhát của dữ liệu đó Bằng cách sử dụng PCA, ta có thẻ giảm só chiều của tập dữ liệu lớn thành một tập dữ liệu nhỏ hơn mà vẫn giữ lại các thông tin quan trọng đề huấn luyện mô hình machine

learning 2 Kiến thức tổng quan thuật toán

NORM CỦA HAI MA TRẬN Giá sử hàm số ||x||„ là một norm bát kì của vector x Ứng với norm này, định nghĩa norm tương ứng cho ma trận A:

Ax IIAlla = max Ila

x||Xllz Lưu ý rằng ma trận A có thê không phải là ma trận vuông và số cột của nó có thê bằng với số

chiêu của vector x Do đó, tính norm của ma trận đòi hỏi giải quyết một bài toán tôi ưu Cân chú

ý rằng hàm tối ưu bao gồm cả tử số và mau sé được tính bằng norm trên các vector

Chúng ta sẽ quan tâm nhiều hơn tới norm 2 Norm 2 của ma trận được định nghĩa là:

|| AX] |2 I|X||2 Được nhận tháy rằng nghiệm của bài toán tối ưu (1) sẽ không thay đổi néu nhân vector nghiệm x với một số thực k khác không Vì vậy, không mát tính tổng quát, chúng ta có thẻ giả sử mẫu sé bằng 1 Khi đó, bài toán tối ưu (1) có thể được biêu diễn đưới dạng:

q) |[A|lz = max x

|All, = max |ÏAx||z 2) |Ix|lz=1

Nói cách khác, ta cần đi tìm x sao cho:

Với lý luận tương tự, chúng ta có thẻ suy ra rằng bài toán:

min x? AT Ax |Ix|la=1 có nghiệm là vector riêng ứng với trị riêng nhỏ nhất của ATA Khi đó, hàm số đạt giá trị nhỏ nhát bằng chính trị riêng nhỏ nhất này

BIEU DIEN VECTOR TRONG CAC HE CO’ SO’ KHAC NHAU

Trong không gian D chiều , toạ độ của mỗi điểm được xác định dựa trên một hệ toạ độ nào đó Ở các hệ toạ độ khác nhau, hiên nhiên là toạ độ của mỗi điêm cũng khác nhau

Tập hợp các vector e, ,ep mà mỗi vector e„ có đúng 1 phản tử khác 0 ở thành phản thứ đ và phân tử đó bằng 1, được gọi là hệ cơ sở đơn vị (hoặc hệ đơn vị) trong không gian D chiêu Nếu

Mãi vector cột x = [x¡,x¿, ,xp | € IR?, biêu diễn của nó trong hệ đơn vị là:

X= #¡€¡ †*¿€; + '†+ Xp€p

Giả sử có một hệ cơ sở khác u¡,u¿, ,up (các vector này độc lập tuyến tính), vậy thì biêu diễn

của x trong hệ cơ sở mới Bộ các só yạ, đ = 1,2, , D là duy nhát vì y có thê tính được bằng:

y=U!x(7 với chú ý răng U là ma trận khả nghịch vì các cột của nó độc lập tuyến tính

Trong các ma trận đóng vai trò như hệ cơ sở U, các ma trận trực giao, tức U7U = I, duoc quan

tâm nhiều hơn vì nghịch đảo của chúng chính là chuyên vị của chúng:

U1=Uf Khi đó, y trong (7)có thê được tính một cách nhanh chóng:

Các tính chất quan trọng của hảm trace, với giả sử răng các ma trận trong hàm trace là vuông và các phép nhân ma trận thực hiện được:

trace(A) = trace(AT)

trace(KA) = ktrace(A) trace(AB) = trace(BA)

|[A|l# = trace(AT A) = trace(AA7) với A à ma trận bát kỳ, có thẻ không vuông trace(A) =3”, A, voi A là một ma trận vuông và ,,i = 1,2, ,N là toàn bộ các trị riêng của nó, có thế phức hoặc lặp Việc chứng minh tính chất này có thẻ được dựa trên ma trận đặc

trưng của A và định lý Viète KỲ VỌNG MA TRẬN VÀ HIỆP PHƯƠNG SAI

n

1

N (x„ - #7 n=1

với 1 € IRỶ là vector cột chứa toàn phản tử 1 Kỳ vọng đơn giản là trung bình cộng của toàn bộ các giá trị Phương sai lả trung bình cộng của bình phương khoảng cách từ mỗi điểm tới kỳ vọng

Phương sai càng nhỏ thì các điểm dữ liệu càng gân với kỳ vọng, tức các điềm dữ liệu càng gióng

nhau Phương sai càng lớn thì ta nói dữ liệu càng có tính phân tán Ví dụ về kỳ vọng và phương

sai của dữ liệu một chiêu có thẻ được tháy trong Hình 2a)

Căn bậc hai của phương sai, ø còn được gọi là độ lệch chuẩn (standard deviation) của dữ liệu

Dữ liệu nhiều chiều Cho N điểm dữ liệu được biêu diễn bởi các vector cột xạ, ,x„, khi đó, vector kỳ vọng và ma trán hiệp phương sai của toàn bộ dữ liệu được định nghĩa là:

N

x = n= Xn

n=1 N

điểm lưu ý: « Ma trận hiệp phương sai là một ma trận đối xứng, hơn nữa, nó là một ma trận nửa xác

định dương.

Mọi phân tử trên đường chéo của ma trận hiệp phương sai là các số không âm Chúng

cũng chính là phương sai của từng chiêu của dữ liệu

Các phản tử ngoài đường chéo s¿,í # / thể hiện sự tương quan giữa thành phân thứ ¡ và

thứ j của dữ liệu, còn được gọi là hiệp phương sai Giá trị này có thể dương, âm hoặc

bằng 0 Khi nó bằng 0, ta nói rằng hai thành phan ¡,jtrong dữ liệu là không tương quan

(uncorrelated) Nếu ma trận hiệp phương sai là ma trận đường chéo, ta có dữ liệu hoàn toàn không tương

quan giữa các chièu

Ví dụ vẻ dữ liệu không tương quan và tương quan được cho trong Hình 2bc)

a)

b)

c) Hinh 2: Vi du vé kp vong và phương sai a) Trong khéng gian I chiéu b) Khéng gian 2 chiéu ma hai chiéu không tương quan Trong trường hợp này, ma trận hiệp phương sai là ma trận đường chéo với hai phần tử trên đường chéo là đi, Ø›, đây cũng chính là hai trị riêng cua ma tran hiệp phương sai và là phương sai của mã chiêu dữ liệu e) Dữ liệu trong không gian hai chiếu có tuong quan Theo mối chiều, ta có thé tính được kỳ vọng và phương sai Phương sai càng lớn thì dữ liệu trong chiêu đó càng phân tán Trong ví dụ này, dữ liệu theo chiêu thi hai phân tán nhiễu ơn so so với chiều thứ nhát

3 Principal Component Analysis Cách đơn giản nhất đề giảm chiều dữ liệu từ D về K<D là chỉ giữ lại K phần tử quan trọng nhát Tuy nhiên, việc làm này chắc chắn chưa phải tốt nhất vì chúng ta chưa biết xác định thành phân nào là quan trọng hơn Hoặc trong trường hợp xấu nhất, lượng thông tin mà mỗi thành phân

mang là như nhau, bỏ đi thành phần nào cũng dẫn đến việc mát một lượng thông tin lớn

Tuy nhiên, nếu chúng ta có thẻ biếu diễn các vector dữ liệu ban đầu trong một hệ cơ sở mới mà

trong hé co so moi dé, tam quan trọng giữa các thành phản là khác nhau rõ rệt, thì chúng ta có

thẻ bỏ qua những thành phản ít quan trọng nhát Lay một ví dụ về việc có hai camera đặt dùng dé chụp một con người, một camera đặt phía trước người và một camera đặt trên đầu Rõ ràng là hình ảnh thu được từ camera đặt phía trước người

mang nhiều thông tin hơn so với hình ảnh nhìn từ phía trên đầu Vì vậy, bức ảnh chụp từ phía trên đầu có thê được bỏ qua mà không có quá nhiều thông tin về hình dáng của người đó bị mát

PCA chính là phương pháp đi tìm một hệ cơ sở mới sao cho thông tin của dữ liệu chủ yếu tập

trung ở một vài toạ độ, phản còn lại chỉ mang một lượng nhỏ thông tin Và đề cho đơn giản trong tính toán, PCA sẽ tìm một hệ trực chuân đề làm cơ sở mới

Giả sử hệ cơ sở trực chuân mới là U và chúng ta muốn giữ lại K toạ độ trong hệ cơ sở mới này Không mát tính tổng quát, giá sử đó là K thành phản đầu tiên

Quan sát Hình 3 dưới đây

Quan sát hình vẽ trên với cơ sở mới U = [Uy,Uy] và một hệ trực chuân với Uy là ma trận con

tạo bởi K cột đầu tiên của U Với cơ sở mới này, ma trận dữ liệu có thê được viết thành:

Vx~bif Trong đó 17 e IR1*# là vector hàng có toàn bộ các phản tử bằng 1 Giá sử đã tìm được U, ta cần

tim b thoa man:

b = argmin, ||Y — b17||Z = argmin, ||ŨyX — b1” |J¿

Giải phương trình đạo hàm theo b của hàm mục tiêu bằng 0:

(b1" — U,X)1 = 0 5 Nb = U,X1 = b = Uy x Như vậy, việc tính toán sẽ thuận tiện hơn nhiều nếu vector kỳ vọng x = 0 Việc này có thê đạt được néu ngay từ đầu, chúng ta trừ mỗi vector dữ liệu đi vector kỳ vọng của toàn bộ dữ liệu Đây chính là các bước đầu tiên của PCA

Với giá trị b tìm được này, dữ liệu ban đầu sẽ được xáp xỉ với:

X>~X=UzZ+ŨxU¿X1 (10) Két hợp (8),(9),(10) ta định nghĩa hàm mắt mát chính như sau:

7ƒ= yIlX- Xll£ = w|lUxUxX — UxU, x1 Ile (11) Chú ý rằng, nếu các cột của một ma trận V tạo thành một hệ trực chuân thì với một ma trận W bát kỳ, ta luôn có:

|IVW||Ệ = trace(WTVTVW) = trace(WTW) = ||W||¿ Vì vậy hàm mát mát trong (11)(11) có thê viết lại thành:

Với X = X— x17là dữ liệu đã chuân hoá và với S là ma trận hiệp phương sai của dữ liệu Ta gọi

ma trận này Xà zero-corrected data hoặc dế liệu đã được chuđn hoá Có thê nhận thấy x

X, —X

Công việc còn lại là tìm các u; đề mát mát là nhỏ nhất Trước hét, chúng ta có một nhận xét thú vị Nhắc lại định nghĩa ma trận hiệp phương sai S =; X*X Với ma trận U trực giao bất kỳ, thay K=0 vào (12) ta có:

11

Vi vậy, việc tối thiêu hàm mát mát J được cho bởi (13) tương đương với việc tối đa:

chỉ giữ lại K thành phan chính của dữ liệu khi muốn giảm só chiều dữ liệu Đề có cái nhìn trực

quan hơn, chúng ta cùng theo dõi Hình dưới đây:

Hình 4: PCA dưới góc nhìn Thống kê PCA có thẻ được coi là phương pháp đi tìm một hệ cơ sở trực chuẩn đóng vai trò một phép xoay, sao cho trong hệ cơ sở mới này, phương sai theo một số chiều nào đó là rất nhỏ, và ta có thẻ bỏ qua

Trong không gian ban đầu với các vector cơ sở màu đen ©1,©2,, phương sai theo mỗi chiều đữ

thứ hai Ø›rất nhỏ so với Ơi Điều nảy nghĩa là khi chiếu đữ liệu lên U2 ta được các điểm rất gần

13

nhau và gần với kỳ vọng theo chiều đó Trong trường hợp này, kỳ vọng theo mọi chiêu bằng 0 nên ta có thé thay thế toạ độ theo chiêu u2 bang 0 R6 rang la nêu dữ liệu có phương sal cang nhỏ theo một chiêu nào đó thì khi xâp xỉ chiêu đó băng một hăng sô, sai sô xảy ra càng nhỏ PCA thực chất là đi tìm một phép xoay tương ứng với một ma trận trực giao sao cho trong hệ toa độ mới, tồn tại các chiều có phương sai nhỏ mà ta có thể bỏ qua; ta chỉ cần giữ lại các chiều/thành phần khác quan trọng hơn Như đã chứng minh ở trên, tống phương sai theo mọi chiều trong hệ cơ sở nảo cũng là như nhau và bằng tông các trị riêng của ma trận hiệp phương sai Vì vậy, PCA còn được coi là phương pháp giảm số chiều đữ liệu mà giữ được tổng phương sai còn lại là lớn nhất

Tôi sẽ bỏ qua phần chứng minh của Định lý 1 Tuy nhiên, cũng nêu một vải ý để bạn đọc có thé

là một vector riêng của S ứng với trị riêng lớn thứ hai 22 của nó Chú ý răng À2 có thé bang Al

néu không gian riêng ứng với À1 có số rank lớn hơn Nhận định này có thẻ được chứng minh bằng phương pháp nhân tử Lagrange Thật vậy,

Lagrangian cua bài toán (21)la:

£(w;, Vy, V2) = uf Su, + vjufu, + v2(1 - usu) Ta can giải hệ phương trình đạo hàm của £ theo từng biến bằng 0:

of = 2Su; + 1U — 2vzua =0 (22) 9u;

Vi Su, = Ayu, > uf Su, = A,utu, = 0 Tr đó suy ra vI=0 và (22) lúc này tương đương với:

Su, = V2Uy > uf Su, = V2

Vậy u2 là một vector riêng của S ứng với v2 Và dé hàm mục tiêu đạt giá trị lớn nhất, v2 cần càng lớn càng tốt Điều này dẫn đến v2 phải là trị riêng thứ hai của 8

Lập luận tương tự, ta có thê chứng minh được: u,,í = 1,2, ,k — 1 là các vector riêng ứng với trị riêng lớn thứ ¡ của ma trận nửa xác định đương S, hơn nữa, k—Ivector riêng này tạo thành một

bằng đúng với trị riêng tiếp theo ^ktai uk là vector riêng ứng với trị riêng này

4 Các bước thực hiện PCA Từ các suy luận phía trên, ta có thẻ tóm tắt lại các bước trong PCA như sau:

1 Tính vector kỳ vọng của toàn bộ dữ liệu:

N 1

- , N 1

2 Trừ mỗi điểm dữ liệu đi vector kỳ vọng của toàn bộ dữ liệu:

X, = Xn —X 3 Tinh ma tran hiép phuong sai:

6 Chiếu đữ liệu ban đầu đã chuẩn hoá X xuống không gian con tìm được 7 Dữ liệu mới chính là toạ độ của các điểm dữ liệu trên không gian mới

Z=U} X Các bước thực hiện PCA có thể được xem trong Hình dưới đây:

15

and eigenvectors of S:

(Ai, uz) (Ap, up)

Remember the or- thonormality of uj

Hình 5: Các bước thực hiện PCA 5 Mối quan hệ giữa PCA và SVD Giữa PCA và SVD có mỗi quan hệ đặc biệt với nhau Đề nhận ra điều nảy, tôi xin được nhắc lại hai điểm đã trình bảy sau đây

SVD CHO BAI TOAN XAP Xi LOW-RANK TOT NHAT Nghiệm A của bài toán xáp xi một ma trận bởi một ma trận khác có rank không vượt quá k:

min ||X — Allp (1) s.t rank(A) = K chính là Truncated SVD cua A Cu thé, néu SVD cia X € R?** Ia:

X= UrV" voi U € R?*’ va Ve R**" la cdc ma trận trực giao, và © € R2*" la ma tran dwong chéo (không nhất thiết vuông) với các phân tử trên đường chéo không âm giảm dàn, thì nghiệm của

bài toán (1)chính là:

A =U¿BxVý (2) với U € IR?*X và V e R**È là các ma trận tạo bởi K cột đầu tiên của U và V, và š e IR?** là ma trận đường chéo con ứng với K hàng đầu tiên và K cột đầu tiên của 3

16

Ý TƯỞNG CỦA PCA

Trong PCA, như đã chứng minh ở biêu thức (10) , PCA là bài toán đi tìm ma trận trực giao U và

ma trận mô tả dữ liệu ở không gian tháp chiêu Z sao cho việc xáp xỉ sau đây là tốt nhát:

XxX=UzZz+UxzU¿š1 (3) voi Ux, Ux lan lượt là các ma trận được tạo bởi K cột đầu tiên và D-K cột cuối cùng của ma trận

trực giao U, và x là vector kỳ vọng của dữ liệu

Gia sir rang vector ky vong xX = 0 Khi đó, (3) tương đương với:

X = X= UxZ (4) Bài toán tối ưu của PCA sẽ trở thành:

Uy,Z = min||X-UxZ||-p ©) Uy,Z

với ly € IR“XFlà ma trận đơn vị trong không gian K chiều, và điều kiện ràng buộc là để đảm bảo các cột của UK tạo thành một hệ trực chuân

QUAN HỆ GIỮA PCA VÀ SVD

Bạn có nhận ra điểm tương đồng giữa hai bài toán tối ưu (1) và (5) với nghiệm của bài toán đầu

tiên được cho trong (2)? Bạn có thẻ nhận ra ngay nghiệm của bài toán (5) chính là:

Như vậy, nếu các điểm dữ liệu được biếu diễn bởi các cột của một ma trận, và trung bình cộng của mỗi hàng của ma trận đó bằng 0 (để cho vector kỳ vọng bang 0), thì nghiệm của bài toán PCA được rút ra trực tiếp từ Truncated SVD của ma trận đó Nói cách khác, nghiệm của PCA chính là một trường hợp đặc biệt của bài toán Matrix Factorization giải bằng SVD

6 Làm thế nào để chọn chiều của dữ liệu mới? Một câu hỏi được đặt ra là, làm thé nao dé chon ra gia trị K - chiêu của dữ liệu mới - với từng

loại dữ liệu khác nhau? Có một cách xác định K là dựa trên việc lượng thông tin muốn giữ lại Như đã trình bày, PCA

còn được gọi là phương pháp tối đa tổng phương sai được giữ lại Vậy ta có thê coi tông các phương sai được giữ lại là lượng thông tin được giữ lại Với phương sai càng lớn, tức dữ liệu có độ phân tán cao, thẻ hiện lượng thông tin càng lớn

Nhắc lại rằng trong mọi hệ trục toạ độ, tông phương sai của dữ liệu là như nhau và bằng tổng các

trị riêng của ma trận hiệp phương sai? 4, Thêm nữa, PCA giúp giữ lại lượng thông tin

(tổng các phương sai) là)“; 3;¡ Vậy ta có thê coi biêu thức:

K i=1 A;

= S51 “16

TK Xa 2, t6)

17

là lượng thông tin được giữ lại khi só chiều dữ liệu mới sau PCA là K Như vậy, giả sử ta muốn giữ lại 99% dữ liệu, ta chỉ cản chọn K là só tự nhiên nhỏ nhất sao

cho rK>0.99

Khi dữ liệu phân bó quanh một không gian con, các giá trị phương sai lớn nhất ứng với các 2¡ đầu tiên lớn hơn nhiều so với các phương sai còn lại Khi đó, ta có thể chọn được K khá nhỏ đề đạt được rK>0.99

7 Tính PCA trong các bài toán thực tế Có hai trường hợp trong thực tế mà chúng ta cần lưu ý về PCA Trường hợp thứ nhát là lượng dữ liệu có được nhỏ hơn rất nhiều so với số chiều dữ liệu Trường hợp thứ hai là khi lượng dữ liệu trong tap training Ia rat lớn, có thể lên tới cả triệu Việc tính toán ma trận hiệp phương sai và trị riêng đôi khi trở nên bát khả thi Có những hướng giải quyết hiệu quả cho các trường hợp này

Trong mục này, ta sẽ coi như đữ liệu đã được chuân hoá, tức đã được trừ đi vector kỳ vọng Khi đó, ma trận hiệp phương sai sẽ làS =< Xx"

SO CHIEU DU LIEU NHIEU HON SO DIEM DU LIEU Đó là trường hợp D>N, tức ma trận dữ liệu X là một ‘ma tran cao’ Khi dé, s6 tri riéng khac không của ma trận hiệp phương sai S sẽ không vượt quá rank của nó, tức không vượt quá N Vậy

ta can chon KSN vì không thẻ chọn ra được K>N trị riêng khác 0 của một ma trận có rank bằng N

Việc tính toán các trị riêng và vector riêng cũng có thể được thực hiện một cách hiệu quả dựa trên các tính chất sau đây:

Tính chất 1: Trị riêng của A cũng là trị riêng của kA với k⁄0z⁄0 bát kỳ Điều này có thê được

suy ra trực tiếp từ định nghĩa của trị riêng và vector riêng Tinh chât 2: Trị riêng của AB cũng là trị riêng của BA với A € IR“:X42,B c 2X“! là các ma

trận bát kỳ và d1,d2 là các só tự nhiên khác không bát kỳ Tôi xin không chứng minh quan sát