Số giờ (H) Điểm (M) Dữ liệu 9 15 25 14 10 18 0 16 5 39 56 93 61 50 75 32 85 42 Tổng 112 533 Trung bỡnh 12.44 59.22 H M ( − ) ( − ) ( − )( − ) 9 15 25 14 10 18 0 16 5 39 56 93 61 50 75 32 85 42 4.92 1.08 11.08 0.08 3.92 4.08 13.92 2.08 8.92 23.42 6.42 30.58 1.42 12.42 12.58 30.42 22.58 20.42 115.23 6.93 338.83 0.11 48.69 51.33 423.45 46.97 182.15 Tổng 1199.61 Trung bỡnh 133.29
Giỏ trị chớnh xỏc khụng quan trọng bằng dấu của nú (dương hay õm).Nếu giỏ trị là dương, núchỉ ra rằng cả hai chiều cựng nhau tăng, nghĩa là một cỏch tổngquỏt, khi
Nếu giỏ trị là õm, khi đú một chiều tăng lờn, một chiều giảm đi.Giỏ trị hiệp phương sai õm cho thấy rằng chỳng đối lập nhau, khi số giờ học tăng lờn thỡ điểm số giảm đi.
Trường hợp cuối cựng, nếu giỏ trị hiệp phương sai bằng 0, khi đú hai chiều độc lập với nhau.
Kết quả điểm số tăng lờn khi số giờ học tăng cú thể dễ dàng nhận thấy bằng đồ thị. Tuy nhiờn, việc minh họa trực quan như vậy chỉ cú thể thực hiện được khi dữ liệu cúhai hoặc ba chiều.Vỡ giỏ trị hiệp phương sai cú thể được tớnh giữa hai chiều bất kỳ trong một tập dữ liệu, nờn kỹ thuật này thường được sử dụng để tỡm mối liờn hệ giữa cỏc chiều trong cỏc tập dữ liệu nhiều chiều mà việc biểu diễn trực quan gặp khú khăn.
Từ cụng thức tớnh cov(X,Y) trờn, bằng cỏchđổi chỗ hai nhõn tử( − )( − )
ta suy ra cov(X,Y) = cov(Y,X).
Hiệp phương sai chỉ đỏnh giỏ được quan hệ giữa hai chiều.Nếu dữ liệu cúnhiều hơn hai chiều, cú thể cú nhiều hơn một giỏ trị hiệp phương sai được tớnh. Vớ
dụ, từ một tập dữ liệu ba chiều (x, y, z) ta cú thể tớnh cov(x,y), cov(y,z) và cov(z,x). Với một tập dữ liệu n chiều, sẽcú !
( )!∗ giỏ trị hiệp phương sai khỏc nhau.
Cỏc giỏ trị hiệp phương sai giữa tất cả cỏc chiều khỏc nhau được tớnh toỏnrồi
đưa vào một ma trận. Ma trận hiệp phương sai của một tập dữ liệu n chiều là:
ì = , = , (2.6)
Ở đõy Cnn là ma trận n hàng,n cột và Dimi là chiều thứi.Toàn bộ cụng thức trờn cú nghĩa là với một tập dữ liệu n chiều, ma trận hiệp phương sai của dữ liệu làma trận n hàng,n cột (ma trận vuụng) với phần tử tại hàngi, cột jlà giỏ trị hiệp phương sai giữa hai chiều thứi và thứj.
Vớ dụ: Ma trận hiệp phương sai của một tập dữ liệu ba chiều, với cỏc chiều là x, y và z là ma trậncú 3 hàng, 3 cột với cỏc giỏ trị như sau:
=
( , ) ( , ) ( , )
( , ) ( , ) ( , )
( , ) ( , ) ( , )
(2.7)
Một số điểm chỳ ý: Trờn đường chộo chớnh, cỏc giỏ trị chớnh là hiệp phương sai giữa một chiều và chớnh nú, đú là phương sai của chiều đú. Điểm thứ hai là, vỡ
cov(a,b) = cov(b,a) nờn ma trận hiệp phương sai là ma trận đối xứng qua đường chộo
chớnh.
b.Đại số ma trận
Phần này trỡnh bàymột số kiến thức cơ bản về đại số ma trận đượcdựng trong PCA.Đặc biệt trong đú sẽ xột cỏc vector riờng vàgiỏ trị riờngcủa một ma trận cho trước.
Hai ma trận cú thể được nhõn với nhau, vớiđiều kiệnchỳng cú kớch thước phự hợp.Vector riờnglà một trường hợp đặc biệt của việc này. Xột hai phộp nhõn giữa một ma trận và một vector nhưsau: ℎườ 2 3 2 1 ì 1 3 = 11 5 ờ 2 3 2 1 ì 3 2 = 12 8 = 4 ì 3 2
Vớ dụ vector thường và vetor riờng
Trong trường hợp thứ nhất, vector kết quả khụng phải là một bội số của vector gốc, trong khi đú ở trường hợp thứ hai, vector kết quả bằng đỳng 4 lần vector gốc.Vector 3
2 (trường hợp thứ hai) biểu diễn một mũi tờn từ gốc (0,0) đến điểm (3,2). Ma trận bờnh cạnh là ma trận vuụng, cú thể coi như một ma trận biến đổi. Nếu nhõn ma trận này vào phớa trỏi của vector, kết quả sẽ là một vector khỏc đó được biến đổi từ vị trớ gốc của nú.Vector này (và tất cả cỏc bội số của nú, vỡ chiều dài của vector khụng ảnh hưởng đến kết quả) là một vector riờngcủa ma trận biến đổi đú.
Cỏc vector riờng cú một số tớnh chất. Thứ nhất,vector riờng chỉ cú thể được xỏc định đượcđối với cỏc ma trận vuụng.Khụng phải mọi ma trận vuụng đều cú vector
riờng.Nếu một ma trận nn cú vector riờng thỡ số lượng đúlà n.
Thứ hai, khi nhõn vectorriờng với một số nàođú, vector kết quả vẫn sẽ bằng đỳng số lần như vậy của vector gốc. Lý do làkhi lấy một tỉ lệ nào đú của vector, chỉ đơn giản độ dài của nú bị thay đổi, khụng ảnh hưởng đến chiều của vector. Cuối cựng, mọi vector riờng của một ma trận là trực giao, nghĩa là chỳng vuụng gúc với nhau, bất kể dữ liệucú bao nhiờu chiều. Điều này rất quan trọng bởi vỡ nú cú ý nghĩa lớnkhi biểu
2 ì 3 2 = 6 4 2 3 2 1 ì 6 4 = 24 16 = 4 ì 6 4
Vớ dụ về sự ổn định của vector riờng đối với việc lấy tỉ lệ
Giỏ trị riờngcú quan hệ chặt chẽvới vector riờng.Thực tế làở vớ dụ trờn đó xuất hiện một giỏ trị riờng.Trong cả hai vớ dụ trờn, số lần vector gốc được tăng lờn sau khi nhõn với ma trận vuụng luụn cốđịnh, số lần nàylà 4.Vậy 4 là giỏ trị riờng ứng với vector riờng đú.Khụng cần biết bội số nào của vector riờng đó đượclấy trước khi đem nhõn với ma trận vuụng, vector kết quả nhận được luụn bằng 4 lần vector gốc.
Hiện nay cú rất nhiều thư viện toỏn học hỗ trợ việc tỡm cỏc vector riờng và giỏ trị riờng của cỏc ma trận, vớ dụgúi phần mềmnewmat trờn trang web http://webnz.com/robert/, hay cỏc bộ cụng cụ trong thư viện lập trỡnh củaMATLAB.
Giả sử ta cần giảm số chiều của tập mẫu huấn luyện từ n chiều:
= + + ⋯ +
, … . à ơ ở ℎụ ℎ ề (2.9)
xuống cũn k chiều (k<n)
= + + ⋯ +
, … . à ơ ở ℎụ ℎ ề (2.10)
Nghĩa là ta cần tỡm một ỏnh xạ từ khụng gian n chiều xuống khụng gian nhỏ hơn chỉ cú k chiều (k<n).Gọi x là một vector trong khụng gian n chiều, y là một vector trong khụng gian k chiều. Ta cú trung bỡnh bỡnh phương lỗi MSE (mean square error) ||x-y|| khi loại bỏ một số thành phần trong x để thu được y sẽ bằng tổng phương sai của những thành phần bị loại bỏ. Phương phỏp PCA sẽ tỡm một phộp biến đổi tuyến tớnh T, thỏa :
y = T*xT là ma trận kxn (2.11)
= + + ⋯ + = + + ⋯ + … … . = + + ⋯ + (2.12) Hay y = Tx trong = ⎢ ⎢ ⎢ ⎢ ⎡ … … … … . … ⎥⎥ ⎥ ⎥ ⎤ (2.13)
Gọi M là vector trung bỡnh của cỏc vector x trong tập huấn luyện X. = 1
M là số phần tử trong tập huấn luyện
(2.14)
Gọi C là ma trận hiệp phương sai của cỏc cỏc phần tử trong tậpX = 1
− 1 ( − )( − ) (2.15)
C là ma trận đối xứng nxn
Người ta chứng minh được rằng nếu T là một ma trận mà mỗi hàng là một vector riờng của C và m vector riờng này (m hàng của ma trận T) ứng với m trị riờng lớn nhất thỡ T chớnh là phộp biến đổi tuyến tớnh thỏa món điều kiện để MSE nhỏ nhất.
Gọi Φ là ma trận vuụng nìn mà mỗi cột là một vector riờng của C đó được chuẩn húa với phộp biến đổi :
Được gọi là phộp biến đổi Hotelling
Xột theo quan điểm của nhận dạngthỡmỗi thành phần yicủa vectory được xemnhưlàmột đặctrưngcủavectormẫux.Cỏc đặctrưngnàylàcỏc đặctrưng độc lập với nhau vỡ matrận hiệp phương sai của y là:
= Φ Φ (2.17)
Là một ma trận chộo (đó đề cập tới trong phần : Vector riờng, trị riờng và sự chộo húa ma trận).
Túm lại, phương phỏp phõn tớch thành phần chớnh ỏnh xạ một vector từ khụng gian n chiếu xuống khụng gian k chiều sẽ đi tỡm cỏc trị riờng và vector riờng củamatrậnhiệpphươngsaiCcủatậpXvàgiữlạikvectorriờngứngvớiktrị riờng lớn nhất làm cơsở chokhụnggian kchiều này.
Sự diễn giải bằng hỡnh học:
PCA chiếudữ liệu theo hướng mà ở đúdữ liệu khỏc nhau nhiềunhất.
Nhữnghướngnàyđượcxỏcđịnhbằngcỏcvectorriờngcủamatrận hiệp phương sai Sốlượngcỏctrịriờngtươngứngvớisựkhỏcbiệtcủadữliệutheocỏc hướng củavectorriờng
Như chỳng ta đó thấy ở trờn rằng vector gốc x cú thể được xõy dựng lại bằng cỏch sử dụng những thành phần chớnh của nú :
− ̅ = (2.18)
Điều đú cho thấy rằng cơ sở trong khụng gian cú số chiều ớt được dựa trờn những thành phần chớnh sẽ làm tối thiểu húa lỗi trong quỏ trỡnh xõy dựng lại
= ‖ − ‖ (2.19)
Điều đú cho thấy rằng số lỗi sẽ tương đương :
= 1
2 (2.20)
2.1.2 Kỹ thuật trớch chọn đặc trưng PCA
Phương phỏp phõn tớch thành phầnchớnh cho phộpxỏc định cỏc mẫu trong một tập dữ liệu và biểu diễn dữ liệu theo cỏch cú thể làm nổi bật được sự giống nhau và khỏc nhau giữa cỏc mẫu. Vỡ cỏc mẫu cú thể rất khú tỡm ra trong dữ liệu nhiều chiều (do khụng thể biểu diễn trực quan bằng đồ họa), nờn PCA [4] là một cụng cụ hữu hiệu để phõn tớch dữ liệu. Phương phỏp này bao gồm một số bước cơ bản sau:
Giả sửx1 , x2 ,..., xNlà cỏc vector Nx1 Bước 1: Lấy dữ liệu
Để cú thểvẽ đồ thị minh họa trực quan việc phõn tớch PCA theo từng bước, dữ liệu trong vớ dụ sẽ cú hai chiều.Dữ liệu được cho ở hỡnh 2.4
Dữ liệu gốc
X Y
Dữ liệu sau khi chỉnh X Y 2.5 0.5 2.2 1.9 3.1 2.3 2 1 1.5 1.1 2.4 0.7 2.9 2.2 3.0 2.7 1.6 1.1 1.6 0.9 0.69 1.31 0.39 0.09 1.29 0.49 0.19 0.81 0.31 0.71 0.49 1.21 0.99 0.29 1.09 0.79 0.31 0.81 0.31 1.01
Hỡnh 2.4 Dữ liệu và đồ thị biểu diễn dữ liệu
Bước 2: Hiệu chỉnh theo giỏ trị trung bỡnh Φ = − ̅(2.21)
Để tớnhPCA thuận lợi, cỏc giỏ trị trờn mỗi chiều của dữ liệu sẽ được trừđi giỏ trị
điểm) và tất cả cỏc giỏ trị y bị trừ đi (trung bỡnh giỏ trị y của tất cả cỏc điểm).Tập dữ
liệu nhận được cú giỏ trị trung bỡnh là 0.
Bước 3: Tớnh ma trận hiệp phương sai Tạo thành ma trận NxM
= ⌈Φ Φ … . Φ ⌉(2.21) Sau đú tớnh
= 1 Φ Φ = (2.22)
Áp dụng ta cú dữ liệu cú hai chiều nờn kớch thước của ma trận hiệp phương sai là 22. Ma trậnthu đượclà:
= 0.616555556 0.615444444 0.615444444 0.716555556
Vỡ cỏc phần tử nằm ngoài đường chộo chớnh của ma trận là dương, nờn hai giỏ
trị x và y cựng nhau tăng.
Bước 4: Tớnh vector riờng và giỏ trị riờng của ma trận hiệp phương saiC
Giỏ trị riờng , , … (2.23)
Vector riờng , , … (2.24)
VỡC đối xứng (NxN) nờn u1,u2,…,uNhợpthànhmộtcơsở(bấtkểmột vector x nào hay thậm chớ( ̅, x)cũng đều cú thể viết dưới dạng một tổ hợp tuyến tớnh của cỏc vector riờng)
− ̅ = + + ⋯ + (2.25)
Áp dụng: vỡ ma trận hiệp phương sai vuụng nờn cú thể tớnh vector riờng và giỏ trị riờng của ma trận này. Chỳng cho biết những thụng tin hữu ớch về dữ liệu. Hai vector riờng là −0.735178656
0.677873399 và
−0.677873399
−0.735178656 , với hai giỏ trị riờng tương ứnglà 0.0490833989 và 1.28402771.
Điều lưu ý quan trọng rằng cỏc vector ri độ dài của chỳng bằng 1. Điều n
mềmtoỏn học, khi tớnh vector ri Như trờn đồ thị dữ liệu ở h đường chộo). Ở phớa trờn c
hỡnh chấm chấm.Như đó trỡnh bày nhau.Nhưng quan trọng hơn, chỳng cung c trong hai vector riờng nằm theo h
thấy mối quan hệ giữa dữ liệu với đ mẫu khỏc, kộm quan trọng h
cỏch đường chớnh một khoảng n
Như vậy, bằng việc tớnh cỏc vector ri trớch ra cỏc đặc trưng củadữ liệu. Cỏc b nú được biểu diễn theo cỏc đặc tr
Hỡnh2.5. Đồ thị bi
Bước 5: Chọn cỏc th hiệp phương sai C
Cỏc vector riờng và giỏ tr
khỏc nhau. Vector riờng ứng với giỏ trị ri
ọng rằng cỏc vector riờng ở đõy đều là vector đơn v
ủa chỳng bằng 1. Điều này rất quan trọng trong PCA.Hầu hết cỏc gúi phần ềmtoỏn học, khi tớnh vector riờng đều trả về kết quả làcỏc vector đơn v
ồ thị dữ liệu ở hỡnh2.5, dữ liệu cú một mẫu chủđạo (h ờn của dữ liệu là hai vector riờng, chỳng là những đ
ó trỡnh bày ở phần vector riờng, chỳng vuụng gúc ơn, chỳng cung cấp thụng tin về cỏc mẫu trong dữ liệu. Một ằm theo hướng phõn bốchớnhcủa dữ liệu.Vector ri
ấy mối quan hệ giữa dữ liệu với đường thẳngđú. Vector riờng thứ hai cho thấy một ọng hơn, là tất cả cỏcđiểmphõn bố dọc theo đường chớnh nh ờng chớnh một khoảng nàođú.
ậy, bằng việc tớnh cỏc vector riờng của ma trận hiệp phương sai, ta cú th ủadữ liệu. Cỏc bước cũn lại sẽ là việc biến đổi dữ liệu sao cho ợc biểu diễn theo cỏc đặc trưng đú.
biểu diễn dữ liệu đó chuẩn húa với cỏc vector riờng
ớc 5: Chọn cỏc thành phần và xỏc lậpvector đặc trưng của Cỏc vector riờng và giỏ trị riờng tớnh đượcở phần trước vớicỏc giỏ trị ri
ứng với giỏ trị riờng cao nhất sẽ là thành phần chớnh của tập à vector đơn vị, nghĩa là ất quan trọng trong PCA.Hầu hết cỏc gúi phần
àcỏc vector đơn vị.
ữ liệu cú một mẫu chủđạo (hướng theo một ững đường chộo ờng, chỳng vuụng gúc với ấp thụng tin về cỏc mẫu trong dữ liệu. Một ớng phõn bốchớnhcủa dữ liệu.Vector riờng đú cho ứ hai cho thấy một ờng chớnh nhưng
ương sai, ta cú thể ến đổi dữ liệu sao cho
i cỏc vector riờng
ủa của ma trận ớc vớicỏc giỏ trị riờng khỏ ần chớnh của tập
dữ liệu. Trong vớ dụ trờn, vector riờng với giỏ trị riờng lớn hơn là vector trỏ dọctheo dữ liệu. Nú mụ tả mối quan hệ cú ý nghĩa nhất giữa cỏc chiều củadữ liệu.
Một cỏch tổng quỏt, sau khi tỡm đượccỏc vector riờng từ ma trận hiệp phương sai, bước tiếp theo là sắp xếp chỳng theo giỏ trị riờng, từ cao đến thấp. Nghĩa là cỏcthành phần được sắp xếp theo thứ tự tầm quan trọng giảm dần. Khi đú, cỏc thành phần ớt cú ý nghĩa cú thể được bỏ quanếu cần.Một số thụng tinđó bị lược bỏ, nhưng vỡ giỏ trị riờng của chỳng nhỏnờndữ liệu khụng bị mất nhiều. Khi bỏ qua một số thành phần, dữ liệu thu được sẽ cú số chiều ớt hơn dữ liệu gốc. Núi cỏch khỏc, nếu dữ liệu
gốc cún chiều, sau khi tớnh được nvector riờng và giỏ trị riờng, pvector riờng đầu tiờn được chọn, khi đúdữ liệu cuối cựng chỉ cũnp chiều.
Tiếp theo cần xỏc lập một vector đặc trưng, thực chất là tờn gọi của một ma trận cỏc vector. Vector này được xõy dựng bằng cỏch lấy cỏc vector riờng muốn giữ lại, rồi đặt chỳng theo cỏc cột để tạo thành ma trận:
_Đặ _ ư = ( . . ) (2.26)
Dữ liệu trong vớ dụ trờncú hai vector riờng, do đú cú hai lựa chọn. Cú thể chọn cả hai cho vector đặc trưng:
−0.677873399 −0.735178656 −0.735178656 0.677873399
hoặc cú thể bỏ đi thành phần ớt ý nghĩa hơn, kết quảchỉ cũn một cột: −0.677873399
−0.735178656 Bước 6: Xỏc định tập dữ liệu mới
Bước này là bước cuối cựng trong PCA đồng thời là bước đơn giản nhất. Sau khi cỏc thành phần (vector riờng) được chọnđể giữ lại trong dữ liệu và thiết lập vector đặc trưng, tiến hành chuyển vị vector và nhõn vào phớa trỏi tập dữ liệu gốc đó chuyển vị.
Dữ_liệu_cuối = Vector_Đặc_trưngDữ_liệu_điều_chỉnh(2.27) Trong đú:
Vector_Đặc_trưng là ma trận với cỏc vector riờng trong cỏc cột đó chuyển vị sao cho chỳngnằm theo cỏc hàng, với vector riờng ý nghĩa nhất nằm trờn cựng.
Dữ_liệu_điều_chỉnh là dữ liệu đó được điều chỉnh theo giỏ trị trung bỡnh
sau đúchuyển vị, nghĩa là cỏc dữ liệu nằm trờn mỗi cột, với mỗi hàng theo mỗi chiều khỏc nhau.
Kết quảlàdữ liệu gốc được biểu diễn chỉtheo cỏc vector đó chọn. Tập dữ liệu
gốc cú hai trục x,yvàdữ liệu được biểu diễn theo chỳng. Dữ liệu cũng cú thể
đượcbiểudiễn theo bất kỳ trục nào trong số đú. Nếu cỏc trục này vuụng gúc với nhau thỡ việc biểu diễn là hiệu quả nhất.Đú là tầm quan trọng của sự trực giao của cỏc vector
riờng. Dữ liệuđó được biểu diễn theo hai vector riờng thay vỡ biểu diễn theo cỏc trụcx và y. Trong trường hợp tập dữ liệu mới được giảm về số chiều, nghĩa là bỏ qua một số
vector riờng, dữ liệu mới chỉ được biểu diễn theo cỏc vector đó chọn.
Bõy giờlà việcỏp dụng phõn tớch thành phầnchớnhđối với tập dữ liệuảnh.Trong luận văn, tập dữ liệu ảnh được lấy từ cơ sở dữ liệuORL (Olivetti Research Laboratory, Surrey University). Mỗiảnh cú kớch thước 112ì92, cú thể được coi là một vector 10304 chiều, hoặc tương đương với một điểm trong khụng gian 10304 chiều. Hỡnh 2.5 là một sốảnh gốc trong cơ sở dữ liệu.
Áp dụng PCA để giảm số chiều của khụng gian khổng lồ trờn, kết quả thu đượclàcỏc ảnhđó được biến đổi sau khi phõn tớch theo cỏc thành phần đặc trưng, cỏc vector riờng được chọn theo cỏc giỏ trị riờng tương ứng cú giỏ trị lớn hơn 10-3, số lượng vector riờng là 49, nghĩa là mỗiảnh biểu diễn một điểm trong khụng gian 49 chiều (hỡnh 2.6).
Hỡnh 2.7. Ảnh sau khi biến đổi theo PCA
2.2 Phương phỏp LDA
Phương phỏp PCA ở trờn cũn cú nhượcđiểm là chỉ làm nổi bật lờn cỏc đặc trưng của từng ảnh mà chưa quan tõm đến cỏc ảnhđú là của cựng một người hay củanhững ngườikhỏc nhau. Phương phỏp phõn tỏch tuyến tớnh [4] (LDA– Linear Discriminant Analysis) cú thể khắc phục được những nhượcđiểmđú.Nhiệm vụ chớnh của phương phỏp là tớnh sự biến thiờn giữa cỏc ảnh của những người khỏc nhau và tớnh sự biến thiờn giữa cỏc ảnh của cựng một người, sau đú tỡm một phộp biến đổi để làm cựcđại tỉ số của hai sự biến thiờn trờn. Nghĩa là, tậpảnh huấn luyện sẽ được biến đổi sang một khụng gian mới sao cho sự khỏc nhau giữa cỏc ảnh của những người khỏc nhau được tăng lờn tốiđa, cũn sự giống nhau giữa cỏc ảnh của cựng một người được làm cực tiểu.Hỡnh 2.8 là một vớ dụ minh họa trực quan ý nghĩa của phộp biến đổi này.Hỡnh2.8(a) là một cỏch biến đổikhụng tốt khi cỏc hỡnh chiếu của cỏc điểm thuộc hai lớp vẫn lẫn lộn với nhau; hỡnh2.8(b) là một cỏch biến đổi khỏ tốt khi hỡnh chiếu của cỏc điểm thuộc cựng một lớp gần nhau, cũn hỡnh chiếu của cỏc điểm khỏc lớp xa nhau.
Hỡnh 2.8. Vớ dụ minh họa LDA
Thụng thường trong phương phỏp LDA, sự phõn bố ngoại và sự phõn bố nội được dựng làm tiờu chớđể phõn lớp. Ma trận phõn bố nội được tớnh như sau:
= 1 − − (2.28)
Trong đú:
là ảnh thứ i của lớp j.
j là giỏ trị trung bỡnh của lớp j.
C là số lượng lớp.