2 MËT SÈ MÆ HNH PH N TCH HAI CHIU V ÙNG DÖNG
2.3.3 T¼m c¡c th nh ph¦n ch½nh cõa b i to¡n PCA thæng qua SVD
SVD
X²t mët vectì x b§t k¼. Th nh ph¦n ch½nh l tê hñp tuy¸n t½nh s = m
P
i=1
wixi câ chùa c ng nhi·u ph÷ìng sai cõa dú li»u ¦u v o c ng tèt. Nh÷ vªy, th nh ph¦n ch½nh ¦u ti¶n ÷ñc ành ngh¾a b¬ng trüc gi¡c l tê hñp tuy¸n t½nh cõa c¡c bi¸n quan s¡t, trong â câ ph÷ìng sai lîn nh§t.
Chóng ta c¦n ÷a ra r ng buëc cho chu©n cõa vectì w = (w1, w2, ..., wm). º ìn gi£n, chóng ta r ng buëcw câ chu©n b¬ng 1, tùc l
kwk= v u u t m X i=1 w2 i = 1.
C¡c r ng buëc kh¡c v· gi¡ trà chu©n cõa w chóng ta câ thº ÷a v· r ng buëc tr¶n. Chó þ r¬ng ph÷ìng sai cõa mët tê hñp tuy¸n t½nh b§t k¼ ·u câ thº ÷ñc t½nh thæng qua ma trªn hi»p ph÷ìng sai cõa dú li»u. X²t mët tê hñp tuy¸n t½nh wTx =
m
P
i=1
wixi. Gi£ sû gi¡ trà trung b¼nh b¬ng 0, tùc l E{x}= 0. Khi â
En wTx2o=E wTx wTx =EwT xxTw = wTExxT w
= wTCw,
trong âC =ExxT l ma trªn hi»p ph÷ìng sai. V¼ vªy, b i to¡n cì b£n PCA ÷ñc x¡c ành nh÷ sau:
max
w:kwk=1wTCw.
V¼ C l ma trªn èi xùng n¶n theo ành l½ phê cõa ma trªn èi xùng, tçn t¤i ma trªn trüc giaoU ∈Rm×n v ma trªn ÷íng ch²o D=diag(λ1, ..., λn)∈Rn×n sao cho
C = U DUT, trong â λ1, . . . , λn l c¡c gi¡ trà ri¶ng cõa C, v c¡c v²ctì cët cõa U l c¡c v²ctì ri¶ng cõa C ùng vîi gi¡ trà ri¶ng â. Thüc hi»n êi bi¸n v =UTw. Khi â ta nhªn ÷ñc wTCw =wTU DUTw=vTDv= n X i=1 vi2λi.
V¼ U trüc giao n¶n kvk = kwk, do â, v câ r ng buëc kvk = 1. Ti¸p töc thüc hi»n ph²p êi bi¸n mi = vi2, i = 1, ..., n. Khi â r ng buëc kvk = 1 t÷ìng ÷ìng vîi r ng buëcmi ≥0v Pn
i=1mi = 1. B i to¡n ÷ñc chuyºn sang d¤ng
max n X i=1 miλi, vîi mi ≥0, n X i=1 mi = 1.
Rã r ng, b i to¡n cho th§y gi¡ trà lîn nh§t t¼m ÷ñc khi mi t÷ìng ùng vîiλi lîn nh§t b¬ng 1v c¡c mi cán l¤i b¬ng 0. K½ hi»u i∗ l ch¿ sè cõa gi¡ trà ri¶ng lîn nh§t. Trð l¤i bi¸nw, i·u n y t÷ìng ÷ìng vîi wbt ¦u tø vectì ri¶ng thù i∗, tùc l cët thùi∗ cõa
U. Nh÷ vªy, th nh ph¦n ch½nh ¦u ti¶n ÷ñc t¼m mët c¡ch d¹ d ng thæng qua ph¥n t½ch gi¡ trà ri¶ng.
Do c¡c vectì ri¶ng cõa ma trªn èi xùng l trüc giao n¶n vi»c t¼m th nh ph¦n ch½nh thù hai çng ngh¾a vîi vi»c tèi a hâa ph÷ìng sai sao cho vi∗ v¨n b¬ng 0. i·u n y thüc sü t÷ìng ÷ìng vîi vi»c t¤o w trüc giao mîi cho vectì ri¶ng ¦u ti¶n. Nh÷ vªy, v· m°tmi, chóng ta câ b i to¡n tèi ÷u hâa t÷ìng tü nh÷ng vîi r ng buëc mi∗ = 0. Rã r ng, nghi»m cõa b i to¡n tèi ÷u â thu ÷ñc khi w b¬ng vîi vectì ri¶ng t÷ìng ùng vîi gi¡ trà ri¶ng lîn nh§t thù hai. Lægic n y ¡p döng cho th nh ph¦n ch½nh thùk.
Do â, t§t c£ c¡c th nh ph¦n ch½nh câ thº ÷ñc t¼m th§y b¬ng c¡ch °t c¡c vectì ri¶ngui, i= 1, ..., ntrong U sao cho c¡c gi¡ trà ri¶ng gi£m d¦n. Chóng ta h¢y gi£ sûU
÷ñc ành ngh¾a nh÷ vªy. Khi â th nh ph¦n ch½nh thù i câ d¤ng
si =uTi x.
L÷u þ r¬ng t§t c£ c¡cλi ·u khæng ¥m èi vîi ma trªn hi»p ph÷ìng sai.
2.3.4 T½nh duy nh§t nghi»m cõa PCA
ành lþ 2.3.1. N¸u (A, B) l mët nghi»m cõa mæ h¼nh PCA th¼ (AQ, BQ) công l mët nghi»m cõa mæ h¼nh PCA, vîi Ql ma trªn trüc giao c§p r.
Lóc n y, Q ÷ñc gåi l ph²p quay trüc giao.
Chùng minh. Gi£ sû (A, B) l mët nghi»m cõa mæ h¼nh PCA.
Vîi Q l mët ma trªn trüc giao c§p r, tùc l QQT =QTQ=Ir, ta câ (AQ) (AQ)T =AQQTAT =AIrAT =AAT =Im,
v (AQ)T (AQ) =QTATAQ=QTIrQ=QTQ=Ir. Suy ra (AQ)l ma trªn trüc giao cï m×r. M°t kh¡c, ta câ (AQ) (BQ)T =AQQTBT =AIrBT =ABT, v X−AQQTBT 2 =X−ABT 2 .
Vªy (AQ, BQ) l mët nghi»m cõa mæ h¼nh PCA.
Tø ành l½2.3.1, ta câ nhªn x²t sau:
Nhªn x²t 2.3.1. (i) Nghi»m (A, B) cõa PCA khæng duy nh§t.
(ii) Ph²p quay trüc giaoQ s³ cho ta ma trªn t£i câ c§u tróc ìn gi£n hìn, do â c¡c nh¥n tè s³ ÷ñc di¹n gi£i d¹ d ng hìn.