(Luận văn) một số mô hình phân tích thành phần chính ba chiều

BË GIO DƯC V€ €O T„O TR×ÍNG „I HÅC QUY NHÌN NGUY™N THÀ I MY lu an n va p ie gh tn to MËT SÈ MỈ HœNH PH…N TCH TH€NH PH†N CHNH BA CHI—U d oa nl w nf va an lu lm ul LUŠN V‹N TH„C Sž TON HÅC z at nh oi z m co l gm @ an Lu n va B¼nh ành - 2020 ac th si BË GIO DÖC V€ €O T„O TR×ÍNG „I HÅC QUY NHÌN NGUY™N THÀ I MY lu an n va MËT SÈ MỈ HœNH PH…N TCH TH€NH PH†N CHNH BA CHI—U p ie gh tn to w Chuyản ngnh: ToĂn giÊi tẵch d oa nl M sè: 8.46.01.02 nf va an lu LUŠN V‹N TH„C Sž TON HC z at nh oi lm ul Ngữới hữợng dăn: TS LM TH THANH TM z m co l gm @ an Lu n va B¼nh ành - 2020 ac th si Líi cam oan Tỉi xin cam oan luên vôn và à ti Mởt số mổ hẳnh phƠn tẵch thnh phƯn chẵnh ba chiÃu l bi viát cừa tổi dữợi sỹ hữợng dăn cừa TS LƠm Th Thanh TƠm lu v chữa tứng ữủc cổng bố  b£o v» mët håc n o cho tỵi thíi iºm n y C¡c nëi an va dung v  k¸t qu£ sû dửng luên vôn Ãu cõ trẵch dăn v thẵch nguỗn gốc Náu n cõ bĐt ký iÃu gẳ gian lên, tổi xin chu trĂch nhiằm và luên vôn cõa m¼nh gh tn to p ie B¼nh ành, th¡ng 08 nôm 2020 d oa nl w Hồc viản thüc hi»n · t i lu nf va an Nguy¹n Thà i My z at nh oi lm ul z m co l gm @ an Lu n va ac th i si Mưc lưc Danh s¡ch h¼nh v³ LÍI NÂI †U iii lu an 1.1 Ma 1.2 Vctỡ riảng GiĂ tr riảng GiĂ tr kẳ d 1.3 Tẵch cõ hữợng cừa cĂc vctỡ Tẵch Kronecker v tẵch Katri-Rao cừa c¡c n va KI˜N THÙC CHU‰N BÀ gh tn to p ie ma trªn MËT SÈ MỈ HœNH PH…N TCH HAI CHI—U V€ ÙNG DÖNG 10 nl w Mð ¦u 10 2.2 Ph¥n tẵch giĂ tr kẳ d (SVD) 11 lu 2.2.1 PhƠn tẵch giĂ tr kẳ d 2.2.2 Thuêt toĂn tẳm SVD cừa mởt ma 2.2.3 Vẵ dử 2.2.4 Mởt số tẵnh chĐt cừa ma liản quan ¸n SVD cõa nâ nf va an 11 13 13 lm ul 15 PhƠn tẵch thnh phƯn chẵnh (PCA) 16 2.3.1 ị tững 16 2.3.2 PhƠn tẵch thnh phƯn chẵnh 18 2.3.3 T¼m c¡c th nh phƯn chẵnh cừa bi toĂn PCA thổng qua SVD 19 2.3.4 Tẵnh nhĐt nghiằm cừa PCA 20 2.3.5 Thuªt to¡n tẳm PCA cừa mởt ma 2.3.6 ìu v nhữủc iºm cõa PCA 21 Mët sè ùng döng cõa SVD v  PCA 22 z at nh oi z co l gm @ m an Lu 2.4 d 2.3 oa 2.1 21 n va ac th ii si 2.4.1 Ùng dưng b i to¡n x§p x hÔng thĐp tốt nhĐt cừa ma 22 2.4.2 Ùng dưng xû l½ £nh 26 2.4.3 Ùng döng Eigenface 29 MËT SÈ MỈ HœNH PH…N TCH TH€NH PH†N CHNH BA CHI—U 32 3.1 M£ng ba chi·u 32 3.1.1 Ba loÔi vctỡ cừa mÊng ba chi·u 33 3.1.2 Ba loÔi lĂt cưt cừa mÊng ba chiÃu 34 3.1.3 HÔng cõa m£ng ba chi·u 35 lu an 3.2 Mỉ h¼nh Candecomp/Parafac (CP) n va gh tn to 39 3.2.1 Mỉ h¼nh 39 3.2.2 Thuêt toĂn tẳm nghiằm CP cõa mët m£ng 42 3.2.3 V½ dư 43 Mỉ h¼nh Tucker3 p ie 3.3 w 3.3.1 44 Mỉ h¼nh 44 Thuªt to¡n 46 3.4 oa nl 3.3.2 Mèi quan h» giúa CP v  Tucker3 47 d lu 49 nf va an K˜T LUŠN T€I LI›U THAM KHƒO 50 lm ul z at nh oi Quyát nh giao à ti luên vôn thÔc sắ z m co l gm @ an Lu n va ac th iii si Danh s¡ch h¼nh v³ 2.1 PhƠn tẵch hai chiÃu 2.2 Vẵ dử và phữỡng sai cừa dú li»u khæng gian hai chi·u (a) Chi·u 11 lu thự hai cõ phữỡng sai (t lằ vợi ở rởng cừa ữớng hẳnh chuổng) nhọ hỡn an va chiÃu thự nhĐt (b) CÊ hai chiÃu cõ phữỡng sai Ăng kº Ph÷ìng sai cõa n méi chi·u l  ph÷ìng sai cừa thnh phƯn tữỡng ựng ữủc lĐy trản ton gh tn to 2.3 ie p 2.4 17 ƒnh gèc 27 ƒnh hi»u ch¿nh vỵi ƒnh hi»u ch¿nh vỵi nl w 2.5 bë dú li»u Phữỡng sai t lằ thuên vợi ở phƠn tĂn cừa dú li»u k = 10 27 k = 20 28 28 29 ƒnh hi»u ch¿nh vỵi k = 50 2.7 ƒnh hi»u ch¿nh vỵi k = 100 2.8 Vẵ dử và Ênh cừa mởt ngữới Yale Face Database 2.9 CĂc eigenfaces tẳm ữủc bơng PCA d oa 2.6 lu 30 30 nf va an lm ul 2.10 Hng trản: cĂc Ênh gốc Hng dữợi: cĂc Ênh ữủc suy tứ eigenfaces nh hng dữợi cõ nhiÃu nhiạu văn mang nhỳng c im riảng z at nh oi m mưt ngữới cõ th phƠn biằt ÷đc 31 3.1 M£ng ba chi·u 33 3.2 C¡c v²ctì cët, dáng, v  lỵp 3.3 C¡c l¡t c­t ngang, ùng, v  ch½nh di»n 3.4 PhƠn tẵch ba chiÃu z 35 l gm @ 34 40 m co an Lu n va ac th iv si LÍI NI U Trong thống kả, phƠn tẵch dỳ liằu l mởt khƠu vổ quan trồng  tẳm hiu cĂc thỉng tin câ dú li»u Cịng vỵi sü bịng nê thỉng tin, c¡c dú li»u ng y c ng lỵn lu v tr nản a dÔng rĐt nhiÃu Tứ õ cụng lm xuĐt hiằn ngy cng nhiÃu mổ hẳnh an va phƠn tẵch dỳ liằu nhơm Ăp ựng nhu cƯu tẳm hiºu thỉng tin cõa c¡c nh  khoa håc n Mưc tiảu cừa cĂc mổ hẳnh phƠn tẵch l tẳm hiu c¡ch biºu di¹n dú li»u cho ìn gh tn to giÊn m lữủng thổng tin b mĐt i l ẵt nhĐt Luên vôn ny nhơm tẳm hiu và cĂc mổ hẳnh phƠn tẵch dỳ liằu ie p Trong luên vôn ny, chúng tổi s tẳm hiu và PhƠn tẵch gi¡ trà k¼ dà (Singular value nl w decomposition - SVD) v PhƠn tẵch thnh phƯn chẵnh (Principal component analysis oa - PCA) m£ng hai chi·u v  ùng dưng cõa chóng, t¼m hiºu v· mỉ h¼nh CP v  mỉ d h¼nh Tucker3 m£ng ba chi·u Ngo i mưc lửc, bÊng danh sĂch hẳnh v, lới nõi Ưu lu nf va an v kát luên, luên vôn ữủc chia lm ba chữỡng: Chữỡng Kián thực chuân b Trong chữỡng ny, chúng tổi s trẳnh by mởt lm ul số kián thực cỡ s cừa Lỵ thuyát ma trên, ph¡t biºu v  chùng minh ành l½ phê cõa ma ối xựng, tẵch cõ hữợng cừa cĂc vctỡ, tẵch Kronecker, v  t½ch Khatri - Rao z at nh oi cừa cĂc ma Chữỡng Mởt số mổ hẳnh phƠn tẵch hai chiÃu v ựng dửng Trong chữỡng z ny, chúng tổi s trẳnh by và phƠn tẵch hai chiÃu, phƠn tẵch giĂ tr kẳ d, phƠn tẵch @ gm thnh phƯn chẵnh, v trẳnh by mởt số ựng dửng cừa hai mổ hẳnh ny l Chữỡng Mởt số mổ hẳnh phƠn tẵch thnh phƯn chẵnh ba chiÃu Trong m co chữỡng ny, chúng tổi trẳnh by mởt số kián thực và mÊng ba chiÃu, mổ hẳnh Cande- an Lu comp/Parafac (CP), mỉ h¼nh Tucker3, v  mèi quan hằ giỳa hai mổ hẳnh ny Luên vôn ữủc hon thnh dữợi sỹ hữợng dăn tên tẳnh cừa TS L¥m Thà Thanh T¥m n va ac th si Tỉi xin gûi líi c£m ìn s¥u s­c v· sü dăn dưt, ch bÊo tên tẳnh cừa Cổ suốt quĂ trẳnh thỹc hiằn à ti NhƠn Ơy, tổi cụng xin gỷi lới cÊm ỡn chƠn thnh án têp th Lợp Cao hồc ToĂn K21, Quỵ ThƯy Cổ Khoa ToĂn - Trữớng Ôi hồc Quy Nhỡn và sỹ tên tẳnh giÊng dÔy, cụng nhữ  tÔo mồi iÃu kiằn cho tổi hon thnh Khõa luên ny ỗng thới, tổi cụng gỷi lới cÊm ỡn án gia ẳnh, bÔn b, nhỳng ngữới  luổn ởng viản, giúp ù chúng tổi v· m°t tinh th¦n thíi gian qua M°c dị câ nhi·u cè g­ng vi»c t¼m tái, håc häi v nghiản cựu thới gian v khÊ nông cừa bÊn thƠn cỏn hÔn chá nản khõa luên ny khổng trĂnh khọi nhỳng thiáu sõt Vẳ vêy, tổi rĐt mong nhên ữủc sỹ gõp ỵ cừa Quỵ ThƯy Cổ v cĂc bÔn  lu Khõa luên ữủc hon chnh hìn an Tỉi xin ch¥n th nh c£m ìn va n Bẳnh nh, thĂng 08 nôm 2020 tn to TĂc giÊ p ie gh d oa nl w Nguy¹n Thà i My nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si Ch÷ìng KI˜N THÙC CHU‰N BÀ lu an n va C¡c k¸t qu£ chữỡng ny ữủc trẵch dăn tứ cĂc ti liằu [1,4,6,12] ie gh tn to 1.1 Ma trªn p ành nghắa 1.1.1 Ma cù thnh m dỏng v n cởt Ma mìn d oa nl w A cù l mởt bÊng gỗm mìn nf va an lu a a12  11   a21 a22 A=    am1 am2 lm ul hoc số thỹc ữủc sưp xáp thữớng ữủc kẵ hiằu nhữ sau: a1n  a2n  ,    amn a1n  z at nh oi a a12  11   a21 a22 A=    am1 am2 mn aij gm â l phƯn tỷ cừa ma nơm trản dỏng cởt j vợi l ma vuổng cĐp m CĂc phƯn tû an Lu a11 , a22 , , amm mìm m ta gồi ma cù co m = n, i, l i = 1, m, j = 1, n Vợi @ A = (aij )mìn z ho°c   a2n  ,    amn nơm trản mởt ữớng thng ữủc gồi l ữớng cho chẵnh cừa ma n va ac th si nh nghắa 1.1.2 Ma ỡn v cĐp n l ma vuổng cĐp n cõ mồi phƯn tỷ nơm trản ữớng cho chẵnh bơng 1, cĂc phƯn tỷ khĂc bơng Ta kẵ hiằu ma ỡn v cĐp n l In v nõ cõ dÔng nhữ sau:       0 0   In =    .   0 Trong trữớng hủp khổng cƯn ỵ án cĐp cừa ma trên, ta kẵ hiằu ma ỡn v bi I lu an nh nghắa 1.1.3 Ma ữớng cho l ma vuổng cõ cĂc phƯn tỷ nơm ngoi va D cõ dÔng a  11    a22    D=      0 ann n ữớng cho chẵnh bơng Ma ữớng cho nhữ sau p ie gh tn to oa nl w diag (a11 , a22 , , ann ) Ta th÷íng kẵ hiằu ma ữớng cho bi vợi a11 , a22 , , ann d an lu l cĂc phƯn tỷ nơm trản ữớng cho chẵnh nf va Ma ch cõ mởt dỏng ữủc gồi l vctỡ dỏng Ma ch cõ mởt cởt ữủc gồi l vctỡ cởt lm ul nh nghắa 1.1.4 Ma vuổng B cĐp nghch Êo cừa ma n A, thäa m¢n AB = BA = In Khi â B ữủc gồi l ma A1 A = (aij )mìn kẵ hiằu AT , AT = A, l ữủc gồi l ối xựng náu A, gm AT = (aji )nìm Ma chuyn v cừa @ v ữủc gồi l ma phÊn co ối xựng náu ữủc gồi l ma khÊ nghch náu tỗn z l ma ữủc xĂc nh bi A n v ữủc kẵ hiằu l nh nghắa 1.1.5 Cho ma Ma vuổng cĐp z at nh oi tÔi ma vuổng A AT = A m an Lu nh nghắa 1.1.6 Ma vuổng A ữủc gồi l ma trỹc giao náu AT A = AAT = I n va ac th si Khỉng m§t tẵnh tờng quĂt, giÊ sỷ tỗn tÔi r+1 = = λn = σi = σj = vỵi cho λ1 ≥ λ2 ≥ ≥ λr > v  σ1 ≥ σ2 ≥ ≥ σr v  Khi â X T Xvi = °t r≤n √ λi , i = 1, n X Khi â  λv ,1 ≤ i ≤ r  , i ≥ r + i câ c¡c gi¡ trà k¼ dà l  r + ≤ j ≤ n i ∈ {1, 2, , r}, Vỵi méi °t ui = σi−1 Xvi Suy u1 , u2 , , ur Rm cõ chuân bơng v ổi mët trüc giao Ta bê sung v o h» {u1 , u2 , , ur } lu ur+1 , , un ∈ Rm cho c¡c v²ctì u1 , , un lªp th nh mët cð trüc h i T °t U = u1 u2 un vỵi ui l  c¡c v²ctì cët Khi â U U = In an va Ta chùng minh n Do â gh h = X v1 h = Xv1 h = Xv1 h = σ1 u1 XV p ie d oa nl w Xvi = v2 Rn i Xv2 Xvn i i Xv2 Xvr i σ2 u2 σr ur  σ    σ2    i  u2 un  0 σr    0     0 z at nh oi lm ul h u1    0   .   0   0   .  n×n z gm @ = U S XV = U S l X = U SV T th¼ SVD cõa (2.3) n ac th 12 cõ dÔng cht cửt nhữ sau: va X = Ur Sr VrT , X an Lu rank(X) = r < n,  m Trong tr÷íng hđp co Vêy chuân cừa v nf va an lu = Suy c¡c v²ctì X = U SV T , hay XV = U S Thêt vêy, vợi mội i > r, v¼ X T Xvi = kXvi k2 = viT X T vi = tn to n¶n l  c¡c v²ctì si â Ur , Vr cĐp lƯn lữủt l ma ữủc tÔo bi rìr ữủc tÔo bi r r cởt Ưu tiản cừa hng Ưu tiản v (2.3) ữủc gồi l phƠn t½ch SVD ch°t cưt cõa r U, V , cët Ưu tiản cừa v S Sr l ma Khai trin X 2.2.2 Thuêt toĂn tẳm SVD cừa mởt ma X Cho l ma cù m ì n, vợi m n  tẳm SVD cừa ma X, thỹc hiằn cĂc bữợc sau ã Bữợc Tẵnh ma XT X v giÊi phữỡng trẳnh
det X T X − λI = λ1 ≥ λ2 ≥ ≥ λn ≥ cõa ma trªn X T X Tø â √ X l  σi = λi , i = 1, n v  S = diag (σ1 , σ2 , , σn ) lu c¡c gi¡ trà ri¶ng an trà kẳ d cừa va n ã Bữợc Tữỡng ựng vợi mội giĂ tr riảng to
gh tn X T X − λI vi = k¼ dà ph£i cừa i , tẳm vctỡ riảng Tứ õ tẳm ữủc ma trỹc giao V cĐp suy cĂc giĂ vi ∈ Rn n º t¼m cho chùa c¡c vctỡ X p ie Bữợc XĂc nh cĂc vctỡ kẳ d trĂi cừa nl w ã Xvi , σi theo cæng thùc i = 1, r d oa ui = X n−r lu Bê sung v²ctì an ur+1 , , un v o h» nf va lêp thnh mởt cỡ s trỹc chuân cừa X, cho {u1 , u2 , , un } Tứ õ nhên ữủc ma trỹc giao U v  X = U SV T z at nh oi lm ul chùa c¡c v²ctì k¼ dà tr¡i cõa Rn {u1 , u2 , , ur } l phƠn tẵch SVD cừa ma X z m co l    Tẳm SVD cừa ma X = 1 0   gm V½ dư 2.2.1 @ 2.2.3 V½ dư an Lu n va ac th 13 si Lới giÊi Bữợc 1: Tẳm cĂc giĂ tr kẳ d cừa ma Ta cõ X       1   1 0  XT X =  =  0  1 GiÊi phữỡng trẳnh = 2, = det(X T X − λI) = 0, Do â cĂc giĂ tr lu an va Bữợc 2: Tẳm ma ta tẳm ữủc cĂc giĂ tr riảng 2, σ2 = k¼ dà cõa X l  σ1 = √   S= λ cõa XT X l  Suy V n p ie gh tn to T GiÊi phữỡng trẳnh (X X I)v = ta tẳm ữủc cĂc vctỡ riảng t÷ìng ùng l  v1 =     v  v2 =   Tø â suy    VT = d oa nl w U nf va Ta câ an lu Bữợc 3: Tẳm ma v z at nh oi lm ul       √1 2    1   1   u1 = Av1 = √ 1 0 = √  , σ1   2 2 z       0          u2 = Av1 = 1 0 = 0 σ2     1 an Lu    0  m U= √1  1  √2  co  l gm @ Do â n va ac th 14 si X l  Vêy phƠn tẵch SVD cừa ma    √      √2       X = 1 0 =  √1 0   1    1 2.2.4 Mët sè t½nh chĐt cừa ma liản quan án SVD cừa nõ nh lỵ 2.2.2 HÔng cừa mởt ma bơng số c¡c gi¡ trà k¼ dà kh¡c khỉng cõa nâ lu Chựng minh GiÊ sỷ X Rmìn vợi m n, X = U SV T , cõ phƠn tẵch SVD l  v  r l  an X h i h i Ur = u1 u2 ur , Vr = v1 v2 vr sè c¡c gi¡ trà k¼ dà kh¡c khỉng cõa va n t gh tn to Theo tẵnh chĐt hÔng cừa ma trªn, ta câ p ie rank(Ur ) = rank(Ur UrT ) = rank(Ir ) = r, nl w rank(Vr ) = rank(Vr VrT ) = rank(Ir ) = r d oa Do â, theo Nhªn x²t 1.1.1, ta câ nf va an lu rank(X) = rank(U SV T ) = rank(Ur SVrT ) = rank(SVrT ) = rank(S) = r lm ul nh lỵ 2.2.3  Cho X l ma cù m ì n GiÊ sỷ X cõ phƠn tẵch SVD dữợi dÔng z at nh oi khai triºn l  X = σ1 u1 v1T + + σr ur vrT z Vỵi k l  số nguyản dữỡng thọa k r, t Xk = σ1 u1 v1T + + σk uk vkT Khi â l Xk gm Chùng minh ữa @ rank(Xk ) = k và dÔng m co an Lu   u  1
  Xk = σ1 v1T + + σk vkT     uk n va ac th 15 si Ta câ    T u u  1  1         = Ik ,    uk uk V¼ v         T u1 u u 1                   = k rank   = rank           uk uk uk
v1T , , vkT (v1 , , vk ) = Ik n¶n lu    σ σ1        σ2 σ2 
T T   σ1 v1 , , σk vk (v1 , , vk ) =   Ik =         0 σk an va M°t kh¡c, (2.4)      = diag (σ1 , σ2 , , σk )    σk rank (diag (σ1 , σ2 , , σk )) = rank (v1 , v2 , , vk ) n¶n n to gh tn
rank σ1 v1T , σ2 v2T , , σk vkT = k rank(Xk ) = k  p ie Tø (2.4) v  (2.5) suy (2.5) d oa nl w 2.3 PhƠn tẵch thnh phƯn chẵnh (PCA) an lu PhƠn tẵch thnh phƯn chẵnh (PCA) l phữỡng phĂp thống kả phờ bián ới vo nôm 1901, Pearson à xuĐt Ngy nay, phữỡng phĂp ny chừ yáu ữủc sỷ dửng nhữ mởt nf va cổng cử phƠn tẵch dỳ li»u i·u tra v  thüc hi»n c¡c mỉ h¼nh dü o¡n Nâ câ thº lm ul chuyºn êi mët tªp hủp cĂc giĂ tr cừa cĂc bián cõ th tữỡng quan vợi thnh mởt z at nh oi têp hủp cĂc giĂ tr cừa cĂc bián khổng tữỡng quan vợi nhau, ữủc gồi l cĂc thnh phƯn chẵnh, nhớ õ ta thu ữủc hƯu hát thổng tin cõ dỳ liằu gốc iÃu ny cho php giÊm kẵch thữợc cừa têp dỳ liằu gốc lữủng thổng tin bà m§t i l  nhä z gm @ nh§t câ th v dỳ liằu  ữủc giÊm chiÃu l m x ∈ Rm co Gi£ sû dú li»u ban ¦u l l 2.3.1 ị tững m và r
2 viT a σi2 + σk2 i=1
2 viT a = r X viT a
2 n¶n i=k+1 σk2 r X z
2 viT a
z at nh oi lm ul r X M°t kh¡c k X σ i ui viT a i=1 i=1 σk2 = r X l  cì sð trüc chu©n kXak2F
2 bĐt kẳ, ta cõ nf va {u1 , u2 , , um } viT a i=1 an lu Do k X ta câ
2 viT a ≤ σk2 = σk2 i=1 viT a
2 i=1 T V a F l gm @ i=k+1 n X = σk2 kak2F m co Do â n X
2 viT a ≤ σk2 kak2F − σk2 k X i=1 i=k+1 viT a
2 an Lu σk2 n va ac th 23 si Vªy kXakTF ≤ σk2 kak2F + k X
2 viT a σi2 σk2 − k X i=1 viT a
2 i=1  Ti¸p theo, chóng ta s³ chùng minh ành l½ 2.4.1 Chùng minh nh lẵ 2.4.1 GiÊ sỷ C l ma cĐp mìn rank(C) r, thọa v C cõ phƠn tẵch SVD dÔng khai trin C= k X bTi , i=1 â {a1 , a2 , , am } lu kX − Ck2F an Ta câ {b1 , b2 , , bm } l  h» trüc chu©n


= tr XX T − XC T − CX T + CC T = tr (X − C) X T − C T l  h» trüc giao v  n va M°t kh¡c ! k X bTi i=1 ! bi aTi −X i=1 k X ! bi aTi − k X i=1 ! bTi XT i=1 p ie gh tn to CC T − XC T − CX T = k X = k X aTi − k X w
aTi − bTi X T − d k X Xbi bTi X T k X (Xbi ) (Xbi )T i=1 lm ul k X (Xbi ) (Xbi )T i=1 z at nh oi k X Xbi bTi X T i=1 nf va V¼ − k X i=1
Xbi aTi − bTi X T − (ai − Xbi ) (ai − Xbi )T − i=1 Xbi bTi X T i=1 an = k X
(ai − Xbi ) aTi − bTi X T − i=1 k X + k X i=1 lu = i=1 k X Xbi aTi i=1 oa = − k X i=1 nl i=1 k X bTi X T T T r (ai − Xbi ) (ai − Xbi ) = i=1 k X kai − Xbi k2F ≥ z i=1 = T r XX T
+ (2.6) an Lu i=1 kXbi k2F m i=1 k X   T r (ai − Xbi ) (ai − Xbi )T co
≥ T r XX T − k X l kX − Ck2F gm @ n¶n suy n va ac th 24 si k P Ti¸p theo ta Ănh giĂ số hÔng i=1 (2.4.1), kXbi k2F b§t ¯ng thùc (2.6) Theo Bê · ta câ kXbi k2F ≤ σk2 k X +
2 vjT bi σj2 − σk2 k X
2 vjT bi j=1 j=1 Suy k X " k k X X kXbi k2F ≤ kσk2 + i=1 i=1 " i=1 lu k X an = − σk2 k X # k X j=1 k X = kσk2 + σj2 vjT bi
2 vjT bi
2 j=1 #
σj2 − σk vjT bi
2 j=1 " # k
X σk2 + σj2 − σk j=1 vjT bi
2 i=1 va n M°t kh¡c tn to k X
2 vjT bi n X ≥ gh i=1
2 2 = vjT B F = vjT F = 1, i=1 ie B vjT bi vợi l ma trỹc giao câ c¡c cët l  c¡c v²ctì p nl w k X kXbi k2F i=1 oa (2.3), d Thay v o b§t ¯ng thùc ≥ T r XX T
nf va σi ui viT , − k X kXbi k2F ≥ kXk2F − k X σi2 i=1 i=1 lm ul k P σj2 ta ÷đc an C = Xk = Ck2F k X Do â j=1 lu kX − Khi ≤ b1 , b2 , , bn ta câ z at nh oi i=1 r X X − Xk = σi ui viT i=k+1 z σi2 = r = kXk2F − k X i2 i=1 tốt nhĐt cừa ma X theo chuân Frobenius an Lu thẳ k i=1 i2 m thỹc sỹ l số ma hÔng nhọ nhĐt cõ têng b¬ng  X ac th 25 n va X = Xk l xĐp x hÔng k X co Vỵi Xk σi2 i=1 i=k+1 i·u n y chùng tä r X l = r X gm kX − Xk k2F @ Tø â suy si 2.4.2 Ùng döng xỷ lẵ Ênh PhƠn tẵch SVD l dÔng phƠn tẵch cõ rĐt nhiÃu ựng dửng lẵ thuyát v thỹc tiạn Mởt nhỳng ựng dửng Đn tữủng cừa nõ chẵnh l sỷ dửng SVD hiằu chnh hẳnh Ênh kắ thuêt số, nhớ õ hẳnh Ênh ữủc truyÃn i mët c¡ch hi»u qu£ b¬ng v» tinh, internet, ị tững cỡ bÊn cừa viằc hiằu chnh £nh l  l m gi£m sè l÷đng thỉng tin truy·n i m  khỉng l m m§t i nhúng thỉng tin thüc ch§t Trong mởt bực Ênh kắ thuêt số, mội im Ênh ÷đc thº hi»n bði ba gi¡ trà m u: ä (red), xanh (blue), lưc (green) vỵi c¡c trà sè tø án 255 Nhữ vêy, vợi mởt hẳnh Ênh cõ ở lợn l 960 ì 1440 pixels thẳ lu an phÊi lữu trỳ ma (th hiằn mu s­c cõa c¡c iºm) câ cịng ë lỵn l  960 × 1440, n va tùc l  ph£i l÷u trú 147 200 số Tuy nhiản, thỹc tá, truyÃn hay l÷u trú thỉng tn to tin £nh, ta câ th khổng cƯn nhỳng hẳnh Ênh, hoc mởt số phƯn cừa cĂc hẳnh Ênh cõ ở nt quĂ lợn Sỷ dửng phƠn tẵch SVD, cõ th loÔi bọ rĐt nhiÃu thổng tin gh p ie khổng cƯn thiát õ Vẵ dử mởt hẳnh Ênh 960 ì 1440 GiÊ sỷ pixels ữủc phƠn tẵch thnh ba ma X X, Y , Z cõ phƠn tẵch SVD l oa nl w cõ ở lợn 960 ì 1440 d X = σ1 u1 v1T + + σr ur vrT an lu k tèt nh§t cõa X k = 20 k≤r lm ul V½ dư, vợi nf va Theo nh lẵ 2.4.1, vợi mội giĂ tr thẳ ma Xk thẳ Xk = u1 v1T + + σk uk vkT thº hiằn cĂc dỳ liằu cừa X tữỡng ựng vợi 20 giĂ z at nh oi tr kẳ d Ưu tiản Nhữ vêy, ta ch cƯn lữu trỳ 20 giĂ tr kẳ d, 20 vctỡ tữỡng ữỡng vợi 48 020 số Tữỡng tỹ nhữ vêy vợi hai ma l xĐp x hÔng Y v ui , Z, 20 vctỡ vi , sè l÷đng c¡c sè ph£i l÷u trú cho méi ma l 48 020 số Vêy tờng số lữủng c¡c sè ph£i l÷u trú z gm @ l  144 060 Ró rng phƠn tẵch SVD  giúp giÊm tÊi mởt lữủng thổng tin cƯn lữu trỳ mởt cĂch Ăng k l Bơng cĂch sỷ dửng phƯn mÃm Matlab, chóng ta câ thº hi»u ch¿nh ë n²t cõa h¼nh tịy chån X²t v½ dư sau: m k co £nh theo tham sè an Lu n va ac th 26 si