Họ từ điển và ứng dụng trong phân loại ảnh

1

DANH M C CÁC B   NG 4

DANH M C CÁC HÌNH V   TH 5

M   6 U CHNG 1 T NG QUAN C S LÝ THUY T      8

1.1 Gi i thi u h c t n     8

1.2 Bi u di n th a c a tín hi u     8

1.3 Mã hóa th a  9

1.4 Ti   9 n x lý nh 1.5 Phân l p SVM  11

CHNG 2 - THU T TOÁN K-SVD  13

2.1 Gi i thi u thu    t toán K-SVD cho hc t n:   13

2.2 Thu t toán K-means cho l ng hóa vector   13

2.3 K-SVD-T ng quát hóa K-Means  15

2.4 Mô t chi ti   t K-SVD 17

2.5 T K-SVD quay l i K Means    21

2.6 Các tính ch t c   a K-SVD 22

CHNG 3 MÔ T BÀI TOÁN, MÔ HÌNH, K T QU     TH C NGHI M VÀ MÔ PH   NG 23

3.1 Mô t bài toán  23

3.2 Mô hình h c t n    26

3.3 Xây d ng c s d u     li 28

3.4 Mô t d u th c nghi m   li   29

3.5  30

3.6 Ph n m m h phân l p   tr  31

3.7 K t qu   th c nghi m 37 

3.8 T ng k   t chng 42

K T LU N   43

TÀI LI U THAM KH O 44 

1

ng ki n th c trình bày trong lu c t n và ng d ng trong

phân loi  là do tôi tìm hi u, nghiên c u và trình bày   theo nh ng ki n th c t ng   

h p c a cá nhân K t qu nghiên c u trong lu     c công b i t

b t k  công trình nào khác Trong quá trình làm luo các tài lin tài li u tham kh công trình nghiên cu ca tôi và không sao chép c a b t k ai

Tôi xin ch u hoàn toàn trách nhi m, n u sai, tôi xin ch u m i hình th c k       lunh

i, ngày 25 tháng 2 7

Hc viên

nh Ti n Hòa Tr 

3

T vi   t t t Thu t ng  Gi i  thích

K-SVD K- Singular value decomposition Phân rã K giá tr k d   

MOD Method of optimal directions ng t

SSE S of Squared Errorum T ng l i trung bình   SNR Signal- -noise ratio to T l  tín hiu trên nhi u 

SVM Support vector machine Máy vector h tr

VQ Vector quantization L ng hóa vector 

MSE Mean Squared Error Tsai sOMP Orthogonal matching pursuit i kh p tr c giao  

BP Basis pursuit i kh

SSY S of Squared Y um T ng trung bình  

ma tr n bi u di n tín hi u Y    

4

B ng 3.1 - B ng k  t qu phân l p và các ch s c   a tp train và Test theo K.38

5

Hình 1.1 - Các chi ti phân bing 9

Hình 2.1 - Thut toán K-means 14

Hình 2.2 - Thut toán K-SVD 19

Hình 3.1 - Chia t p nh thành 2 t p h c và ki m tr      

Hình 3.2 Mô t- quá trình t o túi t 26  

Hình 3.3 - u diBi ng bi histogram 27

Hình 3.4 - Biu di n các b c nh b ng bi  histogram 27

Hình 3.5 - t qu phân l p c a các b   c nh 27

Hình 3.6 - Mô t  th h ng phân loi nh 28

Hình 3.7 - Mô t  nh Ôtô laptop 32

Hình 3.8 Giao di- n chính c a ph n m m 34 

Hình 3.9 - Ch n u vào 35

Hình 3.10 - Ch n nh ôtô 36

Hình 3.11 - Kt qu phân tích là Car 37

Hình 3.12 Hi- n th tên tác gi và các thông tin tr giúp 38   

Hình 3.13 - Kt qu phân tích là Laptop 39

Hình 3.14 - S   chính xác ca tp Train và Test theo K 41

Hình 3.15 - S  i SNR ca tp Training và Testing theo K 40

Hình 3.16 - S  i SSE ca tp Train và Test theo K 43

Hình 3.17 - Thi gian x d u clý  li a tp Train 44

m m nh n d ng nh m t o ra s n d      ti n khách hàng B n ch t th t s c    a

nh n d ng chính là m t bài toán phân l p V    i u vào, ph n m m s phân l p    

 t l p thích h p trong h th ng ho   nh là  n t i

   d li t trong nh ng nguyên nhân bài toán phân l p  

c nhi u s quan tâm  

Ngoài ra, s phát tri n c  n tho i thông minh và máy nh k   thu t s ngày

 bùng n nh k thu t s S  ng nh kh ng l           trên mt ra v   v vi c qu n lý n i dung nh N u ta có th phân lo     i

nh t  d dàng lo i b nh ng nh không phù h p trên các     trang web

  m t trong nh ng thu t toán hi u qu gi i quy t v         này là thut toán K-SVD Ngoài ra bài toán x   lý nh m phân tích

    n c a nh và áp d       t toán K-SVD Trong nghiên c u này, x   lý   c ti n x lý thông tin quan tr 

thu t toán K-SVD, SVM nh m gi i quy t bài toán phân l p     

Kt qu  chính xác c a quá trình phân l p  

 tài H c t n và ng d ng trong phân lo       i nh nh m m  u

c cách th i nh hi u qu  

2    ng và ph m vi nghiên c u  

ng nghiên c u t p trung vào vi c x lý nh b      ch

m m u  c b i c m bi n Thông tin thích h p     c x trong quá trình  lý

c gi m r t nhi u so v i t p d li      c ghi Ngu n g c thông  tin thích h p này nh n d ng b i      bên trong các l p c a tín hi u    pháp h t n là hc   c c không gian bi u di n

nh so v i không gian bi u di   u mà có th bi u di  c thông

u c a tín hi u và t t cho nhi m v x lý       p d li u)  

1.2 Biu di a tín u hi

S d ng m t ma tr n t n hoàn ch nh       có cha K nguyên mu thành ph n tín hi u cho các c t    K

j  1 , m t tín hi u   có th  c bi u di n  

  t s k t h p tuy n tính c a các thành ph n      Bi u di n c a y có th    

m t trong hai là chính xác y=Dx ho c g    a mãn ||y-Dx||p  Các vector cha các h s bi u di n c a tín hi u y      p x, tiêu chuc s   d ng sai lch là chu n  cho p

N u  n<K và D là m t ma tr n h  , vô h n các gi i pháp có s n cho có   các v  bi u di n tín hi u D   ph i  thi t l p gi i pháp v i s ng ít nh t      các

h s khác không là m bi u di n h p d n   t     Biu di n  t là gii pháp ca mt trong hai bi u th c sau:

0 ng y=Dx (1.1) Hoc : 0 ng -Dx||||y 2 (1 2)

10

.1 minh hu ta c n     i

ng khác nhau trong n c nh ng chi ti t có kh    c

ng v i nhau Trong Matlab h tr trích l   c

  c t i ta có th    i sánh n i dung c a hai nh v i nhau ho c     

d a vào t l    bi c phóng to, thu nh hay thay 

1.4.3 Red-Green-Blue (RGB) [9]

màu s c c nh d a vào giá tr , Xanh lá cây và

t t Nói chung l càng l n thì sai s t ng quát hóa c     a thut toán phân lo i càng bé Trong nhing h p, không th phân chia các l p d u m t cách tuy n     li  tính trong m mô t m t v   Vì v y, nhi u  

12

khi c n ph i ánh x    m d liu vào m t không gian 

m i nhi u chi    vi c phân tách chúng tr nên d   

m  vi c hi u qu , ánh x s d ng trong thu t toán SVM ch        

h i  ng  li c u trong không gian m i có th   c tính d dàng t các t  nh b ng m t hàm h t nhân K(x,y) phù h p M t siêu ph ng trong không gian m      nh

p hng v i m  nh trong không gian

 t h ng s nh m t siêu ph ng s d ng trong SVM là m t t      

h p tuy n tính c  liu hc trong không gian mi vi các h s   i Vi siêu ph ng l a ch  m x c ánh x vào m t siêu m t ph  m tha mãn:

- u di n t p r các m u h c (training examples) Bi    

l  chính xác phân l p b ng SVM. 

13

2.1 Gi i thi u thu t toán K-SVD cho h    c t  n:

K SVD thu t toán phân rã K giá tr D Thu t toán này b t ngu n t là       thut toán K-means chng h  tìm 1 giá tr d k trong m i l n tính toán thì th  c cht là thu t toán K-means N tìm K giá tr d k (phân rã D thành K giá tr d k) thì thi   t k c a nó d n t ng quát hóa c a thu t toán K-means Thu t toán K-   SVD có hi u qu cao,     hi u qu  a và c c p nh t t n   

M i  c c a thu t toán là m ch l c v i nhau, c hai       c làm giá tr l i nh    ,

kt qu c b   t n hoàn ch nh 

2.2 Thu t toán K-  ng hóa vector

Cho vector tín hi u  N

i  1 v i y i ={x1,x2r} xi là m t ví d  (mt không gian n chi u) Thu t   toán K-means phân chia tp d liu thành k c m, m i c m (cluster) có m   c g i là centroid.

k ng s các c(t  c) là m t giá tr    c c ch nh b  i

i thi t k h th ng phân c m).V i m t giá tr k            c, Ch n 

ng u nhiên k ví d   c g i là các h t nhân          s d m trung tâm ban u (initial centroids) c a k c m, L p liên t c      n khi gu

ki n h i t    (convergence criterion)  i v i m i ví d , gán nó vào c m (trong s k   

c m) mà có tâm (centroid) g n ví d     t i v i m i c m, tính toán l   m trung tâm (centroid) c a nó d a trên t t c các ví d      thuc vào c Quá trình phân c m k t thúc n u không có (ho   ) vi c gán l i các ví d vào   các c m khác, ho c không có (ho    i v m trung tâm (centroids) ca các c m, ho c gi  ng k v t ng l i phân c m     

T n c a t     mã ng hóa vector VQ là ki u h c s d ng     thut toán means, bi u th ma tr n t n b i C=[c      1,c2k] , t mã là các c c

K-i tín hi u bi u di n t mã g n nh t c      i kho ng cách chu n l  2)

Nhim v: Tìm t t n t   t nht có th bi u di   n m  liu d u N

i  1 bi hàng xóm g n nh c gii quyt b i bi u th c 

 n c p nh t t    n:    i v i m i c m tính toán lm trung tâm

c a nó d a trên t t c các m u thu c vào c      ó cho m i c t k trong C  (J-1),

15

Biu di n MSE cho m i y  i: 2

2 và MSE tng là: 2

i

2 2

V o VQ là tìm m t n C gi m thi u l i E, ch u s h n ch v t          

c u trúc c a X, các c t ph   c l y t giá tr p  th

2

Thu t toán K-means là m   c s d thi   t k t n

ti   cho nh t ng hóa vector VQ Trong m i l n l  n: m t cho 

a mà ch y i X và m t cho vi c c p nh t t n Hình 2.1      cung cp nhi u mô t chi ti  c này    

   gi nh bi t m t t n C    ( )J-1 và s tính toán kh  

  gi m thi u giá tr c a (2.2    y, n c p nh t t n    

c  t và tìm ki m c p nh t sao cho bi u th c (2.2) có giá tr nh       

nh t Rõ ràng, m i l n l p, ho c là gi m ho giá tr        c   i

na,   m c gi m thi u có t ng là t t nh t Khi MSE b      chn

 i b i không, và thum bu gi m c a MSE, h i t ít nh t là      

s thích h p Trong m  p c n này là m t s t ng quát tr    c tia thu t toán K-means vì nó c p nh t m i c t riêng bi     c hi n trong K-means Mu có th l p lu n r ng trong K-means các m c khác không     trong X là c nh trong vi c c i thi n c a c      k  th y ti p theo, 

i vì trong K-means (hình d ng có l i VQ ), v    c p nh t c t  

 nhi u thi t l  i là tr ng h p  

la chn

Quá trình c p nh t ch có m t c t c a D t i m t th        m là m t v  có

m t gi n d a trên phân rã giá tr s    a, cho phép mt

i giá tr h s trong khi c p nh t c t t n          c h i t , k t khi các    

c t ti c c p nh t d a trên các h s phù h     u qu t ng th là r   t phù h p v i nh   c nh y v t         

17

Gauss-Seidel trong t   i ta có th ngh b      c

ca và ch s d ng c p nh t các c t trong D cùng v i h s c a chúng,          

áp d ng trong m t th i k , l p      p l i u này s không làm vi c t    tr

c bi u di n s không bao gi b a      i, và m t thu y nh t  thi t s

và xem xét các v   tìm ki m cho bi u di n    a v i h s t ng h p     trong ma tr n  X tt nh t u ki n ph t có th    c vit l

s làm co l i các vector hàng b ng cách lo i b các    ph n t b ng 0

K-Kt qu  v i các vector hàng có chiu dài | | y, vi c nhân 

 t o ra m t ma tr n    c nx bao g m m t t p h p con c a các     

m u mà hi     d ng các thành ph n d k Hi u qu      x y ra v i 

 , bao hàm m t s l a ch n c a các c t l      ng v i các m u có s   

d ng thành ph n d  k

u tiên c a U, và h s vector    u tiên c a V nhân lên b i   

ý r ng, trong gi i pháp này, chúng ta nh t thi t ph i có i) các c t c a D v n bình        

ng và ii) s h tr c a t t c các bi u di n ho c là v         y ho c tr nên  

nh    b i u ki n  có th  k t thúc

Chúng ta s g i thu t toán "K-SVD" này song song tên K-means Trong khi   

K-means áp d ng K tính toán c     c p nh t các t n, K-SVD s thu    

c c p nh t t  n b i K-      nh m i m t c   mô t 

thu t toán  a ra trong Hình.2.2

Trong thu t toán K-SVD, quét qua các c t và luôn s d ng các h s c p nh       t

nh t khi chúng xu t hi n t     c SVD Phiên b n song song c a thu t toán   

này có th       t c các b n c p nh t c a t n t      c

c th c hi n gi  m cho thn này

 i t , nó mang l i m t gi  i nhin

l n s l n l p    

Khi nào thu t toán K-SVD s h i t   u tiên cho r ng chúng ta có th   thc

hi n  n mã hóa t hoàn h o, l y x p x t t nh     t cho tín hi u y i mà không

ch a nhi n T0 các mng h p này, gi s m t t n D      

c nh, m  a gi m t ng l bi u di n   i   2

2 t ra trong (2.5 Ngoài ra, t)  c c p nh t cho d  k , gi m thêm ho    i trong

MSE, trong khi không vi ph m các ràng bu  Th c hi n m t lo   c

t  m b o.Có th m b o h i t b i bên ngoài nhi u b ng cách so sánh t         t

nh t gi i pháp s d ng s h       tr c trao cho m t trong nh  xu t m i ch  y c a l p thu t toán, và vi c áp d ng t    B ng cách này, chúng ta s luôn  luôn nhc s  c i thi n 

2.5 T K-SVD quay l   i K  Means

u gì x y ra khi m u c a mô hình T   0 ng hng vi hình du quan tr ng là, K -SVD tr thành m  cho h c t n Khi    T0 , Ma tr n h s X ch có m t m c khác không m i c=1        t

y, tính toán l i chuy n giao trong (2.9   )

tr tic p trên nhóm c a các m u   trong Ngoài ra, K c p nh t các c t c a D tr     

 c l p nhau, bao hàm m t quá trình x   lý tu n t   c, ho c quá trình song song, c  u dn cùng m t thu t toán.T     c c r ng b n c p

nh t K-means c a các tr ng tâm c m có th      c hi u là m t quá trình tu n t Giai    

n bi u di n dàng bu    , ngoài s l a ch n T   0 , gi i h n các =1  

m c khác không c    l i v phân c m c n   