lý thuyết nhận dạng

CH NG 1: N I DUNG MÔN H C Biên so n: TS Ngô H u Phúc B môn: Khoa h c máy tính H c vi n k thu t quân s Email: ngohuuphuc76@gmail.com Lý thuy t nh n d ng LÝ THUY T NH N D NG Thông tin chung  Thông tin v nhóm môn h c: TT H tên giáo viên H c hƠm H cv n v công tác (B môn) Ngô H u Phúc GVC TS BM Khoa h c máy tính Tr n Nguyên Ng c GVC TS BM Khoa h c máy tính Nguy n Vi t Hùng GV TS BM Khoa h c máy tính  Th i gian, đ a m làm vi c: B môn Khoa h c máy tính T ng 2, nhà A1  a ch liên h : B môn Khoa h c máy tính, khoa Công ngh thông tin  i n tho i, email: 069-515-329, ngohuuphuc76.mta@gmail.com TTNT - H c vi n K thu t Quân s C u trúc môn h c  Ch ng 0: Gi i thi u v môn h c  Ch ng 1: Gi i thi u v nh n d ng m u  Ch ng 2: Nh n d ng m u d a th ng kê h c  Ch ng 3:  Ch ng 4: S phân l p d a láng gi ng g n nh t  Ch ng 5: Phân lo i n tính  Ch ng 6: Phân lo i phi n  Ch ng 7: M ng Neuron nhân t o cl ng hàm m t đ xác su t  Th c hành: Gi i thi u m t s TTNT - H c vi n K thu t Quân s ng d ng th c t Bài 1: Gi i thi u chung Ch ng 1, m c: 1.1 – 1.14 Ti t: 1-3; Tu n th : M c đích, yêu c u: N m đ c s l c v H c ph n, sách riêng c a giáo viên, đ a ch Giáo viên, b u l p tr ng H c ph n N m đ c c u trúc môn h c N m đ c l nh v c có liên quan đ n nh n d ng N m đ c nh ng v n đ c t lõi c a nh n d ng Hình th c t ch c d y h c: Lý thuy t Th i gian: ti t a m: Gi ng đ ng Phòng t o phân công N i dung chính: (Slides) TTNT - H c vi n K thu t Quân s TÀI LI U THAM KH O Pattern Recognition, Theodoridis Koutroumbas, Academic Press Pattern Classification, Duda, Hart, and Stork, John Wiley & Sons Pattern Recognition Statistical, Structural, and Neural Approaches, Schalkoff Lý thuy t nh n d ng and PH NG PHÁP ÁNH GIÁ 10 % tham gia h c t p, 30 % tham gia làm t p v l p, nhà th o lu n 60 % thi h t môn thông qua t Lý thuy t nh n d ng lu n N I DUNG MÔN H C T ch c môn h c Gi i thi u v nh n d ng m u 2.1 Th nh n d ng m u 2.2 Khái ni m 2.3 Các h th ng nh n d ng m u 2.4 Ti n x lý chu n hóa 2.5 L a ch n đ c tr ng 2.6 Ph 2.7 ng pháp phân l p ánh giá h th ng Nh n d ng m u d a th ng kê h c Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) 3.1 Lý thuy t quy t đ nh Bayes 3.2 Hàm phân bi t gi i quy t v n đ 3.3 Phân b chu n 3.4 L i biên đo s cl phân bi t ng hàm m t đ xác su t 4.1 cl ng tham s tr c, 4.2 cl ng tham s sau, 4.3 cl ng tham s Bayes 4.4 Mô hình h n h p 4.5 cl ng Entropy 4.6 cl ng không tham s Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) S phân l p d a láng gi ng g n nh t 5.1 Ph ng pháp k láng gi ng g n nh t Phân lo i n tính 6.1 Hàm phân bi t n tính 6.2 L p kh tách n tính 6.3 Ph ng pháp bình ph ng nh nh t 6.4 Bi n đ i đ c tr ng n tính Phân lo i phi n 7.1 Phân lo i n tính suy r ng 7.2 nh lý l p ph 7.3 Máy h tr vector Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) M ng Neuron nhân t o 8.1 M ng perceptron nhi u l p (MLP) 8.2 Hu n luy n m ng MLP Ph ng pháp non-metric (m r ng) 9.1 Cây quy t đ nh 9.2 Ng pháp 9.3 Lu t h c logic 10 S phân l p ph thu c ng c nh (m r ng) 10.1 Mô hình Markov 10.2 Mô hình Markov n Lý thuy t nh n d ng 10 Phân c m d li u nh n d ng Biên so n: TS Ngô H u Phúc B môn: Khoa h c máy tính H c vi n k thu t quân s Email: ngohuuphuc76@gmail.com Phân c m d li u nh n d ng Gi i thi u • M c tiêu xem xét m ng neural t t ch c Khác v i m ng tr c, m ng cho phép tìm đ c tính quan tr ng c a d li u input mà không c n giám sát • Trong ph n này, xem xét: – Gi i thu t K-mean Phân c m d li u nh n d ng Thu t toán K-mean • Vector m u có n chi u, đ c hi u m không gian n chi u, X = [x1,x2, ,xn]T • Kho ng cách Euclidean đ c đ nh ngh a: 1/  2 X   xi   i 1  n • Nh v y, kho ng cách gi a vector đ ngh a: 1/ c đ nh n 2 X  Z   xi  zi    i 1  Phân c m d li u nh n d ng Thu t toán K-mean (t) • Thu t toán K-mean c ng gi thi t, s chùm đ i v i d li u a, bi t • G i x(p) vector đ u vào th p Nh v y, t p vector đ u vào là: {x(1), x(2), , x(p)} • Vector z bi u di n tâm c a m t chùm Nh v y, v i K chùm, ta có t p tâm: z1, z2, , zk • G i Sj = {x|x g n chùm th j} • Nhi m v c a thu t toán tìm vector z Phân c m d li u nh n d ng Thu t toán K-mean (t) Các b c c a thu t toán K-mean: • B c 1: kh i t o: – Ch n s chùm, K V i m i chùm, ch n giá tr cho m i tâm: {z1(l),z2, ,zk(l)} • B c 2: phân b m u: – Trong s m u x, ch n vector x(p) g n v i m t chùm nh t n u: x p   S j l if x p   z j l   x p   zi l  for all i  1,2, , K, i  j – Trong đó, Sj(l) t p ch a m u t i l n l p th l Phân c m d li u nh n d ng Các b • B c c a thu t toán K-mean (t) c 3: Tính tâm chùm m i: – Tính l i tâm c a chùm cho t ng kho ng cách t i tâm m i c c ti u Gi s giá tr c c ti u Jj, đó: Jj    p x  z j l  1 x ( p ) S j ( l ) j  1,2, , K – Giá tr zj(l+1) đ c tính theo công th c  p z j (l  1)  x  N j x p  S j l  – V i Nj s m u Sj Phân c m d li u nh n d ng Các b • B c c a thu t toán K-mean (t) c 4: Ki m tra s h i t : – i u ki n c a s h i t t i b c đ c xác đ nh n u s thay đ i c a tâm nhóm: z j l  1  z j l , j  1,2, , K – N u có s h i t d ng thu t toán, n u không quay v b c • Ví d v K-mean đ c vi t C++ Phân c m d li u nh n d ng LÝ THUY T NH N D NG M t s k thu t lý thuy t nh n d ng (ti p) Biên so n: TS Ngô H u Phúc B môn: Khoa h c máy tính H c vi n k thu t quân s Email: ngohuuphuc76@gmail.com i sánh Bài toán đ i sánh  Không m t tính t ng quát, coi đ i t ng nghiên c u nh  Bài toán:  Cho nh I có kích th c M × N m u T có kích th c m × n C n xác đ nh m u T có nh I hay không?  i v i toán nh T, I đ u nh xám Các giá tr m nh c i sánh ng đ xám Thu t gi i  Thi t l p c a s W có kích th c b ng T Di chuy n c a s W nh I t trái sang ph i, t xu ng d i m i l n m t c t, m t hàng T i m i v trí so sánh hai ma tr n m nh W T  Nh v y, toán chuy n thành toán so sánh hai nh T W có kích th c m × n S l n th c hi n đ i sánh nh W T =(M-m+1)×(N-n+1)  gi m s =(M-m+1)×(N-n+1) ta có th th c hi n so sánh thô b ng cách co nh tr c dò tìm Ví d , l y trung bình m lân c n đ t o m m i cho nh k t qu  Vi c thu nh c ng s đ i sánh c th c hi n cho m u T i sánh theo m nh (1/2)  Kí hi u W(i,j) giá tr c a m nh (i,j), hàng i, c t j, c a s W; T(i,j) giá tr c a m nh t i ô (i,j) m u T  Giá tr sai s t đ i:  Giá tr sai s t i sánh ng đ i: i sánh theo m nh (2/2)  So sánh giá tr sai s v i giá tr ng ng H ho c h ng t nh v y, e100 Hai ví d ch r ng r t khó đ nh ng ng H h i sánh i sánh d a ma tr n t Ýt ng quan (1/3) ng  Bi n đ i nh T W thành m t nh khác đ so sánh chuy n đánh giá v so sánh ph m vi [0,1], ph m vi đánh giá quen thu c V i ph m vi đánh giá có th đ nh sai s =0.01 ho c giá tr r t nh khác  Trong công th c m c ta xét t ng v i bi n ch y t -∞ đ n + ∞ Trong kí hi u W(i,j), t ng t nh v y đ i v i T(i,j), n u i n m kho ng [1 m] ho c j n m kho ng [1 n] ta s coi nh W(i,j)=0, c ng nh T(i,j)=0 i sánh i sánh d a ma tr n t ng quan (2/3) Tính ma tr n t ng quan R:  Xây d ng ma tr n RWT nh sau:  Nh n th y:  Các ma tr n t t i sánh ng quan c a W c ng nh T i sánh d a ma tr n t Tính ma tr n h s t ng quan (3/3) ng quan Q:  Nh n xét r ng RWT(0,0) tích vô h ng c a hai vect W T, QWT(0,0) cosin góc gi a hai vect W T nh lý  QWT(k,q) ≤ 1, v i m i k,q = 0, ±1, ± 2, ± 3,  QWT(i0,j0) = đó, t n t i c, cho, v i m i i,j có W(i,j) = c.T(i-i0,j-j0) i sánh