Đang tải... (xem toàn văn)
LÝ THUYẾT NHẬN DẠNG Chương 0 Nội dung môn học LÝ THUYẾT NHẬN DẠNG CHƯƠNG 1 NỘI DUNG MÔN HỌC. Phân loại phi tuyến. 7.1. Phân loại tuyến tính suy rộng. 7.2. Định lý lớp phủ. 7.3. Máy hỗ trợ vector. 9. Lý thuyết nhận dạng ...Giáo trình “Lý thuyết nhận dạng ứng dụng trong quản lý” nhằm cung cấp cho người học và những ai có quan tâm các kiến thức cơ bản và có hệ thống về khoa học .
CH NG 1: N I DUNG MÔN H C Biên so n: TS Ngô H u Phúc B môn: Khoa h c máy tính H c vi n k thu t quân s Email: ngohuuphuc76@gmail.com Lý thuy t nh n d ng LÝ THUY T NH N D NG Thơng tin chung Thơng tin v nhóm mơn h c: TT H tên giáo viên H c hƠm H cv n v công tác (B môn) Ngô H u Phúc GVC TS BM Khoa h c máy tính Tr n Nguyên Ng c GVC TS BM Khoa h c máy tính Nguy n Vi t Hùng GV TS BM Khoa h c máy tính Th i gian, đ a m làm vi c: B mơn Khoa h c máy tính T ng 2, nhà A1 a ch liên h : B môn Khoa h c máy tính, khoa Cơng ngh thơng tin i n tho i, email: 069-515-329, ngohuuphuc76.mta@gmail.com TTNT - H c vi n K thu t Quân s C u trúc môn h c Ch ng 0: Gi i thi u v môn h c Ch ng 1: Gi i thi u v nh n d ng m u Ch ng 2: Nh n d ng m u d a th ng kê h c Ch ng 3: Ch ng 4: S phân l p d a láng gi ng g n nh t Ch ng 5: Phân lo i n tính Ch ng 6: Phân lo i phi n Ch ng 7: M ng Neuron nhân t o cl ng hàm m t đ xác su t Th c hành: Gi i thi u m t s TTNT - H c vi n K thu t Quân s ng d ng th c t Bài 1: Gi i thi u chung Ch ng 1, m c: 1.1 – 1.14 Ti t: 1-3; Tu n th : M c đích, yêu c u: N m đ c s l c v H c ph n, sách riêng c a giáo viên, đ a ch Giáo viên, b u l p tr ng H c ph n N m đ c c u trúc môn h c N m đ c l nh v c có liên quan đ n nh n d ng N m đ c nh ng v n đ c t lõi c a nh n d ng Hình th c t ch c d y h c: Lý thuy t Th i gian: ti t a m: Gi ng đ ng Phịng t o phân cơng N i dung chính: (Slides) TTNT - H c vi n K thu t Quân s TÀI LI U THAM KH O Pattern Recognition, Theodoridis Koutroumbas, Academic Press Pattern Classification, Duda, Hart, and Stork, John Wiley & Sons Pattern Recognition Statistical, Structural, and Neural Approaches, Schalkoff Lý thuy t nh n d ng and PH NG PHÁP ÁNH GIÁ 10 % tham gia h c t p, 30 % tham gia làm t p v l p, nhà th o lu n 60 % thi h t môn thông qua t Lý thuy t nh n d ng lu n N I DUNG MÔN H C T ch c môn h c Gi i thi u v nh n d ng m u 2.1 Th nh n d ng m u 2.2 Khái ni m 2.3 Các h th ng nh n d ng m u 2.4 Ti n x lý chu n hóa 2.5 L a ch n đ c tr ng 2.6 Ph 2.7 ng pháp phân l p ánh giá h th ng Nh n d ng m u d a th ng kê h c Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) 3.1 Lý thuy t quy t đ nh Bayes 3.2 Hàm phân bi t gi i quy t v n đ 3.3 Phân b chu n 3.4 L i biên đo s cl phân bi t ng hàm m t đ xác su t 4.1 cl ng tham s tr c, 4.2 cl ng tham s sau, 4.3 cl ng tham s Bayes 4.4 Mơ hình h n h p 4.5 cl ng Entropy 4.6 cl ng không tham s Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) S phân l p d a láng gi ng g n nh t 5.1 Ph ng pháp k láng gi ng g n nh t Phân lo i n tính 6.1 Hàm phân bi t n tính 6.2 L p kh tách n tính 6.3 Ph ng pháp bình ph ng nh nh t 6.4 Bi n đ i đ c tr ng n tính Phân lo i phi n 7.1 Phân lo i n tính suy r ng 7.2 nh lý l p ph 7.3 Máy h tr vector Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) M ng Neuron nhân t o 8.1 M ng perceptron nhi u l p (MLP) 8.2 Hu n luy n m ng MLP Ph ng pháp non-metric (m r ng) 9.1 Cây quy t đ nh 9.2 Ng pháp 9.3 Lu t h c logic 10 S phân l p ph thu c ng c nh (m r ng) 10.1 Mơ hình Markov 10.2 Mơ hình Markov n Lý thuy t nh n d ng 10 Phân c m d li u nh n d ng Biên so n: TS Ngô H u Phúc B mơn: Khoa h c máy tính H c vi n k thu t quân s Email: ngohuuphuc76@gmail.com Phân c m d li u nh n d ng Gi i thi u • M c tiêu xem xét m ng neural t t ch c Khác v i m ng tr c, m ng cho phép tìm đ c tính quan tr ng c a d li u input mà không c n giám sát • Trong ph n này, xem xét: – Gi i thu t K-mean Phân c m d li u nh n d ng Thu t tốn K-mean • Vector m u có n chi u, đ c hi u m không gian n chi u, X = [x1,x2, ,xn]T • Kho ng cách Euclidean đ c đ nh ngh a: 1/ 2 X xi i 1 n • Nh v y, kho ng cách gi a vector đ ngh a: 1/ c đ nh n 2 X Z xi zi i 1 Phân c m d li u nh n d ng Thu t toán K-mean (t) • Thu t tốn K-mean c ng gi thi t, s chùm đ i v i d li u a, bi t • G i x(p) vector đ u vào th p Nh v y, t p vector đ u vào là: {x(1), x(2), , x(p)} • Vector z bi u di n tâm c a m t chùm Nh v y, v i K chùm, ta có t p tâm: z1, z2, , zk • G i Sj = {x|x g n chùm th j} • Nhi m v c a thu t tốn tìm vector z Phân c m d li u nh n d ng Thu t toán K-mean (t) Các b c c a thu t toán K-mean: • B c 1: kh i t o: – Ch n s chùm, K V i m i chùm, ch n giá tr cho m i tâm: {z1(l),z2, ,zk(l)} • B c 2: phân b m u: – Trong s m u x, ch n vector x(p) g n v i m t chùm nh t n u: x p S j l if x p z j l x p zi l for all i 1,2, , K, i j – Trong đó, Sj(l) t p ch a m u t i l n l p th l Phân c m d li u nh n d ng Các b • B c c a thu t toán K-mean (t) c 3: Tính tâm chùm m i: – Tính l i tâm c a chùm cho t ng kho ng cách t i tâm m i c c ti u Gi s giá tr c c ti u Jj, đó: Jj p x z j l 1 x ( p ) S j ( l ) j 1,2, , K – Giá tr zj(l+1) đ c tính theo cơng th c p z j (l 1) x N j x p S j l – V i Nj s m u Sj Phân c m d li u nh n d ng Các b • B c c a thu t toán K-mean (t) c 4: Ki m tra s h i t : – i u ki n c a s h i t t i b c đ c xác đ nh n u khơng có s thay đ i c a tâm nhóm: z j l 1 z j l , j 1,2, , K – N u có s h i t d ng thu t tốn, n u khơng quay v b c • Ví d v K-mean đ c vi t C++ Phân c m d li u nh n d ng LÝ THUY T NH N D NG M t s k thu t lý thuy t nh n d ng (ti p) Biên so n: TS Ngô H u Phúc B mơn: Khoa h c máy tính H c vi n k thu t quân s Email: ngohuuphuc76@gmail.com i sánh Bài tốn đ i sánh Khơng m t tính t ng quát, coi đ i t ng nghiên c u nh Bài toán: Cho nh I có kích th c M × N m u T có kích th c m × n C n xác đ nh m u T có nh I hay khơng? i v i tốn nh T, I đ u nh xám Các giá tr m nh c i sánh ng đ xám Thu t gi i Thi t l p c a s W có kích th c b ng T Di chuy n c a s W nh I t trái sang ph i, t xu ng d i m i l n m t c t, m t hàng T i m i v trí so sánh hai ma tr n m nh W T Nh v y, toán chuy n thành toán so sánh hai nh T W có kích th c m × n S l n th c hi n đ i sánh nh W T =(M-m+1)×(N-n+1) gi m s =(M-m+1)×(N-n+1) ta có th th c hi n so sánh thô b ng cách co nh tr c dị tìm Ví d , l y trung bình m lân c n đ t o m m i cho nh k t qu Vi c thu nh c ng s đ i sánh c th c hi n cho m u T i sánh theo m nh (1/2) Kí hi u W(i,j) giá tr c a m nh (i,j), hàng i, c t j, c a s W; T(i,j) giá tr c a m nh t i ô (i,j) m u T Giá tr sai s t đ i: Giá tr sai s t i sánh ng đ i: i sánh theo m nh (2/2) So sánh giá tr sai s v i giá tr ng ng H ho c h ng t nh v y, e100 Hai ví d ch r ng r t khó đ nh ng ng H h i sánh i sánh d a ma tr n t Ýt ng quan (1/3) ng Bi n đ i nh T W thành m t nh khác đ so sánh chuy n đánh giá v so sánh ph m vi [0,1], ph m vi đánh giá quen thu c V i ph m vi đánh giá có th đ nh sai s =0.01 ho c giá tr r t nh khác Trong cơng th c m c ta xét t ng v i bi n ch y t -∞ đ n + ∞ Trong kí hi u W(i,j), t ng t nh v y đ i v i T(i,j), n u i n m kho ng [1 m] ho c j n m kho ng [1 n] ta s coi nh W(i,j)=0, c ng nh T(i,j)=0 i sánh i sánh d a ma tr n t ng quan (2/3) Tính ma tr n t ng quan R: Xây d ng ma tr n RWT nh sau: Nh n th y: Các ma tr n t t i sánh ng quan c a W c ng nh T i sánh d a ma tr n t Tính ma tr n h s t ng quan (3/3) ng quan Q: Nh n xét r ng RWT(0,0) tích vơ h ng c a hai vect W T, QWT(0,0) cosin góc gi a hai vect W T nh lý QWT(k,q) ≤ 1, v i m i k,q = 0, ±1, ± 2, ± 3, QWT(i0,j0) = đó, t n t i c, cho, v i m i i,j có W(i,j) = c.T(i-i0,j-j0) i sánh ... ng m u 2.4 Ti n x lý chu n hóa 2.5 L a ch n đ c tr ng 2.6 Ph 2.7 ng pháp phân l p ánh giá h th ng Nh n d ng m u d a th ng kê h c Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) 3.1 Lý thuy t quy t... Phân lo i phi n 7.1 Phân lo i n tính suy r ng 7.2 nh lý l p ph 7.3 Máy h tr vector Lý thuy t nh n d ng N I DUNG MÔN H C (TI P) M ng Neuron nhân t o 8.1 M ng perceptron nhi u l p (MLP) 8.2 Hu... ng Ph thu c vào ng d ng c lý âm thanh, th : x lý nh hay x Các ph ng pháp: c t b thơng tin bên ngồi, chu n hóa, phân tích thành ph n T ng quan v nh n d ng 10 2.4 TI NX LÝ VÀ CHU N HÓA (T) 2.4.1