TÌM HIỂU MẠNG NEURONLỜI NÓI ĐẦU1QUY ƯỚC SỬ DỤNG TRONG BÀI2CHƯƠNG 1 MÔ HÌNH NEURON VÀ CẤU TRÚC MẠNG31.Khái niệm cơ bản32.Mô hình neuron3a.Neuron đơn giản3b.Các hàm truyền4c.Neuron có vectơ đầu vào53.Cấu trúc mạng neuron6a.Mạng neuron một lớp6b.Mạng neuron nhiều lớp7c.Mạng neuron hồi quy84.Ví dụ8CHƯƠNG 2 QUY TẮC HỌC CỦA PERCEPTRON101.Cấu trúc Perceptron10a.Khái niệm10b.Perceptron một neuron102.Quy tắc học của Perceptron10a.Khái niệm10b.Bài toán thử nghiệm11c.Xây dựng nguyên tắc học11d.Quy tắc học hợp nhất13e.Huấn luyện Perceptron có nhiều neuron133.Tiêu chuẩn hội tụ16a.Khái niệm16b.Tiêu chuẩn17CHƯƠNG 3 KHÔNG GIAN VEC TƠ TRỌNG SỐ VÀ TÍN HIỆU191.Các không gian vec tơ tuyến tính192.Độc lập tuyến tính193.Kích thước không gian mẫu204.Nội tích205.Chuẩn216.Trực giao217.Triển khai vec tơ23CHƯƠNG 4 CÁC BIẾN ĐỔI TUYẾN TÍNH ĐỐI VỚI MẠNG NEURON251.Các biến đổi tuyến tính252.Các ma trận biểu diễn253.Thay đổi cơ sở284.Các giá trị riêng và vec tơ riêng30CHƯƠNG 5 HỌC HEBB ĐƯỢC GIÁM SÁT331.Bộ liên kết tuyến tính332.Quy tắc Hebb333.Quy tắc giả nghịch đảo364.Ứng dụng375.Phương án khác của quy tắc Hebb39CHƯƠNG 6 CÁC MẶT ĐẶC TÍNH VÀ TỐI ƯU ĐẶC TÍNH401.Chuỗi Taylor402.Đạo hàm theo hướng423.Minima434.Điều kiện cần có điểm tối ưu44a.Điều kiện bậc nhất:45b.Điều kiện bậc hai:455.Các hàm bậc hai46CHƯƠNG 7 TỐI ƯU HÓA ĐẶC TÍNH511.Độ dốc lớn nhất512.Phương pháp Newton563.Gradient liên hợp58CHƯƠNG 8 QUY TẮC HỌC WIDROW – HOFF611.Mạng ADALINE (ADAtive LInear NEuron)612.Sai số trung bình bình phương623.Thuật toán LMS (Least Mean Square)634.Phân tích sự hội tụ645.Bộ lọc thích nghi67CHƯƠNG 9 LAN TRUYỀN NGƯỢC711.Perceptron nhiều lớp71a.Khái niệm71b.Phân loại mẫu71c.Hàm xấp xỉ732.Thuật toán lan truyền ngược74a.Khái niệm74b.Chỉ số đặc tính75c.Quy tắc móc xích76d.Lan truyền độ nhạy77e.Kết luận783.Ví dụ794.Sử dụng lan truyền ngược81a.Lựa chọn cấu trúc mạng81b.Tính hội tụ82c.Tổng quát hóa83CHƯƠNG 10 NHẬN DẠNG KÍ TỰ BẰNG MẠNG NEURON LAN TRUYỀN NGƯỢC851.Bài toán nhận dạng85a.Đặt vấn đề bài toán85b.Xác định cấu trúc mạng852.Phương pháp và thuật toán nhận dạng86a.Xử lý ảnh86b.Huấn luyện mạng923.Các mặt hạn chế94CHƯƠNG 11 MẠNG NEURON TÍCH CHẬP (Convolutional Neural Network)951.Khái niệm tích chập95a.Tích chập95b.Tích chập ảnh952.Mạng neuron tích chập (Convolutional Neural Network)963.Nhận dạng chữ viết97a.Cấu trúc mạng cho bài toán nhận dạng chữ viết97b.Hiện thực mạng neuron tích chập98c.Cơ sở dữ liệu100d.Tỉ lệ sai101Tài liệu tham khảo102
B GIÁO D∀C ∃ÀO T%O TR∋(NG ∃%I H+C QU,C T− H/NG BÀNG KHOA CÔNG NGH0 THÔNG TIN _oOo_ KHÓA LU1N T,T NGHI0P TÌM HI2U M%NG NEURON Gi3ng viên h56ng d9n : ThS Lê Vnh Sinh viên th?c hi≅n : TrΒn Chánh Phát Mã sΧ sinh viên : 113369065 TP H Chí Minh, 2015 Nh#n xét c%a gi∋ng viên NH1N XÉT CΕA GIΓNG VIÊN Ký tên L(i c∋m )n L(I CΓM )N +,u tiên, em xin chân thành c∋m )n gi∋ng viên Tr−(ng +.i h/c Qu0c T1 H ng Bàng – Khoa Công ngh3 thông tin, nh4ng ng−(i 6ã d.y d7, truy9n 6.t trang b: ki1n th ích cho em h)n n≅m qua Và ti1p theo em xin chân thành gΒi l(i c∋m )n ThS Lê V≅n H.nh 6ã t#n tình h−Χng d∆n em thΕc hi3n khóa lu#n t0t nghi3p N1u nh4ng l(i h−Χng d∆n, d.y b∋o c%a th,y em khó có thΦ hoàn thành khóa lu#n t0t nghi3p MΓt l,n n4a em xin c∋m )n th,y! Em xin chân thành c3m 7n! TP H Chí Minh, ngày 23 tháng 07 n≅m 2015 Sinh viên thΕc hi3n Tr,n Chánh Phát MΗc lΗc M∀C L∀C TÌM HI U M∀NG NEURON LΙI NÓI +ΚU QUY ΜΝC SΟ DΠNG TRONG BÀI CHΜϑNG MÔ HÌNH NEURON VÀ CΡU TRÚC MΣNG Khái ni3m c) b∋n Mô hình neuron a Neuron 6)n gi∋n b Các hàm truy9n c Neuron có vect) 6,u vào CΤu trúc m.ng neuron a M.ng neuron mΓt lΧp b M.ng neuron nhi9u lΧp c M.ng neuron h i quy Ví dΗ CHΜϑNG QUY TΥC HςC CΞA PERCEPTRON 10 CΤu trúc Perceptron 10 a Khái ni3m 10 b Perceptron mΓt neuron 10 Quy tΨc h/c c%a Perceptron 10 a Khái ni3m 10 b Bài toán thΒ nghi3m 11 c Xây dΕng nguyên tΨc h/c 11 d Quy tΨc h/c hΖp nhΤt 13 e HuΤn luy3n Perceptron có nhi9u neuron 13 Tiêu chu[n hΓi tΗ 16 a Khái ni3m 16 b Tiêu chu[n 17 CHΜϑNG KHÔNG GIAN VEC Tϑ TRςNG S∴ VÀ TÍN HI]U 19 Các không gian vec t) tuy1n tính 19 +Γc l#p tuy1n tính 19 Kích th−Χc không gian m∆u 20 NΓi tích 20 Chu[n 21 TrΕc giao 21 MΗc lΗc TriΦn khai vec t) 23 CHΜϑNG CÁC BI_N +I TUY_N TÍNH +∴I VΝI MΣNG NEURON 25 Các bi1n 6>i tuy1n tính 25 Các ma tr#n biΦu diαn 25 Thay 6>i c) sβ 28 Các giá tr: riêng vec t) riêng 30 CHΜϑNG HςC HEBB +ΜχC GIÁM SÁT 33 BΓ liên k1t tuy1n tính 33 Quy tΨc Hebb 33 Quy tΨc gi∋ ngh:ch 6∋o 36 δng dΗng 37 Ph−)ng án khác c%a quy tΨc Hebb 39 CHΜϑNG CÁC MεT +εC TÍNH VÀ T∴I ΜU +εC TÍNH 40 Chu7i Taylor 40 +.o hàm theo h−Χng 42 Minima 43 +i9u ki3n c,n có 6iΦm t0i −u 44 a +i9u ki3n b#c nhΤt: 45 b +i9u ki3n b#c hai: 45 Các hàm b#c hai 46 CHΜϑNG T∴I ΜU HÓA +εC TÍNH 51 +Γ d0c lΧn nhΤt 51 Ph−)ng pháp Newton 56 Gradient liên hΖp 58 CHΜϑNG QUY TΥC HςC WIDROW – HOFF 61 M.ng ADALINE (ADAtive LInear NEuron) 61 Sai s0 trung bình bình ph−)ng 62 Thu#t toán LMS (Least Mean Square) 63 Phân tích sΕ hΓi tΗ 64 BΓ l/c thích nghi 67 CHΜϑNG LAN TRUYφN NGΜχC 71 Perceptron nhi9u lΧp 71 a Khái ni3m 71 b Phân lo.i m∆u 71 c Hàm xΤp xγ 73 Thu#t toán lan truy9n ng−Ζc 74 MΗc lΗc a Khái ni3m 74 b Chγ s0 6ιc tính 75 c Quy tΨc móc xích 76 d Lan truy9n 6Γ nh.y 77 e K1t lu#n 78 Ví dΗ 79 SΒ dΗng lan truy9n ng−Ζc 81 a LΕa ch/n cΤu trúc m.ng 81 b Tính hΓi tΗ 82 c T>ng quát hóa 83 CHΜϑNG 10 NHϕN DΣNG KÍ Tκ BλNG MΣNG NEURON LAN TRUYφN NGΜχC 85 Bài toán nh#n d.ng 85 a +ιt vΤn 69 toán 85 b Xác 6:nh cΤu trúc m.ng 85 Ph−)ng pháp thu#t toán nh#n d.ng 86 a XΒ lý ∋nh 86 b HuΤn luy3n m.ng 92 Các mιt h.n ch1 94 CHΜϑNG 11 MΣNG NEURON TÍCH CHϕP (Convolutional Neural Network) 95 Khái ni3m tích ch#p 95 a Tích ch#p 95 b Tích ch#p ∋nh 95 M.ng neuron tích ch#p (Convolutional Neural Network) 96 Nh#n d.ng ch4 vi1t 97 a CΤu trúc m.ng cho toán nh#n d.ng ch4 vi1t 97 b Hi3n thΕc m.ng neuron tích ch#p 98 c C) sβ d4 li3u .100 d Tγ l3 sai .101 Tài li3u tham kh∋o 102 L(i nói 6,u L(I NÓI ∃ΗU Trong sΕ phát triΦn nh− vµ bão c%a ngành công ngh3 thông tin, trí tu3 nhân t.o - mΓt lνnh vΕc khoa h/c mΧi 6ang phát triΦn vΧi nh4ng b−Χc ti1n m.nh mο +.i di3n nh− trΖ lý ∋o Cortana - Microsoft, Google Now – Google, Siri – Apple t.o nên sΕ ti3n lΖi cho ng−(i dùng Trí tu3 nhân t.o tính toán nghiên ci tγ l3 mΓt nh4ng nguyên nhân gây sai s0 d∆n 61n nh#n d.ng ký tΕ b: sai a Xét chi9u rΓng - Ánh x 6iΦm 6,u 6iΦm cu0i c%a ký tΕ ∋nh t−)ng ng chν vi∴t a CΠu trúc m>ng cho toán nhΛn d>ng chν vi∴t Chú thích nh4ng tζ vi1t tΨt: • FM: Feature map • W: kernel • SF: Sampling Factor (H3 s0 lΤy m∆u) 97 Ch−)ng 11: M.ng neuron tích ch#p (Convolutional Neural Network) VΧi cΤu trúc m.ng nh− th1, có s0 neuron (pixel) m7i lΧp nh− sau: L6p Neuron (Pixel) Tham sΧ 29 x 29 = 841 x 13 x 13 = 1014 x (1 x x +1) = 156 50 x x = 1250 50 x (6 x x + 1) = 7550 100 x x = 100 10 x x = 10 100 x (50 x x +1) = 125100 10 x (100 x x +1) = 3215 T_ng 1010 133816 b Hi≅n th?c m>ng neuron tích chΛp M.ng neuron tích ch#p 6−Ζc mô t∋ bσng lΧp CNN ch