Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến

i Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn I HC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀ N THÔNG CHU HOÀNG HÀ NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 LU          PGS-TS Ngô Quốc Tạo ii Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Thái Nguyên – 2013 BẢN CAM KẾT Tên tôi là: Chu Hoàng Hà Lp: Cao hc Công ngh thông tin K10A Khoá hc: 2011 - 2013 Chuyên ngành:Khoa hc máy tính Mã s chuyên ngành: 60 48 01  i hc Công ngh thông tin và Truyn thông Thái Nguyên ng dn: PGS-TS Ngô Quc To i hm K Thunh  nc trình bày trong bn lu này là kt qu tìm hiu và nghiên cu ca riêng tôi, trong quá trình nghiên cu lu“Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến” các kt qu và d lic nêu ra là hoàn toàn trung thc. Mi thông tin trích dc tuân theo lut s hu trí tu, có lit kê rõ ràng các tài liu tham kho. Tôi xin chu hoàn toàn trách nhim vi nhng nc vit trong lu Thái Nguyên, ngày 08 tháng 06 năm 2013 HỌC VIÊN CHU HOÀNG HÀ iii Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Luc thc hin ti hc Công ngh Thông tin và Truyn Thông - i hi s ng dn ca thy PGS-TS Ngô Quc To. c ht em xin bày t lòng bic ti thy PGS-TS Ngô Quc To - Vin Công ngh ng d  em hoàn thành tt lua mình. Em xin gi li cn các thy cô giáo i hc Công ngh Thông tin và Truyn Thông - i hc Thái Nguyên, cùng các thy t tình ging dy, truyt kin thc cho em trong sut quá trình hc tp t Cui cùng em xin gi li cm ng nghip nh và tu kin cho em trong quá trình hc tp và hoàn thành lu Thái Nguyên, ngày 08 tháng 06 năm 2013 HỌC VIÊN CHU HOÀNG HÀ v Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC LI M U 1 Chng 1 KHÁI QUÁT V MNG NRON 1.1. Khái nim mng nron 4 1.1.1. Gii thiu 4 1.1.1.1. Nron 7 1.1.1.2. Ch chc và hong ca b não con ngi 8 1.1.1.3. So sánh mng nron vi máy tính truyn thng 10 1.1.2. Nron nhân to 11 1.1.3. Mng nron nhân to 14 c trng ca mng nron[5] 15 1.2.1. Tính phi tuyn 15 1.2.2. Tính cht tng u ra 16 1.2.3. Tính cht thích nghi 16 1.2.4. Tính cha ra li gii có bng chng 16 1.2.5. Tính cht chp nhn sai sót 16 1.2.6. Kh p VLSI (Very-Large-Scale-Intergrated) 17 1.2.7. Tính cht tng t trong phân tích và thit k 17 1.3. Phân loi mng nron nhân to 17 1.3.1. Phân loi theo kiu liên kt nron 17 1.3.2. Mt s loi mng nn hình[20] 18 1.3.2.1. Mng dn tin (feedforward) 18 1.3.2.1. Mng quy hi (recurrent network) 20 1.4. Xây dng mng nron[8] 21 1.5. Hun luyn mng nron 22 1.5.1. Phng pháp hc 22 1.5.1.1. Hc có giám sát 22 vi Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1.5.1.2. Hc không giám sát 23 1.5.1.3. Hng 23 1.5.2. Thut toán hc 23 1.6. Thu thp d liu cho mng nron 24 1.7. Biu din tri thc cho mng nron 26 1.8. ng dng ca mng nron. 28 Chng 2 NG DNG MNG NRON TRONG NHN DNG CH VIT TAY TRC TUYN 2.1. Gii thiu bài toán nhn dng kí t 30 2.1.1. Gii thiu s lc v nhn dng 30 2.1.2. Gii thiu v nhn dng ch vit tay 31 2.1.3. Nhn dng ch vit tay bng mng nron[5] 35 2.1.4. Phát biu bài toán 36 2.1.5. Các bc gii quyt bài toán s dng mng nron trong nhn dng ký t . 36 2.2. Mng Perceptron nhn dng ký t 36 2.2.1. Gii thiu v mng nron Perceptron 36 2.2.2. Cu trúc ca mng nron Perceptron 37 2.2.3. Thc thi ca mng nron Perceptron 38 2.2.3.1. Thut toán hc ca mng nron mt lp 38 2.2.3.2. Thut toán hc ca mng nron nhiu lp 40 2.2.4. Nhn xét 44 2.3. Mng Kohonen nhn dng ký t 45 2.3.1. Gii thiu v mng nron Kohonen 45 2.3.2. Cu trúc ca mng nron Kohonen[16] 46 2.3.3. Thc thi ca mng nron Kohonen[15] 46 2.3.2.1. Chuu vào 46 u ra cho mi nron 47 vii Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2.3.2.3. Chn nron chin thng 47 2.3.2.4. Quá trình hc ca mng nron Kohonen 48 2.3.3. Nhn xét 51 Chng 3 XÂY DNG CHNG TRÌNH NHN DNG CH VIT TAY TRC TUYN 3.1. Gii thiu 52 3.2. Xây dng giao din v 53 3.3. X lý d liu (phân tích nh) 54 3.4. Xây dng mng nron 54 3.4 .1. Xây dng mng nron Perceptron 54 3.4.2. Xây dng mng nron Kohonen. 56 3.5. Chng trình minh ha 59 3.5.1. Các cha chng trình 59 3.5.2. Kt qu nhn dng 60 n xét 62 KT LUN VÀ HNG PHÁT TRIN 1. Nhng kt qu mà luc 64 2. Hng phát trin tip theo 64 TÀI LIU THAM KHO viii Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC HÌNH Hình 1 c 7 Hình 1.2 Mron sinh hc 10 Hình 1.3 Mô hình mo 11 Hình 1.4 S o[16] 12 Hình 1.5 Mô hình phi tuyn th hai ca mt m 14  n v mt mo[8] 15 Hình 1.7 Mng truyn thng 18 Hình 1.8 Mng quy hi 18 Hình 1.9 Mng tin vi mt m 19 Hình 1.10 Mng tin kt n vi mt mc n và mt mu ra 20 Hình 1.11 Mng hn và không có vòng lp t phn hi20 Hình 1.12 Mng hn 21   th n 21 Hình 2.1 Mô hình chung trong nhn dng ch vit 34 Hình 2.2 Mô hình tng quát ca m 37 Hình 2.3 Bài toán XOR 39 Hình 2.4 Cu trúc ca mng Kohonen 46 Hình 2.5 Quá trình hun luyn m 48 Hình 3.1 Quá trình tìm gii hn ký t 53 Hình 3.2 Quá trình ly mu xung 53 Hình 3.3 Quá trình ánh x t ma trm sang ma trn giá tr 54 Hình 3.4 Quá trình hun luyn mng 58 Hình 3.5 Giao dia 59 Hình 3.6 Ti mu 60 Hình 3.7 Nhn dng ký t e bng mng Kohonen 61 Hình 3.8 Nhn dng ký t e bng mng Perceptron 61 Hình 3.9 Thêm mu mi 62 1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI MỞ ĐẦU M  n to ANN (Artificial Neural Networks) là mt mô phng x c nghiên cu ra t h thng thn kinh ca sinh vt, gi  x lý thông tin. Nó bao gm s ng ln các mi gn kt c x lý các yu t làm vic trong mi liên h gii quyt v rõ ràng. ANN gic hc bi kinh nghing kinh nghim hiu bit và s dng trong nhng tình hung phù hp và quan trng t, i có kh  sáng to. c gii thii nhà thn kinh hc Warren McCulloch và nhà logic hi nhng k thut trong thi  nghiên cc nhiu. Nh phng ANN xut hin và phát trin. Các nghiên cu ng dc thc hin trong các ngn t, k thut ch to, y hc, quân s, kinh t Mt trong nhng ng dn ca mn dng mu,  i mt mu là mt tp hp (hay mt vector) các tham s biu th các thuc tính ca quá trình v    Ngoài sc mnh vn có, mng  him ca mình trong vic nhn dng thông qua kh  mm do, d thích nghi vng. Chính vì vy, có th coi m c tiên là mt công c  nhn dng. Các bài toán nhn dc nghiên cu nhiu nht hin nay bao gm nhn dng các mu hình hc (vân tay, mi, hình khn dng ting nói và nhn dng ký t vit. Nhn dng ký t vit bao gm hai kiu chính là nhn dng ký t in và nhn dng ký t vin nay bài toán nhn dng ký t c gii quyt khá trn vn vi s i ca nhiu h thng nhn dt t chính xác gi. Nhn dng ký t vit tay  thách thc li vi các nhà nghiên c th gii quyt trn vc vì nó ph thuc quá nhii vit và s bing trong cách vit và trng thái tinh thn ca ti vic bii vi vic nhn dng ký t vit tay ting Vit li càng gp nhi ký t ting Vit có nhiu ký t có hình dáng rt ging nhau, ch khác nhau chút ít v phn du. 2 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chính vì các lý do nêu trên cùng vi s gi ý ca thy giáo tôi nhn thy nghiên cu v mng nghiên cu quan trng, mi m và có nhiu trin vng thi áp dng m gii quyt bài toán nhn dng ch vit tay ting Vit là mng tip cn khoa hc có hiu qu, góp phn gii quyt bài toán nhn dng ch vit tay ting Vit hic gii quyt trn v Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến”. Tuy nhiên do hn ch v mt th phc tp ca bài  u và mô phng nhn dng ký t vit tay ting Vit ri rc trc tuyn. Nội dung luận văn gồm: Chƣơng 1: Khái quát về mạng nơron Trình bày nhng lý thuyn v mô hình mch s i và phát trin ca mm mi mô hình m     a m    n luyn mng c có giám sát. Các v và ng dng ca m Chƣơng 2: Ứng dụng mạng nơron trong nhận dạng chữ viết tay trực tuyến Gii thiu v nhn dng, các bài toán nhn dng, nhn dng ch vit tay ting Vin dng ch vit tay bng mu c gii quyt bài toán. Trình bày lý thuyn v m    gii thiu v mng, cu trúc mc thc thi trong mng: chun hóa u ra, quá trình hun luyn m Chƣơng 3: Xây dựng chƣơng trình nhận dạng chữ viết tay trực tuyến Trình bày phc thc hi trình minh ha: Thc hin dng ký t, nh các tham s cho mng, v hình nh, ly mu xung hình nh, các tp hun luyn, lp mng a: Các cht qu nhn dn xét. Kết luận và hƣớng phát triển [...]... với mạng kết nối đầy đủ 1.8 Ứng dụng của mạng nơron Trong một vài năm trở lại đây, mạng nơron đã đƣợc nhiều ngƣời quan tâm và đã đƣợc áp dụng thành công trong nhiều lĩnh vực khác nhau, nhƣ tài chính, y tế, địa chất và vật lý, Thật vậy, bất cứ ở đâu có vấn đề về dự báo, phân loại và điều khiển, mạng nơron đều có khả năng ứng dụng đƣợc Ví dụ nhƣ khả năng nhận dạng mặt ngƣời trong các hệ thống quản lý... nói mạng nơron dẫn tiến là một kiểu mạng đơn giản trong việc sắp đặt mạng Trong mạng này thông tin chỉ truyền trên một hƣớng duy nhất: từ lớp đầu vào xuyên qua lớp ẩn (nếu có) và kết thúc tại lớp đầu ra Mạng dẫn tiến không có chu trình hoặc vòng ở bên trong a) Các mạng dẫn tiến (feedforward) đơn mức Trong một mạng nơron phân mức, các nơron đƣợc tổ chức dƣới dạng các mức Với dạng đơn giản nhất của mạng. .. lý thông tin Điều này áp dụng cho tất cả các lĩnh vực có liên quan tới việc ứng dụng mạng nơron Đặc tính này thể hiện ở một số điểm nhƣ sau:  Các nơron, dƣới dạng này hoặc dạng khác, biểu diễn một thành phần chung cho tất cả các mạng nơron  Tính thống nhất này đem lại khả năng chia sẻ các lý thuyết và các thuật toán học trong nhiều ứng dụng khác nhau của mạng nơron  Các mạng tổ hợp (modular) có... của mạng nơron[ 5] 1.2.1 Tính phi tuyến Một nơron có thể tính toán một cách tuyến tính hay phi tuyến Một mạng nơron cấu thành bởi các nơron phi tuyến thì cũng sẽ có tính phi tuyến Hơn nữa, điều đặc biệt là tính phi tuyến này đƣợc phân tán trên toàn mạng Tính phi tuyến là một thuộc tính rất quan trọng, nhất là khi các cơ chế vật lý sinh ra các tín hiệu đầu vào (ví dụ tín hiệu tiếng nói) vốn là phi tuyến. .. mạng nơron, chẳng hạn có (n + 1) nơron vào (n nơron cho biến vào và 1 nơron cho ngƣỡng x0), m nơron đầu ra, và khởi tạo các trọng số liên kết của mạng - Bƣớc 2: Đƣa một vector x trong tập mẫu huấn luyện X vào mạng - Bƣớc 3: Tính vector đầu ra o của mạng Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 24 - Bƣớc 4: So sánh vector đầu ra mong muốn t (là kết quả đƣợc cho trong. .. thống đƣợc sử dụng để giám sát mạng nơron 1.1.2 Nơron nhân tạo Nơron nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra Mỗi đầu vào đến từ một liên kết Đặc trƣng của nơron là một hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng nơron Hình 1.3 Mô hình một nơron nhân... đƣợc giới hạn trong đoạn [0,1] hoặc [-1, 1] Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của ngƣời thiết kế mạng Một số hàm truyền thƣờng sử dụng trong các mô hình mạng nơron đƣợc đƣa ra trong bảng 1.2 ♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra Dƣới dạng công... mức, mạng có một mức đầu vào gồm các nút nguồn chiếu trực tiếp tới mức đầu ra gồm các nơron Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 19 Mức đầu vào Mức đầu ra Hình 1.9 Mạng tiến với một mức nơron Nhƣ vậy, mạng thực sự là không có chu trình Mạng nơron trong hình 1.9 minh họa trƣờng hợp ba nút đối với cả mức đầu ra và đầu vào Một mạng nhƣ vậy đƣợc gọi là một mạng. .. những nỗ lực của họ trong việc tạo ra máy tính thế hệ thứ 5 Tiếp nhận điều đó, các tạp chí định kỳ của Hoa Kỳ bày tỏ sự lo lắng rằng nƣớc nhà có thể bị tụt hậu trong lĩnh vực này Vì thế, ngay sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ cho các nghiên cứu và ứng dụng mạng nơron Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức các cuộc họp hàng năm về mạng neuron ứng dụng trong tin học (Nơron Networks for... Perceptron năm 1958 Sau thời gian nghiên cứu này Perceptron đã đƣợc cài đặt trong phần cứng máy tính và đƣợc xem nhƣ là mạng nơron lâu đời nhất còn đƣợc sử dụng đến ngày nay Perceptron một tầng rất hữu ích trong việc phân loại một tập các đầu vào có giá trị liên tục vào một trong hai lớp Perceptron tính tổng có trọng số các đầu vào, rồi trừ tổng này cho một ngƣỡng và cho ra một trong hai giá trị mong muốn . là kt qu tìm hiu và nghiên cu ca riêng tôi, trong quá trình nghiên cu lu Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến các kt qu và d lic nêu. NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀ N THÔNG CHU HOÀNG HÀ NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN Chuyên ngành: Khoa học máy tính. toán nhn dng ch vit tay ting Vit hic gii quyt trn v  Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến . Tuy nhiên do