Tìm hiểu mạng nơ ron truyền thẳng và thử nghiệm trong nhận dạng chữ số và chữ cái

Tr-ờng đại học vinh Khoa công nghệ thông tin - - Ngun tiÕn dËu T×m hiểu mạng nơ-ron truyền thẳng thử nghiệm nhận dạng chữ số, chữ Vinh, tháng - 2008 Lời cảm ơn! Em xin chân thành cảm ơn Thầy giáo h-ớng dẫn ThS Phan Anh Phong đà cho em lời động viên dẫn quý báu suốt thời gian thực đồ án tốt nghiệp Em xin bày tỏ lòng biết ơn đến thầy giáo, cô giáo Khoa Công Nghệ Thông Tin Tr-ờng Đại Học Vinh, đà dạy truyền đạt kiến thức cần thiÕt vµ bỉ Ých st thêi gian häc tËp tr-ờng Cuối xin chân thành cảm ơn tới tất bạn bè đà đóng góp ý kiến hỗ trợ trình thực đồ án Xin chân thành cảm ơn bạn! Trong trình làm đồ án, đà cố gắng nh-ng không tránh khỏi thiếu sót Rất mong đ-ợc đóng góp ý kiến thầy giáo, cô giáo bạn Vinh, tháng 05 năm 2008 Sinh viên thực Nguyễn Tiến Dậu Mở đầu Trong năm gần đây, ng-ời ta th-ờng nhắc đến Trí tuệ nhân tạo nh- ph-ơng thức mô trí thông minh ng-ời, từ việc l-u trữ đến xử lý thông tin thực đà trở thành tảng cho việc xây dựng hệ máy thông minh đại Cũng với mục đích đó, nh-ng dựa quan điểm nghiên cứu hoàn toàn khác, môn khoa học khác đà đời, lý thuyết mạng nơ-ron (Neural network) Tiếp thu thành tựu thần kinh sinh học, mạng nơ-ron đ-ợc xây dựng thành cấu trúc mô trực tiếp tổ chức thần kinh nÃo ng-ời Từ nghiên cứu sơ khai McCulloch Pitts năm 40 kỷ, trải qua nhiều năm phát triển, thập kỷ này, trình độ phần cứng phần mềm đà đủ mạnh cho phép cài đặt ứng dụng phức tạp, lý thuyết mạng nơ-ron thực đ-ợc ý nhanh chóng trở thành h-ớng nghiên cứu đầy triển vọng mục đích xây dựng máy thông minh tiến gần tới trí tuệ ng-ời Sức mạnh thuộc chất tính toán song song, chấp nhận lỗi mạng nơ-ron đà đ-ợc chứng minh thông qua nhiều ứng dụng thực tiễn, đặc biệt tích hợp với kỷ thuật khác Một ứng dụng kinh điển mạng nơ-ron lớp toán nhận dạng mẫu, mẫu tập hợp (hay vector) tham số biểu thị trình vật lý (ví dụ ảnh ký tự) Ngoài sức mạnh vốn có, mạng nơ-ron thể -u điểm thông qua khả mềm dẻo, dể thích nghi với môi tr-ờng Chính vậy, coi mạng nơ-ron tr-ớc tiên công cụ để nhận dạng Nhiều công trình nghiên cứu, nhiều ứng dụng thực nghiệm đà đ-ợc thực mạng nơ-ron với mục đích nhận dạng đà thu đ-ợc thành công to lớn Tr-ớc quyến rũ ứng dụng trí tuệ nhân tạo tính tò mò tr-ớc lý thuyết đÃ, ngày trở nên sở tảng cho ứng dụng thời đại ngày mai sau, với động viên khuyến khích thầy giáo h-ớng dẫn, em đà định thực nghiên cứu ban đầu lý thuyết mạng nơ-ron với mục đích cụ thể ứng dụng vào vấn đề nhận dạng ký tự (chữ số chữ cái), làm sở cho việc nhận dạng văn Do thời gian thực đồ án tốt nghiệp có hai tháng, em tham vọng xây dựng ch-ơng trình nhận dạng văn hoàn chỉnh Mục đích đồ án là: Trình bày kết nghiên cứu lý thuyết phục vụ cho chủ đề ứng dụng mạng nơ-ron truyền thẳng cho vấn đề nhận dạng ký tự đồng thời xây dụng ứng dụng thử nghiệm nhận dạng ký tự chữ số v chữ với mục đích hiểu sâu cách thức mà mạng nơ-ron tiến hành việc phân loại mẫu ký tự Mục lục Ch-¬ng Giíi thiƯu tỉng quan vỊ hệ thống nhận dạng sở lý thuyết tiền xư lý ¶nh 1.1 Giíi thiƯu tỉng quan vỊ hƯ thèng nhËn d¹ng 1.1.1 Đối t-ợng nhận d¹ng 10 1.1.2 Mô hình hoá toán nhận dạng 11 1.1.3 C¸c vÊn đề hệ thống nhận dạng 11 1.2 C¬ së lý thut tiỊn xư lý ¶nh 13 1.2.1 Các ph-ơng pháp nâng cao chất l-ợng ảnh 14 1.2.2 Các ph-ơng pháp phát biên ảnh 18 1.2.3 Giới thiệu kỹ thuật tách dòng, ứng dụng tách ký tự ảnh văn 27 Ch-ơng Cơ sở lý thuyết mạng nơ-ron cho vấn đề nhận dạng ký tự 30 2.1 Sơ l-ợc mạng nơ-ron 30 2.1.1 Lịch sử phát triÓn 30 2.1.2 Mét sè lÜnh vùc øng dông 32 2.2 Mạng nơ-ron m« pháng trùc tiÕp bé n·o ng-êi 32 2.2.1 Sơ l-ợc cấu trúc nÃo ng-êi 33 2.2.2 Mô hình nơ-ron nhân tạo 34 2.2.3 Ph¶n håi (Feedback) 39 2.2.4 Kiến trúc mạng nơ-ron 42 2.3 Đặc tr-ng mạng nơ-ron 45 2.4 BiÓu diễn tri thức mạng nơ-ron 49 2.5 Ph-ơng pháp học cho mạng nơ-ron truyền thẳng nhiều lớp 52 2.5.1 Lý thuyết học vấn đề nhận dạng mẫu 52 2.5.2 Quy t¾c häc hiƯu chØnh lỗi 53 2.5.3 Mô hình học 55 2.5.4 Đối với vấn đề nhận d¹ng mÉu 57 2.6 Mạng nơ-ron truyền thẳng (FeedForward) nhiều lớp 59 2.6.1 Các khái niệm khởi đầu 60 2.6.2 ThuËt to¸n Back-propagation 61 2.6.3 Biểu diễn đầu qui tắc định cho toán phân loại mẫu 72 Ch-ơng Xây dựng ch-ơng trình thử nghiệm nhận dạng ký tự chữ số chữ 75 3.1 Phân tích toán nhận dạng ký tự chữ số chữ 75 3.2 Các b-ớc trình thiết kế xây dựng mô hình mạng nơron truyền thẳng nhiều lớp cho toán nhận dạng chữ số chữ 76 3.3 Giao diện ch-ơng trình 82 3.4 Các kết đánh giá thu đ-ợc từ ch-ơng trình 85 KÕt luËn 89 Tµi liƯu tham kh¶o 91 Bố CụC Đồ áN: Mở đầu Ch-ơng Giới thiệu tổng quan hệ thống nhận dạng sở lý thuyết tiền xử lý ¶nh 1.1 Giíi thiƯu tỉng quan vỊ hƯ thèng nhËn dạng 1.1.1 Đối t-ợng nhận dạng 1.1.2 Mô hình hoá toán nhận dạng 1.1.3 Các vấn đề hệ thống nhận dạng 1.2 Cơ sở lý thuyết tiền xử lý ảnh 1.2.1 Các ph-ơng pháp nâng cao chất l-ợng ảnh 1.2.2 Các ph-ơng pháp phát biên ảnh 1.2.3 Giới thiệu kỹ thuật tách dòng, ứng dụng tách ký tự ảnh văn Ch-ơng Cơ sở lý thuyết mạng nơ-ron cho vấn đề nhận dạng ký tự 2.1 Sơ l-ợc mạng nơ-ron 2.1.1 Lịch sư ph¸t triĨn 2.1.2 Mét sè lÜnh vùc øng dơng 2.2 Mạng nơ-ron mô trực tiếp nÃo ng-ời 2.2.1 Sơ l-ợc cấu trúc nÃo ng-ời 2.2.2 Mô hình nơ-ron nhân tạo 2.2.3 Phản hồi (Feedback) 2.2.4 Kiến trúc mạng nơ-ron 2.3 Đặc tr-ng mạng nơ-ron 2.4 Biểu diễn tri thức mạng nơ-ron 2.5 Ph-ơng pháp học cho mạng nơ-ron truyền thẳng nhiều lớp 2.5.1 Lý thuyết học vấn đề nhận dạng mẫu 2.5.2 Quy tắc học hiệu chỉnh lỗi 2.5.3 Mô hình học 2.5.4 Đối với vấn đề nhận dạng mẫu 2.6 Mạng nơ-ron truyền thẳng nhiều lớp 2.6.1 Các khái niệm khởi đầu 2.6.2 Thuật toán Back-propagation 2.6.3 Biểu diễn đầu qui tắc định cho toán phân loại mẫu Ch-ơng Xây dựng ch-ơng trình thử nghiệm nhận dạng ký tự chữ số chữ 3.1 Phân tích toán nhận dạng ký tự chữ số chữ 3.2 Các b-ớc trình thiết kế xây dựng mô hình mạng nơ-ron truyền thẳng nhiều lớp cho toán nhận dạng chữ số chữ 3.3 Giao diện ch-ơng trình 3.4 Các kết đánh giá thu đ-ợc từ ch-ơng trình Kết luận Tài liệu tham khảo Ch-¬ng Giíi thiƯu tỉng quan vỊ hƯ thèng nhận dạng sở lý thuyết tiền xử lý ¶nh 1.1 Giíi thiƯu tỉng quan vỊ hƯ thèng nhËn dạng Nhận dạng đối t-ợng (pattern recognition) định nghĩa nh- trình phân loại đối t-ợng đ-ợc biểu diễn theo mô hình gán cho chúng vào lớp dựa theo quy luật mẫu chuẩn, định nghĩa ph-ơng tiện để xây dựng hệ thống tin học có khả : "Cảm nhận, nhận thức, nhận biết " đối t-ợng vật lý gần giống khả nhận thức ng-ời Nhận dạng có gắn với ba khả lĩnh vực rộng lớn có liên quan đến việc xử lý tín hiệu đầu vào không gian nhiều chiều, mô hình hoá toán, lý thuyết xử lý ảnh, sở liệu, ph-ơng pháp định, Một hệ thống nhận dạng hoàn chỉnh phải có khả thể hịên đ-ợc trình nhận thức ng-ời qua mức: - Mức cảm nhận: cảm nhận đ-ợc tồn đối t-ợng quan sát hay đối t-ợng mà hệ thống cần nhận dạng Mức đ-a trình thu nhận số liệu qua cảm biến hệ thèng nhËn d¹ng, vÝ dơ hƯ thèng nhËn d¹ng xử lý ảnh: đối t-ợng file ảnh l-u trữ d-ới dạng số đ-ợc thu nhận đầu vào qua scanner file ảnh - Mức nhận thức: biểu diễn trình học, mô hình hoá đối t-ợng để tiến tới hình thành phân lớp (classification) - Mức nhận biết: Từ đối t-ợng quan sát đ-ợc trả lời đối t-ợng gì? thuộc vào lớp lớp đà biết Đây trình định 1.1.1 Đối t-ợng nhận dạng Đối t-ợng nhận dạng (pattern object) đ-ợc coi nh- thực thể vật lý tồn mà ng-ời cảm nhận đ-ợc miêu tả đo l-ờng, ví dụ nh- hình ảnh, âm đ-ợc cảm nhận mắt tai, đ-ợc thu nhận qua cảm biến nh- máy quay phim, máy ảnh số Có hai loại đối t-ợng chính: - Đối t-ợng đ-ợc biểu diễn định l-ợng: Là đối t-ợng mà đặc tính đ-ợc đo l-ờng biểu diễn số - Đối t-ợng đ-ợc biểu diễn định tính: Là đối t-ợng mà đặc tính đ-ợc biểu diễn dạng miêu tả, hay đặc tr-ng ký hiệu Trong đối t-ợng nghiên cứu, tìm đ-ợc tập hợp đối t-ợng có chung nhiều đặc tr-ng (thuộc tính) tập hợp đối t-ợng đ-ợc gọi lớp đối t-ợng (class) Quá trình bao gồm việc xác định lớp đối t-ợng cho phân biệt đ-ợc lớp với trình hình thành phân lớp, nhờ trình này, hệ thống sau tiếp nhận đối t-ợng đầu vào nhận biết đ-ợc trả lời đối t-ợng thuộc lớp (đây trình định) Sự phân lớp trình nhận dạng Quá trình xuất phát từ biểu diễn, quan sát đối t-ợng trình cảm nhận để tìm đặc tính đặc tr-ng cho đối t-ợng vật lý đ-ợc gọi trình trích chọn đặc tr-ng (còn đ-ợc gọi khâu mô hình hoá đối t-ợng) Quá trình trích chọn đặc tr-ng khác tuỳ thuộc vào đối t-ợng cần nhận dạng Trong toán nhận dạng, quan tâm đến: - Không gian biểu diễn: Là tập hợp ký hiệu, số liệu miêu tả đối t-ợng sau trình cảm nhận - Không gian đặc tr-ng: Là tập hợp miêu tả đặc tr-ng sau trình trích chọn đặc tr-ng - Không gian diễn dịch: Là tập hợp tên đối t-ợng tên lớp đối t-ợng cho phép nhận biết đối t-ợng quan sát thuộc lớp 10 D-ới b-ớc thiết kế mô hình mạng nơ-ron cho toán: Tiền xử lý ảnh ký tự ảnh ký tự đ-a vào bị bẩn nhiễu nhiều, tiền xử lý ảnh ký tự b-ớc cần thiết nhằm làm giảm tối đa nhiễu Các b-ớc trình xử lý: ảnh đầu vào->đ-a ảnh đa mức xám->lọc ảnh-> nhị phân ->tách biên->chỉnh sát biên ảnh->chuẩn kích th-ớc->vector hoá dạng ma trận X= (x1,x2,, ,xmn) (víi m,n lµ kÝch th-íc däc vµ ngang ảnh) Trong đồ án này, kích cở ảnh sau biến đổi đ-a chuẩn :18x12 Xác định cấu trúc mạng: Cấu trúc mạng nơ-ron bao gồm số đầu vào, số lớp ẩn, số nốt lớp ẩn, số đầu Các thực nghiệm cho thấy số lớp ẩn không nên v-ợt lớp, việc tăng số lớp ẩn lên mạng không làm tăng đáng kể hiệu mạng mà tăng thời gian luyện mạng Đối với toán này, cấu trúc mạng đ-ợc lựa chọn mạng truyền thẳng lớp bao gồm: lớp đầu vào, lớp ẩn lớp đầu Các thành phần lớp đ-ợc xác định nh- sau: Số đầu vào: Đ-ợc chọn số phần tử ma trận điểm ảnh ký tự bằng: 18x12=216 đơn vị đầu vào Số lớp ẩn: Đ-ợc chọn lớp ẩn Số nốt lớp ẩn: Không có ph-ơng pháp chọn đ-ợc số tối -u neural sử dụng lớp ẩn Sử dụng nhiều số đơn vị lớp ẩn tăng thời gian luyện mạng, có lẽ nhiều để luyện mà luyện mạng khoảng thời gian hợp lý Số l-ợng tốt đơn vị lớp ẩn phụ thuộc vào nhiều yếu tố nh- là: số đầu vào, đầu mạng, số tr-ờng hợp tập mẫu, kiến trúc mạng, độ phức tạp hàm lỗi thuật toán luyện Tuy nhiên, có số luật ®-ỵc sư dơng ®Ĩ lùa chän sè nèt líp ẩn nhsau: - m[l,n]- nằm khoảng kích th-ớc lớp vµo, líp 77 - m= (l+n)/3- b»ng 2/3 tỉng số lớp vào lớp - m