Nhận dạng ký tự viết tay tiếng việt dùng mạng nơron

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA -0O0 - ĐẬU TRỌNG HIỂN NHẬN DẠNG KÝ TỰ VIẾT TAY TIẾNG VIỆT DÙNG MẠNG NƠRON CHUYÊN NGÀNH: KT VÔ TUYẾN – ĐIỆN TỬ MÃ SỐ NGÀNH: 2.07.01 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng 10 năm 2003 TRƯỜNG ĐẠI HỌC BÁCH KHOA PHÒNG ĐÀO TẠO SĐH - CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ĐỘC LẬP –TỰ DO – HẠNH PHÚC o0o Tp HCM, ngày tháng năm 2003 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên : ĐẬU TRỌNG HIỂN Ngày, tháng, năm sinh : 01 - 01 - 1977 Chuyên ngành: KỸ THUẬT VÔ TUYẾN-ĐIỆN TỬ I II Phái : Nam Nơi sinh : Thanh Hóa MSHV :VTĐT12 - 009 TÊN ĐỀ TÀI : NHẬN DẠNG KÝ TỰ VIẾT TAY TIẾNG VIỆT DÙNG MẠNG NƠRON NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu đặc trưng chữ viết tay Tiếng Việt phương pháp nhận dạng chữ viết tay Áp dụng mạng nơron nhận dạng số ký tự Tiếng Việt tiêu biểu Thực nghiệm III NGÀY GIAO NHIỆM VU Ï: 20/4/2003 IV NGÀY HOÀN THÀNH NHIỆM VỤ : 25/10/2003 V HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN : PGS TSKH NGUYỄN KIM SÁCH CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM NGÀNH BỘ MÔN QUẢN LÝ CHUYÊN NGÀNH PGS TSKH NGUYỄN KIM SÁCH Nội dụng đề cương luận văn thạc só Hội Đồng Chuyên Ngành thông qua Ngày …… tháng …… năm 2003 PHÒNG ĐÀO TẠO SĐH KHOA QUẢN LÝ NGHÀNH NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN LỜI CẢM ƠN ! Tôi xin gởi lời biết ơn sâu sắc đến tất Thầy Cô Trường Đại Học Bách Khoa TP Hồ Chí Minh tận tình giảng dạy thời gian học tập thực luận văn Cảm ơn Ban Giám Hiệu, Khoa Điện, Bộ Môn Điện tử Trường Đại Học Sư Phạm Kỹ Thuật tạo điều kiện thuận lợi để học tập suốt thời gian qua Đặc biệt, xin chân thành cảm ơn Thầy, Tiến Só Khoa Học Nguyễn Kim Sách tận tình hướng dẫn nghiên cứu cho giúp đỡ bước khó khăn nghiên cứu Xin chân thành cảm ơn Bạn bè, đồng nghiệp, người thân gia đình nguồn động viên, hỗ trợ suốt khóa học Tp HCM ngày 20/10/2003 Đậu Trọng Hiển Lời nói đầu Một mong muốn nhà kỹ thuật làm để tạo máy móc có khả nhận thức người, khả nghe hiểu tiếng nói hay nhìn nhận định vật thể xung quanh Và mục tiêu yêu cầu quan trọng lónh vực chế tạo người máy (Robot) Ngày bùng nổ công nghiệp máy tính với phát triển sở lý thuyết lónh vực xử lý thông tin nhân tố quan trọng để giúp dần tới mục tiêu”người máy hóa” Chúng ta biết người nhận thức giới xung quanh giác quan lực tư Hiện có nhiều cảm biến (Sensor) có khả thu nhận thông tin môi trường xung quanh giống với chức giác quan người Đơn giản micro thu nhận âm thanh, camera có khả thu nhận hình ảnh Vấn đề tiếp xử lý thông tin thu Đối với người trình xử lý thông tin trình tư dựa chế hoạt động não Đây trình phức tạp mà ngày nắm bắt phần nhỏ chế hoạt động Có lẽ lâu “máy móc” đạt đến khả tư người Nhưng nỗ lực bước mình, nhà kỹ thuật phân tách mảng thông tin phần định thực xử lý riêng khuôn khổ phân định Chính xử lý riêng biệt tạo thành công định việc chế tạo hệ thống kỹ thuật có lực tư người Việc tạo hệ thống có khả nhận định thông tin hướng nghiên cứu có thành công định Trong hệ thống này, từ dạng thông tin thu nhận được, hệ thống phân tách thành mẫu thông tin định, sau biểu diễn mẫu thông tin này, xếp phân loại chúng ,cuối tìm ý nghóa mẫu thông tin này.Việc phân tách thông tin thu được, biểu diễn nhận định ý nghóa chúng nội dung toán “Nhận dạng mẫu” (Pattern Recognition) Phạm vi ứng dụng lý thuyết nhận dạng mẫu áp dụng cho lónh vực nhận dạng tín hiệu, nhận dạng tiếng nói, nhận dạng ảnh Nhận dạng ảnh nói bước cuối trình xử lý ảnh Rất nhiều lý thuyết kỹ thuật xử lý ảnh phát triển để đạt mục đích nhận dạng đối tượng ảnh thu được.Và nói sở để phát triển lý thuyết kỹ thuật xử lý ảnh việc số hóa ảnh Kỹ thuật nhận dạng dựa vào việc phân tích biến đổi mẫu để rút đặc trưng đối tượng cần nhận dạng Với đặc trưng này, người ta phân lớp mẫu Việc gán ý nghóa cho lớp mẫu việc nhận dạng mẫu xếp vào lớp Song song với kỹ thuật nhận dạng ảnh phân tích biến đổi ảnh kỹ thuật nhận dạng phát triển mạnh ngày thể hiển tính ưu việt Đó nhận dạng ảnh mạng nơron Mạng nơron nỗ lực nghiên cứu nhiều nhà khoa học nhằm đạt mục tiêu tạo máy móc có lực hoạt động não người Những thành công mạng nơron không toán nhận dạng ảnh mà nhiều lónh vực khác Và điều động lực cho nghiên cứu mạng nơron tiếp tục phát triển hàng ngày Nhận dạng chữ viết vấn đề nằm lónh vực nhận dạng ảnh với mục đích tự động hóa trình thu nhận thông tin dạng chữ Cách thức thu nhận thông tin mang nhiều ý nghóa thực tiễn Có thể kể số ứng dụng dựa khả nhận dạng chữ nghiên cứu đưa vào sử dụng tự động đọc văn chữ in, hệ thống kiểm tra thông số in sản phẩm,hệ thống số liệu hóa đồ, hệ thống tự động đọc biển báo giao thông gắn xe ô tô,hệ thống tự động phân loại thư từ bưu kiện Trên giới vấn đề nhận dạng chữ viết tay nghiên cứu nhiều năm gần có thành công việc nhận dạng chữ viết tay tiếng Anh, tiếng Pháp Nhiều phần mềm thương mại nhận dạng chữ viết tay tiếng Anh tiếng Pháp xuất thị trường Hiện đề án nhận dạng chữ viết tay tiếng Nhật Bản, tiếng Hàn Quốc, tiếng Trung Quốc quan tâm nghiên cứu Xuất phát từ ý tưởng dựa định hướng Thầy, Tiến só khoa học Nguyễn Kim Sách, với cố gắng thân, tác giả hoàn thành luận văn với đề tài: “ NHẬN DẠNG KÝ TỰ TIẾNG VIỆT DÙNG MẠNG NƠRON” Luận văn chia làm chương: Chương 1: Giới Thiệu Hệ Thống Nhận Dạng Chữ Viết Chương giới thiệu lịch sử phát triển hệ thống nhận dạng chữ viết, ứng dụng chữ viết thực tế, giới thiệu thành phần hệ thống nhận dạng chữ viết Chương 2: Giới Thiệu Cơ Bản Về Chữ Viết Tiếng Việt Chương giới thiệu thành phần đặc trưng chữ viết Tiếng Việt Chương 3: Tiền Xử Lý Ảnh Chương giới thiệu phương pháp xử lý ảnh trước đưa vào nhận dạng Bao gồm: lọc nhiễu, tăng cường ảnh, làm mảnh chữ, phân đoạn ảnh Chương 4: Nhận Dạng Ảnh Chương nói phương pháp trích chọn đặc trưng phương pháp phân lớp ký tự Chương 5: Mạng Nơron Và Nhận Dạng Ảnh Chương trình bày cấu trúc luật học số mạng nơron ứng dụng mạng nhận dạng ảnh Chương 6: Thiết Kế Chương Trình Nhận Dạng Và Kết Quả Thử Nghiệm Đây chương trình bày bước thiết kế nguyên tắc để thiết kế đánh giá chương trình nhận dạng ký tự Do thời gian thực luận văn có hạn nên tác giả giới hạn nhận dạng 10 ký tự (a, ă, â, b, c ,e, ê, o, ô, ơ) đại diện cho chữ viết Tiếng Việt Vì hạn chế khách quan thời gian nghiên cứu hạn chế nên luận văn không tránh khỏi thiếu sót, chương trình nhận dạng chương chưa thể đưa vào ứng dụng thực tế Tác giả mong muốn nhận lời góp ý thiếu sót luận văn để bổ sung nghiên cứu luận văn * Giao diện chương trình chế độ nhận dạng Hình 6.13: Giao diện chương trình chế độ nhận dạng 110 * Ở chế độ học Hình 6.14: Giao diện chương trình chế độ học Ở chế độ học ta định trước kích thước (theo pixel) ảnh chuẩn (chính số nút nhập mạng nơron) mạng hoạt động hiệu 111 Hình 6.15: Giao diện phần nhập kích thước ảnh chuẩn Sau chương trình trích đặc trưng ảnh chuyển sang chế độ huấn luyện kiểm tra mạng: * Giao diện phần huấn luyện kiểm tra mạng: Hình 6.16: Giao diện chương trình chế độ huấn luyện kiểm tra 112 Chương trình sử dụng mạng MLP áp dụng phương pháp học delta-bar-delta để huấn luyện mạng Chương trình cho phép ta thay đổi tham số trình học để đạt kết tối ưu cho toán cụ thể Ngoài chương trình cho phép xem đồ thị sai số trình huấn luyện để xem xét hội tụ mạng đưa giải pháp tối ưu Chương trình cho phép đánh giá độ tin cậy thông qua đồ thị sai số tập mẫu luyện tập mẫu kiểm tra • Phương pháp huấn luyện kiểm tra Tổng số mẫu tác giả sử dụng 700 mẫu ký tự viết tay từ bảy người khác Do giới hạn tập mẫu nên ta chia tập mẫu thành hai phần: tập luyện tập kiểm tra Số lượng mẫu tập luyện 500 mẫu ký tự Số lượng mẫu tập kiểm tra 200 mẫu ký tự Dựa vào đồ thị sai số trình huấn luyện mạng ta chọn hệ số học mạng để mạng nhanh hội tụ Vấn đề khó khăn phải huấn luyện mạng cho mạng có khả đạt độ tổng quát hoá cao nghóa sai số tập kiểm tra phải nhỏ Để chọn số nút ẩn cho mạng ta làm bước sau: Bước1: Chọn số nút ẩn đủ để mạng hội tụ Bước 2: Tính sai số tập kiểm tra Nếu sai số tập kiểm tra tăng theo số lần luyện mạng chưa đủ nút ẩn để khớp Ta tăng nút ẩn mạng khớp Sau ta chọn số nút ẩn cho mạng ta luyện mạng mạng bắt đầu khớp ta ngừng tiến trình luyện 113 • Kết o Đồ thị sai số trình huấn luyện mạng: 25.000 hệ luyện Hình 6.17: Quá trình hội tụ mạng ( nút ẩn ) sau 25.000 hệ 10.000 hệ luyện Hình 6.18: Quá trình hội tụ mạng ( nút ẩn ) sau 10.000 hệ Nhận xét: sau 10.000 hệ luyện sai số tập luyện khả giảm Sau 25.000 hệ sai số tập luyện giảm không đáng kể 114 o Đồ thị sai số tập luyện tập kiểm tra: Sau 10.000 hệ: Hình 6.19: Sai số tập luyện Hình 6.20: Sai số tập kiểm tra Sau 20.000 hệ: Hình 6.21: Sai số tập luyện 115 Hình 6.22: Sai số tập kiểm tra Sau 25.000 hệ: Hình 6.23: Sai số tập luyện Hình 6.24: Sai số tập kiểm tra Nhận xét: Sau 20.000 hệ luyện mạng, sai số tập kiểm tra giảm so với sai số sau 10.000 hệ luyện Nhưng sau 25.000 hệ luyện sai số tập kiểm tra lại tăng lên ( mạng khớp) Khi mạng vượt qua hệ thứ 20.000 sai số tập luyện tiếp tục giảm nhỏ sai số tập kiểm tra lại tăng lên Nguyên nhân mạng bắt đầu khớp với liệu học Nhưng liệu bao gồm nhiễu Nghóa mạng mô hình hóa không liệu mà nhiễu liệu Chính 116 sai số tập luyện (tập mẫu học) giảm sai số tập kiểm tra (tập mẫu chưa học) tăng lên Nhưng điều ta cần mạng nhận dạng tốt tập liệu (dữ liệu chưa học hay liệu thực tế) Hay nói cách khác mạng phải có tính tổng quát hóa Vì trước mạng bắt đầu khớp ( lúc sai số tập kiểm tra đạt nhỏ nhất) ta phải ngừng luyện mạng Sai số Bắt đầu khớp Sai số tập kiểm tra Sai số tập luyện 0.06 0.04 0.02 Thế hệ luyện 10.000 20.000 25.000 Hình 6.25: Sai số tập luyện tập kiểm tra trình huấn luyện mạng Với cấu hình mạng cập nhật hệ luyện 20.000, độ xác trình nhận dạng 92% (184 ký tự nhận dạng đúng/200 mẫu ký tự kiểm tra) Hình 6.25: Kết nhận dạng 117 Một số ký tự nhận dạng sai: Ký tự“Ơ ” dấu không rõ hay nhận dạng sai thành “O” Hình 6.26: Nhận dạng sai ký tự “ơ” Hay ký tự “a” nhiều viết gần giống “o” Hình 6.27: Nhận dạng sai ký tự “ a” 118 Thời gian nhận dạng: Thời gian nhận dạng chữ viết khác tùy thuộc vào kích thước chữ viết mật độ điểm đem ký tự Từ vài chục ms đến 100 ms (trên máy celeron 400 MHz, 32Mb RAM) Sau bảng thời gian nhận dạng mười ký tự tiêu biểu Ký tự a ă â b c Thời gian nhận dạng(ms) 109 110 111 58 58 Ký tự e ê o ô Thời gian nhận dạng(ms) 50 100 60 80 100 Hình 6.28: Bảng thời gian nhận dạng số ký tự 119 KẾT LUẬN Nhận dạng chữ viết nói riêng hay nhận dạng ảnh nói chung qui trình xử lý thông tin phức tạp Từ bước thu nhận ảnh bước phân lớp cho mẫu ta phải qua nhiều qui trình xử lý sử dụng nhiều kỹ thuật xử lý ảnh phức tạp Với kỹ thuật nhận dạng mạng nơron, giảm bớt số công đoạn xử lý ảnh đạt tốc độ nhanh Hiện nay, hệ thống đa xử lý (xử lý song song) vi mạch tổ hợp phát triển mạnh việc tính tóan mạng nơron thuận lợi nhiều Trong tóan nhận dạng phần khó khăn tách đối tượng khỏi ảnh Đặc biệt nhận dạng chữ viết tay để tách biệt chữ riêng chưa có giải pháp toàn diện Mạng nơron nhận dạng ký tự viết tay thiết kế có khả phát triển để nhận dạng văn bản, xử lý tự động ngân phiếu, hệ thống đọc tự động cho người mù Đó ý tưởng nghiên cứu luận văn tác giả Tác giả mong muốn nhận nhận xét góp ý q giá thầy cô giáo, đồng nghiệp bạn bè để bổ sung cho thiếu sót nâng cao kiến thức lónh vực 120 TÀI LIỆU THAM KHẢO [1] Nguyễn Kim Sách, “Xử lý ảnh video số “, NXB khoa học kỹ thuật, năm 1997 [2] Lương Mạnh Bá, Nguyễn Thanh Thủy, “Nhập môn xử lý ảnh số “, NXB khoa học kỹ thuật, năm 1999 [3] Đỗ Năng Tòan, Nghiêm Anh Tuấn, “Nâng Cao Hiệu Quả Các Hệ Thống Nhận Dạng Văn Bản Chữ Việt In” , Hà Nội 2002 [4] Lê Minh Trung, “Mạng Nơron Nhân Tạo”, NXB Thống Kê 1999 [5] Nguyễn Đình Thúc, “Mạng Nơron Phương Pháp Ứng Dụng”, NXB Giáo Duïc 2000 [6] Bernd Jähne, “Digital Image Processing”, Spring Verlag 1995 [7] Anil K.Jain, “Fundermentals of Digital Image Processing” Prentice Hall 1991 [8] Andrew William Senior, “Off–line Currsive Handwriting Regcognition using Recurrent Neural Networks”, Thesis for Degree of Doctor of Philosophy at The University of Cambridge, England 1994 [9] U.V Marti and H Bunke,”Text Line Segmentation and Word Recognition in a System for General Writer Independent Handwriting Recognition”, Institut für Informatik und Angewandte Mathematik Universität Bern, Switzerland, February 5, 2001 [10] Michael D.Garris, “Component-Based Handprint Segmentation Using Adaptive Writing Style Model”, NISTIR 5843 ,National Institute of Standards and Technology 1996 [11] BERRIN YANIKOGLU and PETER A.SANDON, “Segmentation of Off-line Cursive Handwriting Using Linear Programming”, IBM Almaden Research Center USA, Pattern Recogntion, Vol 31 No 12, pp 1825-1833, 1998 [12] Victor Wu and R Manmatha, “Document image Clean-up and Binarization”, University of massachusetts December 18, 1997 [13] Chanming Sun and Dayi Si, “Skew and Slant Correction for Document Images Using Gradient Direction”, 4th International Conf On Document Analysis and Recognition, pp 142-146, Ulm, Germany, August 18-20, 1997 [14] OIVIN DUE TRIER, ANIL K JAIN and TORFINN TAXT, “Feature Extraction Methods For Characters Recognition-A Survey”, University of Oslo at USA, July 19, 1995 [15] Bernard Gosselin, “Cooperation of Multilayer Perceptron Classifiers”, Faculteù Polytechnique de Mons, Signal Processing and Circuits Theory LAB, Belgium 1998 [16] Michael D.Garris and Charles L.Wilson, “Reject mechanisms for Massively Parallel Neural Network Character Recogniotion Systems”, Conference on Neural and Stochatic Methods in Image and Signal Processing San Diego 1992 [17] Maher A Sid-Ahmed, “Image Processing Thoery, Algorithms and Architechers”, Mcgraw-Hill, Inc 1995 [18] G.J Awcock and R Thomas, “Applied Image Processing”, Mcgraw-Hill, Inc 1996 [19] Alessandro Vinciareli and Juergen Luettin, “A New Normalization Technique For Currsive Handwritten Words”, IDIAP –RR 00-32 Switzerland October 2000 [20] Adnan Amin, Stephen Fisher, Tony Parkinson, and Ricky Shiu, “Fast Algorithm for Skew Detection”, School of Computer Science and Engineering University of New South Wales, Sydney NSW, 2052 ,Australia 2002 [21] R O Duda, P E Hart and D G Stork, John Wiley & Sons, “Pattern Classification (2nd edition) ”, 2001 [22] Joannis Pitas, “Digital Image processing Algorithms”, Prentice Hall 1992 [23] Sargur N Srihari & Stephen W Lam, “Character Recognition”, Center of Excellence for Document Analysis and Recognition State University of New York at Buffalo (CEDAR) 2002 [24] Sargur N Srihari and Rohini K Srihari, “Written Language Recognition”, CEDAR 2002 [25] JORMA LAAKSONEN, “Subspace Classifiers in Recognition of Handwritten Digits”, Thesis for Degree of Doctor of Philosophy at The University of Helsinki, Finland 1997 [26] Venu Govindaraju, “Numeric String Recognition”, CEDAR 2000 [27] Hanhong Xue, “Stochastic Modeling of Hight-Level Structures in Handwritten Word Recognition”, CEDAR 2000 [28] Hanhong Xue and Venu Govindaraju, “Building Skeletal Graphs for Structural Feature Extraction on Handwritten Images”, CEDAR 2000 [29] Jong Oh, “An On-Line Handwriting Recognizer with Fisher Matching, Hypotheses Propagation Network and Context Constriant Model”, Thesis for Degree of Doctor of Philosophy at The University of New York 2001 [30] S.H Unger, “Pattern Detection and Recognition”, Proc of the Institute of Radio Engineers, 47, pp 1737–1152, 1959 [31] W Doyle, “Recognition of Sloppy Hand-printed Characters”, Proceedings of Western Joint Computer Conference, Vol.17, pp 133–142, San Francisco, CA, 1960 [32] Adam Krzyzak, “Optical Character Recognition (OCR)”, Lecture notes COMP 473/6731 Pattern Recognition Canada University 2003 [33] Genevieve Orr, “Neural Networks”, Lecture notes CS-449, Willamete University 1999 [34] Salman Khan, “Character Segmentation Heuristics for Check Amount Verification”, Degree of Master of Engineering in Electrical and Computer Science at the Massachusetts Institute of Technology 1998 [35] Eric W Brown, “Character Recognition by Feature Point Extraction”, NU internal 1992 [36] Jaehwa Park, “Hierarchical Character Recognition and Its Use In Handwritten Word/Phrase Recognition”, Thesis for Degree of Doctor of Philosophy at The University of New York at Buffalo1999 ... sau: Ký tự loại 1: tập ký tự nhận dạng sai Ví dụ ký tự “A”, “B”,”2”, “4”, “7” Các ký tự nhận dạng không nhận dạng được, bị nhận nhầm sang ký tự khác Ký tự loại 2: nhóm ký tự mà ký tự nhóm bị nhận. .. : Nhận Dạng Ký Tự Tiếng Việt Dùng Mạng Nơron Nhiệm vụ luận văn: • Nghiên cứu đặc trưng chữ viết tay Tiếng Việt phương pháp nhận dạng chữ viết tay • p dụng mạng nơron nhận dạng số ký tự Tiếng Việt. .. : NHẬN DẠNG KÝ TỰ VIẾT TAY TIẾNG VIỆT DÙNG MẠNG NƠRON NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu đặc trưng chữ viết tay Tiếng Việt phương pháp nhận dạng chữ viết tay Áp dụng mạng nơron nhận dạng số ký tự