Nhận dạng ký tự viết tay tiếng việt dùng mạng neural

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC VINH NGUYỄN VIỆT BẮC ĐỀ TÀI: NHẬN DẠNG KÝ TỰ VIẾT TAY TIẾNG VIỆT DÙNG MẠNG NEURAL LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Vinh, 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC VINH –––––––––––––––––––––– NGUYỄN VIỆT BẮC NHẬN DẠNG KÝ TỰ VIẾT TAY TIẾNG VIỆT DÙNG MẠNG NEURAL Chuyên ngành: CÔNG NGHỆ THÔNG TIN Mã số: 60.48.02.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Ngƣời hƣớng dẫn khoa học: TS HOÀNG HỮU VIỆT Vinh, 2017 LỜI CAM ĐOAN Tơi xin cam đoan tồn nội dung đƣợc trình bày luận văn kết tìm hiểu nghiên cứu riêng tơi, trình nghiên cứu luận văn “Nhận dạng ký tự viết tay tiếng việt dùng mạng Neuron” kết liệu đƣợc nêu hoàn toàn trung thực Mọi thơng tin trích dẫn đƣợc tn theo luật sở hữu trí tuệ, có liệt kê rõ ràng tài liệu tham khảo Tơi xin chịu hồn toàn trách nhiệm với nội dung đƣợc viết luận văn Đồng Tháp, tháng 03 năm 2017 HỌC VIÊN NGUYỄN VIỆT BẮC LỜI CẢM ƠN -  Xin chân thành cảm ơn Khoa Công nghệ thông tin, trường Đại học Vinh tạo điều kiện thuận lợi cho tơi q trình học tập, luận văn tốt nghiệp Tôi xin tỏ lịng kính trọng biết ơn sâu sắc thầy Hồng Hữu Việt trực tiếp tận tình hướng dẫn cung cấp tài liệu thông tin khoa học cần thiết trình thực luận văn Xin bày tỏ lòng biết ơn chân thành tới thầy cô giáo, người đem lại cho tơi kiến thức bổ trợ, vơ có ích thời gian vừa qua Cũng xin gửi lời cám ơn chân thành tới Ban Giám hiệu, Phòng Đào tạo sau đại học, Đại học Vinh, Ban Chủ nhiệm Khoa CNTT tạo điều kiện cho trình học tập nghiên cứu Cuối tơi xin gửi lời cám ơn đến gia đình, bạn bè, người ln bên tơi, động viên khuyến khích tơi q trình thực đề tài nghiên cứu Trân trọng Đồng Tháp, tháng 03 năm 2017 Nguyễn Việt Bắc MỤC LỤC MỞ ĐẦU CHƢƠNG TỔNG QUAN 11 1.1 Đặt vấn đề 11 1.2 Tổng quan hệ thống nhận dạng mẫu 12 1.3 Tình hình nghiên cứu tốn nhận dạng ký tự 15 1.4 Mục tiêu luận văn 16 CHƢƠNG 2: TIỀN XỬ LÝ VÀ TRÍCH CHỌN ĐẶC TRƢNG 17 2.1 Giới thiệu 17 2.2 Tập ký tự 17 2.3 Tiền xử lý 18 2.3.1 Nhị phân hóa ảnh 18 2.3.2 Lọc nhiễu 19 2.3.3 Chuẩn hóa kích thƣớc ký tự 19 2.3.4 Làm trơn viên ký tự 20 2.3.5 Làm đầy ký tự 20 2.3.6 Làm mảnh ký tự 20 2.4 Trích chọn đặc trƣng 21 2.4.1 Biến đổi toàn cục khai triển chuỗi 21 2.4.2 Đặc trƣng thống kê 22 2.4.3 Đặc trƣng hình học hình thái 23 CHƢƠNG 3: MẠNG NEURAL NHÂN TẠO 26 3.1 Giới thiệu 26 3.2 Kiến trúc mạng neuron 26 3.2.1 Mơ hình neuron 26 3.2.2 Mạng neuron tầng 27 3.2.3 Mạng neuron đa tầng 29 3.2.4 Mạng neuron hồi quy 30 3.3 Mạng Perceptron lớp 31 3.3.1 Kiến trúc mạng 31 3.3.2 Luật học cho mạng 33 3.3.3 Các ví dụ phân lớp 34 3.3.4 Hạn chế mạng Perceptron lớp 36 3.4 Mạng Perceptron nhiều lớp 37 3.4.1 Kiến trúc mạng 37 3.4.2 Thuật toán lan truyền ngƣợc 38 3.5 Mạng LVQ 41 CHƢƠNG 4: XÂY DỰNG HỆ THỐNG NHẬN DẠNG KÝ TỰ VIẾT TAY 43 4.1 Cơ sở liệu mơ hình hệ thống nhận dạng 43 4.2 Tiền xử lý 43 4.3 Trích chọn đặc trƣng 45 4.3.1 Trích chọn đặc trƣng phƣơng pháp chia từ góc 45 4.3.2 Trích chọn đặc trƣng phƣơng pháp phân tích thành phần 49 4.4 Phân lớp dùng mạng Perceptron đa tầng 54 4.4.1 Thử nghiệm với phƣơng pháp chọn đặc trƣng chia từ góc 54 4.4.2 Trích chọn đặc trƣng phƣơng pháp phân tích thành phần 56 4.4.3 Trích chọn đặc trƣng phƣơng pháp phân tích thành phần sử dụng độ đo khoảng cách Euclidian 58 KẾT LUẬN 59 TÀI LIỆU THAM KHẢO 60 DANH MỤC CÁC BẢNG Bảng 4.1 Tỷ lệ nhận dạng thời gian thực với đặc trƣng chia ô từ góc 46 Bảng 4.2 Tỷ lệ nhận dạng với phân tích thành phần mạng tầng 49 Bảng 4.3 Tỷ lệ nhận dạng với phân tích thành phần mạng tầng 52 Bảng 4.3 Tỷ lệ nhận dạng với đặc trƣng chia từ góc 54 Bảng 4.4 Tỷ lệ nhận dạng với phƣơng pháp phân tích thành phần 58 DANH MỤC CÁC HÌNH Hình 2.1 Sơ đồ tổng quát hệ thống nhận dạng chữ 17 Hình 2.2 Nhị phân hóa ảnh 18 Hình 2.3 Nhiễu đốm nhiễu vệt 19 Hình 2.4 Chuẩn hóa kích thƣớc ảnh ký tự “A” “S” 19 Hình 2.5 (a) Ảnh gốc, (b) Ảnh sau đƣợc làm trơn biên 20 Hình 2.6 Làm mảnh chữ 20 Hình 3.1 Mơ hình mạng Neural 26 Hình 3.2 Mơ hình mạng neural lớp 28 Hình 3.3 Mạng neural lớp S neural, R đầu vào 29 Hình 3.4 Mơ hình mạng tầng 29 Hình 3.5 Khối trễ Hình 3.6 Khối tích phân 30 Hình 3.7 Mạng hồi quy 31 Hình 3.8 Kiến trúc mạng Perceptron 31 Hình 3.9 : Mạng Perceptron neural hai đầu vào 32 Hình 3.10 Mạng Perceptron 32 Hình 3.11 Perceptron Neural 34 Hình 3.12 Vecto đầu vào cho vấn đề 35 Hình 3.13 Đƣờng biên định phân loại vecto đầu vào 35 Hình 3.14 Miền định cho vấn đề 36 Hình 3.15 mạng Perceptron M lớp 37 Hình 3.16 Mạng LVQ 41 Hình 4.1.a Ảnh ký tự Hình 4.1.b Ảnh ký tự viết tay………… 43 Hình 4.2 Ảnh nhị phân ảnh đầu vào 44 Hình 4.3 Ảnh 150 ký tự sau đƣợc tách 45 Hình 4.4 Phƣơng pháp chia từ góc 46 Hình 4.5 Quá trình thực mạng neural tầng 47 Hình 4.6 Các ký tự nhận dạng sai tƣơng ứng 47 Hình 4.7 Quá trình thực mạng neural tầng 48 Hình 4.8 Các ký tự nhận dạng sai tƣơng ứng 48 Hình 4.9 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 50 Hình 4.10 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 51 Hình 4.11 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 52 Hình 4.12 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 53 Hình 4.13 Quá trình thực mạng Neural tầng 55 Hình 4.14 Ảnh nhận sai cho trƣờng hợp số tầng số neural 10 55 Hình 4.15 Quá trình thực mạng Neural tầng 56 Hình 4.16 Ảnh nhận sai cho trƣờng hợp số tầng số neural 10 58 Đề tài: NHẬN DẠNG KÝ TỰ VIẾT TAY TIẾNG VIỆT DÙNG MẠNG NEURON MỞ ĐẦU Sự cần thiết vấn đề nghiên cứu Nhận dạng kí tự tốn sở cho tốn nhận dạng chữ viết nhằm tự động hóa trình nhập liệu từ văn hình ảnh thành văn biên tập đƣợc Ngày với phát triển mặt lý thuyết, cơng nghệ, có nhiều hƣớng giải toán nhƣ sử dụng logic mờ, giải thuật di truyền, mơ hình xác suất thống kê, mơ hình mạng nơ ron Trong năm gần mơ hình mạng nơron đƣợc quan tâm nhiều khả tổng hợp mơ hình phát triển tốc độ xử lí máy tính Hiện nay, giới có nhiều chƣơng trình nhận dạng chữ viết (chữ in và) thứ tiếng Anh, Nga, v.v nhƣ hệ OMNIPAGE, READ-WRITE, WORD-SCAN Ở Việt Nam có số hệ nhƣ WORC công ty 3C, VIET-IN công ty SEATIC, VNDOCR Viện Công Nghệ Thông Tin, Image Scon Trung Tâm Tự Động Hóa Thiết Kế, hệ WINGIS cơng ty DolfSoft Nhìn chung, sản phẩm phần mềm nhận dạng văn chữ in nƣớc ta thu đƣợc kết khả quan, đặc biệt phần mềm VNDOCR đƣợc sử dụng rộng rãi quan nhà nƣớc Riêng phần nhận dạng kí tự đƣợc nghiên cứu phát triển nhằm phục vụ cho yêu cầu khác Với mục tiêu nghiên cứu hệ thống nhân dạng ký tự, chọn đề tài “Nhận dạng ký tự sử dụng mạng neuron” làm luận văn Thạc sỹ Mục tiêu nghiên cứu 2.1 Mục tiêu tổng quát Nghiên cứu xây dựng thử nghiệm hệ thống nhận dạng ký tự mạng neuron 2.2 Mục tiêu cụ thể Đề tài tập trung vào mục tiêu chính: 46 Hình 4.4 Phƣơng pháp chia từ góc Kết thử nghiệm: Bảng 4.1 kết thử nghiệm phƣơng pháp chọn đặc trƣng Hình 4.5 mơ tả mạng MPL tầng với số neural tầng ẩn 10 mà kết thử nghiệm dòng bảng 4.1 Hình 4.6 ký tự nhận dạng sai tƣơng ứng Hình 4.7 mơ tả mạng MPL tầng với số neural tầng ẩn 10 mà kết thử nghiệm dịng bảng 4.1 Hình 4.8 ký tự nhận dạng sai tƣơng ứng Thời gian thực Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ (%) 10 38.46 3.731361 30 65.38 3.640529 10, 19.23 3.976195 30, 15 38.46 3.974641 (giây) Bảng 4.1 Tỷ lệ nhận dạng thời gian thực với đặc trƣng chia ô từ góc 47 Hình 4.5 Q trình thực mạng neural tầng Hình 4.6 Các ký tự nhận dạng sai tƣơng ứng 48 Hình 4.7 Quá trình thực mạng neural tầng Hình 4.8 Các ký tự nhận dạng sai tƣơng ứng 49 4.3.2 Trích chọn đặc trƣng phƣơng pháp phân tích thành phần Phƣơng pháp phân tích thành phần đƣợc đề xuất ứng dụng nhận dạng ảnh mặt ngƣời Ý tƣởng phƣơng pháp trích chọn đặc trƣng ảnh dựa vector riêng tập liệu huấn luyện Quá trình nhận dạng đƣợc thực cách so sánh khoảng cách vector riêng ảnh nhận dạng với vector riêng tập liệu huấn luyện chọn vector gần Trong thử nghiệm này, sử dụng vector riêng tập liệu huấn luyện nhƣ làm đầu vào mạng neural để huấn luyện sử dụng vector riêng ảnh nhận dạng để nhận dạng ảnh thông qua mạng neural đƣợc huấn luyện Kết thử nghiệm: Với số chiều vector đặc trƣng 10 Bảng 4.2 kết thử nghiệm phƣơng pháp chọn đặc trƣng Hình 4.9 mô tả mạng MPL tầng với số neural tầng ẩn 20 mà kết thử nghiệm dịng bảng 4.2, Hình 4.10 mơ tả mạng MPL tầng với số neural tầng ẩn 20 10 mà kết thử nghiệm dòng bảng 4.2 Thời gian thực Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ (%) 20 53.85 3.479960 30 38.46 3.672060 20, 10 30.77 3.620138 30, 15 34.62 3.612358 (giây) Bảng 4.2 Tỷ lệ nhận dạng với phân tích thành phần mạng tầng 50 Hình 4.9 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 51 Hình 4.10 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 52 Với số chiều vector đặc trƣng 20 Bảng 4.3 kết thử nghiệm phƣơng pháp chọn đặc trƣng Hình 4.11 mơ tả mạng MPL tầng với số neural tầng ẩn 20 mà kết thử nghiệm dòng bảng 4.3 Hình 4.12 mơ tả mạng MPL tầng với số neural tầng ẩn 20 10 mà kết thử nghiệm dòng bảng 4.3 Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ (%) Thời gian thực (giây) 20 73.08 3.457293 30 53.85 3.855714 20, 10 30.77 3.701619 30, 15 34.62 3.656826 Bảng 4.3 Tỷ lệ nhận dạng với phân tích thành phần mạng tầng Hình 4.11 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 53 Hình 4.12 Quá trình thực mạng neural tầng phƣơng pháp phân tích thành phần với số chiều vector đặc trƣng 20 54 4.4 Phân lớp dùng mạng Perceptron đa tầng Trong thử nghiệm, sử dụng mạng Multi Perceptron Layer với thuật toán lan truyền ngƣợc để kiểm tra tỷ lệ nhận dạng với số lƣợng tầng tầng 4.4.1 Thử nghiệm với phƣơng pháp chọn đặc trƣng chia từ góc Bảng 4.3 kết thử nghiệm phƣơng pháp chọn đặc trƣng Hình 4.13 mơ tả mạng MPL tầng với số neural tầng ẩn 10 mà kết thử nghiệm dòng bảng 4.3 Hình 4.14 ký tự nhận dạng sai tƣơng ứng Thời gian thực Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ (%) 10 50.00 8.976357 15 61.54 4.632087 30 73.08 4.213224 50 61.54 4.316325 10, 38.46 4.652784 30, 15 30.77 4.469855 50, 25 42.31 4.489526 (giây) Bảng 4.3 Tỷ lệ nhận dạng với đặc trƣng chia từ góc 55 Hình 4.13 Q trình thực mạng Neural tầng input face:10-11.bmp input face:2-11.bmp input face:6-11.bmp result face:26-06.bmp result face:19-03.bmp result face:25-07.bmp input face:12-11.bmp result face:2-09.bmp input face:21-11.bmp result face:10-01.bmp input face:7-11.bmp result face:13-09.bmp input face:13-11.bmp result face:23-04.bmp input face:14-11.bmp input face:22-11.bmp input face:9-11.bmp result face:23-05.bmp input face:23-11.bmp result face:10-08.bmp result face:7-06.bmp input face:19-11.bmp input face:26-11.bmp result face:7-01.bmp result face:9-06.bmp result face:3-06.bmp Hình 4.14 Ảnh nhận sai cho trƣờng hợp số tầng số neural 10 Ký tự bên trái ký tự cần nhận dạng ký tự bên phải ký tự nhận dạng đƣợc 56 4.4.2 Trích chọn đặc trƣng phƣơng pháp phân tích thành phần Trong phƣơng pháp này, số đặc trƣng vector riêng đƣợc chọn 20, 50 100 Mạng neural với số tầng số neural cho tầng đƣợc sử dụng nhƣ thử nghiệm Hình 4.15 mơ tả mạng MPL tầng với số neural tầng ẩn 10 Kết thử nghiệm dịng trƣờng hợp Hình 4.15 Q trình thực mạng Neural tầng a) Trƣờng hợp 1: K = 20, số mẫu huấn luyện: 2000 Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ % 10 53.58 Thời gian thực (giây) 3.450815 57 30 57.69 3.310288 50 69.23 3.388517 10, 46.15 3.673127 30, 15 34.62 3.543965 50, 25 30.37 3.624862 b) Trƣờng hợp 2: K = 50, số mẫu huấn luyện: 2000 Thời gian thực Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ 10 23.08 3.503098 30 34.62 3.313190 50 50.00 3.373720 10, 11.54 3.622639 30, 15 23.08 3.580079 50, 25 19.23 3.541737 c) Trƣờng hợp 3: K = 100, số mẫu huấn luyện: 2000 Thời gian thực Số tầng mạng Số nơ ron tầng ẩn Tỷ lệ 10 15.38 3.387383 30 30.77 3.441767 50 19.23 3.486839 58 10, 11.54 3.552492 30, 15 23.08 3.666249 50, 25 19.23 3.735936 4.4.3 Trích chọn đặc trƣng phƣơng pháp phân tích thành phần sử dụng độ đo khoảng cách Euclidian Để so sánh với phƣơng pháp nhận dạng trên, thực nhận dạng với phƣơng pháp trích chọn đặc trƣng thành phần sử dụng độ đo khoảng cách euclidian để xác định ảnh ký tự gần Chú ý phƣơng pháp đƣợc nghiên cứu để nhận dạng ảnh mặt ngƣời Bảng 4.4 kết phƣơng pháp nhận dạng Số tầng mạng Tỷ lệ (%) Thời gian thực (giây) K = 10 73.08 0.973408 K = 20 76.92 0.999604 K = 30 76.92 0.974139 K = 50 76.92 0.965452 K = 100 76.92 0.953264 Bảng 4.4 Tỷ lệ nhận dạng với phƣơng pháp phân tích thành phần input face:9-11.bmp result face:3-06.bmp Hình 4.16 Ảnh nhận sai cho trƣờng hợp số tầng số neural 10 Ký tự bên trái ký tự cần nhận dạng ký tự bên phải ký tự nhận dạng đƣợc 59 KẾT LUẬN Đề tài tập trung vào việc nghiên cứu xây dựng mơ hình tổng qt cho việc ứng dụng mạng nơ-ron để nhận dạng ký tự viết tay dùng mạng nơron Tìm hiểu khái niệm, thành phần mạng nơ-ron kiểu kiến trúc mạng Đi sâu phân tích đặc điểm mạng nơ-ron, từ xác định khả ứng dụng mạng nơ-ron tốn Qua q trình nghiên cứu lý thuyết cài đặt phần mềm mô rút đƣợc số kết luận nhƣ sau: Mạng nơ-ron với khả tổng qt hóa đƣợc tốn, trở thành cơng cụ hữu hiệu để giải đƣợc nhiều toán khác hiệu Mạng nơ-ron với nhiều đặc trƣng: khả học từ liệu, tính thích nghi, chịu lỗi liệu khơng đầy đủ có nhiễu lợi so với phƣơng pháp khác Việc ứng dụng mạng nơ-ron hiệu bƣớc nhƣ việc lựa chọn mẫu huấn luyện, trích chọn đặc trƣng, tiền xử lý đƣợc thực tốt Cần tận dụng tri thức riêng biệt tốn để xây dựng đƣợc mơ hình mạng thích hợp Mạng nơ-ron truyền thẳng thuật tốn lan truyền ngƣợc chứng tỏ khả tốt cho nhiều toán phức tạp Từ số liệu thử nghiệm, đƣa số kết luận nhƣ sau: - Mạng tầng cho kết nhận dạng tốt mạng tầng Điều mạng tầng thƣờng có sai số lỗi lớn q trình huấn luyện thƣờng phù hợp với liệu có thuộc tính phân chia khơng tốt - Mạng tầng huấn luyện nhận dạng chậm mạng tầng, cần phải thực tính tốn nhiều Từ thử nghiệm trên, nói phƣơng pháp nhận dạng chƣa đạt đƣợc kết tốt Điều việc trích chọn đặc trƣng nhƣ việc lựa chọn tham số cho mạng neural chƣa phù hợp Do vậy, tƣơng lai nghiên cứu thêm vấn đề nhằm nâng cao tỷ lệ nhận dạng toán 60 TÀI LIỆU THAM KHẢO Tài liệu tham khảo Tiếng Anh: [1] Richard O Duda, Peter E Hart, David G.Stock (2001), Pattern Classification 2nd Edition, Wiley [2] Chris Bishop (2006), Pattern Recognition and Machine Learning, Springer [3] Martin T Hagan, Howard B Demuth, Mark Hudson Beale, Orlando De Jesús (Author), Neural Network Design 2nd Edition, Amazon [4] Timothy A Davis, Kermit Sigmon (2005), MATLAB® Primer Seventh Edition, by Chapman & Hall/CRC [5] https://www.abbyy.com/finereader/ [6] https://sourceforge.net/projects/vietocr/ Tài liệu tham khảo tiếng Việt: [7] Huỳnh Hữu Lộc, Lƣu Quốc Hải, Đinh Đức Anh Vũ (2011) “Nhận dạng chữ viết tay dùng rút trích thơng tin theo chiều mạng neural” Trƣờng Đại học Bách khoa TP HCM [8] Nguyễn Thị Thanh Tâm, Lƣơng Chi Mai (2006) “Phương pháp nhận dạng từ viết tay dựa mơ hình mạng nowrron kết hợp với thống kê từ vựng” Tạp chí tin học điều khiển học [9] Hoàng Hữu Việt (2016) “Tài liệu Nhận dạng mẫu”, Trƣờng Đại Học Vinh ... nhận dạng ký tự viết tay (khoảng 95%) có bƣớc tiến đáng kể nhận dạng từ Tuy nhiên sản phẩm chƣa nhận dạng đƣợc chữ viết tay tiếng việt Nhƣ thấy nhận dạng chữ viết tay, đặc biệt chữ viết tay tiếng. .. thống nhận dạng ký tự viết tay tiếng việt dùng mạng Neural 1.4.2 Mục tiêu cụ thể Đề tài tập trung vào mục tiêu cụ thể sau: (i) Nghiên cứu tổng quan toán nhận dạng ký tự viết tay tiếng việt (ii)... cho nhận dạng ký tự viết tay tiếng việt (iii) Xây dựng mạng Neural để nhận dạng ký tự viết tay tiếng việt (iv) Sử dụng ngơn ngữ lập trình Mathlab để lập trình cài đặt thử nghiệm thuật tốn cho nhận