Nghiên cứu mạng neural nhận dạng chữ in tiếng anh

i LỜICAMĐOAN Tơixincam cơngtrìnhnghiêncứucủachínhbảnthân.Cáckết đoanluậnvănnàylà quảnghiêncứutrongluậnvănlà trungthựcvà chưađượccơngbố trongcáccơng trìnhnàokhác Tácgiảluậnvăn Nguyễn Ngọc Qun ii LỜICẢMƠN Tơixinbàytỏlịngbiếtơnchânthànhtới thầy PGS.TS Ngơ Quốc Tạongườiđãdìu dắtvàgiúpđỡtơitrongcảlĩnhvựcnghiêncứucủaluậnáncũngnhưtrongcơng tácchunmơnvàcuộcsống Tác giả xin chân thành cảm ơn giúp đỡ các thầy cô giáo trường Đa ̣i ho ̣c Công ngh ệ thông tin Truyền thông Thái Nguyên đã ta ̣o điề u kiê ̣n giúp đỡ tận tình việc nghiên cứu luận văn Cuố i cùng tác giả xin chân thành cảm ơn sự giúp đỡ của Ban giám hiê ̣u, Khoa Sau Đại học trường Đa ̣i ho ̣c Công nghệ thông tin Truyền thông Thái Nguyên đã cho phép và ta ̣o điề u kiê ̣n thuâ ̣n lơ ̣i để tác giả hoàn thành bản luâ ̣n văn này Tácgiảluậnvăn Nguyễn Ngọc Quyên iii MỤC LỤC CHƢƠNG : MẠNG NEURAL VÀ BÀI TOÁN NHẬN DẠNG CHỮ IN 1.1 Khái Niệm Mạng Neural 1.1.1 Sơ lược neural sinh học 1.1.2 Mạng Neural Nhân Tạo 1.1.3 Kiến Trúc Mạng 1.1.3.1 Mạng truyền thẳng 1.1.3.2 Mạng hồi quy (Recurrent Neutral Network) 12 1.1.4 Luật học mạng neural 12 1.1.4.1 Phương Pháp Học 12 1.1.4.2 Luật học tham số 14 1.1.4.3 Học có tín hiệu đạo 14 1.1.4.4 Học khơng có tín hiệu đạo 15 1.1.4.5 Học tăng cường 15 1.1.4.6 Học cấu trúc 16 1.1.5 Các phương pháp huấn luyện mạng 16 1.1.5.1 Phương pháp huấn luyện pha 16 1.1.5.2 Phương pháp huấn luyện hai pha 17 1.1.5.3 phương pháp huấn luyện mạng hai pha HDH 17 1.1.5.4 Phương pháp huấn luyện ba pha đầy đủ 20 1.2 Bài toán nhận dạng chữ in 20 1.2.1 Bài tốn nhận dạng nói chung 20 1.2.2 Giới thiệu toán nhận dạng mẫu 22 1.2.3 Bài toán nhận dạng chữ in 23 1.2.3.1 Phương pháp trích đặc trưng chữ in sử dụng Momen Legendre 24 CHƢƠNG 2: NHẬN DẠNG CHỮ IN SỬ DỤNG MẠNG NEURAL 27 2.1 Thiết kế mạng neural 27 2.2 Huấn luyện mạng neural 35 2.2.1 Chuẩn bị tập liệu huấn luyện: 35 2.2.2 Biểu diễn tri thức tập liệu huấn luyện: 37 2.2.3 Thuật toán lan truyền ngược: 39 2.2.4 Áp dụng huấn luyện mạng neural nhận dạng chữ in: 43 2.3 Nhận dạng mạng neural 46 CHƢƠNG 3: CHƢƠNG TRÌNH NHẬN DẠNG KÝ TỰ 47 3.1 Xác định tham số cho mạng 47 3.2 Xử lý liệu lựa chọn liệu 47 3.2.1 Lấy mẫu xuống hình ảnh 47 3.2.2 Xử lý liệu (Phân tích ảnh) 49 3.2.2.1 Tách dịng kí tự 49 3.2.2.2 Tách kí tự 51 3.3 Một số kết 54 iv 3.4 Kết luận 57 * Về mặt lý thuyết 59 * Về mặt thực tiễn 60 Hƣớng phát triển 60 * Nhận dạng chữ viết tay tiếng Việt 60 v DANH MỤC HÌNH Hình 1.1 : Mơ hình neural sinh học Hình 1.2: Đồ thị hàm đồng (Identity function) Hình 1.3: Đồ thị hàm bƣớc nhị phân (Binary step function) Hình 1.4: Đồ thị hàm sigmoid Hình 1.5: Đồ thị hàm sigmoid lƣỡng cực Hình 1.6 Mơ hình nơ-ron Hình 1.7 Mạng truyền thẳng nhiều lớp 11 Hình 1.8 Mạng lớp có nối ngƣợc 12 Hình 1.9 Mạng nhiều lớp có nối ngƣợc 12 Hình 1.10: Các bƣớc xử lý hệ thống nhận dạng mẫu 23 Hình 1.11:Các bƣớc giải hình dạng chữ in 24 Hình 2.1: Sơ đồ đồ thị có hƣớng đơn giản 27 Hình 2.2: Biên định không gian mẫu 30 Hình 2.3: Khơng gian mẫu khả tách tuyến tính 31 Hình 2.4: Khơng gian mẫu khơng khả tách tuyến tính 32 Hình 2.5: Mơ hình mạng lớp 34 Hình 2.6: Các bƣớc huấn luyện 45 Hình 3.1: Quá trình xác định dịng kí tự 50 Hình 3.2: Tách kí tự 53 Hình 3.3: Giao diện chƣơng trình mơ 54 Hình 3.4: Nhận dạng chữ tiếng Anh ảnh 55 Hình 3.5: Nhận dạng kí tự có dấu 56 Hình 3.6: Kí tự có dấu 57 Hình 3.7: Kí tự số viết tay 61 Hình 3.8: Kí tự tiếng Anh viết tay 62 LỜI MỞ ĐẦU Từ đời nay, máy tính ln ln khơng ngừng phát triển đóng vai trị quan trọng nghiên cứu khoa học kĩ thuật, sống người Nhưng máy tính công cụ người sáng tạo hoạt động theo chương trình lập trình sẵn người.Nó khơng có khả liên tưởng,suy luận,kết nối việc cách linh hoạt,và quan trọng hết khả sáng tạo não người khơng thể Việc mơ q trình hoạt động trí tuệ người vào ứng dụng máy tính nỗ lực lớn hồn thiện lập trình viên Do mạng noron(Artificial neural networks) đời với mục đích cố gắng mơ q trình hoạt động trí tuệ người Các nghiên cứu ứng dụng thực các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, kinh tế nghiên cứu ứng dụng lĩnh vực quản lý dự án xây dựng Bàitốnnhậndạnglà bàitốnsửdụngcáctínhnăngcủamạngneuralnhiềunhất Bàitốnnhậndạngvớisựtrợgiúpcủamạngneuralngàynay khơngcịndừngởmức độnghiêncứunữamà trởthànhmộtlĩnhvực để ápdụngvàothựctế Trong số tốn nhận dạng này, nhận dạng chữ viết ứng dụng phổ biến Nhận dạng chữ viết ứng dụng q trình tự động hóa cơng việc văn phòng nhập liệu, trữ văn bản, sách báo, phân loại thư tín Trong chạy đua trí tuệ nhân tạo giới hai cơng ty lớn làng công nghệ giới Google Apple thì Google đưa Google glass sử nên tảng hoạt động tốn nhận dạng Ngồi việc xử lý kí tự để số hố tài liệu để tìm kiếm thông tin tài liệu Google nghiên cứu phát triển Mới hội nghị nhà phát triển Apple thì đại gia làng công nghệ giới công bố thư viện chuyên sâu mạng neural để việc ứng dụng mạng neural toán thực tế việc xây dựng ứng dụng tảng Apple Trong lần giới thiệu thư việc thì hưởng ứng nhiệt tình Apple cung cấp thư viện hỗ trợ việc huấn luyện mạng ứng dụng thực tế đặc biệt ứng dụng tốn nhận dạng Các dịng điện thoại thơng minh ngày phổ biến với cấu hình mạnh mẽ chắn hồn tồn đáp ứng việc xây dựng mạng neural vào để thực tốn nhận dạng Bài tốn nhận dạng kí tự phát triển mạnh mẽ số hoá các văn truyền thống ứng dụng tốn nhận dạng hồn tồn giúp cho người khiếm thị nghe văn chuyển thể từ nhận dạng chữ sang dạng số hố tái lại âm giúp người tiếp cận tri thức nhân loại Hầu hết công ty công nghệ hàng đầu sâu vào việc nghiên cứu các hướng huấn luyện máy tính học kiến thức người Nên thân em muốn tìm hiểu mạng neural việc xây dựng mạng neural tốn nhận dạng Mục đích luận văn trình bày các kết nghiên cứu lý thuyết phục vụ chủ đề “Nghiên cứu mạng neural nhận dạng chữ in tiếng anh” Để hoàn thành tiểu luận này, em hướng dẫn nhiệt tình từ thầy PGS.TS Ngô Quốc Tạo.Những giảng tài liệu thầy sở đểem hồn thành tốt báo cáo Em xin chân thành cảm ơn thầy CHƢƠNG : MẠNG NEURAL VÀ BÀI TOÁN NHẬN DẠNG CHỮ IN 1.1.Khái Niệm Mạng Neural 1.1.1.Sơ lược neural sinh học Bộ não ngƣời có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với gọi các nơ-ron Sau thành phần nơ ron Hình 1.1 : Mơ hình neural sinh học Trong :  Các Soma thân neural  Các dendrites dây mảnh, dài, gắn liền với soma, chúng truyền liệu (dưới dạng xung điện thế) đến cho soma xử lý Bên soma liệu tổng hợp lại Có thể xem gần tổng hợp phép lấy tổng tất liệu mà neural nhận  Một loại dây dẫn tín hiệu khác gắn với soma axon Khác với dendrites, axons có khả phát các xung điện thế, chúng dây dẫn tín hiệu từ neural các nơi khác Chỉ điện soma vượt giá trị ngưỡng (threshold) thì axon phát xung điện thế, cịn khơng trạng thái nghỉ  Axon nối với dendrites neural khác thông qua mối nối đặc biệt gọi synapse Khi điện synapse tăng lên các xung phát từ axon synapse nhả số chất hoá học (neurotransmitters);các chất mở "cửa" dendrites ions truyền qua Chính dịng ions làm thay đổi điện dendrites, tạo xung liệu lan truyền tới neural khác - Hoạt động neural sinh học mơ tả tóm tắt sau: Mỗi neural nhận tín hiệu vào từ tế bào thần kinh khác.Chúng tích hợp tín hiệu vào, tổng tín hiệu vượt q ngưỡng chúng tạo tín hiệu gửi tín hiệu tới neural khác thông qua dây thần kinh Các neural liên kết với thành mạng Mức độ bền vững liên kết xác định hệ số gọi trọng số liên kết 1.1.2.Mạng Neural Nhân Tạo Để mô tế bào thần kinh khớp nối thần kinh não người, mạng neural nhân tạo có thành phần có vai trị tương tự neural nhân tạo kết nối chúng (kết nối gọi weights) Neural đơn vị tính tốn có nhiều đầu vào đầu ra, đầu vào đến từ khớp nối thần kinh (synapse) Đặc trưng neural hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Một neural nhân tạo đơn vị tính toán hay đơn vị xử lý thơng tin sở cho hoạt động mạng neural Neural hoạt động sau: giả sử có N inputs, nơron có N weights (trọng số) tương ứng với N đường truyền inputs Neural lấy tổng trọng số tất các inputs Nói có nghĩa neural lấy input thứ nhất, nhân với weight đường input thứ nhất, lấy input thứ hai nhân với weight đường input thứ hai v.v , lấy tổng tất kết thu Đường truyền có weight lớn tín hiệu truyền qua lớn, xem weight đại lượng tương đương với synapse neural sinh học  Trọng số tổng tín hiệu đầu vào: Giả sử neural i có N tín hiệu vào, tín hiệu vào S j gán trọng số Wij tương ứng Ta ước lượng tổng tín hiệu vào neural net i theo số dạng sau: (i)Dạng tuyến tính: N neti  Wij s j (1.1) j 1 (ii)Dạng toàn phương: N neti  Wij s 2j (1.2) j 1 (iii)Dạng mặt cầu: neti    s N j 1 j  w ij  (1.3) Trong đó:  w ij  j  1, N  tâm bán kính mặt cầu  Hàm kích hoạt (hàm chuyển): Một số hàm kích hoạt thường sử dụng: 1) Hàm đồng (Linear function, Identity function) g(x) = x (1.4) Nếu coi các đầu vào đơn vị chúng sử dụng hàm Có số nhân với net-input tạo thành hàm đồng Hình 1.2: Đồ thị hàm đồng (Identity function) 51 3.2.2.2 Tách kí tự  Thuật tốn: Xét dịng Bắt đầu xét từ giá trị giới hạn y dòng (top_line) giá trị x (x=0) Xác định giới hạn ký tự : Quét hết chiều rộng ảnh, giá trị y + Nếu phát pixel đen thì đánh dấu y giá trị đỉnh ký tự (top_character) Dừng quét +Nếu quét hết chiều rộng, mà không tìm thấy pixel đen thì tăng y reset lại x, tiếp tục thực lại bước Xác định giới hạn ký tự: Bắt đầu duyệt từ giới hạn (đỉnh) vừa tìm thấy ký tự (0,top_character) + Tương tự xác định giới hạn trên, ta duyệt hết chiều rộng ảnh giá trị y +Nếu duyệt hết dòng mà khơng tìm thấy ký tự pixel đen thì ghi nhận y-1 giới hạn ký tự (bottom_character) Dừng duyệt +Nếu chưa tìm thấy bottom_character, tiếp tục duyệt đến dòng (tăng y, reset x=0) Xác định giới hạn trái ký tự (xác định giá trị x) -Bắt đầu từ giới hạn (đỉnh ký tự - top_character), giá trị x (x=0) -Quét đến giới hạn dòng (bottom_character), giữ nguyên x (quét theo chiều thẳng đứng) +Nếu gặp pixel đen đầu tiên, ghi nhận x giới hạn trái kí tự (leftcharacter) Dừng quét 52 +Nếu quét đến cuối giới hạn dưới, khơng tìm thấy pixel đen nào, thì reset lại y = giới hạn vừa tìm thấy, tăng x lên.(x++),và tiếp tục thực lại bước Xác định giới hạn phải ký tự (xác định giá trị x) -Bắt đầu từ giới hạn - đỉnh ký tự (top_character), giới hạn trái ký tự (left_character, top_character) Quét theo chiều thẳng đứng đến giới hạn dòng +Nếu quét hết chiều đứng, mà không gặp pixel đen thì ghi nhận x-1 giới hạn phải ký tự (right_character).Dừng quét +Nếu gặp pixel đen thì tăng x (x++) reset lại y =top_character ký tự xét, để xét đường thẳng đứng Lặp lại bước đến để xác định giới hạn ký tự dòng Với y = top_line dòng xét giá trị x = right_character ký tự vừa tìm thấy 53 Sau tách ký tự Hình 3.2: Tách kí tự 54 3.3 Một số kết Hình 3.3: Giao diện chương trình mơ 55 - Để nhận dạng ký tự, ta đưa các ảnh có kí tự in vào để nhận dạng kết trả lại sau Hình 3.4: Nhận dạng chữ tiếng Anh ảnh 56 Hình 3.5: Nhận dạng kí tự có dấu 57 Hình 3.6: Kí tự có dấu 3.4 Kết luận Để chương trình nhận dạng xác cao, với ký tự khơng dấu độ xác 90%, ký tự có dấu thì độ xác khoảng 80% Đối với ký tự có dấu độ xác thấp so với trường hợp khơng có dấu vì trường hợp này, ký tự khác ít, nên số lượng mẫu huấn luyện cho ký tự có dấu cần nhiều Để nhận dạng nhiều kiểu viết khác tập mẫu huấn luyện cho kí tự phải phong phú Quá trình huấn luyện giải khía cạnh phức tạp tốn nhận dạng chữ in Như chương trình mô nhận dạng chữ in đạt mục tiêu toán phức tạp đặt Hiện nay, nghiên cứu mạng neural hướng nghiên cứu mẻ nhiều hứa hẹn Áp dụng hướng tiếp cận 58 để giải toán nhận dạng chữ in trực tuyến vốn phức tạp đặc điểm: - Ký tự chữ in hình dạng ký tự phong phú đa dạng, phụ thuộc nhiều vào từ font chữ in khác - Ký tự chữ in có số lượng lớn, lớn nhiều so với ký tự theo chuẩn khác Khi giải toán phải đáp ứng yêu cầu: - Giải phức tạp việc xử lý liệu đầu vào - Giải việc xử lý khối lượng liệu lớn - Giải độ chuẩn xác trình nhận dạng - Giải mức độ tổng quát, đa dạng, phong phú trình xây dựng huấn luyện mạng để đạt độ xác cao nhận dạng 59 TỔNG KẾT Trong vài thập niên trở lại mạng neural thực có ứng dụng quan trọng mang đến nhiều hứa hẹn hệ máy thông minh Chính vậy, riêng cá nhân tơi, cịn điều mẻ - môn lý thuyết tương lai Điều thúc đẩy vừa thực nghiên cứu lý thuyết vừa cố gắng cài đặt phần mềm thử nghiệm với hy vọng nắm gì gọi khoảng thời gian thực luận văn Theo gợi ý thầy giáo hướng dẫn, lựa chọn đề tài: "Nhận dạng chữ in sử dụng mạng neural " Sau thời gian nghiên cứu, kết mà tơi đạt chưa đạt (kết hướng tới) tổng kết lại sau: Các kết đạt đƣợc * Về mặt lý thuyết  Nắm khái niệm thành phần kiểu kiến trúc mạng nơron, phân biệt số loại mạng nơron  Nắm ý nghĩa việc học hay tích lũy, có vai trị to lớn quy tắc học, mơ hình học thuật tốn học nhiều khả ứng dụng khác  Tìm hiểu ứng dụng mạng nơron thực tế  Nắm quy trình chung xây dựng hệ thống nhận dạng ký tự in tiếng Anh  Vận dụng mạng nơron để xây dựng mô nhận dạng ký tự in tiếng Anh Ngoài ra, việc xây dựng phần mềm thử nghiệm cho phép tôi:  Kiểm nghiệm kiến thức lý thuyết thu nhận 60  Có cái nhìn rõ nét kỹ thuật ứng dụng lý thuyết vào thực tế  Bên cạnh đó, nâng cao kỹ phân tích, thiết kế lập trình việc giải toán cụ thể * Về mặt thực tiễn Xây dựng thành công hệ thống nhận dạng ký tự chữ in rời rạc sử dụng mơ hình mạng neural Góp phần giải tốn cịn dang dở Tuy biết điều thu nhận phần nhỏ nghành nghiên cứu lớn, song tự nhận thấy gặt hái thành công định giai đoạn nghiên cứu Một số kết chƣa đạt đƣợc Việc nhận dạng ký tự bị sai thiếu xác , nhiều vấn đề liên quan : phức tạp liệu đầu vào, giá trị chọn lựa độ lệch, lỗi ngưỡng, số neuron lớp,… chưa chọn lựa xác  Sai số nhận dạng kí tự lớn hay nhỏ phụ thuộc vào nhiều yếu tố : độ chuẩn ảnh đưa vào, size font chữ , độ phức tạp font chữ  Việc chọn mơ hình mạng phù hợp, giá trị ngưỡng lỗi, độ lệch , tốc độ học ảnh hưởng đến tính xác nhận dạng kí tự Hƣớng phát triển Bên cạnh kết đạt được, có vấn đề chưa đề cập, giải luận văn Trong thời gian tới, tiếp tục nghiên cứu hoàn thiện đề tài với mục tiêu đặt sau: Nâng cao hiệu độ xác hệ thống nhận dạng ký tự chữ in rời rạc * Nhận dạng chữ viết tay tiếng Việt Bài toán nhận dạng chữ viết tay tiếng Việt xây dựng sở toán nhận dạng mẫu phần 2.2 61 Ngoài ta huấn luyện mạng nhận dạng kí tự viết tay với nhiều mẫu có sẵn Bài toán nhận dạng chữ viết tay phức tạp chữ viết tay tiếng Việt phong phú nhiều hình dạng nhận biết Khó khăn chữ viết tiếng Việt: - Chữ có dấu - Cỡ chữ to nhỏ phụ thuộc nhiều vào tay người viết - Chữ viết đẹp hay xấu ảnh hưởng lớn đến chương trình đánh giá chữ - Có nhiều kiểu chữ đa dạng phong phú có nhiều cỡ chữ khác Ở để demo cho phần nghiên cứu mở rộng thêm cho phần chữ viết tay thì chương trình có phần nhận dạng chữ viết tay sau: Hình 3.7: Kí tự số viết tay 62 Hình 3.8: Kí tự tiếng Anh viết tay Kí tự viết tay có dấu 63 TÀI LIỆU THAM KHẢO Tiế ng Viêṭ Nguyễn Đình Nam, Xử lý ảnh, Đa ̣i ho ̣c Bách Khoa Hà Nô ̣i Nguyễn Quang Hoan (2006), Giáo trình Xử lý ảnh , Học viện Công Nghệ Bưu Chính Viễn Thông Nguyễn Quỳnh Chi (2013), Đề tài Nghiên cứu QR Code và ứng du ̣ng , Học viê ̣n Công Nghê ̣ Bưu Chính Viễn Thông Âu Dương Đa ̣t – Lê Thành Nguyên (2004), Quản lý thư viện mã vạch, Đa ̣i ho ̣c Khoa Ho ̣c Tự Nhiên Lại Quang Tùng (2009), Ứng dụng lưu trữ thông tin chuỗi mã vạch , Đa ̣i ho ̣c Công Nghê.̣ 6.Lương Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà Nội 7.Lê Bá Dũng (2011), Bài giảng Môn Mạng Nơron nhân tạo, Lớp Cao học KHMT K9A, Trường Đại học Công nghệ thông tin Truyền thông, ĐHTN 64 Tài liệu tham khảotiếng Anh 8.Daniel T.Larose (2004), Discovering Knowledge in Data An Introduction to Data Mining, Wiley Interscience, United States of America 9.Dave Anderson and George McNeill (1992), Artificial Neural Networks Technology Prepared by Rome Laboratory RL/C3C Griffiss AFB, NY 13441-5700, Kaman Sciences Corporation 258 Genesse Street Utica, New York 13502-4627 10Jeff Heaton (2005), Introduction to Neural Networks with Java, Heaton Research, Inc, United States of America 11.Nikola K.kasabov (1998), Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering, Massachusetts Institute of Technology, The MIT Press, United States of America 12 R.M.Hristev (1998), The ANN Book, GNU public license 13 Simon Haykin (1998), Neural Networks Comprehensive Foundation, Second edition, Prentice Hall, Indian by Sai PrintoPack Pvt Ltd 14.Wang J., Jean J.S.N (1993), Multi-Resolution Neural Network for Omnifont Charater Recognition, IEEE International Conference on Neural Network 15.Gia M Agusta, Khodijah Hulliyah , Arini , Rizal Broer Bahaweres(2013), Applying Merging Convetional Marker and Backpropagation Neural Network in QR Code Augmented Reality Tracking, http://s2is.org/Issues/v6/n5/papers/paper5.pdf 16Tamás Grós𝑧 ∗ (2014),QR code localization using deep neural net works, https://pdfs.semanticscholar.org/90da/bb65eeb384ade1a35498a5a505e8fc8c7 7f2.pdf Nguồ n Website 17 http://www.onbarcode.com 18 http://www.codeproject.com 65 19 http://mateuszstankiewicz.eu 20 http://www.openkm.com/en/modules-eng/barcode.html 21 https://en.wikipedia.org/?title=Barcode 22 http://book.realworldhaskell.org/read/barcode-recognition.html