Nghiên cứu mạng neural nhận dạng chữ in tiếng anh

i LỜICAMĐOAN Tôixincam côngtrìnhnghiêncứucủachínhbảnthân.Cáckết đoanluậnvănnàylà quảnghiêncứutrongluậnvănlà trungthựcvà chưađượccôngbố trongcáccông trìnhnàokhác Tácgiảluậnvăn Nguyễn Ngọc Quyên ii LỜICẢMƠN Tôixinbàytỏlòngbiếtơnchânthànhtới thầy PGS.TS Ngô Quốc Tạongườiđãdìu dắtvàgiúpđỡtôitrongcảlĩnhvựcnghiêncứucủaluậnáncũngnhưtrongcông tácchuyênmônvàcuộcsống Tác giả xin chân thành cảm ơn giúp đỡ các thầy cô giáo trường Đa ̣i ho ̣c Công ngh ệ thông tin Truyền thông Thái Nguyên đã ta ̣o điề u kiê ̣n giúp đỡ tận tình việc nghiên cứu luận văn Cuố i cùng tác giả xin chân thành cảm ơn sự giúp đỡ của Ban giám hiê ̣u, Khoa Sau Đại học trường Đa ̣i ho ̣c Công nghệ thông tin Truyền thông Thái Nguyên đã cho phép và ta ̣o điề u kiê ̣n thuâ ̣n lơ ̣i để tác giả hoàn thành bản luâ ̣n văn này Tácgiảluậnvăn Nguyễn Ngọc Quyên iii MỤC LỤC CHƢƠNG : MẠNG NEURAL VÀ BÀI TOÁN NHẬN DẠNG CHỮ IN 1.1 Khái Niệm Mạng Neural 1.1.1 Sơ lược neural sinh học 1.1.2 Mạng Neural Nhân Tạo 1.1.3 Kiến Trúc Mạng 1.1.3.1 Mạng truyền thẳng 1.1.3.2 Mạng hồi quy (Recurrent Neutral Network) 12 1.1.4 Luật học mạng neural 12 1.1.4.1 Phương Pháp Học 12 1.1.4.2 Luật học tham số 14 1.1.4.3 Học có tín hiệu đạo 14 1.1.4.4 Học tín hiệu đạo 15 1.1.4.5 Học tăng cường 15 1.1.4.6 Học cấu trúc 16 1.1.5 Các phương pháp huấn luyện mạng 16 1.1.5.1 Phương pháp huấn luyện pha 16 1.1.5.2 Phương pháp huấn luyện hai pha 17 1.1.5.3 phương pháp huấn luyện mạng hai pha HDH 17 1.1.5.4 Phương pháp huấn luyện ba pha đầy đủ 20 1.2 Bài toán nhận dạng chữ in 20 1.2.1 Bài toán nhận dạng nói chung 20 1.2.2 Giới thiệu toán nhận dạng mẫu 22 1.2.3 Bài toán nhận dạng chữ in 23 1.2.3.1 Phương pháp trích đặc trưng chữ in sử dụng Momen Legendre 24 CHƢƠNG 2: NHẬN DẠNG CHỮ IN SỬ DỤNG MẠNG NEURAL 27 2.1 Thiết kế mạng neural 27 2.2 Huấn luyện mạng neural 35 2.2.1 Chuẩn bị tập liệu huấn luyện: 35 2.2.2 Biểu diễn tri thức tập liệu huấn luyện: 37 2.2.3 Thuật toán lan truyền ngược: 39 2.2.4 Áp dụng huấn luyện mạng neural nhận dạng chữ in: 43 2.3 Nhận dạng mạng neural 46 CHƢƠNG 3: CHƢƠNG TRÌNH NHẬN DẠNG KÝ TỰ 47 3.1 Xác định tham số cho mạng 47 3.2 Xử lý liệu lựa chọn liệu 47 3.2.1 Lấy mẫu xuống hình ảnh 47 3.2.2 Xử lý liệu (Phân tích ảnh) 49 3.2.2.1 Tách dòng kí tự 49 3.2.2.2 Tách kí tự 51 3.3 Một số kết 54 iv 3.4 Kết luận 57 * Về mặt lý thuyết 59 * Về mặt thực tiễn 60 Hƣớng phát triển 60 * Nhận dạng chữ viết tay tiếng Việt 60 v DANH MỤC HÌNH Hình 1.1 : Mô hình neural sinh học Hình 1.2: Đồ thị hàm đồng (Identity function) Hình 1.3: Đồ thị hàm bƣớc nhị phân (Binary step function) Hình 1.4: Đồ thị hàm sigmoid Hình 1.5: Đồ thị hàm sigmoid lƣỡng cực Hình 1.6 Mô hình nơ-ron Hình 1.7 Mạng truyền thẳng nhiều lớp 11 Hình 1.8 Mạng lớp có nối ngƣợc 12 Hình 1.9 Mạng nhiều lớp có nối ngƣợc 12 Hình 1.10: Các bƣớc xử lý hệ thống nhận dạng mẫu 23 Hình 1.11:Các bƣớc giải hình dạng chữ in 24 Hình 2.1: Sơ đồ đồ thị có hƣớng đơn giản 27 Hình 2.2: Biên định không gian mẫu 30 Hình 2.3: Không gian mẫu khả tách tuyến tính 31 Hình 2.4: Không gian mẫu không khả tách tuyến tính 32 Hình 2.5: Mô hình mạng lớp 34 Hình 2.6: Các bƣớc huấn luyện 45 Hình 3.1: Quá trình xác định dòng kí tự 50 Hình 3.2: Tách kí tự 53 Hình 3.3: Giao diện chƣơng trình mô 54 Hình 3.4: Nhận dạng chữ tiếng Anh ảnh 55 Hình 3.5: Nhận dạng kí tự có dấu 56 Hình 3.6: Kí tự có dấu 57 Hình 3.7: Kí tự số viết tay 61 Hình 3.8: Kí tự tiếng Anh viết tay 62 LỜI MỞ ĐẦU Từ đời nay, máy tính luôn không ngừng phát triển đóng vai trò quan trọng nghiên cứu khoa học kĩ thuật, sống người Nhưng máy tính công cụ người sáng tạo hoạt động theo chương trình lập trình sẵn người.Nó khả liên tưởng,suy luận,kết nối việc cách linh hoạt,và quan trọng hết khả sáng tạo não người Việc mô trình hoạt động trí tuệ người vào ứng dụng máy tính nỗ lực lớn hoàn thiện lập trình viên Do mạng noron(Artificial neural networks) đời với mục đích cố gắng mô trình hoạt động trí tuệ người Các nghiên cứu ứng dụng thực các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, kinh tế nghiên cứu ứng dụng lĩnh vực quản lý dự án xây dựng Bàitoánnhậndạnglà bàitoánsửdụngcáctínhnăngcủamạngneuralnhiềunhất Bàitoánnhậndạngvớisựtrợgiúpcủamạngneuralngàynay khôngcòndừngởmức độnghiêncứunữamà trởthànhmộtlĩnhvực để ápdụngvàothựctế Trong số toán nhận dạng này, nhận dạng chữ viết ứng dụng phổ biến Nhận dạng chữ viết ứng dụng trình tự động hóa công việc văn phòng nhập liệu, trữ văn bản, sách báo, phân loại thư tín Trong chạy đua trí tuệ nhân tạo giới hai công ty lớn làng công nghệ giới Google Apple thì Google đưa Google glass sử nên tảng hoạt động toán nhận dạng Ngoài việc xử lý kí tự để số hoá tài liệu để tìm kiếm thông tin tài liệu Google nghiên cứu phát triển Mới hội nghị nhà phát triển Apple thì đại gia làng công nghệ giới công bố thư viện chuyên sâu mạng neural để việc ứng dụng mạng neural toán thực tế việc xây dựng ứng dụng tảng Apple Trong lần giới thiệu thư việc thì hưởng ứng nhiệt tình Apple cung cấp thư viện hỗ trợ việc huấn luyện mạng ứng dụng thực tế đặc biệt ứng dụng toán nhận dạng Các dòng điện thoại thông minh ngày phổ biến với cấu hình mạnh mẽ chắn hoàn toàn đáp ứng việc xây dựng mạng neural vào để thực toán nhận dạng Bài toán nhận dạng kí tự phát triển mạnh mẽ số hoá các văn truyền thống ứng dụng toán nhận dạng hoàn toàn giúp cho người khiếm thị nghe văn chuyển thể từ nhận dạng chữ sang dạng số hoá tái lại âm giúp người tiếp cận tri thức nhân loại Hầu hết công ty công nghệ hàng đầu sâu vào việc nghiên cứu các hướng huấn luyện máy tính học kiến thức người Nên thân em muốn tìm hiểu mạng neural việc xây dựng mạng neural toán nhận dạng Mục đích luận văn trình bày các kết nghiên cứu lý thuyết phục vụ chủ đề “Nghiên cứu mạng neural nhận dạng chữ in tiếng anh” Để hoàn thành tiểu luận này, em hướng dẫn nhiệt tình từ thầy PGS.TS Ngô Quốc Tạo.Những giảng tài liệu thầy sở đểem hoàn thành tốt báo cáo Em xin chân thành cảm ơn thầy CHƢƠNG : MẠNG NEURAL VÀ BÀI TOÁN NHẬN DẠNG CHỮ IN 1.1.Khái Niệm Mạng Neural 1.1.1.Sơ lược neural sinh học Bộ não ngƣời có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với gọi các nơ-ron Sau thành phần nơ ron Hình 1.1 : Mô hình neural sinh học Trong :  Các Soma thân neural  Các dendrites dây mảnh, dài, gắn liền với soma, chúng truyền liệu (dưới dạng xung điện thế) đến cho soma xử lý Bên soma liệu tổng hợp lại Có thể xem gần tổng hợp phép lấy tổng tất liệu mà neural nhận  Một loại dây dẫn tín hiệu khác gắn với soma axon Khác với dendrites, axons có khả phát các xung điện thế, chúng dây dẫn tín hiệu từ neural các nơi khác Chỉ điện soma vượt giá trị ngưỡng (threshold) thì axon phát xung điện thế, không trạng thái nghỉ  Axon nối với dendrites neural khác thông qua mối nối đặc biệt gọi synapse Khi điện synapse tăng lên các xung phát từ axon synapse nhả số chất hoá học (neurotransmitters);các chất mở "cửa" dendrites ions truyền qua Chính dòng ions làm thay đổi điện dendrites, tạo xung liệu lan truyền tới neural khác - Hoạt động neural sinh học mô tả tóm tắt sau: Mỗi neural nhận tín hiệu vào từ tế bào thần kinh khác.Chúng tích hợp tín hiệu vào, tổng tín hiệu vượt ngưỡng chúng tạo tín hiệu gửi tín hiệu tới neural khác thông qua dây thần kinh Các neural liên kết với thành mạng Mức độ bền vững liên kết xác định hệ số gọi trọng số liên kết 1.1.2.Mạng Neural Nhân Tạo Để mô tế bào thần kinh khớp nối thần kinh não người, mạng neural nhân tạo có thành phần có vai trò tương tự neural nhân tạo kết nối chúng (kết nối gọi weights) Neural đơn vị tính toán có nhiều đầu vào đầu ra, đầu vào đến từ khớp nối thần kinh (synapse) Đặc trưng neural hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Một neural nhân tạo đơn vị tính toán hay đơn vị xử lý thông tin sở cho hoạt động mạng neural Neural hoạt động sau: giả sử có N inputs, nơron có N weights (trọng số) tương ứng với N đường truyền inputs Neural lấy tổng trọng số tất các inputs Nói có nghĩa neural lấy input thứ nhất, nhân với weight đường input thứ nhất, lấy input thứ hai nhân với weight đường input thứ hai v.v , lấy tổng tất kết thu Đường truyền có weight lớn tín hiệu truyền qua lớn, xem weight đại lượng tương đương với synapse neural sinh học  Trọng số tổng tín hiệu đầu vào: Giả sử neural i có N tín hiệu vào, tín hiệu vào S j gán trọng số Wij tương ứng Ta ước lượng tổng tín hiệu vào neural net i theo số dạng sau: (i)Dạng tuyến tính: N neti  Wij s j (1.1) j 1 (ii)Dạng toàn phương: N neti  Wij s 2j (1.2) j 1 (iii)Dạng mặt cầu: neti    s N j 1 j  w ij  (1.3) Trong đó:  w ij  j  1, N  tâm bán kính mặt cầu  Hàm kích hoạt (hàm chuyển): Một số hàm kích hoạt thường sử dụng: 1) Hàm đồng (Linear function, Identity function) g(x) = x (1.4) Nếu coi các đầu vào đơn vị chúng sử dụng hàm Có số nhân với net-input tạo thành hàm đồng Hình 1.2: Đồ thị hàm đồng (Identity function) 51 3.2.2.2 Tách kí tự  Thuật toán: Xét dòng Bắt đầu xét từ giá trị giới hạn y dòng (top_line) giá trị x (x=0) Xác định giới hạn ký tự : Quét hết chiều rộng ảnh, giá trị y + Nếu phát pixel đen thì đánh dấu y giá trị đỉnh ký tự (top_character) Dừng quét +Nếu quét hết chiều rộng, mà không tìm thấy pixel đen thì tăng y reset lại x, tiếp tục thực lại bước Xác định giới hạn ký tự: Bắt đầu duyệt từ giới hạn (đỉnh) vừa tìm thấy ký tự (0,top_character) + Tương tự xác định giới hạn trên, ta duyệt hết chiều rộng ảnh giá trị y +Nếu duyệt hết dòng mà không tìm thấy ký tự pixel đen thì ghi nhận y-1 giới hạn ký tự (bottom_character) Dừng duyệt +Nếu chưa tìm thấy bottom_character, tiếp tục duyệt đến dòng (tăng y, reset x=0) Xác định giới hạn trái ký tự (xác định giá trị x) -Bắt đầu từ giới hạn (đỉnh ký tự - top_character), giá trị x (x=0) -Quét đến giới hạn dòng (bottom_character), giữ nguyên x (quét theo chiều thẳng đứng) +Nếu gặp pixel đen đầu tiên, ghi nhận x giới hạn trái kí tự (leftcharacter) Dừng quét 52 +Nếu quét đến cuối giới hạn dưới, không tìm thấy pixel đen nào, thì reset lại y = giới hạn vừa tìm thấy, tăng x lên.(x++),và tiếp tục thực lại bước Xác định giới hạn phải ký tự (xác định giá trị x) -Bắt đầu từ giới hạn - đỉnh ký tự (top_character), giới hạn trái ký tự (left_character, top_character) Quét theo chiều thẳng đứng đến giới hạn dòng +Nếu quét hết chiều đứng, mà không gặp pixel đen thì ghi nhận x-1 giới hạn phải ký tự (right_character).Dừng quét +Nếu gặp pixel đen thì tăng x (x++) reset lại y =top_character ký tự xét, để xét đường thẳng đứng Lặp lại bước đến để xác định giới hạn ký tự dòng Với y = top_line dòng xét giá trị x = right_character ký tự vừa tìm thấy 53 Sau tách ký tự Hình 3.2: Tách kí tự 54 3.3 Một số kết Hình 3.3: Giao diện chương trình mô 55 - Để nhận dạng ký tự, ta đưa các ảnh có kí tự in vào để nhận dạng kết trả lại sau Hình 3.4: Nhận dạng chữ tiếng Anh ảnh 56 Hình 3.5: Nhận dạng kí tự có dấu 57 Hình 3.6: Kí tự có dấu 3.4 Kết luận Để chương trình nhận dạng xác cao, với ký tự không dấu độ xác 90%, ký tự có dấu thì độ xác khoảng 80% Đối với ký tự có dấu độ xác thấp so với trường hợp dấu vì trường hợp này, ký tự khác ít, nên số lượng mẫu huấn luyện cho ký tự có dấu cần nhiều Để nhận dạng nhiều kiểu viết khác tập mẫu huấn luyện cho kí tự phải phong phú Quá trình huấn luyện giải khía cạnh phức tạp toán nhận dạng chữ in Như chương trình mô nhận dạng chữ in đạt mục tiêu toán phức tạp đặt Hiện nay, nghiên cứu mạng neural hướng nghiên cứu mẻ nhiều hứa hẹn Áp dụng hướng tiếp cận 58 để giải toán nhận dạng chữ in trực tuyến vốn phức tạp đặc điểm: - Ký tự chữ in hình dạng ký tự phong phú đa dạng, phụ thuộc nhiều vào từ font chữ in khác - Ký tự chữ in có số lượng lớn, lớn nhiều so với ký tự theo chuẩn khác Khi giải toán phải đáp ứng yêu cầu: - Giải phức tạp việc xử lý liệu đầu vào - Giải việc xử lý khối lượng liệu lớn - Giải độ chuẩn xác trình nhận dạng - Giải mức độ tổng quát, đa dạng, phong phú trình xây dựng huấn luyện mạng để đạt độ xác cao nhận dạng 59 TỔNG KẾT Trong vài thập niên trở lại mạng neural thực có ứng dụng quan trọng mang đến nhiều hứa hẹn hệ máy thông minh Chính vậy, riêng cá nhân tôi, điều mẻ - môn lý thuyết tương lai Điều thúc đẩy vừa thực nghiên cứu lý thuyết vừa cố gắng cài đặt phần mềm thử nghiệm với hy vọng nắm gì gọi khoảng thời gian thực luận văn Theo gợi ý thầy giáo hướng dẫn, lựa chọn đề tài: "Nhận dạng chữ in sử dụng mạng neural " Sau thời gian nghiên cứu, kết mà đạt chưa đạt (kết hướng tới) tổng kết lại sau: Các kết đạt đƣợc * Về mặt lý thuyết  Nắm khái niệm thành phần kiểu kiến trúc mạng nơron, phân biệt số loại mạng nơron  Nắm ý nghĩa việc học hay tích lũy, có vai trò to lớn quy tắc học, mô hình học thuật toán học nhiều khả ứng dụng khác  Tìm hiểu ứng dụng mạng nơron thực tế  Nắm quy trình chung xây dựng hệ thống nhận dạng ký tự in tiếng Anh  Vận dụng mạng nơron để xây dựng mô nhận dạng ký tự in tiếng Anh Ngoài ra, việc xây dựng phần mềm thử nghiệm cho phép tôi:  Kiểm nghiệm kiến thức lý thuyết thu nhận 60  Có cái nhìn rõ nét kỹ thuật ứng dụng lý thuyết vào thực tế  Bên cạnh đó, nâng cao kỹ phân tích, thiết kế lập trình việc giải toán cụ thể * Về mặt thực tiễn Xây dựng thành công hệ thống nhận dạng ký tự chữ in rời rạc sử dụng mô hình mạng neural Góp phần giải toán dang dở Tuy biết điều thu nhận phần nhỏ nghành nghiên cứu lớn, song tự nhận thấy gặt hái thành công định giai đoạn nghiên cứu Một số kết chƣa đạt đƣợc Việc nhận dạng ký tự bị sai thiếu xác , nhiều vấn đề liên quan : phức tạp liệu đầu vào, giá trị chọn lựa độ lệch, lỗi ngưỡng, số neuron lớp,… chưa chọn lựa xác  Sai số nhận dạng kí tự lớn hay nhỏ phụ thuộc vào nhiều yếu tố : độ chuẩn ảnh đưa vào, size font chữ , độ phức tạp font chữ  Việc chọn mô hình mạng phù hợp, giá trị ngưỡng lỗi, độ lệch , tốc độ học ảnh hưởng đến tính xác nhận dạng kí tự Hƣớng phát triển Bên cạnh kết đạt được, có vấn đề chưa đề cập, giải luận văn Trong thời gian tới, tiếp tục nghiên cứu hoàn thiện đề tài với mục tiêu đặt sau: Nâng cao hiệu độ xác hệ thống nhận dạng ký tự chữ in rời rạc * Nhận dạng chữ viết tay tiếng Việt Bài toán nhận dạng chữ viết tay tiếng Việt xây dựng sở toán nhận dạng mẫu phần 2.2 61 Ngoài ta huấn luyện mạng nhận dạng kí tự viết tay với nhiều mẫu có sẵn Bài toán nhận dạng chữ viết tay phức tạp chữ viết tay tiếng Việt phong phú nhiều hình dạng nhận biết Khó khăn chữ viết tiếng Việt: - Chữ có dấu - Cỡ chữ to nhỏ phụ thuộc nhiều vào tay người viết - Chữ viết đẹp hay xấu ảnh hưởng lớn đến chương trình đánh giá chữ - Có nhiều kiểu chữ đa dạng phong phú có nhiều cỡ chữ khác Ở để demo cho phần nghiên cứu mở rộng thêm cho phần chữ viết tay thì chương trình có phần nhận dạng chữ viết tay sau: Hình 3.7: Kí tự số viết tay 62 Hình 3.8: Kí tự tiếng Anh viết tay Kí tự viết tay có dấu 63 TÀI LIỆU THAM KHẢO Tiế ng Viêṭ Nguyễn Đình Nam, Xử lý ảnh, Đa ̣i ho ̣c Bách Khoa Hà Nô ̣i Nguyễn Quang Hoan (2006), Giáo trình Xử lý ảnh , Học viện Công Nghệ Bưu Chính Viễn Thông Nguyễn Quỳnh Chi (2013), Đề tài Nghiên cứu QR Code và ứng du ̣ng , Học viê ̣n Công Nghê ̣ Bưu Chính Viễn Thông Âu Dương Đa ̣t – Lê Thành Nguyên (2004), Quản lý thư viện mã vạch, Đa ̣i ho ̣c Khoa Ho ̣c Tự Nhiên Lại Quang Tùng (2009), Ứng dụng lưu trữ thông tin chuỗi mã vạch , Đa ̣i ho ̣c Công Nghê.̣ 6.Lương Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà Nội 7.Lê Bá Dũng (2011), Bài giảng Môn Mạng Nơron nhân tạo, Lớp Cao học KHMT K9A, Trường Đại học Công nghệ thông tin Truyền thông, ĐHTN 64 Tài liệu tham khảotiếng Anh 8.Daniel T.Larose (2004), Discovering Knowledge in Data An Introduction to Data Mining, Wiley Interscience, United States of America 9.Dave Anderson and George McNeill (1992), Artificial Neural Networks Technology Prepared by Rome Laboratory RL/C3C Griffiss AFB, NY 13441-5700, Kaman Sciences Corporation 258 Genesse Street Utica, New York 13502-4627 10Jeff Heaton (2005), Introduction to Neural Networks with Java, Heaton Research, Inc, United States of America 11.Nikola K.kasabov (1998), Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering, Massachusetts Institute of Technology, The MIT Press, United States of America 12 R.M.Hristev (1998), The ANN Book, GNU public license 13 Simon Haykin (1998), Neural Networks Comprehensive Foundation, Second edition, Prentice Hall, Indian by Sai PrintoPack Pvt Ltd 14.Wang J., Jean J.S.N (1993), Multi-Resolution Neural Network for Omnifont Charater Recognition, IEEE International Conference on Neural Network 15.Gia M Agusta, Khodijah Hulliyah , Arini , Rizal Broer Bahaweres(2013), Applying Merging Convetional Marker and Backpropagation Neural Network in QR Code Augmented Reality Tracking, http://s2is.org/Issues/v6/n5/papers/paper5.pdf 16Tamás Grós𝑧 ∗ (2014),QR code localization using deep neural net works, https://pdfs.semanticscholar.org/90da/bb65eeb384ade1a35498a5a505e8fc8c7 7f2.pdf Nguồ n Website 17 http://www.onbarcode.com 18 http://www.codeproject.com 65 19 http://mateuszstankiewicz.eu 20 http://www.openkm.com/en/modules-eng/barcode.html 21 https://en.wikipedia.org/?title=Barcode 22 http://book.realworldhaskell.org/read/barcode-recognition.html [...]... toán nhận dạng chữ in 1.2.3 Bài toán nhận dạng chữ in Như đã nói ở trên bài toán nhận dạng chữ in thuộc lớp bài toán nhận dạng mẫu, như vậy để giải quyết bài toán nhận dạng chữ in thì phải tuân theo các bước của bài toán nhận dạng mẫu đã nêu ở phần trên 24 Sau đây ta chỉ xét việc nhận dạng từng ký tự chữ in một nên bước tiền xử lý và bước phân đoạn xem như không cần thiết Có thể khái quát quá trình nhận. .. nhận dạng chữ in 1.2.1 Bài toán nhận dạng nói chung Các bài toán nhận dạng tiêu biểu được nghiên cứu nhiều nhất hiện nay bao gồm: - Nhận dạng các mẫu hình học (vân tay, mặt người, hình khối, ….) - Nhận dạng chữ viết (optical character recognition – OCR) - Nhận dạng tiếng nói (speech recognition) 21 - Dịch tự động (machine translation) - Tóm tắt văn bản (text summarization) - Tìm kiếm thông tin... hợp mang lại cho mạng neural khả năng tính toán rất lớn, trong đó không có neural nào mang thông tin riêng biệt 1.1.3.1 Mạng truyền thẳng - Mạng truyền thẳng một lớp Mạng truyền thẳng một lớp là mạng perceptron một lớp Là mạng truyền thẳng chỉ một lớp vào và một lớp ra Trên mỗi lớp có thể có một hoặc nhiều neural mạng truyền thẳng một lớp chỉ có một lớp vào và một lớp ra Mô hình mạng neural perceptron... nên bước tiền xử lý và bước phân đoạn xem như không cần thiết Có thể khái quát quá trình nhận dạng chữ in thông qua hình vẽ dưới đây: Dữ liệu đầu vào(ảnh) Trích chọn đặc trưng chữ viết Nhận dạng Đưa ra kết quả nhận dạng Hình 1.11:Các bước giải quyết hình dạng chữ in 1.2.3.1 Phương pháp trích đặc trưng chữ in sử dụng Momen Legendre i) Định nghĩa momen Legendre: Momen Legendre bậc (m+n) của ảnh liên... mạng neural đơn giản: Input: + Mạng neural có m lớp (m > 1) + ni là số neural của lớp thứ i trong mạng (ni>= 1, i = (1, m)) + w : trọng số liên kết Output : Mạng neural 28 Giải thuật: Int layers; Int neurals[layers]; Float w[i][j][k]; Bước 1: Chọn lớp i = 2 là lớp bắt đầu Bước 2: Chọn lớp i là lớp hiện thời Bước 3: Tại lớp đang xét i, xét neural thứ j Bước 4: Thực hiện tạo trọng số kết nối với neural. .. tìm ra các thông tin hữu ích và đặc trưng nhất cho mẫu đầu vào để sử dụng cho quá trình nhận dạng  Nhận dạng: là quá trình sử dụng một mô hình nhận dạng cụ thể với một thuật toán cụ thể để trả lời mẫu đầu vào là chữ (ký tự) nào  Hậu xử lý: là quá trình xử lý kết quả cho phù hợp với từng ứng dụng cụ thể Như vậy, chúng ta đã được biết sơ qua tình hình chung của bài toán nhận dạng chữ viết trên thế... kích hoạt của nơ-ron i 1.1.3.Kiến Trúc Mạng Mạng neural nhân tạo là một hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay còn gọi là neural) tựa như neural thần kinh của não người, hoạt động song song và được nối với nhau bởi các liên kết neural Mỗi liên kết 9 kèm theo một trọng số nào đó, đặc trưng cho tính kích hoạt hoặc ức chế giữa các neural Việc ứng dụng mạng neural có thể giải quyết được các lớp... hiểu mạng neural là một đồ thị có hướng như hình 1.8 Trong đó các đỉnh của đồ thị là các neural và các cạnh của đồ thị là các liên kết giữa các neural h1 g1 x h2 f g2 h3 Hình 2.1: Sơ đồ đồ thị có hướng đơn giản Vì vậy để xây dựng một mạng neural ta xây dựng một đồ thị có hướng: số đỉnh của đồ thị bằng số neural trong mạng, giá trị của các cạnh chính là trọng số liên kết neural Ví dụ xây dựng một mạng. .. tìm kiếm, bài toán nhận dạng mẫu Các bài toán phức tạp cao, không xác định Tuy nhiên, sự liên kết giữa một bài toán bất kỳ trong thực tế với một giải pháp mạng neural lại là một việc không hề dễ dàng Xét một cách tổng quát, mạng neural mang các đặc tính nổi bật sau :  Là mô hình toán học dựa trên bản chất của neural  Bao gồm một số lượng rất lớn các neural liên kết với nhau .Mạng neural có khả năng... 29/11, tại Tokyo Trong đó có sử dụng công nghệ nhận dạng bóng để di chuyển và lập chiến thuật đánh trả… Bên cạnh sự phát triển và ứng dụng rộng rãi đó là các phương pháp nhận dạng đã được sử dụng, dưới đây là các phương pháp nhận dạng cơ bản: - RFID (Radio Frequency Identification) là kỹ thuật nhận dạng bằng sóng vô tuyến từ xa - SVM (Support Vector Machines) là một phương pháp máy học tiên tiến ... toán nhận dạng chữ in 1.2.1 Bài toán nhận dạng nói chung Các toán nhận dạng tiêu biểu nghiên cứu nhiều bao gồm: - Nhận dạng các mẫu hình học (vân tay, mặt người, hình khối, ….) - Nhận dạng chữ. .. chung toán nhận dạng chữ viết giới Việt Nam: ứng dụng thực tế, kết đạt cần phải cố gắng thêm đặc biệt với toán nhận dạng chữ in 1.2.3 Bài toán nhận dạng chữ in Như nói toán nhận dạng chữ in thuộc... Áp dụng huấn luyện mạng neural nhận dạng chữ in: 43 2.3 Nhận dạng mạng neural 46 CHƢƠNG 3: CHƢƠNG TRÌNH NHẬN DẠNG KÝ TỰ 47 3.1 Xác định tham số cho mạng 47