Mạng anfis và ứng dụng cho dự báo mực nước hồ thủy điện thác bà

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG _  NGUYỄN NGỌC QUYÊN MẠNG ANFIS VÀ ỨNG DỤNG CHO DỰ BÁO MỰC NƯỚC HỒ THỦY ĐIỆN THÁC BÀ Chuyên ngành: Khoa học máy tính Mã số: 60 48 0101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Ngô Quốc Tạo THÁI NGUYÊN - 2016 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu thân Các kết nghiên cứu luận văn trung thực chưa công bố công trình khác Tác giả luận văn Nguyễn Ngọc Quyên Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii LỜI CẢM ƠN Tơi xin bày tỏ lịng biết ơn chân thành tới thầy PGS.TS Ngô Quốc Tạo người dìu dắt giúp đỡ tơi lĩnh vực nghiên cứu luận án công tác chuyên môn sống Tác giả xin chân thành cảm ơn sự giúp đỡ của các thầ y cô giáo trường Đa ̣i ho ̣c Công nghệ thông tin Truyền thông Thái Nguyên đã ta ̣o điều kiêṇ giúp đỡ tận tình viêc̣ nghiên cứu luận văn Cuối cùng tác giả xin chân thành cảm ơn sự giúp đỡ của Ban giám hiêu, ̣ Khoa Sau Đại học trường Đa ̣i học Công nghệ thông tin Truyền thông Thái Nguyên cho phép và ta ̣o điề u kiê ̣n thuâ ̣n lợi để tác giả hoàn thành luâ ̣n văn này Tác giả luận văn Nguyễn Ngọc Quyên Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv MỤC LỤC CHƯƠNG : MẠNG NEURAL VÀ BÀI TOÁN NHẬN DẠNG CHỮ IN 1.1 Khái Niệm Mạng Neural 1.1.1 Sơ lược neural sinh học 1.1.2 Mạng Neural Nhân Tạo 1.1.3 Kiến Trúc Mạng 1.1.3.1 Mạng truyền thẳng 10 1.1.3.2 Mạng hồi quy (Recurrent Neutral Network) 12 1.1.4 Luật học mạng neural 13 1.1.4.1 Phương Pháp Học 13 1.1.4.2 Luật học tham số 14 1.1.4.3 Học có tín hiệu đạo 15 1.1.4.4 Học khơng có tín hiệu đạo 15 1.1.4.5 Học tăng cường 16 1.1.4.6 Học cấu trúc 16 1.1.5 Các phương pháp huấn luyện mạng 17 1.1.5.1 Phương pháp huấn luyện pha 17 1.1.5.2 Phương pháp huấn luyện hai pha 17 1.1.5.3 phương pháp huấn luyện mạng hai pha HDH 18 1.1.5.4 Phương pháp huấn luyện ba pha đầy đủ 21 1.2 Bài toán nhận dạng chữ in 21 1.2.1 Bài tốn nhận dạng nói chung 21 1.2.2 Giới thiệu toán nhận dạng mẫu 22 1.2.3 Bài toán nhận dạng chữ in 23 1.2.3.1 Phương pháp trích đặc trưng chữ in sử dụng Momen Legendre 24 CHƯƠNG 2: NHẬN DẠNG CHỮ IN SỬ DỤNG MẠNG NEURAL 27 2.1 Thiết kế mạng neural 27 2.2 Huấn luyện mạng neural 35 2.2.1 Chuẩn bị tập liệu huấn luyện: 36 2.2.2 Biểu diễn tri thức tập liệu huấn luyện: 37 2.2.3 Thuật toán lan truyền ngược: 39 2.2.4 Áp dụng huấn luyện mạng neural nhận dạng chữ in: 45 2.3 Nhận dạng mạng neural 49 CHƯƠNG 3: CHƯƠNG TRÌNH NHẬN DẠNG KÝ TỰ 50 3.1 Xác định tham số cho mạng 50 3.2 Xử lý liệu lựa chọn liệu 50 3.2.1 Lấy mẫu xuống hình ảnh 50 3.2.2 Xử lý liệu (Phân tích ảnh) 52 3.2.2.1 Tách dịng kí tự 52 3.2.2.2 Tách kí tự 53 3.3 Một số kết 57 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v 3.4 Kết luận 60 * Về mặt lý thuyết 62 * Về mặt thực tiễn 63 Hướng phát triển 63 * Nhận dạng chữ viết tay tiếng Việt 63 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC HÌNH Hình 1.1 : Mơ hình neural sinh học Hình 1.2: Đồ thị hàm đồng (Identity function) Hình 1.3: Đồ thị hàm bước nhị phân (Binary step function) Hình 1.4: Đồ thị hàm sigmoid Hình 1.5: Đồ thị hàm sigmoid lưỡng cực Hình 1.6 Mơ hình nơ-ron Hình 1.7 Mạng truyền thẳng nhiều lớp 12 Hình 1.8 Mạng lớp có nối ngược 12 Hình 1.9 Mạng nhiều lớp có nối ngược 13 Hình 1.10: Các bước xử lý hệ thống nhận dạng mẫu 23 Hình 1.11:Các bước giải hình dạng chữ in 24 Hình 2.1: Sơ đồ đồ thị có hướng đơn giản 27 Hình 2.2: Biên định không gian mẫu 30 Hình 2.3: Khơng gian mẫu khả tách tuyến tính 32 Hình 2.4: Khơng gian mẫu khơng khả tách tuyến tính 32 Hình 2.5: Mơ hình mạng lớp 35 Hình 2.6: Các bước huấn luyện 47 Hình 3.1: Quá trình xác định dịng kí tự 53 Hình 3.2: Tách kí tự 56 Hình 3.3: Giao diện chương trình mơ 57 Hình 3.4: Nhận dạng chữ tiếng Anh ảnh 58 Hình 3.5: Nhận dạng kí tự có dấu 59 Hình 3.6: Kí tự có dấu 60 Hình 3.7: Kí tự số viết tay 64 Hình 3.8: Kí tự tiếng Anh viết tay 65 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn LỜI MỞ ĐẦU Từ đời nay, máy tính ln ln khơng ngừng phát triển đóng vai trị quan trọng nghiên cứu khoa học kĩ thuật, sống người Nhưng máy tính công cụ người sáng tạo hoạt động theo chương trình lập trình sẵn người Nó khơng có khả liên tưởng, suy luận, kết nối việc cách linh hoạt, quan trọng hết khả sáng tạo não người Việc mô q trình hoạt động trí tuệ người vào ứng dụng máy tính nỗ lực lớn hồn thiện lập trình viên Do mạng noron(Artificial neural networks) đời với mục đích cố gắng mơ q trình hoạt động trí tuệ người Các nghiên cứu ứng dụng thực các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, kinh tế nghiên cứu ứng dụng lĩnh vực quản lý dự án xây dựng Bài toán nhận dạng tốn sử dụng tính mạng neural nhiều Bài toán nhận dạng với trợ giúp mạng neural ngày không cịn dừng mức độ nghiên cứu mà trở thành lĩnh vực để áp dụng vào thực tế Trong số toán nhận dạng này, nhận dạng chữ viết ứng dụng phổ biến Nhận dạng chữ viết ứng dụng trình tự động hóa cơng việc văn phịng nhập liệu, trữ văn bản, sách báo, phân loại thư tín Trong chạy đua trí tuệ nhân tạo giới hai cơng ty lớn làng cơng nghệ giới Google Apple Google đưa Google glass sử nên tảng hoạt động tốn nhận dạng Ngồi việc xử lý kí tự để số hố tài liệu để tìm kiếm thơng tin tài liệu Google nghiên cứu phát triển Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn Mới hội nghị nhà phát triển Apple đại gia làng cơng nghệ giới công bố thư viện chuyên sâu mạng neural để việc ứng dụng mạng neural toán thực tế việc xây dựng ứng dụng tảng Apple Trong lần giới thiệu thư việc hưởng ứng nhiệt tình Apple cung cấp thư viện hỗ trợ việc huấn luyện mạng ứng dụng thực tế đặc biệt ứng dụng toán nhận dạng Các dịng điện thoại thơng minh ngày phổ biến với cấu hình mạnh mẽ chắn hồn tồn đáp ứng việc xây dựng mạng neural vào để thực toán nhận dạng Bài tốn nhận dạng kí tự phát triển mạnh mẽ số hoá các văn truyền thống ngồi ứng dụng tốn nhận dạng hồn tồn giúp cho người khiếm thị nghe các văn chuyển thể từ nhận dạng chữ sang dạng số hố tái lại âm giúp người tiếp cận tri thức nhân loại Hầu hết công ty công nghệ hàng đầu sâu vào việc nghiên cứu các hướng huấn luyện máy tính học kiến thức người Nên thân em muốn tìm hiểu mạng neural việc xây dựng mạng neural toán nhận dạng Mục đích luận văn trình bày kết nghiên cứu lý thuyết phục vụ chủ đề “Nghiên cứu mạng neural nhận dạng chữ in tiếng anh” Để hoàn thành tiểu luận này, em hướng dẫn nhiệt tình từ thầy PGS.TS Ngơ Quốc Tạo Những giảng tài liệu thầy sở để em hồn thành tốt báo cáo Em xin chân thành cảm ơn thầy Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƯƠNG : MẠNG NEURAL VÀ BÀI TOÁN NHẬN DẠNG CHỮ IN 1.1 Khái Niệm Mạng Neural 1.1.1 Sơ lược neural sinh học Bộ não người có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với gọi các nơ-ron Sau thành phần nơ ron Hình 1.1 : Mơ hình neural sinh học Trong :  Các Soma thân neural  Các dendrites dây mảnh, dài, gắn liền với soma, chúng truyền liệu (dưới dạng xung điện thế) đến cho soma xử lý Bên soma liệu tổng hợp lại Có thể xem gần đúng tổng hợp phép lấy tổng tất liệu mà neural nhận  Một loại dây dẫn tín hiệu khác gắn với soma axon Khác với dendrites, axons có khả phát các xung điện thế, chúng dây dẫn tín hiệu từ neural các nơi khác Chỉ điện soma vượt Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn giá trị ngưỡng (threshold) axon phát xung điện thế, cịn khơng trạng thái nghỉ  Axon nối với dendrites neural khác thông qua mối nối đặc biệt gọi synapse Khi điện synapse tăng lên các xung phát từ axon synapse nhả số chất hoá học (neurotransmitters); chất mở "cửa" dendrites ions truyền qua Chính dịng ions làm thay đổi điện dendrites, tạo xung liệu lan truyền tới neural khác - Hoạt động neural sinh học mơ tả tóm tắt sau: Mỗi neural nhận tín hiệu vào từ tế bào thần kinh khác Chúng tích hợp tín hiệu vào, tổng tín hiệu vượt q ngưỡng chúng tạo tín hiệu gửi tín hiệu tới neural khác thông qua dây thần kinh Các neural liên kết với thành mạng Mức độ bền vững liên kết xác định hệ số gọi trọng số liên kết 1.1.2 Mạng Neural Nhân Tạo Để mô tế bào thần kinh khớp nối thần kinh não người, mạng neural nhân tạo có thành phần có vai trò tương tự neural nhân tạo kết nối chúng (kết nối gọi weights) Neural đơn vị tính tốn có nhiều đầu vào đầu ra, đầu vào đến từ khớp nối thần kinh (synapse) Đặc trưng neural hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Một neural nhân tạo đơn vị tính toán hay đơn vị xử lý thông tin sở cho hoạt động mạng neural Neural hoạt động sau: giả sử có N inputs, nơron có N weights (trọng số) tương ứng với N đường truyền inputs Neural lấy tổng trọng số tất các inputs Nói có nghĩa neural lấy input thứ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 53 + Bắt đầu duyệt từ giới hạn (đỉnh) vừa tìm thấy dịng (0, top_line) + Tương tự xác định giới hạn trên, ta duyệt hết chiều rộng ảnh giá trị y +Nếu duyệt hết dịng mà khơng tìm thấy ký tự pixel đen ghi nhận y-1 giới hạn dòng (bottom_line) Dừng duyệt Tăng số dòng lên (lines++) +Nếu chưa tìm thấy bottom_line, tiếp tục duyệt đến dòng (tăng y, reset x=0) c.Bắt đầu từ giới hạn y (bottom_line) vừa tìm thấy sau cùng, lặp lại các bước a, b để xác định giới hạn dòng tiếp theo, duyệt hết chiều cao ảnh dừng, quá trình xác định dịng ký tự hồn tất Hình 3.1: Q trình xác định dịng kí tự 3.2.2.2 Tách kí tự  Thuật tốn: Xét dịng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 54 Bắt đầu xét từ giá trị giới hạn y dòng (top_line) giá trị x (x=0) Xác định giới hạn ký tự : Quét hết chiều rộng ảnh, giá trị y + Nếu phát pixel đen đánh dấu y giá trị đỉnh ký tự (top_character) Dừng quét +Nếu quét hết chiều rộng, mà khơng tìm thấy pixel đen tăng y reset lại x, tiếp tục thực lại bước Xác định giới hạn ký tự: Bắt đầu duyệt từ giới hạn (đỉnh) vừa tìm thấy ký tự (0,top_character) + Tương tự xác định giới hạn trên, ta duyệt hết chiều rộng ảnh giá trị y +Nếu duyệt hết dịng mà khơng tìm thấy ký tự pixel đen ghi nhận y-1 giới hạn ký tự (bottom_character) Dừng duyệt +Nếu chưa tìm thấy bottom_character, tiếp tục duyệt đến dòng (tăng y, reset x=0) Xác định giới hạn trái ký tự (xác định giá trị x) -Bắt đầu từ giới hạn (đỉnh ký tự - top_character), giá trị x (x=0) -Quét đến giới hạn dòng (bottom_character), giữ nguyên x (quét theo chiều thẳng đứng) +Nếu gặp pixel đen đầu tiên, ghi nhận x giới hạn trái kí tự (leftcharacter) Dừng quét +Nếu quét đến cuối giới hạn dưới, khơng tìm thấy pixel đen nào, reset lại y = giới hạn vừa tìm thấy, tăng x lên.(x++),và tiếp tục thực lại bước Xác định giới hạn phải ký tự (xác định giá trị x) Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 55 -Bắt đầu từ giới hạn - đỉnh ký tự (top_character), giới hạn trái ký tự (left_character, top_character) Quét theo chiều thẳng đứng đến giới hạn dòng +Nếu quét hết chiều đứng, mà không gặp pixel đen ghi nhận x-1 giới hạn phải ký tự (right_character).Dừng quét +Nếu gặp pixel đen tăng x (x++) reset lại y =top_character ký tự xét, để xét đường thẳng đứng Lặp lại bước đến để xác định giới hạn ký tự dòng Với y = top_line dòng xét giá trị x = right_character ký tự vừa tìm thấy Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 56 Sau tách ký tự Hình 3.2: Tách kí tự Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 57 3.3 Một số kết Hình 3.3: Giao diện chương trình mơ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 58 - Để nhận dạng ký tự, ta đưa các ảnh có kí tự in vào để nhận dạng kết trả lại sau Hình 3.4: Nhận dạng chữ tiếng Anh ảnh Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 59 Hình 3.5: Nhận dạng kí tự có dấu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 60 Hình 3.6: Kí tự có dấu 3.4 Kết luận Để chương trình nhận dạng xác cao, với ký tự khơng dấu độ xác 90%, ký tự có dấu độ xác khoảng 80% Đối với ký tự có dấu độ xác thấp so với trường hợp khơng có dấu trường hợp này, ký tự khác ít, nên số lượng mẫu huấn luyện cho ký tự có dấu cần nhiều Để nhận dạng nhiều kiểu viết khác tập mẫu huấn luyện cho kí tự phải phong phú Quá trình huấn luyện giải khía cạnh phức tạp tốn nhận dạng chữ in Như chương trình mơ nhận dạng chữ in đạt mục tiêu toán phức tạp đặt Hiện nay, nghiên cứu mạng neural hướng nghiên cứu mẻ nhiều hứa hẹn Áp dụng hướng tiếp cận để giải toán nhận dạng chữ in trực tuyến vốn phức tạp đặc điểm: Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 61 - Ký tự chữ in hình dạng ký tự phong phú đa dạng, phụ thuộc nhiều vào từ font chữ in khác - Ký tự chữ in có số lượng lớn, lớn nhiều so với ký tự theo chuẩn khác Khi giải toán phải đáp ứng yêu cầu: - Giải phức tạp việc xử lý liệu đầu vào - Giải việc xử lý khối lượng liệu lớn - Giải độ chuẩn xác trình nhận dạng - Giải mức độ tổng quát, đa dạng, phong phú trình xây dựng huấn luyện mạng để đạt độ xác cao nhận dạng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 62 TỔNG KẾT Trong vài thập niên trở lại mạng neural thực có ứng dụng quan trọng mang đến nhiều hứa hẹn hệ máy thông minh Chính vậy, riêng cá nhân tơi, cịn điều mẻ - môn lý thuyết tương lai Điều thúc đẩy vừa thực nghiên cứu lý thuyết vừa cố gắng cài đặt phần mềm thử nghiệm với hy vọng nắm gọi khoảng thời gian thực luận văn Theo gợi ý thầy giáo hướng dẫn, lựa chọn đề tài: "Nhận dạng chữ in sử dụng mạng neural " Sau thời gian nghiên cứu, kết mà tơi đạt chưa đạt (kết hướng tới) tổng kết lại sau: Các kết đạt * Về mặt lý thuyết  Nắm khái niệm thành phần kiểu kiến trúc mạng nơron, phân biệt số loại mạng nơron  Nắm ý nghĩa việc học hay tích lũy, có vai trị to lớn quy tắc học, mơ hình học thuật tốn học nhiều khả ứng dụng khác  Tìm hiểu ứng dụng mạng nơron thực tế  Nắm quy trình chung xây dựng hệ thống nhận dạng ký tự in tiếng Anh  Vận dụng mạng nơron để xây dựng mô nhận dạng ký tự in tiếng Anh Ngoài ra, việc xây dựng phần mềm thử nghiệm cho phép tôi:  Kiểm nghiệm kiến thức lý thuyết thu nhận  Có cái nhìn rõ nét kỹ thuật ứng dụng lý thuyết vào thực tế Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 63  Bên cạnh đó, nâng cao kỹ phân tích, thiết kế lập trình việc giải toán cụ thể * Về mặt thực tiễn Xây dựng thành công hệ thống nhận dạng ký tự chữ in rời rạc sử dụng mơ hình mạng neural Góp phần giải tốn cịn dang dở Tuy biết điều thu nhận phần nhỏ nghành nghiên cứu lớn, song tự nhận thấy gặt hái thành công định giai đoạn nghiên cứu Một số kết chưa đạt Việc nhận dạng ký tự đơi bị sai thiếu xác , nhiều vấn đề liên quan : phức tạp liệu đầu vào, giá trị chọn lựa độ lệch, lỗi ngưỡng, số neuron lớp,… chưa chọn lựa xác  Sai số nhận dạng kí tự lớn hay nhỏ phụ thuộc vào nhiều yếu tố : độ chuẩn ảnh đưa vào, size font chữ , độ phức tạp font chữ  Việc chọn mơ hình mạng phù hợp, giá trị ngưỡng lỗi, độ lệch , tốc độ học ảnh hưởng đến tính xác nhận dạng kí tự Hướng phát triển Bên cạnh kết đạt được, cịn có vấn đề chưa đề cập, giải luận văn Trong thời gian tới, tiếp tục nghiên cứu hoàn thiện đề tài với mục tiêu đặt sau: Nâng cao hiệu độ xác hệ thống nhận dạng ký tự chữ in rời rạc * Nhận dạng chữ viết tay tiếng Việt Bài toán nhận dạng chữ viết tay tiếng Việt xây dựng sở tốn nhận dạng mẫu phần 2.2 Ngồi ta huấn luyện mạng nhận dạng kí tự viết tay với nhiều mẫu có sẵn Bài toán nhận dạng chữ viết tay phức tạp chữ viết tay Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 64 tiếng Việt phong phú nhiều hình dạng nhận biết Khó khăn chữ viết tiếng Việt: - Chữ có dấu - Cỡ chữ to nhỏ phụ thuộc nhiều vào tay người viết - Chữ viết đẹp hay xấu ảnh hưởng lớn đến chương trình đánh giá chữ - Có nhiều kiểu chữ đa dạng phong phú có nhiều cỡ chữ khác Ở để demo cho phần nghiên cứu mở rộng thêm cho phần chữ viết tay chương trình có phần nhận dạng chữ viết tay sau: Hình 3.7: Kí tự số viết tay Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 65 Hình 3.8: Kí tự tiếng Anh viết tay Kí tự viết tay có dấu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 66 TÀI LIỆU THAM KHẢO Tiế ng Viêṭ Nguyễn Đình Nam, Xử lý ảnh, Đa ̣i ho ̣c Bách Khoa Hà Nô ̣i Nguyễn Quang Hoan (2006), Giáo trình Xử lý ảnh, Ho ̣c viê ̣n Công Nghê ̣ Bưu Chính Viễn Thông Nguyễn Quỳnh Chi (2013), Đề tài Nghiên cứu QR Code và ứng du ̣ng, Ho ̣c viêṇ Công Nghê ̣ Bưu Chính Viễn Thông Âu Dương Đa ̣t – Lê Thành Nguyên (2004), Quản lý thư viê ̣n bằ ng mã va ̣ch, Đa ̣i ho ̣c Khoa Ho ̣c Tự Nhiên La ̣i Quang Tùng (2009), Ứng du ̣ng lưu trữ thông tin bằ ng chuỗi mã va ̣ch, Đa ̣i ho ̣c Công Nghê ̣ 6.Lương Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà Nội 7.Lê Bá Dũng (2011), Bài giảng Môn Mạng Nơron nhân tạo, Lớp Cao học KHMT K9A, Trường Đại học Công nghệ thông tin Truyền thông, ĐHTN Tài liệu tham khảo tiếng Anh 8.Daniel T.Larose (2004), Discovering Knowledge in Data An Introduction to Data Mining, Wiley Interscience, United States of America 9.Dave Anderson and George McNeill (1992), Artificial Neural Networks Technology Prepared by Rome Laboratory RL/C3C Griffiss AFB, NY 134415700, Kaman Sciences Corporation 258 Genesse Street Utica, New York 13502-4627 10Jeff Heaton (2005), Introduction to Neural Networks with Java, Heaton Research, Inc, United States of America Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 67 11.Nikola K.kasabov (1998), Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering, Massachusetts Institute of Technology, The MIT Press, United States of America 12 R.M.Hristev (1998), The ANN Book, GNU public license 13 Simon Haykin (1998), Neural Networks Comprehensive Foundation, Second edition, Prentice Hall, Indian by Sai PrintoPack Pvt Ltd 14.Wang J., Jean J.S.N (1993), Multi-Resolution Neural Network for Omnifont Charater Recognition, IEEE International Conference on Neural Network 15.Gia M Agusta, Khodijah Hulliyah , Arini , Rizal Broer Bahaweres(2013), Applying Merging Convetional Marker and Backpropagation Neural Network in QR Code Augmented Reality Tracking, http://s2is.org/Issues/v6/n5/papers/paper5.pdf 16Tamás Grós𝑧 ∗ (2014),QR code localization using deep neural net works, https://pdfs.semanticscholar.org/90da/bb65eeb384ade1a35498a5a505e8fc8c7 7f2.pdf Nguồ n Website 17 http://www.onbarcode.com 18 http://www.codeproject.com 19 http://mateuszstankiewicz.eu 20 http://www.openkm.com/en/modules-eng/barcode.html 21 https://en.wikipedia.org/?title=Barcode 22 http://book.realworldhaskell.org/read/barcode-recognition.html Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... thực các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, kinh tế nghiên cứu ứng dụng lĩnh vực quản lý dự án xây dựng Bài toán nhận dạng tốn sử dụng tính mạng neural nhiều Bài toán nhận... huấn luyện mạng ứng dụng thực tế đặc biệt ứng dụng tốn nhận dạng Các dịng điện thoại thông minh ngày phổ biến với cấu hình mạnh mẽ chắn hồn tồn đáp ứng việc xây dựng mạng neural vào để thực toán... sâu mạng neural để việc ứng dụng mạng neural toán thực tế việc xây dựng ứng dụng tảng Apple Trong lần giới thiệu thư việc hưởng ứng nhiệt tình Apple cung cấp thư viện hỗ trợ việc huấn luyện mạng