Báo cáo chuyên đề học phần Nhập môn học máy: Nhận diện chữ viết bằng Neutral network

Báo cáo chuyên đề học phần Nhập môn học máy: Nhận diện chữ viết bằng Neutral network có nội dung gồm 3 chương. Chương 1: Tổng quan về đề tài; Chương 2: Mô hình mạng neuron và mô hình học sâu; Chương 3: Kết quả thực nghiệm và đánh giá. Mời các bạn cùng tham khảo. Đề tài Hoàn thiện công tác quản trị nhân sự tại Công ty TNHH Mộc Khải Tuyên được nghiên cứu nhằm giúp công ty TNHH Mộc Khải Tuyên làm rõ được thực trạng công tác quản trị nhân sự trong công ty như thế nào từ đó đề ra các giải pháp giúp công ty hoàn thiện công tác quản trị nhân sự tốt hơn trong thời gian tới.

lOMoARcPSD|16911414 i TRƯỜNG ĐẠI HỌC ĐIỆN LỰC KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO CHUYÊN ĐỀ HỌC PHẦN NHẬP MÔN NHẬP MÔN HỌC MÁY ĐỀ TÀI: NHẬN DIỆN CHỮ VIẾT TAY BẰNG NEUTRAL NETWORK 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 Sinh viên thực : LÊ MINH PHÚC LÊ HỒNG PHONG NGUYỄN ĐỨC THỊNH Giảng viên hướng dẫn : ĐÀO NAM ANH Ngành : CÔNG NGHỆ THÔNG TIN Chuyên ngành : QUẢN TRỊ AN NINH MẠNG bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe Lớp : D13QTANM Khóa : D13 f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e Hà Nội, tháng 10 năm 2020 b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 ii PHIẾU CHẤM ĐIỂM ST Họ tên Nội dung thực T sinh viên Lê Minh Phúc (Nhóm trưởng) Điể m Chữ ký -Chỉnh sửa chung,phân công công việc -Làm phần:Giới thiệu tốn nhận dạng, Mơ hình học sâu , Mạng nhiều tầng MLP -Tìm hiểu code toán lớn Lê Hồng Phong -Làm phần: Các bước xử lý cho tốn nhận dạng hồn chỉnh,Mơ hình huấn luyện tốn nhận dạng -Tìm hiểu code tốn lớn Nguyễn Đức Thịnh -Làm phần: Các bước xử lý cho toán nhận dạng hồn chỉnh, Giới thiệu tổng quan neuron -Tìm hiểu code toán lớn 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 Họ tên giảng viên Chữ ký Ghi Giảng viên chấm 1: 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 Giảng viên chấm 2: ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 MỤC LỤC LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1.Giới thiệu toán nhận dạng 1.1.1.Các giai đoạn phát triển 1.2.Các bước xử lý cho tốn nhận dạng hồn chỉnh 1.3.Kết luận chương CHƯƠNG 2: MƠ HÌNH MẠNG NEURON VÀ MƠ HÌNH HỌC SÂU .11 2.1.Tổng quan mơ hình mạng neuron 11 2.1.1.Giới thiệu mạng Neuron .11 2.1.1.1.Định nghĩa: .11 2.1.1.2.Lịch sử phát triển mạng neuron .11 2.1.1.3.So sánh mạng neuron với máy tính truyền thống 14 2.1.1.4.Hoạt động mạng neuron 15 2.1.2.Mơ hình huấn luyện toán nhận dạng 26 2.1.2.1.Mạng neuron toán phân loại mẫu .26 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 2.1.2.2.Khả học tổng quát hóa .27 2.1.2.3.Các phương pháp huấn luyện mạng 27 2.2.Mơ hình học sâu 29 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e 2.2.1.Mạng nhiều tầng truyền thẳng (MLP) .29 2.3.Kết luận chương 34 d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 CHƯƠNG 3: CÀI ĐẶT CHƯƠNG TRÌNH THỬ NGHIỆM .35 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 3.1.Dữ liệu thực nghiệm 35 3.2.Huấn luyện mơ hình kết thực nghiệm với mơ hình MLP 35 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 3.2.1.Mơ hình huấn luyện 35 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 3.2.2.Các bước thực nghiệm .36 KẾT LUẬN CHUNG 40 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f TÀI LIỆU THAM KHẢO 41 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 LỜI CẢM ƠN LỜI CẢM ƠN Lời đầu tiên, em xin chân thành gửi lời cảm ơn tới thầy cô giáo Trường Đại học Điện Lực nói chung thầy giáo Khoa Cơng nghệ thơng tin nói riêng tận tình giảng dạy, truyền đạt cho chúng em kiến thức kinh nghiệm quý báu suốt trình học Đặc biệt, chúng em xin gửi lời cảm ơn đến Thầy Đào Nam Anh - giảng viên Khoa Công nghệ thông tin - Trường Đại học Điện Lực Thầy tận tình theo sát giúp đỡ, trực tiếp bảo, hướng dẫn suốt trình nghiên cứu học tập chúng em Trong thời gian học tập với thầy, nhóm chúng em khơng tiếp thu thêm nhiều kiến thức bổ ích mà cịn học tập tinh thần làm việc, thái độ nghiên cứu khoa học nghiêm túc, hiệu Đây điều cần thiết cho chúng em q trình học tập cơng tác sau Do thời gian thực có hạn kiến thức nhiều hạn chế nên làm chúng em chắn khơng tránh khỏi thiếu sót định Em mong nhận ý kiến đóng góp thầy giáo bạn để em có thêm kinh nghiệm tiếp tục hồn thiện đồ án Chúng em xin chân thành cảm ơn! 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 LỜI MỞ ĐẦU Nhận dạng chữ viết tay toán khó lớp tốn nhận dạng chữ, thu hút nhiều quan tâm nghiên cứu nhà khoa học Đặc biệt vài thập niên gần đây, thúc đẩy q trình tin học hóa lĩnh vực, ứng dụng nhận dạng chữ có nhiều ý nghĩa sử dụng cho toán thực tế Cũng nhiều tốn nhận dạng tiếng nói, hình ảnh… khác, độ xác hệ thống tiếp tục cần phải cải thiện nhằm vươn tới khả nhận dạng giống người Tuy nhiên, với tốn nhận dạng chữ viết tay vấn đề trở nên phức tạp nhiều so với toán nhận dạng chữ in thông thường vấn đề sau đây: Với chữ viết tay khơng thể có khái niệm font chữ, kích cỡ chữ Các kí tự văn chữ viết tay thường có kích thước khác 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 Thậm chí, kí tự văn người viết 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 nhiều có độ rộng, hẹp, cao, thấp khác nhau, df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b Với người viết khác chữ viết có độ nghiêng khác (chữ nghiêng nhiều/ít, chữ nghiêng trái/phải ) 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 Các kí tự từ văn chữ viết tay hầu hết d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 người viết thường bị dính khó xác định phân cách 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c chúng 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b Các văn chữ viết tay cịn có trường hợp dính dịng (dịng bị dính chồng lên dòng trên) 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 Trong năm gần đây, mơ hình mạng Neuron theo hướng học 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 sâu cho thấy kết tốt nhiều toán khác nhau, ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 có nhận dạng chữ 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 Xuất phát từ yêu cầu thực tế, cần có nghiên cứu vấn đề Chính học viên chọn đề tài “Nghiên cứu mơ hình học sâu (deep-learning) ứng dụng nhận dạng chữ viết tay” làm luận văn tốt nghiệp với mong muốn phần áp dụng vào toán thực tế Bài toán đặt phải giải yêu cầu sau:  Nhận dạng ký tự từ ảnh đầu vào  Tiến hành nhận dạng kí tự đơn lẻ sử dụng mạng Neuron nhân tạo theo phương pháp học sâu Restricted Boltzmann machine (RBM)  Đánh giá kết so sánh với mơ hình mạng neuron Với u cầu đặt trên, cấu trúc luận văn bao gồm nội dung sau đây:  Chương 1: Tổng quan đề tài Giới thiệu tốn nhận dạng chữ viết tay, tình hình nghiên cứu 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 nước, quy trình chung để giải tốn 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e phương pháp điển hình việc huấn luyện nhận dạng, phạm vi đề 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 tài 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e  Chương 2: Mơ hình mạng neuron mơ hình học sâu d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 Trình bày sở lý thuyết mơ hình neuron huấn luyện 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 toán nhận dạng chữ viết tay Cơ sở lý thuyết mơ hình học 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 sâu: Hopfield network, Boltzmann Machines, Restricted Boltzmann Machines thuật toán lan truyền ngược ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e  Chương 3: Kết thực nghiệm đánh giá b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 Trình bày kết thực nghiệm hai mơ hình mạng neuron df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 mơ hình học sâu, đưa kết đánh giá nhận dạng chữ viết tay ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 mơ hình mạng neuron mơ hình học sâu d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1.1.Giới thiệu toán nhận dạng Nhận dạng chữ viết tay vấn đề thách thức lớn nhà nghiên cứu Bài toàn chưa thể giải trọn vẹn hồn tồn phụ thuộc vào người viết biến đổi đa dạng cách viết trạng thái sức khỏe, tinh thần người viết Trong viết này, hướng dẫn bạn xây dựng mơ hình nhận diện chữ viết tập liệu MNIST google colab MNIST giới thiệu năm 1998 Yann Lecun cộng nhằm đánh giá mơ hình phân lớp MNIST tập liệu chữ viết từ đến 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 Trong đó, hình ảnh đen trắng chứa số viết tay d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 có kích thước 28x28 Bộ dataset vô đồ sộ với khoảng 60k data 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 training 10k data test sử dụng phổ biến thuật toán ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b nhận dạng ảnh 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 1.1.1 Các giai đoạn phát triển df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1  Giai đoạn (1900 - 1980) ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 Nhận dạng chữ biết đến từ năm 1900, nhà khoa học người Nga Alan Turing (1912-1954) phát triển phương tiện trợ giúp cho người mù Các sản phẩm nhận dạng chữ thương mại có từ năm1950, máy tính lần giới thiệu tính nhập lưu trữ liệu hai chiều bút viết bảng cảm ứng Công nghệ cho phép nhà nghiên cứu làm việc toán nhận dạng chữ viết tay online Mơ hình nhận dạng chữ viết đề xuất từ năm 1951 phát minh M Sheppard gọi GISMO, robot đọc-viết Năm 1954, máy nhận dạng chữ phát triển J Rainbow dùng để đọc chữ in hoa chậm 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 Năm 1967, Công ty IBM thương mại hóa hệ thống nhận dạng chữ  Giai đoạn (1980 - 1990) Với phát triển thiết bị phần cứng máy tính thiết bị thu nhận liệu, phương pháp luận nhận dạng phát triển giai đoạn trước có môi trường lý tưởng để triển khai ứng dụng nhận dạng chữ Các hướng tiếp cận theo cấu trúc đối sánh áp dụng nhiều hệ thống nhận dạng chữ Trong giai đoạn này, hướng nghiên cứu tập trung vào kỹ thuật nhận dạng hình dáng chưa áp dụng cho thơng tin ngữ nghĩa Điều dẫn đến hạn chế hiệu suất nhận dạng, không hiệu nhiều ứng dụng thực tế  Giai đoạn (1990 - nay) Các hệ thống nhận dạng thời gian thực trọng giai đoạn 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 Các kỹ thuật nhận dạng kết hợp với phương pháp luận lĩnh df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b vực học máy (Machine Learning) áp dụng hiệu Một số công cụ học máy hiệu mạng Neuron, mơ hình 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 Markov ẩn, SVM (Support Vector Machines) xử lý ngôn ngữ tự d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 nhiên 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 1.2.Các bước xử lý cho tốn nhận dạng hồn chỉnh 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 Nhận dạng chữ viết tay thường bao gồm năm giai đoạn: tiền xử lý (preprocessing), tách chữ (segmentation), trích chọn đặc trưng (representation), huấn luyện nhận dạng (training and recognition), hậu xử lý (postprocessing) Hình 1- 1: Các bước nhận dạng chữ viết tay 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 nhiệm vụ tính tốn, thay đổi tham số cho đầu thực tế mạng gần với đầu mong muốn Với phương pháp này, thuật toán huấn luyện mạng thực với tập mẫu học có D{xi ,ti}trong xi (vector p chiều R) dạng vector đầu vào mạng ti(vector q chiều R) vector đầu mong muốn tương với ứng xi Nhiệm vụ thuật toán phải thiết lập cách tính tốn để cập nhật tham số mạng cho với đầu vào cho trước sai số đầu thực tế mạng đầu mong muốn nhỏ Một thuật tốn điển hình phương pháp học có giám sát là: thuật tốn LMS (Least Mean Square error), thuật toán lan truyền ngược 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 sai số (Back Propagation),… bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e Với toán nhận dạng, chất phương pháp học có giám sát 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 học để phân lớp đầu vào tập mẫu huấn luyện, số lớp cần 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e phân loại biết trước Nhiệm vụ việc học xác định (thay đổi d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 cập nhật) tham số mạng để đầu vào phân vào lớp 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe chứa f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 Học khơng có giám sát: phương pháp học để thực ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 cơng việc mà khơng cần giám sát Với cách tiếp cận này, thuật toán huấn luyện mạng thực với 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 tạo mẫu học có D dạng {xi}với ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f xi (vector p chiều R) vector đầu 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 vào mạng Nhiệm vụ thuật toán phải phân chia tập liệu D thành nhóm con, nhóm chứa tập vector đầu vào có đặc trưng giống Việc phân nhóm cho phép tạo lớp phân loại cách tự động số lớp trước Trong thực tế, phương pháp học có giám sát ứng dụng nhiều phương pháp học khơng có giám sát Kiểu huấn luyện khơng có giám sát thường khơng thích hợp với tốn phân loại mẫu khó đảm bảo chắn có tương ứng lớp tạo mộ cách tự động với lớp liệu thực Phương pháp tỏ thích hợp với tốn mơ hình hóa liệu 2.2 Mơ hình học sâu 2.2.1 Mạng nhiều tầng truyền thẳng (MLP) Mơ hình mạng neuron sử dụng rộng rãi mơ hình mạng nhiều tầng truyền thẳng (MLP: Multi Layer Perceptron) Một mạng MLP 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 tổng quát mạng có n (n≥2) tầng (thông thường tầng đầu vào không 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e tính đến): gồm tầng đầu (tầng thứ n) (n-1) tầng 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b ẩn 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 Hinh 2- 9: Mạng MLP tổng quát Kiến trúc mạng MLP tổng qt mơ tả sau: Đầu vào vector  x2 , xp  không gian p chiều, x1 , đầu , vector  y2 , yq trong không gian q chiều Đối với y1 , toán , 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 31 phân loại, p kích thước mẫu đầu vào, q số lớp cần phân loại Xét ví dụ toán nhận dạng chữ số: với mẫu ta lưu tọa độ (x,y) điểm chữ số đó, nhiệm vụ mạng phân loại mẫu vào 10 lớp tương ứng với 10 chữ số 0, 1, …, Khi p kích thước mẫu x = 16; q số lớp 10 Mỗi neuron thuộc tầng sau liên kết với tất neuron thuộc tầng liền trước Đầu neuron tầng trước đầu vào neuron thuộc tầng liền sau Hoạt động mạng MLP sau: tầng đầu vào neuron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) cho kết (là kết hàm truyền); kết truyền tới neuron thuộc tầng ẩn thứ nhất; neuron tiếp nhận tín hiệu đầu vào, xử lý gửi kết đến tầng ẩn thứ 2;…; trình tiếp 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 tục neuron thuộc tầng cho kết Một số kết chứng minh: 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b Bất kì hàm Boolean biểu diễn 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e mạng MLP tầng neuron sử dụng hàm truyền sigmoid d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 Tất hàm liên tục xấp xỉ mạng MLP d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 tầng sử dụng hàm truyền sigmoid cho neuron tầng ẩn hàm truyền tuyến tính cho neuron tầng với sai số nhỏ tùy ý 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b Mọi hàm xấp xỉ mạng MLP tầng sử 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e dụng hàm truyền sigmoid cho neuron tầng ẩn hàm truyền tuyến b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 tính cho neuron tầng 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f a Xác định số neuron tầng ẩn Câu hỏi chọn số lượng noron tầng ẩn mạng MLP 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab khó, phụ thuộc vào toán cụ thể vào kinh nghiệm nhà 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 32 thiết kế mạng Nếu tập liệu huấn luyện chia thành nhóm với đặc tính tương tự số lượng nhóm sử dụng để chọn số lượng neuron ẩn Trong trường hợp liệu huấn luyện nằm rải rác khơng chứa đặc tính chung, số lượng kết nối gần với số lượng mẫu huấn luyện để mạng hội tụ Có nhiều đề nghị cho việc chọn số lượng neuron tầng ẩn h mạng MLP Chẳng hạn h phải thỏa mãn h>(p-1)/(n+2), p số lượng mẫu huấn luyện n số lượng đầu vào mạng Càng nhiều nút ẩn mạng, nhiều đặc tính liệu huấn luyện mạng nắm bắt, thời gian học tăng Một kinh nghiệm khác cho việc chọn số lượng nút ẩn số lượng nút ẩn với số tối ưu cụm mờ (fuzzy clusters) Phát biểu chứng minh thực nghiệm Việc chọn số tầng ẩn nhiệm vụ khó Rất nhiều tốn địi hỏi nhiều tầng ẩn để 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 giải tốt 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 Để tìm mơ hình mạng neuron tốt nhất, Ishikawa and Moriyama df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d (1995) sử dụng học cấu trúc có quên (structural leanrning with 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 forgetting), tức thời gian học cắt bỏ liên kết có trọng số nhỏ Sau huấn luyện, noron có đóng góp vào giải 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b toán giữ lại, chúng tạo nên xương cho mơ hình mạng 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c neuron 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e b Khởi tạo trọng Trọng thường khởi tạo phương pháp thử sai, mang 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 tính chất kinh nghiệm phụ thuộc vào toán Việc định nghĩ trọng tốt không đơn giản Một số quy tắc khởi 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f tạo trọng: 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 33 Khởi tạo trọng số cho mạng neuron thu cân (với đầu vào ngẫu nhiên sai số lan truyền ngược cho ma trận trọng số xấp xỉ nhau): W1 /  W2 /  W3 / W3 W1 W2 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 34 Nếu mạng neuron không cân trình thay đổi trọng số số ma trận nhanh số ma trận khác lại chậm, chí khơng đáng kể Do để ma trận đạt tới giá trị tối ưu nhiều thời gian Tạo trọng cho giá trị kết xuất nút có giá trị trung gian (0.5 hàm truyền hàm Sigmoid) Rõ ràng ta giá trị kết xuất giá trị hợp lý Điều giúp ta tránh giá trị thái 2.3 Kết luận chương Trong chương trình bày chủ yếu mơ hình Mạng nhiều tầng truyền thẳng (MLP) mơ hình học sâu (mơ hình mạng neuron nhân tạo theo phương pháp học sâu) Ngồi ra, chương cịn trình bày số lý thuyết mạng neuron nhân tạo số đặc trung Bên cạnh đó, chương trình bày thêm thuật tốn lan truyền ngược ứng dụng trình huấn luyện mạng mơ hình học sâu 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 35 CHƯƠNG 3: CÀI ĐẶT CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Dữ liệu thực nghiệm Ở đây, chúng em tiến hành nhận dạng ký tự với liệu thư viện MNIST: Cơ sở liệu MNIST chứa 60.000 hình ảnh đào tạo 10.000 hình ảnh thử nghiệm Một nửa tập huấn luyện nửa tập kiểm tra lấy từ tập liệu huấn luyện NIST, nửa lại tập huấn luyện nửa lại tập kiểm tra lấy từ tập liệu thử nghiệm NIST Những người tạo ban đầu sở liệu lưu giữ danh sách số phương pháp thử nghiệm Trong báo gốc, họ sử dụng máy vector hỗ trợ để có tỷ lệ lỗi 0,8% Một tập liệu mở rộng tương tự MNIST có tên EMNIST xuất vào năm 2017, bao gồm 240.000 hình ảnh đào tạo 40.000 hình ảnh thử nghiệm ký tự chữ số viết tay 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 3.2 Huấn luyện mơ hình kết thực nghiệm với mơ hình MLP 3.2.1 Mơ hình huấn luyện 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 36 Hình 3- 1: Mơ hình huấn luyện mạng (MLP) Trong mơ hình MLP học viên sử dụng hai lớp ẩn để huấn luyện với thông số sau: Lớp đầu vào (Visible Units): Với 784 nút đầu vào, nút đầu vào đại diện cho điểm ảnh, với giá trị mức xám điểm ảnh (0  255) Các lớp ẩn (Hidden Units): Tại lớp học viên sử dụng lớp ẩn với lớp tương ứng với 800, 800 nút Lớp đầu (Visible Units): Gồm có 10 nút, nút tương ứng với giá trị chữ (A, B, C, D, H, K, L, M, N, P) 3.2.2 Các bước thực nghiệm 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 37 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 38 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 3.2.3 Kết thực nghiệm 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 39 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 40 KẾT LUẬN CHUNG Trong trình thực tập lớn môn nhập môn học máy, chúng em biết thêm chương trình ứng dụng, nắm rõ phần học máy Từ chúng em cố gắng áp dụng kiến thức học vào làm tập để hồn thiện sản phẩm Trong tập lớn chúng em sử dụng thuật toán NEUTRAL NETWORK đê nhận dạng chữ viết tay Vì thời gian ngắn nên tập lớn chúng em cịn nhiều thiếu sót Chúng em hy vọng có góp ý thầy cơ, để tập lớn chúng em hoàn thiện Chúng em xin chân thành cảm ơn.! 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Mai Văn Thủy (2015) Nghiên cứu mô hình thống kê học sâu ứng dụng nhận dạng chữ viết tay hạn chế Luận văn thạc sỹ, Đại học Công nghệ thông tin Truyền thông [2] Lê Minh Hoàng, phương pháp nhận dạng văn tiếng Việt Luận văn thạc sỹ, Đại học Quốc gia Hà Nội [3] Đỗ Thanh Nghị, Phạm Nguyên Khang (2013) Nhận dạng kí tự số viết tay giải thuật máy học Tạp chí khoa học Trường Đại học Cần Thơ [4] Phạm Thị Hoàng Nhung, Hà Quang Thụy (2007) Nghiên cứu, sử dụng mạng neuron nhân tạo dự báo lưu lượng nước đến hồ Hồ Bình trước 10 ngày Hội thảo Quốc gia Một số vấn đề chọn lọc Công nghệ thông tin Truyền thông, lần thứ X, Đại Lải, Vĩnh Phúc, 9/2007 Tiếng Anh 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 [5] Baret O and Simon J.C (1992) Cursiver Words Recognition From Pixels to Fuatures III Frontiers in Handwriting Recognition, tr.1-2 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e [6] Behnk S., Pfister M and Rojas R., (2000) Recognition of Handwitten ZIP Codes in a Real-World Non-Standard-Letter Sorting System Kluwer Academic Publishers, tr.95-115 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 [7] Fujasaki T., Beigi H.S.M, Tappert C.C, Ukelson M and Wolf C.G (1992) Online recognition of unconstrained handprinting: a strokebased system and it evaluation From Pixels to Fuatures III Frontiers in Handwriting Recognition, tr.1-3 [8] Hoai Vu Pham (2013), Hopfield networks and Boltzmann Machines Byhttp://phvu.net/ [9] Hoai Vu Pham (2013), Model definition and training of RBMs By http://phvu.net/ [10] Hoai Vu Pham (2013), Contrastive Divergence 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f By http://phvu.net/ [11] LISA lab Deep Learning 0.1 documentation By 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02 lOMoARcPSD|16911414 http://www.deeplearning.net/tutorial/contents.html [12] Keith Kelleher (2013).Multilayer Perceptron in MATLAB / Octave By http://3options.net/brainannex/multilayer-perceptron-in-matlab-octave/ [13] Michael Nielsen (2014).Using neural nets to recognize handwritten digits By http://neuralnetworksanddeeplearning.com/chap1.html [14] Hesham Eraqi (Updated 01 Mar 2016) MLP Neural Network with Backpropagation By http://www.mathworks.com/matlabcentral/fileexchange/54076mlp- neural-network-with-backpropagation 6b4090 276 f85e 7e79a2 7b4 f9d31306 2ff9828 5326 33d3 1409 b83a2 1eabae5 c78 69b235 50a5 c3c862be85 c992 c8a9 d31 cc7 8eb5 4cfda56e 5e9a28 26f8fcf74 565 4bb45 0f2 178 f0e02 f11 f3 f858 dd7 e448a6 231fe65db2a88 2044 c48 1c3 5a24df6 bc9 b0bcf6 4689 7071a2 696e7 f15 1a28a c446 11fbd8 db86 80ef6b9 8cc9b6 74dc1 df3a6 b9d39e60 7c3 09863 4a0f18e f8e90e f5 f54e 4fe0e e17fc36 91491 3481e 6e 688f0 1fc5a0 f29fe 01a1 f12bc58 e905 f3 c73b1d0e 18686 7c9 5c8 533 ccdd31 d8d 5ac1c03e9 7c0 9d11a 1e51fcb6a1e21 f59a 46c9796 d3ad0 16f5a324 85d6 6092 0b 85cbfd0 b14 f24 f71ee 04fbcfdd5 ed71 5fb4642 584d703 b0754 31c9d59 8785 e42 05bb4 6d10 f6a1 0a49fc87 4f4 ef7ff3 9e845fb 99d8 98157 b65 4c10 7b6 6e5e0 857 203076 c61 1f4 9f0 bca c3e09 e51 c452fb8 e3c6 26d5db4b01 0a9c3f7 752e7 b46e d9d2e cb4 2640a 78d3 1c7 88be 3195e d06 f227a 0a55e6 3c9 5c6 e5bdc8 493b45233 6241c8cf19 f4fe 18aca c143 58ed f87 5118 5b19 39fdd99 4c7 e0b6 5e9fca936 474 d600 f8f5a5205 f30 0647 0eaa75fb c03a6 cd1 296a7 baff2fde4fc88 c5d8 0e7e8 05c20 445 f057 6fba59ac8c4e 9bdf4e 2d37a 6e52e 4d1 fc0 d97e 52033 2486 b108 b 6ac85e 6b36 36b4 1df49 c267 c062 235bd48 0e9ed f9 dbd175b8eb7a 87444 0fa0 1dfe7 d7f7cf90a6 f92 74c81be 6be3 cbf7ee2 0416 0b53 5f5 7d8 c76 f1e6e 17e9 fe f3a8e f7a276 b2a0 4f9 2b17a 67137 b8a2 b5c136efb1e 7eaf7 81d1f4 316c593 d2c 0a2f44 210d1bfbcc3a7 35d5 1d13 f37 7b1 72d0 079b6dc0dfc35 e5ac1d8a5 f07 b5 ab5a5c1d67 622e0 44fd9c038a98 b3 f82 f5a071 7f5 9adefb04 4eeafe be3 c4c40e 54813e1 1a2e6a 6638e 29b2 0b7 c7e8a 1f7 92736 b1e8 c7ee ba292 7f7 2950 b4a90 b 87d180a 6f6 794a2 2d3 bb70a 4e2d2289aa8 df113fa 96d4 dd6 0d1 555e5 50f50086 24f6fb cc2 c3e2 d82a 7f4 2dc11d3 f7a8 4c9 d529 044 b7cfa91b4143 0b68 8aca f29 c5eac84c3f6 c86 c63 6c6 9f5ae 9f2 1f1 94c4b94 d1 c92e f3b8 8c4 e9b9a 3b5 cb2 8e b4a4b4 8b05 3489 bfa88 9d0 2057a9 3d2fb dd52 510 c0571 74e5 b5d0 9708 eb22 f03 1be6b6b5 d865 d19a15 7c0 c61 287d53f3bbef7 b31 c9b2 6f7 1494 f5a9 52c6be3 c9 9f937 3257 f26 5f9 43b5 6a1771 9851 f86 54481 0935 c52 003e be480 8c5 d5fba3e7 df50 b161 db0 3291ea f55 69f0537a9 e320 25a6bfdb6a95a68 c4 df2 df6e38a9 623 2b77ae3 f85 3222 3db95346 d300 0d8 68e6ddad9 20a7ba 014 ce7d06ee8 95a2fa e1 ab38e52 7a1f04aa55 bce 221d5ac4 2f1 4f8 b883 b9c08a42 99f2488 c61 c615 f54 f 9a4dfb005aa 1c4 96bfb25 b1e0 d760 7750 67084 0577 2254fb1 58f03b2 d6b49817 080f1 60e2 d78 c3f57a67a b43d1d4 9e5d1 7ed5 3e3b57ad1 6592 cc4d62 b9aa8 7e3 d22c57008 165 f64e 080b2350 cf37f2d7a0 6aa0164 4b4aaa b383ae 0d92a cab8b5 f8d2 e7f0b0d5d0 c7b2466 32074 e7d5 dee c289 77f33ed0 b62 c2abcf2417 1c5 5ab 79a5e77a d2d6 c3 bc8e 88b1bde 442fe00d6c2 8da41 da9d0585 dc8aa 9f0 c70 f60 447b14 faea0 d730 d286 87a0ee 3e82 c349 609d215 f8355a d21 7fd8 774e8 99bf88 d54395a c02 c16 b196 cc74e0 c79 d3a2a7 c15aa 5b71 b9aa86 8194 7ac88 281e 8d76 Downloaded by Nguynhavy Ha Vy (Ntkphuong205@gmail.com) b48182 8e6b398 c7a71a 5ee1 f02