SỬ DỤNG GIẢI THUẬT RNN (RECURRENT NEURAL NETWORK) ĐỂ XÂY DỰNG HỆ THỐNG NHẬN DẠNG CHỮ SỐ VIẾT TAY - Full 10 điểm

TRƯỜNG ĐẠ I H Ọ C NAM C ẦN THƠ KHOA K Ỹ THU Ậ T – CÔNG NGH Ệ DƯƠNG QUANG ĐÔNG MSSV: 177865 S Ử D Ụ NG GI Ả I THU Ậ T RNN (RECURRENT NEURAL NETWORK) ĐỂ XÂY D Ự NG H Ệ TH Ố NG NH Ậ N D Ạ NG CH Ữ S Ố VI Ế T TAY ĐỒ ÁN TH Ự C T Ậ P Ngành Công ngh ệ Thông tin Mã s ố Ngành: 7480201 05-2021 TRƯỜNG ĐẠ I H Ọ C NAM C ẦN THƠ KHOA K Ỹ THU Ậ T – CÔNG NGH Ệ DƯƠNG QUANG ĐÔNG MSSV: 177865 S Ử D Ụ NG GI Ả I THU Ậ T RNN (RECURRENT NEURAL NETWORK) ĐỂ XÂY D Ự NG H Ệ TH Ố NG NH Ậ N D Ạ NG CH Ữ S Ố VI Ế T TAY ĐỒ ÁN TH Ự C T Ậ P Ngành Công ngh ệ Thông tin Mã s ố Ngành: 7480201 GI ẢNG VIÊN HƯỚ NG D Ẫ N TS NGÔ H Ồ ANH KHÔI 05-2021 i NH Ậ N XÉT C ỦA GIÁO VIÊN HƯỚ NG D Ẫ N ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ ······································································································ C ần Thơ, Ngày… tháng… năm 2021 Giáo viên hướ ng d ẫ n (Ký tên) TS Ngô H ồ Anh Khôi ii NH Ậ N XÉT C Ủ A GIÁO VIÊN PH Ả N BI Ệ N ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· ······························································································· C ần Thơ, Ngày… tháng… năm 2021 Giáo viên ph ả n bi ệ n (Ký tên) ThS Hu ỳ nh Bá L ộ c iii L Ờ I C Ả M T Ạ L ời đầ u tiên em xin chân thành c ảm ơn đế n Th ầ y, Cô Trong th ờ i gian qua, th ầ y đã rấ t t ận tình hướ ng d ẫn để chúng em hoàn thành bài đồ án th ự c t ậ p này Chúng em xin c ảm ơn quý thầ y cô Khoa K ỹ thu ậ t – Công ngh ệ Trường Đạ i h ọ c Nam C ần Thơ đã tậ n tâm gi ả ng d ạ y và truy ền đạ t cho chúng tôi nh ữ ng ki ế n th ứ c quý báo đó là nhữ ng ki ế n th ứ c n ề n t ảng để giúp chúng em làm cơ sở và phát tri ể n cho h ọ c t ậ p và s ự nghi ệp sau này Cám ơn Ban Giám hiệu Trường Đạ i h ọ c Nam C ần Thơ đã tạo điề u ki ệ n v ề th ờ i gian, không gian t ố t nh ất để chúng em có th ể hoàn thành nhi ệ m v ụ h ọ c t ậ p c ủ a mình M ặc dù, em đã có rấ t nhi ề u c ố g ắ ng n ỗ l ực để hoàn thành đồ án nhưng vẫ n không tránh kh ỏ i nh ữ ng thi ế u sót Kính mong nh ận đượ c s ự đón g góp ý ki ế n c ủ a quý th ầ y cô Em xin chân thành c ảm ơn! C ầ n T hơ, ngày … tháng … năm 2021 Ngườ i th ự c hi ệ n 4 L ỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứ u c ủ a riêng tôi Các s ố li ệ u, k ế t qu ả nêu trong báo cáo là trung th ực và chưa từng đượ c ai công b ố trong b ấ t k ỳ công trình nào khác C ầ n T hơ, ngày … tháng … năm 2021 Ngườ i th ự c hi ệ n 5 M Ụ C L Ụ C NH Ậ N XÉT C ỦA GIÁO VIÊN HƯỚ NG D Ẫ N i NH Ậ N XÉT C Ủ A GIÁO VIÊN PH Ả N BI Ệ N ii CHƯƠNG 1: GIỚ I THI ỆU NƠI THỰ C T Ậ P 9 1 1 Gi ớ i thi ệ u v ề công ty 9 1 2 Thông tin v ề công ty 9 1 3 Tr ụ s ở chính 9 1 4 Người đạ i di ệ n theo pháp lu ậ t: 9 1 5 Thông tin liện hệ 9 1 6 Ngành ngh ề kinh doanh 9 1 7 S ả n ph ẩ m và d ị ch v ụ đang kinh doanh 10 1 7 1 S ả n ph ẩ m ph ầ n m ề m 10 1 7 2 D ị ch v ụ 13 CHƯƠNG 2 GIỚ I THI Ệ U 15 2 1 Đặ t v ấ n đề nghiên c ứ u 15 2 2 M ụ c tiêu nghiên c ứ u 16 2 2 1 M ụ c tiêu chung 16 2 2 2 M ụ c tiêu c ụ th ể 16 2 3 Ph ạ m vi nghiên c ứ u 16 2 3 1 Không gian 16 2 3 2 Th ờ i gian 16 2 3 3 Đối tượ ng nghiên c ứ u và s ử d ụ ng 16 2 4 Phương pháp nghiên cứ u 16 2 4 1 Phương pháp nghiên cứ u lý thuy ế t 16 2 4 2 Phương pháp nghiên cứ u th ự c nghi ệ m 17 2 4 3 Phương pháp điề u tra 17 2 5 Ph ạm vi đề tài 17 2 6 Hướ ng g ả i quy ế t 17 6 CHƯƠNG 3 CƠ SỞ L Ậ P LU ẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨ U 18 3 1 Cơ sở lý lu ậ n 18 3 2 Gi ớ i thi ệ u v ề b ộ cơ sở d ữ li ệ u 18 3 3 Gi ớ i thi ệ u v ề ngôn ng ữ Python 20 3 4 L ị ch s ử và c ấ u t ạ o c ủ a Neural Network 22 3 4 1 C ấ u t ạ o và quá trình s ử lý c ủ a m ột nơ ron sinh họ c 23 3 4 2 C ấ u t ạ o và quá trình x ử lý c ủ a m ột nơ ron nhân tạ o 23 CHƯƠNG 4 GIẢ I THU Ậ T RNN TRONG NH Ậ N D Ạ NG CH Ữ S Ố VI Ế T TAY 26 4 1 Gi ớ i thi ệ u chung 26 4 2 Phát bi ể u bài toán 26 4 3 Các ứ ng d ụ ng c ủ a gi ả i thu ậ t RNN 28 4 4 Ưu nhược điể m c ủ a gi ả i thu ậ t 29 4 5 Mô hình LSTM 29 CHƯƠNG 5 K Ế T QU Ả NGHIÊN C Ứ U 30 5 1 K ế t qu ả nghiên c ứ u 30 5 2 Giao di ệ n chính 32 5 3 Hướ ng d ẫ n s ử d ụ ng 33 5 3 1 Train file 33 5 3 2 Test file 37 5 3 3 Report 40 CHƯƠNG 6 KẾ T LU Ậ N 41 7 DANH SÁCH HÌNH Hình 3 1: Gi ớ i thi ệ u b ộ d ữ li ệ u mnist 19 Hình 3 2: Ả nh v ề pixel trong mnist 20 Hình 3 3: Hình ảnh nơ ron sinh họ c 23 Hình 3 4: Công th ứ c m ột nơ ron nhân tạ o 24 Hình 3 5: Hình ả nh m ột nơ ron nhân tạ o 24 Hình 3 6: Hình ả nh v ị trí thiên l ệch đượ c thêm vào trong th ự c t ế 24 Hình 3 1: C ấ u ph ầ n m ạng nơ -ron 27 Hình 3 2: Ki ế n trúc m ạng nơ -ron truy ề n th ố ng 27 Hình 5 1: Giao di ệ n ứ ng d ụ ng sau khi test 30 Hình 5 2: Bi ểu đồ c ộ t bi ể u di ễ n t ỉ l ệ c ủ a t ừ ng model 31 Hình 5 3: Bi ểu đồ tăng trưở ng 31 Hình 5 4: Giao di ệ n chính 32 Hình 5 5: Ch ọ n file train 33 Hình 5 6: Ch ọn nơi lưu Model 34 Hình 5 7: Nh ậ p s ố lượ ng model 34 Hình 5 8: Train thành công 36 Hình 5 9: Ch ọ n file test 37 Hình 5 10: Ch ọ n file model 37 Hình 5 11: ch ọ n file output csv 38 Hình 5 12: Test thành công và cho k ế t qu ả 39 Hình 5 13: Bi ểu đồ 40 8 DANH M Ụ C T Ừ VI Ế T T Ắ T RNN Recurrent Neural Network HTML Hyper Text Markup Language CSS Cascading Style Sheets MNIST Modified National Institute of Standards and Technology database csdl NIST National Institute of Standards and Technology LSTM Long Short Term Memory networks

TRƯỜNG ĐẠI HỌC NAM CẦN THƠ KHOA KỸ THUẬT – CÔNG NGHỆ

DƯƠNG QUANG ĐÔNG MSSV: 177865

SỬ DỤNG GIẢI THUẬT RNN (RECURRENT NEURAL NETWORK) ĐỂ XÂY DỰNG HỆ THỐNG NHẬN DẠNG CHỮ SỐ VIẾT TAY

ĐỒ ÁN THỰC TẬP Ngành Công nghệ Thông tin

Mã số Ngành: 7480201

05-2021

TRƯỜNG ĐẠI HỌC NAM CẦN THƠ

DƯƠNG QUANG ĐÔNG MSSV: 177865

SỬ DỤNG GIẢI THUẬT RNN (RECURRENT NEURAL NETWORK) ĐỂ XÂY DỰNG HỆ THỐNG NHẬN DẠNG CHỮ SỐ VIẾT TAY

ĐỒ ÁN THỰC TẬP Ngành Công nghệ Thông tin

Mã số Ngành: 7480201

GIẢNG VIÊN HƯỚNG DẪN

TS NGÔ HỒ ANH KHÔI

05-2021

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

Cần Thơ, Ngày… tháng… năm 2021

Giáo viên hướng dẫn

(Ký tên)

TS Ngô Hồ Anh Khôi

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

···

Cần Thơ, Ngày….tháng… năm 2021

Giáo viên phản biện

(Ký tên)

ThS Huỳnh Bá Lộc

LỜI CẢM TẠ

Lời đầu tiên em xin chân thành cảm ơn đến Thầy, Cô Trong thời gian qua, thầy

đã rất tận tình hướng dẫn để chúng em hoàn thành bài đồ án thực tập này

Chúng em xin cảm ơn quý thầy cô Khoa Kỹ thuật – Công nghệ Trường Đại học Nam Cần Thơ đã tận tâm giảng dạy và truyền đạt cho chúng tôi những kiến thức quý báo đó là những kiến thức nền tảng để giúp chúng em làm cơ sở và phát triển cho học tập và sự nghiệp sau này Cám ơn Ban Giám hiệu Trường Đại học Nam Cần Thơ đã tạo điều kiện về thời gian, không gian tốt nhất để chúng em có thể hoàn thành nhiệm vụ học tập của mình

Mặc dù, em đã có rất nhiều cố gắng nỗ lực để hoàn thành đồ án nhưng vẫn không tránh khỏi những thiếu sót Kính mong nhận được sự đóng góp ý kiến của quý thầy cô

Em xin chân thành cảm ơn!

Cần Thơ, ngày … tháng … năm 2021

Người thực hiện

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của riêng tôi

Các số liệu, kết quả nêu trong báo cáo là trung thực và chưa từng được ai công

bố trong bất kỳ công trình nào khác

Cần Thơ, ngày … tháng … năm 2021

Người thực hiện

5

MỤC LỤC

NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN i

NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN ii

CHƯƠNG 1: GIỚI THIỆU NƠI THỰC TẬP 9

1.1 Giới thiệu về công ty 9

1.2 Thông tin về công ty 9

1.3 Trụ sở chính 9

1.4 Người đại diện theo pháp luật: 9

1.5 Thông tin liện hệ 9

1.6 Ngành nghề kinh doanh 9

1.7 Sản phẩm và dịch vụ đang kinh doanh 10

1.7.1 Sản phẩm phần mềm 10

1.7.2 Dịch vụ 13

CHƯƠNG 2 GIỚI THIỆU 15

2.1 Đặt vấn đề nghiên cứu 15

2.2 Mục tiêu nghiên cứu 16

2.2.1 Mục tiêu chung 16

2.2.2 Mục tiêu cụ thể 16

2.3 Phạm vi nghiên cứu 16

2.3.1 Không gian 16

2.3.2 Thời gian 16

2.3.3 Đối tượng nghiên cứu và sử dụng 16

2.4 Phương pháp nghiên cứu 16

2.4.1 Phương pháp nghiên cứu lý thuyết 16

2.4.2 Phương pháp nghiên cứu thực nghiệm 17

2.4.3 Phương pháp điều tra 17

2.5 Phạm vi đề tài 17

2.6 Hướng gải quyết 17

CHƯƠNG 3 CƠ SỞ LẬP LUẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU 18

3.1 Cơ sở lý luận 18

3.2 Giới thiệu về bộ cơ sở dữ liệu 18

3.3 Giới thiệu về ngôn ngữ Python 20

3.4 Lịch sử và cấu tạo của Neural Network 22

3.4.1 Cấu tạo và quá trình sử lý của một nơ ron sinh học 23

3.4.2 Cấu tạo và quá trình xử lý của một nơ ron nhân tạo 23

CHƯƠNG 4 GIẢI THUẬT RNN TRONG NHẬN DẠNG CHỮ SỐ VIẾT TAY 26

4.1 Giới thiệu chung 26

4.2 Phát biểu bài toán 26

4.3 Các ứng dụng của giải thuật RNN 28

4.4 Ưu nhược điểm của giải thuật 29

4.5 Mô hình LSTM 29

CHƯƠNG 5 KẾT QUẢ NGHIÊN CỨU 30

5.1 Kết quả nghiên cứu 30

5.2 Giao diện chính 32

5.3 Hướng dẫn sử dụng 33

5.3.1 Train file 33

5.3.2 Test file 37

5.3.3 Report 40

CHƯƠNG 6 KẾT LUẬN 41

7

DANH SÁCH HÌNH

Hình 3.1: Giới thiệu bộ dữ liệu mnist 19

Hình 3.2: Ảnh về pixel trong mnist 20

Hình 3.3: Hình ảnh nơ ron sinh học 23

Hình 3.4: Công thức một nơ ron nhân tạo 24

Hình 3.5: Hình ảnh một nơ ron nhân tạo 24

Hình 3.6: Hình ảnh vị trí thiên lệch được thêm vào trong thực tế 24

Hình 3.1: Cấu phần mạng nơ-ron 27

Hình 3.2: Kiến trúc mạng nơ-ron truyền thống 27

Hình 5.1: Giao diện ứng dụng sau khi test 30

Hình 5.2: Biểu đồ cột biểu diễn tỉ lệ của từng model 31

Hình 5.3: Biểu đồ tăng trưởng 31

Hình 5.4: Giao diện chính 32

Hình 5.5: Chọn file train 33

Hình 5.6: Chọn nơi lưu Model 34

Hình 5.7: Nhập số lượng model 34

Hình 5.8: Train thành công 36

Hình 5.9: Chọn file test 37

Hình 5.10: Chọn file model 37

Hình 5.11: chọn file output.csv 38

Hình 5.12: Test thành công và cho kết quả 39

Hình 5.13: Biểu đồ 40

DANH MỤC TỪ VIẾT TẮT

databasecsdl