(Đồ án hcmute) thiết kế hệ thống nhận diện chữ viết tay

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ VIỄN THÔNG THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY GVHD: LÊ MINH THÀNH SVTH: DƯƠNG NGỌC ANH MSSV: 16141002 SVTH: NGUYỄN THỊ THÙY TRANG MSSV: 16141085 SKL 0 2 Tp Hồ Chí Minh, tháng 08/2020 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY SVTH MSSV SVTH MSSV Khoá Ngành GVHD : : : : : : : DƯƠNG NGỌC ANH 16141002 NGUYỄN THỊ THÙY TRANG 16141085 2016 CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ VIỄN THÔNG THS LÊ MINH THÀNH Tp Hồ Chí Minh, tháng năm 2020 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY SVTH MSSV SVTH MSSV Khoá Ngành GVHD : : : : : : : DƯƠNG NGỌC ANH 16141002 NGUYỄN THỊ THÙY TRANG 16141085 2016 CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ VIỄN THƠNG THS LÊ MINH THÀNH Tp Hồ Chí Minh, tháng năm 2020 an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -Tp Hồ Chí Minh, ngày tháng năm 2020 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Dương Ngọc Anh Họ tên sinh viên 2: Nguyễn Thị Thùy Trang Ngành: Công Nghệ Kỹ Thuật Điện tử, Truyền thông Giảng viên hướng dẫn: Ths Lê Minh Thành Ngày nhận đề tài: 30/3/2020 MSSV: 16141002 MSSV: 16141085 Lớp: 16141CLVTB Ngày nộp đề tài: 8/8/2020 Tên đề tài: THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY Các số liệu, tài liệu ban đầu: Kiến thức mơn Xử lý ảnh, Máy học, Lập trình Visual C# Nội dung thực đề tài: • Đưa phương án xây dựng hệ thống sử dụng mạng Nơ-ron tích chập • Phương án giải thuật cho khối • Thiết kế hệ thống phần mềm Microsoft Visual C# • Đánh giá q trình xây dựng hệ thống • Viết báo cáo Sản phẩm: - Báo cáo đồ án tốt nghiệp - Chương trình phần mềm Visual C# GIÁO VIÊN HƯỚNG DẪN Ths Lê Minh Thành an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên : Dương Ngọc Anh MSSV: 16141002 Họ tên Sinh viên : Nguyễn Thị Thùy Trang MSSV: 16141085 Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông Tên đề tài: THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY Họ tên Giáo viên hướng dẫn: Ths Lê Minh Thành NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2020 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên : Dương Ngọc Anh MSSV: 16141002 Họ tên Sinh viên : Nguyễn Thị Thùy Trang MSSV: 16141085 Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông Tên đề tài: THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày 22 tháng năm 2020 Giáo viên phản biện (Ký & ghi rõ họ tên) an LỜI CẢM ƠN Đầu tiên chúng em xin gửi lời cảm ơn chân thành đến gia đình, bố mẹ tin tưởng ủng hộ cho chúng em theo học trường Đại học Sư Phạm Kỹ Thuật TP.HCM đến ngày hôm Chúng em xin gửi lời cảm ơn sâu sắc đến Ban Giám Hiệu nhà trường Khoa Đào Tạo Chất Lượng Cao tạo điều kiện hội cho chúng em học tập kiến thức thực tế chuyên ngành Em xin gửi lời tri ân sâu sắc đến thầy cô môn khoa Điện – Điện Tử, khoa Đào Tạo Chất Lượng Cao, đặc biệt thầy Lê Minh Thành – giảng viên hướng dẫn định hướng dẫn tận tình để chúng em hồn thành báo cáo cách trọn vẹn Lời cuối, chúng em xin gửi lời cảm ơn đến bạn học, anh chị ngành Điện tử – Viễn thông khóa chúng em trao đổi, thảo luận đưa ý kiến, nhận xét tích cực trình thực đề tài Chúng em xin chân thành cảm ơn Tp Hồ Chí Minh, ngày tháng năm 2020 Sinh viên thực Dương Ngọc Anh i an Nguyễn Thị Thùy Trang TÓM TẮT Hiện nay, hãng công nghệ đưa ứng dụng phục vụ riêng cho việc ghi ghép số thay cho ghi chép giấy truyền thống Dữ liệu viết tay lưu trữ, chỉnh sửa chuyển đổi sang nhiều định dạng theo ý muốn, tăng tính tiện lợi giảm chi phí bảo quản Với kiến thức tảng lập trình mạng nơ-ron, nhóm lựa chọn thực đề tài “Thiết kế hệ thống nhận diện chữ viết tay” với mong muốn có ứng dụng giao diện thân thiện tương tự Paint Microsoft, chức nhận diện chữ viết tay tiếng Anh người dùng Đây ứng dụng đơn giản, dễ dàng cài đặt tảng hệ điều hành Window Hệ thống thực phần mềm Microsoft Visual C# 2010 với kiến trúc mạng nơ-ron tích chập đa tầng Ngõ vào viết tay giao diện hệ thống, qua tiền xử lý, trích đặc trưng phân loại mạng nơ-ron huấn luyện trước Kết phân loại mạng nơ-ron đưa qua mô-đun nhận diện từ với giải thuật kiểm tra tả kết hiển thị giao diện hệ thống Trong báo cáo nhóm trình bày sơ đồ khối hệ thống, phân tích chức khối đưa phương án cụ thể với lưu đồ giải thuật tổng quát Từ kết thu được, nhóm đưa đánh giá cụ thể hệ thống có phương hướng cải thiện tương lai ii an MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii MỤC LỤC iii DANH MỤC TỪ VIẾT TẮT v DANH MỤC HÌNH vi DANH MỤC BẢNG vii Chương 1: TỔNG QUAN 1.1 Tình hình nghiên cứu .1 1.2 Mục tiêu 1.3 Giới hạn đề tài .2 1.4 Bố cục đồ án Chương 2: CỞ SỞ LÝ THUYẾT 2.1 Tổng quan máy học 2.2 Phương pháp tiền xử lý 2.3 Phương pháp phân đoạn 2.4 Trích đặc trưng 2.4.1 Trích đặc trưng dựa hình thái học 2.4.2 Trích đặc trưng Gradient 2.5 Tổng quan mạng nơ-ron tích chập 2.6 Tổng quan tập liệu UNIPEN .11 Chương 3: THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY 14 3.1 Yêu cầu thiết kế 14 iii an 3.2 Sơ đồ khối chức .14 3.3 Thiết kế khối 15 3.3.1 Tập liệu 15 3.3.2 Khối ngõ vào 17 3.3.3 Tiền xử lý 17 3.3.4 Khối trích đặc trưng khối phân loại 18 3.3.5 Khối kiểm tra tả hiển thị 27 3.4 Chương trình lưu đồ giải thuật 29 Chương 4: KẾT QUẢ NHẬN DIỆN CHỮ VIẾT TAY 35 4.1 Giao diện chương trình kết nhận diện 35 4.2 Đánh giá kết thực tế 43 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 44 5.1 Kết luận 44 5.2 Hướng phát triển 44 DANH MỤC TÀI LIỆU THAM KHẢO 45 PHỤ LỤC 47 iv an DANH MỤC TÀI LIỆU THAM KHẢO [1] F P Such, D Peri, F Brockler, H Paul, and R Ptucha (2018), “Fully convolutional networks for handwriting recognition”, Proc Int Conf Front Handwrit Recognition, ICFHR, vol 2018-Augus, pp 86–91 [2] H Liu and A Zhu (2019), “Synthesizing Scene Text Images for Recognition with Style Transfer”, 2019 Int Conf Doc Anal Recognit Work., vol 5, pp 8–13 [3] Phạm Việt Dũng (2014), “Multiple Convolution Neural Networks for an Online Handwriting Recognition System”, SIMUL 2014, vol 5, no.c, pp 108– 112 [4] S M Chelly, and C Denis (2016), “Getting Started with Machine Learning 2”, The MathWorks Inc., Mach Learn with MATLAB, Section [5] T Mathworks and MATLAB (2016), “Applying supervised learning”, The MathWorks Inc., vol 33, no 2, pp 326–333 [6] N Assiwal and N Sharma (2016), “A Geometric Feature Extraction Technique for Hindi Handwritten Character Recognition”, Int J Sci Technol Eng (IJSTE ), vol 2, no 12, pp 295–302 [7] Chris Nicholson (2019), “A Beginner’s Guide to Neural Networks and Deep Learning”, Journal of Chemical Information and Modeling, vol 53, no pp 1689–1699 [8] Y LeCun (1998), “Gradient-Based Learning Applied to Document Recognition”, pp 6–7 [9] Trần Cao Đệ (2011), “Chỉ mục ngữ nghĩa tiềm ẩn ứng dụng”, Đại học Cần Thơ, p 54 [10] I Guyon and R M Haralick (1996), “Data Sets For OCR And Document Image Understanding Research”, Handb Character Recognit Doc Image Anal., pp 779–799 [11] P Y Simard, D Steinkraus, and J C Platt (2013), “Best Practices for 45 an Convolutional Neural Networks Applied to Visual Document Analysis Patrice”, Microsoft Res., no Icdar, pp 1–6 46 an PHỤ LỤC (Chương trình C#) Chuyển đổi ảnh bitmap tiền xử lý bitmap = new Bitmap(drawArea.Width, drawArea.Height); drawArea.DrawToBitmap(bitmap, new Rectangle(0, 0, bitmap.Width, bitmap.Height)); Tiền xử lý tạo đường bao kí tự public static Rectangle PatternRectangeBoundary(Bitmap original, int colorIndex, int hStep, int vStep, bool bTopStart) { if (hStep 1) { for (int i = 0; i < this.CurrentWord.Length; i++) { StringBuilder tempWord = new StringBuilder(this.CurrentWord); 56 an tempWord.Remove(i, 1); if (this.TestWord(tempWord.ToString())) { result = tempWord.ToString(); isFoundWord = true; break; }}} return isFoundWord; } • Khối chèn từ: //Thử chèn kí tự trước kí tự mảng nhận dạng xem có tạo nên từ có nghĩa khơng private bool ForgotChar(out String result) { result = ""; bool isFoundWord = false; char[] tryme = this.Dictionary.TryCharacters.ToCharArray(); for (int i = 0; i -1) { string tempWord = this.CurrentWord.Substring(0, pos); tempWord += replacement; tempWord += this.CurrentWord.Substring(pos + key.Length); if (this.TestWord(tempWord)) { result = tempWord.ToString(); isFoundWord = true; return isFoundWord; } pos=this.CurrentWord.IndexOf(key,pos+ 1); }} return isFoundWord; 58 an S an K L 0 ... an Chương 3: THIẾT KẾ HỆ THỐNG NHẬN DIỆN CHỮ VIẾT TAY 3.1 Yêu cầu thiết kế Hệ thống nhận diện chữ viết tay có ngõ vào chữ viết thu thập trực tiếp từ cửa sổ giao diện hệ thống, nhận diện thông... dựng hệ thống nhận diện chữ viết tay Trong phần có đề cập đến khái niệm lý thuyết ứng dụng hệ thống Chương 3: Thiết kế hệ thống nhận diện chữ viết tay Chương trình bày sơ đồ khối hoạt động hệ thống, ... nơ-ron đa tầng cho hệ thống nhận diện chữ viết tay on-line” tác giả Phạm Việt Dũng[3] kết hợp kiến thức tự tìm hiểu để thực đề tài ? ?Thiết kế hệ thống nhận diện chữ viết tay? ?? Hệ thống có mơ hình