Một chương trình khung mới cho bài toán nhận dạng biểu thức toán học

TR I H C QU C GIA TP HCM NG I H C BÁCH KHOA NGUY N QU C KIM HỒNG M T CH NG TRÌNH KHUNG M I CHO BÀI TOÁN NH N D NG BI U TH C TOÁN H C Chuyên ngành : KHOA H C MÁY TÍNH Mã s : 8480101 LU N V N TH C S TP H CHÍ MINH, tháng n m 2022 CỌNG TRÌNH C HỒN THÀNH T I TR NG I H C BÁCH KHOA – HQG –HCM Cán b h ng d n khoa h c : TS Lê Thành Sách Cán b ch m nh n xét : PGS.TS Lê Hoàng Thái Cán b ch m nh n xét : PGS.TS Nguy n V n Sinh Lu n v n th c s đ c b o v t i Tr ng Tp HCM ngày 26 tháng n m 2022 i h c Bách Khoa, HQG Thành ph n H i đ ng đánh giá lu n v n th c s g m: Ch t ch h i đ ng: PGS.TS Tr n V n Hoài Th ký h i đ ng: TS Tr n Tu n Anh Cán b ph n bi n 1: PGS.TS Lê Hoàng Thái Cán b ph n bi n 2: PGS.TS Nguy n V n Sinh Cán b h ng d n: TS Lê Thành Sách Xác nh n c a Ch t ch H i đ ng đánh giá LV Tr ng Khoa qu n lý chuyên ngành sau lu n v n đ c s a ch a (n u có) CH T CH H I NG TR NG KHOA KHOA H C VÀ K THU T MÁY TÍNH I H C QU C GIA TP.HCM NG I H C BÁCH KHOA TR C NG HọA XÃ H I CH NGH A VI T NAM c l p - T - H nh phúc NHI M V LU N V N TH C S H tên h c viên: Nguy n Qu c Kim Hoàng MSHV: 1970016 Ngày, tháng, n m sinh: 08/11/1996 N i sinh:Tp H Chí Minh Chuyên ngành: Khoa h c Máy tính Mã s : 8480101 I TÊN M t ch TÀI: ng trình khung m i cho tốn nh n d ng bi u th c toán h c A new framework for mathematical expression recognition problem II NHI M V VÀ N I DUNG: Kh o sát đánh giá ph ng pháp nh n d ng bi u th c toán h c Th nghi m ph ng pháp dung hòa đ c tr ng toàn c c c c b cho toán nh n d ng bi u th c toán h c III NGÀY GIAO NHI M V : 06/09/2021 IV NGÀY HOÀN THÀNH NHI M V : 06/06/2022 V CÁN B H NG D N: TI N S LÊ THÀNH SÁCH Tp HCM, ngày tháng n m 2022 CÁN B H NG D N (H tên ch ký) TR CH NHI M B MỌN ÀO T O (H tên ch ký) NG KHOA KHOA H C VÀ K THU T MÁY TÍNH (H tên ch ký) i Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Lời cảm ơn Để hồn thành luận văn Thạc sĩ cần có đóng góp hỗ trợ từ nhiều bên mà thân thấy biết ơn may mắn Tôi muốn gửi lời cảm ơn đến ban giám hiệu thầy cô trường Đại học Bách Khoa Thành phố Hồ Chí Minh, cách riêng cho thầy Khoa Khoa học Kỹ thuật Máy Tính tận tâm dạy tơi suốt q trình học tập nghiên cứu Không thể không nhắc đến giúp đỡ mà tơi nhận từ phía đồng nghiệp nơi làm việc bạn bè khoá học Họ người lắng nghe chia sẻ lúc luận văn gặp nút thắt góp ý cho dựa kinh nghiệm kiến thức riêng thận họ Xin chân thành cảm ơn Và lời cảm ơn chân thành xin gửi đến thầy Lê Thành Sách- cán hướng dẫn luận văn Cảm ơn thầy đưa ý kiến mang tính chất mở đường định hướng giải vấn đề Tôi xin cảm ơn tác giả cơng trình mà tơi có tham khảo đến để hồn thành luận văn Sau cùng, mong quý thầy cô bạn đọc thông cảm thiếu sót cách dùng từ, đặt câu đơi chỗ chưa hồn thiện mong muốn Tôi mong nhận ý kiến đóng góp thầy bạn đọc để sửa đổi hoàn thiện luận văn Chân thành cảm ơn Hồ Chí Minh, ngày 06 tháng 06 năm 2022 Học viên thực Nguyễn Quốc Kim Hoàng ii Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Tóm tắt luận văn Luận văn trình bày phương án hướng đến kết hợp cho hiệu đặc trưng toàn cục đặc trưng cục rút trích đặc trưng ảnh biểu thức tốn học viết tay Để thực điều đó, thực đánh giá cơng trình liên quan đương thời, đặc biệt cơng trình cơng bố tốt lĩnh vực nhận dạng biểu thức toán học viết tay nhiên lại khơng có mã nguồn cung cấp sẵn bước quan trọng để hiểu rõ chất công bố, kiểm chứng mức độ tin cậy cơng trình Từ có sở để đề xuất phương án giải Nội dung luận văn trình bày qua chương: Chương giới thiệu đề tài lý lựa chọn đề tài bước thực đề tài Chương trình bày cơng trình điểm tham khảo luận văn Chương giới thiệu phương pháp luận nghiên cứu đề tài dựa việc tái lập cơng trình đương thời chọn để tham khảo, xây dựng chương trình khung để thuận tiện cho việc so sánh, đánh giá nhiều công trình tương tự phương pháp đề xuất đề tài Chương bàn kết thực nghiệm, đánh giá kiểm chứng ý tưởng đề xuất Chương tổng kết luận văn, nêu điểm hạn chế đạt luận văn này, hướng phát triển tương lai đề tài Và cuối tài liệu tham khảo phụ lục iii Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Thesis outline In this thesis, we propose a framework to easily evaluate different experiments related to handwritten mathematical expression recognition (HMER) problem Additionally, two recent works which are state-of-the-art now were developed again by ourselve to understand what they works and verify what they published on performance Based on that we introduce an end-to-end network included mutiscale feature extraction to deal with the HMER It is our contribution The outline of this thesis is organized as follows: Section I introduces the topic, the reason why I chose it and scope limitation Section II listed related works and discussed in detail Section III describes how I implement related works to sever my research mission and presents the framework for a convenient evalution and my proposed method to tackle HMER problem in detail Section IV presents and discusses our experimental results based on comparision between performance of the related works which I re-implement fairly and my proposed ideas Finally, we concludes the paper in Section V iv Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Lời cam đoan Luận văn tơi có tham khảo tài liệu từ nhiều nguồn khác nguồn tham khảo trích dẫn rõ ràng phần tài liệu tham khảo Ngoài phần trích dẫn, tơi xin cam đoan tồn nội dung báo cáo tự soạn thảo dựa tìm hiểu kết thực tế tơi tạo Tơi hồn tồn chịu xử lý theo quy định có sai phạm xảy liên quan đến tơi cam đoan Hồ Chí Minh, ngày 06 tháng 06 năm 2022 Người cam đoan Nguyễn Quốc Kim Hoàng v Mục lục Nhiệm vụ luận văn Thạc sĩ iv Tóm tắt luận văn iii Thesis outline iv Lời cam đoan v Mục lục vi Danh sách hình vẽ viii Danh sách bảng ix Danh sách viết tắt x Chương Giới thiệu Giới thiệu đề tài Lý lựa chọn đề tài Phạm vi đề tài Quá trình thực 1 1 4 7 11 14 14 16 16 17 18 19 Chương Kết thực nghiệm Dữ liệu Môi trường 22 22 23 Chương Cơng trình liên quan Kỹ thuật tảng 1.1 Rút trích đặc trung ảnh 1.2 Cơ chế tập trung (Attention mechanism) Bài toán nhận dạng biểu thức toán học viết tay 2.1 Tổng quan 2.2 Hướng tiếp cận xây dựng mô hình đầu cuối 2.3 Hướng tiếp cận làm giàu liệu Chương Phương pháp luận nghiên Chương trình khung để đánh giá Hướng tiếp cận tảng 2.1 Kiến trúc tảng 2.2 WAP 2.3 MultiScale WAP Phương pháp đề xuất vi cứu , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính Độ đo Kết 4.1 Tái lập cơng trình tham khảo 4.2 Phương pháp đề xuất 4.3 So sánh với cơng trình tham khảo Chương Tổng kết Kết luận Đánh giá ưu, nhược điểm 2.1 Ưu điểm 2.2 Nhược điểm Hướng phát triển tương lai 24 24 25 27 29 31 31 31 31 31 31 Kết lời 33 Tài liệu tham khảo 34 vii Danh sách hình vẽ 10 11 12 13 14 15 16 Kiến trúc mạng nơ-ron LeNet[1] Mô đun Inception/Inception Block[4] ResNetBlock[6] DenseBlock với lớp CNN[7] Kiến trúc Features Pyramid rút trích đặc trưng đa phân giải[9] Mơ hình dịch máy sử dụng chế tập trung[12] Minh họa kiến trúc tổng quan hệ thống theo phương pháp đề xuất Watch, Attend and Parse[13] Kiến trúc mạng rút trích đặc trưng Watcher kế thừa DenseNet[7] thêm nhánh B cơng trình[14] Qui trình biến đổi ảnh biểu thức toán học phép biến đổi cục toàn cục[21] Các loại biểu thức toán học định nghĩa[22] Sơ đồ thiết kế chương trình khung đánh giá phương pháp, mơ hình Một mẫu ảnh đầu vào cho toán với biểu thức y + y + = trích xuất từ tập liệu CROHME 2019 Sơ đồ thiết kế mơ hình WAP Sơ đồ thiết kế mơ hình MultiScale WAP Bộ rút trích đặc trưng đa phân giải đề xuất [10] Ảnh rút trích từ báo gốc tác giả Một số ảnh trích xuất từ tập liệu CROHME 2019 viii 6 10 11 12 13 14 16 17 18 20 23 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính 4.1 Tái lập cơng trình tham khảo Cơng trình MultiScale WAP WAP CROHME 2019 65.73 53.93 CROHME 2014 41.36 20.83 CROHME 2016 41.76 20.58 Bảng 5: Kết huấn luyện, đánh giá từ việc tái lập cơng trình tham khảo[13], [14] Bảng [5] trình bày đánh giá dựa theo độ đo ExpRate cơng trình WAP[13] MultiScale WAP[14] tái lập tập liệu Valid (CROHME 2019) Test (CROHME 2014, CROHME 2016) Dựa vào số đánh giá ta thấy rõ ràng cải thiện mặt điểm số rõ rệt cơng trình Mặc dù khoảng cách điểm số tập Valid cơng trình khoảng 10 điểm ExpRate đánh giá kết tập Valid khoảng cách tăng lên thành 20 điểm cách biệt Qua cho ta thấy việc thêm chế tập trung đa phân giải16 tạo nên hiệu lớn, cải thiện hiệu mơ hình Bên cạnh đó, điểm khác ta nhận thấy việc điểm số chênh lệch việc đánh giá tập Valid tập Test lớn, khoảng 24 điểm MultiScale WAP 33 điểm WAP Điều cho thấy có khác lớn phân phối tập liệu Sự khác biệt dễ hiểu CROHME thi Khoa học Dữ liệu thi khác, để tăng tính cạnh tranh độ khó cho thi, nhà tổ chức thường tạo khác biệt Vấn đề nên nghiên cứu cách chi tiết đề tài riêng lẻ để đánh giá mức độ khác tập liệu đánh giá việc chia liệu thành tập Train-Valid-Test Cơng trình MultiScale WAP WAP CROHME 2014 Tái lập Công bố 41.36 52.80 20.83 46.55 CROHME 2016 Tái lập Công bố 41.76 50.10 20.58 44.55 Bảng 6: Kết đánh giá cơng trình tham khảo[13], [14] tái lập so với kết công bố báo gốc Bảng [6] đặt kết tái lập vào ngữ cảnh so sánh với công bố paper gốc[13], [14] tập liệu test CROHME 2014 CROHME 2016 Trong bảng, đánh giá cho cơng trình thể hàng, với cặp cột thể đánh giá cho tập liệu riêng biệt CROHME 2014 CROHME 2016 Hai tập liệu tập liệu sử dụng cho việc đánh giá paper gốc cơng trình Mỗi cặp cột gồm cột "Tái lập" cho biết đánh giá mơ hình tái lập lại cơng trình cột "Cơng bố" điểm số cơng bố paper gốc Ta thấy từ Bảng [6] dù tập liệu CROHME 2014 hay CROHME 2016 kết cơng bố paper gốc cao rõ rệt so với đánh giá tái lập 16 Thuật ngữ tiếng Anh: MultiScale Attention Một chương trình khung cho toán nhận dạng biểu thức toán học Trang 25/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , lại cơng trình Để giải thích khác biệt này, ta kể đến số yếu tố khác biệt q trình tái lập cơng trình gốc như: • Kích cỡ liệu ảnh đầu vào Như đề cập Mục 1, đến năm 2019 thi CROHME đưa quy chuẩn thức việc trực quan hóa liệu thành ảnh đầu vào cho mơ hình, hệ thống Vì cơng trình WAP[13] MultiScale WAP[14] tác giả sử dụng cách trực quan hóa liệu thành ảnh với kích thước khơng cố định, mà thay vào tác giả thực trực quan hóa với ràng buộc kích thước kí tự xuất biểu thức Cách thức trực quan hóa vơ tình khiến cho độ khó tốn giảm nhiều, đặc biệt với biểu thức có nhiều kí tự với cách quy chuẩn làm cho kí tự có kích thức nhỏ Bên cạnh đó, nhìn nhận vào thực tế ta thấy thường liệu thu thập từ thiết bị máy ảnh, máy qt, Do mà kích thước ảnh đầu vào cho mơ hình, hệ thống thường có kích thước cụ thể nên việc cố định kích thước ảnh trực quan hóa giúp tốn gần gũi với thực khách quan • Mơ hình tổ hợp17 Trong cơng trình[13], [14], tác giả sử dụng kĩ thuật Mơ hình tổ hợp thơng qua việc tổ hợp mơ hình với để đạt điểm số công bố Kỹ thuật kỹ thuật thông dụng thường sử dụng thi Khoa học Dữ liệu nhằm tăng tính tổng qt hóa điểm số cuối Tuy nhiên với việc muốn tập trung vào nghiên cứu, phân tích phương pháp kiến trúc mạng ảnh hưởng đề xuất mặt thiết kế nên việc ứng dụng kỹ thuật theo nhận định cá nhân không cần thiết Một lần nhìn nhận vào thực tế dù kỹ thuật sử dụng nhiều thi khó để ứng dụng vào thực tiễn yêu cầu việc có nhiều thể mơ hình chạy gây khó khăn yêu cầu phần cứng thiết bị tốc độ dự đốn Ngồi lý khách quan nêu tồn đọng lý chủ quan khả huấn luyện mơ hình người thực đề tài cịn nhiều thiếu sót Tuy nhiên, mơ hình tái lập cách cơng nên ta nhận định tác động tích cực chế MultiScale Attention đắn có kiểm chứng, phần hỗ trợ giải tốn kí tự có kích thước đa dạng ảnh biểu thức, cụ thể với kí tự có kích thức nhỏ Như ta thấy trình tái lập đánh giá cơng trình tham khảo thực theo quy trình đánh giá công Tuy không đạt điểm số cơng bố gốc ta sử dụng quy trình đánh giá để áp dụng vào đánh giá phương pháp đề xuất so sánh với cơng trình tham khảo, nghiên cứu bàn luận kết đánh giá thơng qua quy trình cơng 17 Thuật ngữ tiếng Anh: Ensemble Model Một chương trình khung cho toán nhận dạng biểu thức toán học Trang 26/39 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính 4.2 Phương pháp đề xuất Ở phần ta đánh giá ý tưởng đề xuất dựa việc cải tiến cơng trình WAP[13] MultiScale WAP[14] cách sử dụng mạng rút trích đặc trưng đa phân giải với biến thể chúng trình bày Chương Mục Phiên WAP+IF 5b WAP+IF 4d WAP+IF 3b CROHME 2019 57.18 60.88 61.63 CROHME 2014 24.90 32.11 34.35 CROHME 2016 25.46 33.39 37.14 Bảng 7: Kết đánh giá phiên phương pháp đề xuất cải tiến WAP[13] Bảng [7] trình bày kết đánh giá phiên phương pháp đề xuất cải tiến WAP[13] Các phiên đánh giá tập liệu Valid (CROHME 2019) Test (CROHME 2014 CROHME 2016) Như trình bày Chương Mục 3, ta nghiên cứu cải tiến với phiên đặc trưng đa phân giải rút trích với thứ tự mức độ dung hợp toàn cục cục tăng dần 5b, 4d 3b Kết đánh giá từ Bảng [7] cho thấy với việc tăng mức độ toàn cục cục để tạo đặc trưng đa phân giải mơ hình hoạt động tốt thể thông qua điểm ExpRate theo phiên tăng rõ rệt Cụ thể phiên 5b đạt điểm số khiêm tốn mức 57.18 tập CROHME 2019, 24.90 tập CROHME 2014 25.46 tập CROHME 2016 Đây phiên đơn giản không thực có dung hợp đặc trưng tồn cục cục với đặc trưng xuất có mức độ phân giải nhỏ biến thể Phiên 4d cho thấy cải thiện rõ rệt mặt điểm số ExpRate so với phiên 5b đạt 60.88 tập CROHME 2019, 32.11 tập CROHME 2014 33.39 tập CROHME 2016 Như phiên 4d tăng so với 5b 3.81 CROHME 2019, 7.21 CROHME 2014 7.93 tập CROHME 2016 Qua cho thấy với việc bước đầu ứng dụng kết hợp đặc trưng cục cho thấy hiệu Cuối cùng, phiên 3b phiên có mức độ kết hợp đặc trưng tồn cục cục lớn nhất, qua tạo đặc trưng đa phân giải với kích thước phân giải cao Với việc sử dụng đặc trưng đa phân giải mức độ cao phiên 4d, khác biệt tập CROHME 2019 không cao đạt 61.63 (tăng 0.75) tập Test CROHME 2014 CROHME 2016 phiên 3b đạt kết cải thiện rõ rệt với 34.35 (tăng 2.24) 37.14 (tăng 3.75) Ta thấy cải thiện đến từ việc kết hợp thêm nhiều mức độ cục vào việc tạo đặc trưng đa phân giải, qua đồ đặc trưng xuất rút trích đặc trưng nâng cao kích thước, qua giúp cho chế tập trung xét kí tự, chi tiết cách nhuyễn Đáng ý so sánh với phiên 5b, phiên khơng có đặc trưng đa phân giải, phiên 3b đạt kết vượt trội cách rõ rệt với khoảng cách tập test CROHME 2014 2016 9.45 11.68 điểm ExpRate Như với việc sử dụng cơng trình WAP[13] làm tảng kết hợp ý tưởng đề xuất ta nhận thấy phiên tốt phiên sử dụng đặc trưng đa phân Một chương trình khung cho toán nhận dạng biểu thức toán học Trang 27/39 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính giải có mức độ kết hợp cao nhất, 3b Phiên MultiScale WAP + IF 5b+4d MultiScale WAP + IF 5b+3b MultiScale WAP + IF 4d+3b 2019 59.43 62.33 62.83 2014 30.89 34.76 38.41 2016 30.95 38.53 39.49 Bảng 8: Kết đánh giá phiên phương pháp đề xuất cải tiến MultiScale WAP[14] Tương tự Bảng [7], Bảng [8] trình bày kết đánh giá đề xuất cải tiến dựa tảng MultiScale WAP[14] qua tập liệu: valid CROHME 2019 cột "2019", test CROHME 2014 CROHME 2016 cột "2014" "2016" Ta quan sát tượng tương tự, với việc sử dụng đặc trưng phân giải với mức kết hợp toàn cục cục cao ta thu kết đánh giá điểm cao Ở đặc trưng 3b có vai trị lớn, đóng góp nhiều thơng tin hỗ trợ mơ hình hoạt động tốt Điều thể qua việc từ phiên 5b+4d cải tiến thay đặc trưng 4d 3b, tạo phiên 5b+4d, ta thu cải thiện đáng kể với tập valid CROHME 2019 tăng 2.9 3.87, 7.58 tập test CROHME 2014 2016 cải thiện điểm số không mạnh mẽ ta thay đặc trưng 5b 4d, phiên 4d+3b, với khoảng cách điểm 0.5, 3.65 0.96, ngoại trừ cải thiện tập CROHME 2014 tập liệu lại cải thiện chưa thật đáng ý Như việc thay đổi mức kết hợp để tạo đặc trưng đa phân giải cho thấy cải thiện điểm đánh giá sử dụng tảng kiến trúc MultiScale WAP[14] phiên 4d+3b phiên mạnh đề xuất Mơ hình WAP + IF 3b MultiScale WAP + IF 4d+3b 2019 61.63 62.83 2014 34.35 38.41 2016 37.14 39.49 Bảng 9: Kết đánh giá phương pháp đề xuất cải tiến dựa WAP[13] so với MultiScale WAP[14] tập liệu valid CROHME 2019, tập test CROHME 2014 CROHME 2016 Bảng [9] so sánh phiên tốt phương pháp đề xuất dựa cải tiến cơng trình tham khảo WAP[13] MultiScale WAP[14] Qua ta thấy việc thay đổi kiến trúc tảng từ WAP[13] sang MultiScale WAP[14] tạo nên cải thiện mặt điểm số tập liệu CROHME 2019 (valid), 2014 2016 1.2, 4.06 2.35 khoảng cách khơng cịn lớn so sánh cơng trình gốc trình bày Mục 4.1 Từ thí nghiệm ta rút nhận xét với việc tăng mức độ kết hợp cục toàn cục việc tạo đặc trưng đa phân giải, ta thu mơ hình đạt kết cải thiện rõ rệt Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 28/39 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính 4.3 So sánh với cơng trình tham khảo Ở Mục 4.2 vừa trình bày, ta thực so sánh việc thay đổi cấu hình phương pháp đề xuất, tạo thành nhiều phiên khác nhau, nhằm cải tiến WAP[13] MultiScale WAP[14].Trong Mục 4.3 ta đặt phương pháp đề xuất ngữ cảnh so sánh với cơng trình tham khảo tái lập lại Việc so sánh thực dựa đánh giá điểm ExpRate tập valid CROHME 2019 tập liệu test CROHME 2014 CROHME 2016 Mơ hình WAP WAP+IF 3b CROHME 2019 53.93 61.63 CROHME 2014 20.83 34.35 CROHME 2016 20.58 37.14 Bảng 10: So sánh phương pháp đề xuất cải tiến cơng trình gốc WAP[14] Bảng [10] so sánh phương pháp đề xuất cải tiến kiến trúc WAP[13] với công trình gốc So với cơng trình gốc, mơ hình phương pháp đề xuất cho thấy kết đánh giá tốt tập liệu đánh giá CROHME 2019, 2014, 2016 7.7, 13.52 16.56 đáng ý tập test mức tăng đáng kể lên đến 10 điểm ExpRate Từ ta thấy với việc giới thiệu ứng dụng đặc trưng đa phân giải giúp cải thiện hiệu mơ hình cách rõ rệt đáng kể Mơ hình MultiScale WAP MultiScale WAP + IF 4d+3b 2019 65.73 62.83 2014 41.36 38.41 2016 41.76 39.49 Bảng 11: So sánh phương pháp đề xuất cải tiến cơng trình gốc MultiScale WAP[14] Kết so sánh cơng trình MultiScale WAP[14] phiên ứng dụng đặc trưng đa phân giải thể Bảng [11] Phương pháp đề xuất không đạt cải tiến quan sát ứng dụng vào cơng trình WAP[13] trình bày đoạn trước, với kết phương pháp đề xuất thấp cơng trình MultiScale WAP tập liệu CROHME 2019, CROHME 2014 CROHME 2016 2.9, 2.95 2.27 Qua ta thấy cách tiếp cận việc sử dụng lớp chế tập trung18 giải tốn kí tự nhỏ cách hiệu tạo tiền đề để tận dụng khả rút trích đặc trưng mạnh mẽ kiến trúc mạng DenseNet[7] để hỗ trợ giải toán nhận dạng biểu thức toán học viết tay tốt Có thể thấy được, phương pháp nhắm đến giải vấn đề kích thước kí tự biểu thức đa dạng nhiều độ phân giải khác kết hợp với ta khơng thu kết vượt trội mong đợi Như vậy, thể cải thiện vượt bậc ứng dụng vào công trình WAP[13] so sánh với cơng trình tham khảo tốt nhất19 , ứng dụng đặc trưng đa 18 19 Thuật ngữ tiếng Anh: Attention Layer Thuật ngữ tiếng Anh: State-of-the-art Một chương trình khung cho toán nhận dạng biểu thức toán học Trang 29/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , phân giải vào MultiScale WAP[14], phương pháp đề xuất chưa thể tạo đột phá mức độ hiệu Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 30/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính Chương , Tổng kết Kết luận Trong luận văn này, thực tái lập số cơng trình tham khảo WAP[13] MultiScale WAP[14] Qua thực nghiên cứu chuyên sâu cơng trình Bên cạnh đó, tơi đề xuất chương trình khung dùng để thí nghiệm đánh giá cơng trình cách công khách quan bên cạnh đề xuất khác phương pháp kết hợp đặc trưng đa phân giải vào kiến trúc tảng kể Đánh giá ưu, nhược điểm Thông qua việc thực luận văn này, tơi nhận thấy ưu điểm đạt số nhược điểm cần cải thiện 2.1 Ưu điểm • Đề xuất chương trình khung đánh giá cơng trình tham khảo ý tưởng đề xuất cách cơng khách quan • Hiện thực hóa tái lập cơng trình tham khảo WAP[13] MultiScale WAP[14] Tuy không đạt kết báo gốc công bố luận văn đưa nhận xét nghiên cứu nguyên • Đề xuất ý tưởng phương pháp kết hợp đặc trưng đa phân giải với việc sử dụng WAP MultiScale WAP Qua thực nghiệm ta thu kết cải thiện rõ rệt mặt điểm số ExpRate tập liệu đánh giá ứng dụng phương pháp đề xuất để cải tiến mơ hình tảng WAP 2.2 Nhược điểm • Việc tái lập lại cơng trình tham khảo chưa đạt kết ngang tầm với công bố báo gốc • Tuy đạt kết khả quan cải tiến WAP với phiên cải tiến MultiScale WAP khơng có kết tương tự Hướng phát triển tương lai Dựa ưu nhược điểm nêu trên, đề số ý tưởng, hướng tiếp cận theo đuổi tương lai • Thay kiến trúc tảng khối rút trích đặc trưng đa phân giải kiến trúc khác mạnh mẽ hơn, thay cho InceptionNet Một chương trình khung cho toán nhận dạng biểu thức toán học Trang 31/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , • Tìm kiếm, nghiên cứu thử nghiệm phương pháp tảng khác thay cho mạng nơ-ron hồi quy cách mảng nghiên cứu ngôn ngữ tự nhiên làm với kiến trúc Transformer[11] • Kết hợp hướng tiếp cận liệu đồng thời với hướng tiếp cận kiến trúc mơ hình để giải tốn nhận dạng biểu thức tốn học • Ứng dụng kỹ thuật chế tập trung Tự tập trung20 [11] Tập trung đa đầu21 [11] 20 21 Thuật ngữ tiếng Anh: Self-Attention Thuật ngữ tiếng Anh: Multi-head Attention Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 32/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Kết lời Trong q trình thực luận văn, học thêm nhiều kiến thức mới, hiểu thêm khó khăn việc nghiên cứu, thử nghiệm phương pháp xây dựng hệ thống huấn luyện đánh giá phương pháp Những kiến thức hành trang cho đường tới Để thay cho lời kết, tôi, xin cảm ơn quý thầy cô trường Đại học Bách Khoa Thành phố Hồ Chí Minh, đặc biệt Tiến sĩ Lê Thành Sách, người đồng hành dẫn dắt qua giai đoạn luận văn để đến đích điểm hồn thành hôm Xin chân thành cảm ơn Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 33/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Tài liệu tham khảo [1] Y LeCun, B Boser, J S Denker, et al., “Backpropagation Applied to Handwritten Zip Code Recognition,” Neural Computation, vol 1, no 4, pp 541–551, Dec 1989 [Online] Available: https://doi.org/10.1162/neco.1989.1.4.541 [Accessed Aug 23, 2022] [2] A Krizhevsky, I Sutskever, and G E Hinton, “ImageNet classification with deep convolutional neural networks,” presented at the Proceedings of Advances in Neural Information Processing Systems 25: 26th Annual Conference on Neural Information Processing Systems, NIPS 2012, Lake Tahoe, Nevada, United States, Dec 3–6, 2012, P L Bartlett, F C N Pereira, C J C Burges, L Bottou, and K Q Weinberger, Eds., 2012, pp 1106–1114 [Online] Available: https://proceedings.neurips cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html [Accessed Aug 23, 2022] [3] K Simonyan and A Zisserman, “Very deep convolutional networks for large-scale image recognition,” presented at the Proceedings of 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7–9, 2015, Y Bengio and Y LeCun, Eds., 2015 [Online] Available: http://arxiv.org/abs/ 1409.1556 [Accessed Aug 23, 2022] [4] C Szegedy, W Liu, Y Jia, et al., “Going deeper with convolutions,” presented at the IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, Jun 7–12, 2015, IEEE Computer Society, 2015, pp 1–9 [Online] Available: https : / / doi org / 10 1109 / CVPR 2015 7298594 [Accessed Aug 23, 2022] [5] S Ioffe and C Szegedy, “Batch normalization: Accelerating deep network training by reducing internal covariate shift,” presented at the Proceedings of the 32nd International Conference on Machine Learning, ICML 2015, Lille, France, Jul 6– 11, 2015, F R Bach and D M Blei, Eds., ser JMLR Workshop and Conference Proceedings, vol 37, JMLR.org, 2015, pp 448–456 [Online] Available: http : //proceedings.mlr.press/v37/ioffe15.html [Accessed Aug 23, 2022] [6] K He, X Zhang, S Ren, and J Sun, “Deep residual learning for image recognition,” presented at the 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, Jun 27–30, 2016, IEEE Computer Society, 2016, pp 770–778 [Online] Available: https://doi.org/10.1109/CVPR.2016.90 [Accessed Aug 23, 2022] [7] G Huang, Z Liu, L van der Maaten, and K Q Weinberger, “Densely connected convolutional networks,” presented at the 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, Honolulu, HI, USA, Jul 21–26, 2017, IEEE Computer Society, 2017, pp 2261–2269 [Online] Available: https://doi org/10.1109/CVPR.2017.243 [Accessed Aug 23, 2022] Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 34/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , [8] O Ronneberger, P Fischer, and T Brox, “U-Net: Convolutional networks for biomedical image segmentation,” presented at the Proceedings of Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015 - 18th International Conference, Munich, Germany, Oct 5–9, 2015, N Navab, J Hornegger, W M W III, and A F Frangi, Eds., ser Lecture Notes in Computer Science, vol 9351, Springer, 2015, pp 234–241 [Online] Available: https://doi.org/10.1007/978-3-31924574-4_28 [Accessed Aug 23, 2022] [9] T Lin, P Dollár, R B Girshick, K He, B Hariharan, and S J Belongie, “Feature pyramid networks for object detection,” presented at the 2017 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, Honolulu, HI, USA, Jul 21– 26, 2017, IEEE Computer Society, 2017, pp 936–944 [Online] Available: https: //doi.org/10.1109/CVPR.2017.106 [Accessed Aug 23, 2022] [10] C Tang, L Sheng, Z Zhang, and X Hu, “Improving pedestrian attribute recognition with weakly-supervised multi-scale attribute-specific localization,” presented at the 2019 IEEE/CVF International Conference on Computer Vision, ICCV 2019, Seoul, Korea (South), Oct 27–Nov 2, 2019, IEEE, 2019, pp 4996–5005 [Online] Available: https://doi.org/10.1109/ICCV.2019.00510 [Accessed Aug 23, 2022] [11] A Vaswani, N Shazeer, N Parmar, et al., “Attention is all you need,” presented at the Advances in Neural Information Processing Systems 30: Annual Conference on Neural Information Processing Systems 2017, Long Beach, CA, USA, Dec 4– 9, 2017, I Guyon, U von Luxburg, S Bengio, et al., Eds., 2017, pp 5998– 6008 [Online] Available: https://proceedings.neurips.cc/paper/2017/hash/ 3f5ee243547dee91fbd053c1c4a845aa-Abstract.html [Accessed Aug 23, 2022] [12] D Bahdanau, K Cho, and Y Bengio, “Neural machine translation by jointly learning to align and translate,” presented at the Proceedings of 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7–9, 2015, Y Bengio and Y LeCun, Eds., 2015 [Online] Available: http://arxiv.org/abs/ 1409.0473 [Accessed Aug 23, 2022] [13] J Zhang, J Du, S Zhang, et al., “Watch, attend and parse: An end-to-end neural network based approach to handwritten mathematical expression recognition,” Pattern Recognition, vol 71, pp 196–206, 2017 [Online] Available: https://www sciencedirect.com/science/article/pii/S0031320317302376 [Accessed Aug 23, 2022] [14] J Zhang, J Du, and L Dai, “Multi-scale attention with dense encoder for handwritten mathematical expression recognition,” presented at the 24th International Conference on Pattern Recognition, ICPR 2018, Beijing, China, Aug 20–24, 2018, IEEE Computer Society, 2018, pp 2245–2250 [Online] Available: https://doi org/10.1109/ICPR.2018.8546031 [Accessed Aug 23, 2022] Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 35/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , [15] Z Yan, X Zhang, L Gao, K Yuan, and Z Tang, “ConvMath: A convolutional sequence network for mathematical expression recognition,” presented at the 25th International Conference on Pattern Recognition, ICPR 2020, Virtual Event / Milan, Italy, Jan 10–15, 2021, IEEE, 2020, pp 4566–4572 [Online] Available: https: //doi.org/10.1109/ICPR48806.2021.9412913 [Accessed Aug 23, 2022] [16] K Chan and D Yeung, “Mathematical expression recognition: A survey,” International Journal on Document Analysis and Recognition, vol 3, no 1, pp 3–15, 2000 [Online] Available: https://doi.org/10.1007/PL00013549 [Accessed Aug 23, 2022] [17] H Mouchère, C Viard-Gaudin, R Zanibbi, U Garain, and D H Kim, “ICDAR 2013 CROHME: third international competition on recognition of online handwritten mathematical expressions,” presented at the 12th International Conference on Document Analysis and Recognition, ICDAR 2013, Washington, DC, USA, Aug 25– 28, 2013, IEEE Computer Society, 2013, pp 1428–1432 [Online] Available: https: //doi.org/10.1109/ICDAR.2013.288 [Accessed Aug 23, 2022] [18] H Mouchère, C Viard-Gaudin, R Zanibbi, and U Garain, “ICFHR 2014 competition on recognition of on-line handwritten mathematical expressions (CROHME 2014),” presented at the 14th International Conference on Frontiers in Handwriting Recognition, ICFHR 2014, Crete, Greece, Sep 1–4, 2014, IEEE Computer Society, 2014, pp 791–796 [Online] Available: https://doi.org/10.1109/ICFHR.2014.138 [Accessed Aug 23, 2022] [19] H Mouchère, C Viard-Gaudin, R Zanibbi, and U Garain, “ICFHR2016 CROHME: competition on recognition of online handwritten mathematical expressions,” presented at the 15th International Conference on Frontiers in Handwriting Recognition, ICFHR 2016, Shenzhen, China, Oct 23–26, 2016, IEEE Computer Society, 2016, pp 607–612 [Online] Available: https://doi.org/10.1109/ICFHR.2016.0116 [Accessed Aug 23, 2022] [20] J Chung, C Gă ul¸cehre, K Cho, and Y Bengio, “Empirical evaluation of gated recurrent neural networks on sequence modeling,” presented at the Advances in Neural Information Processing Systems 27: Annual Conference on Neural Information Processing Systems 2014, Montreal, Quebec, Canada, Dec 12–13, 2014, 2014 [Online] Available: http://arxiv.org/abs/1412.3555 [Accessed Aug 23, 2022] [21] A D Le and M Nakagawa, “Training an end-to-end system for handwritten mathematical expression recognition by generated patterns,” presented at the 14th IAPR International Conference on Document Analysis and Recognition, ICDAR 2017, Kyoto, Japan, Nov 9–15, 2017, IEEE, 2017, pp 1056–1061 [Online] Available: https: //doi.org/10.1109/ICDAR.2017.175 [Accessed Aug 23, 2022] [22] K Bui, Q Nguyen, and T Le, “Handwritten mathematical expression recognition: An approach on data augmentation,” presented at the 15th International Conference on Advanced Computing and Applications, ACOMP 2021, Ho Chi Minh City, Vietnam, Nov 24–26, 2021, L Lê, H Nguyen, T A Phan, M Clavel, and T K Dang, Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 36/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Eds., IEEE, 2021, pp 46–53 [Online] Available: https://doi.org/10.1109/ ACOMP53746.2021.00013 [Accessed Aug 23, 2022] [23] “ICDAR 2019 competition on recognition of handwritten mathematical expressions and typeset formula detection (ICDAR2019-CROHME-TDF),” Rochester Institute of Technology, Mar 2019 [Online] Available: https://www.cs.rit.edu/~crohme2019/ dataANDtools.html [Accessed Jun 01, 2022] [24] “ICDAR 2019 competition on recognition of handwritten mathematical expressions and typeset formula detection compilation,” TC-11 Online Resources, Jan 2020 [Online] Available: https://tc11.cvc.uab.es/datasets/ICDAR2019- CROHMETDF_1 [Accessed Jun 01, 2022] Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 37/39 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính Phụ lục Tập ký tự chuẩn hóa làm nhãn cho liệu CROHME 2019 ! 23 B 45 \cdots 67 \rightarrow 89 j ( 24 C 46 \cos 68 \sigma 90 k ) 25 E 47 \div 69 \sin 91 l + 26 F 48 \exists 70 \sqrt , 27 G 49 \forall 71 \sum - 28 H 50 \frac 72 \tan 29 I 51 \gamma 73 \theta / 30 L 52 \geq 74 \times 31 M 53 \in 75 \{ 10 32 N 54 \infty 76 \} 97 r 11 33 P 55 \int 77 ] 98 s 12 34 R 56 \lambda 78 ^ 99 t 13 35 S 57 \ldots 79 _ 100 u 14 36 T 58 \leq 80 a 15 37 V 59 \lim 81 b 16 38 X 60 \log 82 c 17 39 Y 61 \mu 83 d 18 40 [ 62 \neq 84 e 19 < 41 \Delta 63 \phi 85 f 20 = 42 \alpha 64 \pi 86 g 106 { 21 > 43 \beta 65 \pm 87 h 107 | 22 A 44 \cdot 66 \prime 88 i 108 } Một chương trình khung cho toán nhận dạng biểu thức toán học 92 m 93 n 94 o 95 p 96 q 101 v 102 w 103 x 104 y 105 z Trang 38/39 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính LÝ LỊCH TRÍCH NGANG Họ tên Ngày, tháng, năm sinh: Nơi sinh: Địa liên lạc: Nguyễn Quốc Kim Hoàng 08/11/1996 Tp Hồ Chí Minh 152/69 Lý Chính Thắng, P Võ Thị Sáu, Q.3, Tp Hồ Chí Minh Q trình đào tạo 2014 - 2018 2019 - 2022: Sinh viên Đại Học Bách Khoa TPHCM Học viên cao học Đại Học Bách Khoa TPHCM Q trình cơng tác 2018 - Data scientist Zalo Group Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 39/39 ... từ hình ảnh chứa biểu thức toán Mỗi ảnh chứa biểu thức biểu thức không bị xoay nhiều so với Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 1/39 , Trường Đại Học Bách Khoa Tp.Hồ... loại biểu thức tốn học định nghĩa[22] Một chương trình khung cho toán nhận dạng biểu thức toán học Trang 13/39 , Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính Chương. .. cuối Một chương trình khung cho tốn nhận dạng biểu thức toán học Trang 11/39 Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học Kỹ Thuật Máy Tính , Hình 9: Qui trình biến đổi ảnh biểu thức toán