2 Hướng tiếp cận nền tảng
2.1 Kiến trúc nền tảng
Với bài toán nhận diện biểu thức viết tay, dữ liệu đầu vào cho mơ hình là ảnh chứa biểu thức toán học, với mỗi ảnh chỉ chứa duy nhất 1 biểu thức. Dữ liệu đầu ra của mơ hình là một chuỗi ký hiệu theo quy chuẩn mã LATEX. Xét Hình [12], với ảnh đầu vào như hình thì dữ liệu đầu ra ta sẽ thu được chuỗi ký hiệu như sau (các ký hiệu cách nhau bởi khoảng trắng):
y ^ { 4 } + y + 1 = 0
Hình 12: Một mẫu ảnh đầu vào cho bài toán với biểu thức y4+y+ 1 = 0 trích xuất từ tập dữliệu CROHME 2019. liệu CROHME 2019.
Kiến trúc được sử dụng để tiếp cận giải quyết bài toán nhận dạng biểu thức toán học viết tay được dựa trên kiến trúc Mã hóa-Giải mã8. Cụ thể là ở mức cao nhất, kiến trúc được chia thành 2 khối chương trình chính, gọi tên lần lượt là Bộ mã hóa9 và Bộ giải mã10.
8Thuật ngữ tiếng Anh: Encode-Decode
9
Thuật ngữ tiếng Anh: Encoder
Bộ mã hóa đảm nhận nhiệm vụ mã hóa và rút trích đặc trưng từ ảnh đầu vào. Do dữ liệu đầu vào thuộc dạng ảnh nên kiến trúc thích hợp nhất để phục vụ việc mã hóa là các mạng học sâu với nền tảng sử dụng các lớp CNN làm chủ đạo. Mạng học sâu rút trích đặc trưng sẽ rút trích đặc trưng từ ảnh đầu vào và tổng hợp thành các bản đồ đặc trưng biểu diễn bằng các tensor 3 chiều C×H′×W′ với Clà số loại đặc trưng rút trích được, cịnH′
và W′ là kích thước bản đồ đặc trưng được rút trích.
Bộ giải mã sẽ sử dụng thơng tin, đặc trưng ảnh được rút trích nhờ bộ mã hóa để thực hiện việc nhận dạng chuỗi kí tự, cơng thức cần dự đốn.
Ở đề tài này, tác giả đã tổng quát hóa việc hiện thực kiến trúc trở thành một chương trình khung, trong đó gồm 2 khối Encoder và Decoder với vai trò tương ứng như đã miêu tả ở trên. Việc tổng quát hóa kiến trung thành chương trình khung giúp việc nghiên cứu, thử nghiệm cải tiến mỗi khối một cách riêng lẻ trở nên thuận tiện và dễ dàng nhờ vào khả năng thay thế phương pháp hiện thực của khối mong muốn và lắp vào chương trình khung để hồn thành kiến trúc mạng.