Hcmute xây dựng giải pháp nhập điểm tự động cho bài thi trên giấy sử dụng các thuật toán xử lý và nhận dạng ảnh số

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN XÂY DỰNG GIẢI PHÁP NHẬP ĐIỂM TỰ ĐỘNG CHO BÀI THI TRÊN GIẤY SỬ DỤNG CÁC THUẬT TOÁN XỬ LÝ VÀ NHẬN DẠNG ẢNH SỐ S K C 0 9 MÃ SỐ: SV2021 - 133 CHỦ NHIỆM ĐỀ TÀI: LÊ NHẬT TƯỜNG S KC 0 Tp Hồ Chí Minh, tháng 10/2021 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN XÂY DỰNG GIẢI PHÁP NHẬP ĐIỂM TỰ ĐỘNG CHO BÀI THI TRÊN GIẤY SỬ DỤNG CÁC THUẬT TOÁN XỬ LÝ VÀ NHẬN DẠNG ẢNH SỐ SV2021-133 Thuộc nhóm ngành khoa học: Trí tuệ nhân tạo SV thực hiện: Lê Nhật Tường Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: 18110CLST1, ĐT CLC Năm thứ: 4/Số năm đào tạo: Ngành học: Công nghệ thông tin Người hướng dẫn: TS Trần Nhật Quang TP Hồ Chí Minh, 10/2021 Luan van MỤC LỤC DANH MỤC BẢNG BIỂU DANH MỤC HÌNH ẢNH DANH MỤC NHỮNG TỪ VIẾT TẮT THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI TĨM TẮT CƠNG TRÌNH CHƯƠNG 1: TỔNG QUAN VỀ NGHIÊN CỨU 1.1 Lý chọn đề tài 1.2 Mục tiêu đề tài 1.3 Đối tượng phạm vi nghiên cứu 10 1.4 Phương pháp nghiên cứu 10 1.5 Ý nghĩa nghiên cứu 10 1.6 Kết cấu đề tài 11 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ MƠ HÌNH NGHIÊN CỨU 12 2.1 Lý thuyết 12 2.1.1 Xử lý ảnh 12 2.1.2 Thị giác máy tính 14 2.1.3 Object detection 16 2.2 Tổng quan nghiên cứu trước 17 2.2.1 Các nghiên cứu nước 17 2.2.2 Các nghiên cứu nước 18 2.3 Những vấn đề tồn cần tiếp tục nghiên cứu 19 2.4 Phương án giải 19 CHƯƠNG 3: MỤC TIÊU - PHƯƠNG PHÁP NGHIÊN CỨU 21 3.1 Mục tiêu nghiên cứu 21 3.2 Quy trình nghiên cứu 21 3.3 Chuẩn bị liệu 22 3.3.1 Thu thập liệu 22 3.3.2 Chú thích ảnh cơng cụ LabelImg 24 3.3.3 Nghiên cứu liệu 27 3.4 Tìm hiểu thuật tốn, mơ hình nhận dạng ảnh số 29 Luan van 3.4.1 Giới thiệu TensorFlow Object Detection 29 3.4.2 Giới thiệu Single Shot Multibox Detector (SSD) 34 3.4.3 Giới thiệu ResNet50 39 3.5 Training model 44 3.5.1 Thông tin model SSD ResNet50 V1 FPN 640x640 (RetinaNet50) 44 3.5.2 Quá trình training 46 3.5.3 Xử lý kết trả từ model 53 3.6 Xây dựng ứng dụng 53 3.6.1 Giao diện 53 3.6.2 Các chức ứng dụng 54 CHƯƠNG 4: KẾT QUẢ ĐẠT ĐƯỢC 56 4.1 Thông tin model 56 4.1.1 Thông tin model nhận diện mã số sinh viên 57 4.1.2 Thông tin model nhận diện điểm số 60 4.2 Kết thực nghiệm 61 4.2.1 Sử dụng ứng dụng 61 4.2.2 Kết thực tiễn 70 CHƯƠNG 5: KẾT LUẬN, GIẢI PHÁP, KIẾN NGHỊ 74 5.1 Kết luận 74 5.2 Kiến nghị - Giải pháp 75 TÀI LIỆU THAM KHẢO 77 Tiếng Việt 77 Tiếng Anh 77 PHỤ LỤC 78 Video demo ứng dụng 78 Poster đề tài 78 Source code ứng dụng 78 Luan van DANH MỤC BẢNG BIỂU Bảng 3.1 Bảng mô tả thông số kỹ thuật 44 Bảng 3.2 Bảng thống kê số lượng hình ảnh tập train tập test 46 Bảng 3.3 Thống kê số lượng object có tập train test 47 Bảng 3.4 Bảng thống kê số lượng object có tập train test 47 Bảng 4.1 Mô tả thông số bảng liệu 56 Bảng 4.2 Thống kê kết nhận diện hình ảnh mã số sinh viên 57 Bảng 4.3 Kết nhận diện class mã số sinh viên 57 Bảng 4.4 Thống kê kết nhận diện hình ảnh điểm số 60 Bảng 4.5 Kết nhận diện class mã số sinh viên 60 Luan van DANH MỤC HÌNH ẢNH Hình 2.1 Các giai đoạn xử lý ảnh 12 Hình 3.1 Hình quy trình nghiên cứu 22 Hình 3.2 Bài thi bạn sinh viên chuyển đổi thành file ảnh 22 Hình 3.3 Buồng ảnh chuyển liệu giấy sang ảnh 23 Hình 3.4 Phần mã số sinh viên phần điểm số sau cắt theo thuật tốn 23 Hình 3.5 Giao diện ứng dụng Labelmg 24 Hình 3.6 Mở thư mục chứa ảnh cần thích 25 Hình 3.7 Chọn thư mục lưu file xml 25 Hình 3.8 Chú thích hình ảnh mã số sinh viên 26 Hình 3.9 Chú thích hình ảnh mã điểm số 26 Hình 3.10 Biểu đồ phân tích liệu điểm sau thích hình ảnh 27 Hình 3.11 Biểu đồ phân tích liệu mã số sinh viên sau thích hình ảnh 28 Hình 3.12 Thành phần địa hóa đối tượng 30 Hình 3.13 Thành phần phân loại đối tượng 30 Hình 3.14 Không triệt tiêu tối đa 31 Hình 3.15 Mơ hình khác có sẵn Model Zoo Tensorflow 33 Hình 3.16 Cách thức phân chia feature map để nhận diện hình ảnh 34 Hình 3.17 Sơ đồ kiến trúc mạng SSD 35 Hình 3.18 Vị trí default bounding box ảnh gốc áp dụng feature map có kích thước x 38 Hình 3.19 Vanishing Gradient 40 Hình 3.20 Vanishing Gradient Intuition 40 Hình 3.21 Kiến trúc mạng ResNet 41 Hình 3.22 So sánh VGG-19, ResNet- 152 Feedforward Neural Network 42 Hình 3.23 Mơ tả chi tiết kiến trúc mạng nơ ron ResNet 43 Hình 3.24 Model SSD ResNet50 V1 FPN 604x640 44 Hình 3.25 So sánh thơng số SSD ResNet50 V1 FPN 640x640 (RetinaNet50) với SSD MobileNet V2 FPNLite 320x320 46 Hình 3.26 Phát thảo giao diện ứng dụng 54 Hình 3.27 Thiết kế giao diện ứng dụng 54 Hình 4.1 Trường hợp viết mã số sinh viên xuống dòng 59 Luan van Hình 4.2 Trường hợp viết số không rõ ràng 59 Hình 4.3 Trường hợp chữ số nhỏ 60 Hình 4.4 Giao diện ứng dụng khởi tạo 62 Hình 4.5 Cửa sổ chọn hình ảnh để nhận dạng 62 Hình 4.6 Màn hình hiển thị sau chọn ảnh 63 Hình 4.7 Kết trả nhận dạng hình ảnh 64 Hình 4.8 Cửa sổ chọn thư mục để nhận dạng 64 Hình 4.9 Màn hình hiển thị sau chọn thư mục ảnh 65 Hình 4.10 Màn hình hiển thị kết ảnh thư mục nhận dạng 65 Hình 4.11 Màn hình xem chi tiết ảnh “Scan_0002” 66 Hình 4.12 Màn hình chế độ nhận dạng ảnh trực tiếp từ buồng ảnh 67 Hình 4.13 Hiển thị kết nhận dạng nhấn “A” “a” 67 Hình 4.14 Thư mục chứa hình ảnh vừa lưu sau nhận dạng 68 Hình 4.15 Cửa sổ chọn địa đường dẫn xuất file Excel 68 Hình 4.16 Dữ liệu xuất tệp Excel 69 Hình 4.17 Cửa sổ chọn tệp Excel sẵn có 69 Hình 4.18 Điểm nhập vào danh sách có 70 Hình 4.19 Một số hình ảnh mã số sinh viên nhận dạng 71 Hình 4.20 Một số hình ảnh mã số sinh viên nhận dạng sai 71 Hình 4.21 Một số hình ảnh điểm số nhận dạng 72 Hình 4.22 Một số hình ảnh điểm số nhận dạng sai 72 Luan van DANH MỤC NHỮNG TỪ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt MSSV Mã số sinh viên XLA Xử lý ảnh Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: XÂY DỰNG GIẢI PHÁP NHẬP ĐIỂM TỰ ĐỘNG CHO BÀI THI TRÊN GIẤY SỬ DỤNG CÁC THUẬT TOÁN XỬ LÝ VÀ NHẬN DẠNG ẢNH SỐ - Chủ nhiệm đề tài: Lê Nhật Tường - Lớp: 18110CLST1 Mã số SV: 18110234 Khoa: Đào tạo Chất lượng cao - Thành viên đề tài: Họ tên Stt MSSV Lớp Khoa Bùi Thanh Phương 18110179 18110CLST2 Đào tạo Chất lượng cao Phạm Tiến Thạo 18110200 18110CLST1 Đào tạo Chất lượng cao Đinh Bách Thông 18110207 18110CLST1 Đào tạo Chất lượng cao - Người hướng dẫn: TS Trần Nhật Quang Mục tiêu đề tài: Đề tài xây dựng giải pháp nhâ ̣p điể m tự đô ̣ng cho bài thi giấ y bằ ng thuâ ̣t toán xử lý và nhâ ̣n da ̣ng ảnh số để đo ̣c đươc̣ thông tin từ file scan hình ảnh lấy từ buồng ảnh của bài thi chấ m điểm Bên ca ̣nh đó, nhóm hướng đế n viê ̣c tìm hiể u và nghiên cứu, đưa đươc̣ giải pháp công nghê ̣ Deep Learning nhằ m mu ̣c đích ứng du ̣ng chúng vào đời số ng hàng ngày Từ đó xây dựng đươc̣ giải pháp nhâ ̣n diê ̣n sử du ̣ng mo ̣i loa ̣i giấ y thi khác Không những đề xuấ t nhân rô ̣ng giải pháp đế n các ̣ thố ng trường ho ̣c mà còn phát triể n ở các công sở, quan, nhà máy, xí nghiê ̣p nhầ m nâng cao hiê ̣u quản lý Luan van Tính sáng tạo: Vận dụng kiến thức nghiên cứu thuật toán xử lý nhận dạng ảnh số, nhóm nghiên cứu đưa giải pháp nhận dạng nhập điểm tự động cho thi giấy với độ xác cao Ứng dụng góp phần cải thiện quy trình quản lý nhập điểm hệ thống nhà trường nâng cao giá trị thực tiễn, tiết kiệm chi phí Bên cạnh việc nhân rộng cơng nghệ nhận dạng còn manng nhiều ý nghĩa giáo dục lẫn khoa học, công nghệ Kết nghiên cứu: Nghiên cứu ứng dụng thành cơng thuật tốn nhận dạng xử lý ảnh số với công nghệ Deep Learning phần nghiên cứu nhóm Từ xây dựng thành thông model nhận diện chữ số viết tay với độ xác cao Ứng dụng model vào xây dựng thàng công "Ứng dụng nhập điểm cho thi giấy" với chức chính: Nhận diện hình ảnh, nhận điện nhiều hình ảnh thư mục (Các hình ảnh thi scan chụp từ trước); Nhận diện hình ảnh trực tiếp (Hình ảnh truyền từ buồng ảnh kết nối với ứng dụng; Và chức lưu kết nhận dạng vào tệp Excel Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: Viê ̣c ứng du ̣ng công nghê ̣ nhâ ̣n da ̣ng vào quy trình nhâ ̣p điể m và quản lý điể m ta ̣i các ̣ thố ng trường học hiê ̣n là rấ t cần thiết, giúp giảm cơng sức nhập liệu, nâng cao độ cho cơng việc Nghiên cứu ứng du ̣ng nhâ ̣p điể m tự đô ̣ng cho bài thi giấ y mang la ̣i nhiề u giá tri ̣ ứng du ̣ng vào thực tiễn, góp phầ n cải thiê ̣n quy trình từ viê ̣c chấ m bài thi giấ y đế n công tác nhâ ̣p điể m trở nên nhanh chóng, tiế t kiê ̣m thời gian, chi phí chi trả cho nguồ n nhân lực và mang la ̣i nhiề u hiê ̣u quả cao cho công tác giáo du ̣c hiê ̣n Công bố khoa học SV từ kết nghiên cứu đề tài (ghi rõ tên tạp chí có) nhận xét, đánh giá sở áp dụng kết nghiên cứu (nếu có): Luan van 65 Hình 4.9 Màn hình hiển thị sau chọn thư mục ảnh Nguồn: Nhóm nghiên cứu Chọn “Detect All” để nhận dạng tất ảnh có thư mục chọn Lúc thông tin sau nhận dạng hiển thị bảng “List Images” Hình 4.10 Màn hình hiển thị kết ảnh thư mục nhận dạng Nguồn: Nhóm nghiên cứu Luan van 66 Các hình ảnh đánh “x” mục “Need to check” hình ảnh chứa class nhận dạng có score nhỏ mức quy định (Mức quy định nhóm nghiên cứu 0.7) Nhấn chọn ảnh để xem thơng tin chi tiết Hình 4.11 Màn hình xem chi tiết ảnh “Scan_0002” Nguồn: Nhóm nghiên cứu Ở ta thấy class “1” có score 0.58698326 nhỏ 0.7 nên đánh dấu màu đỏ để người dùng dễ quan sát kiểm tra nhanh chóng 4.2.1.3 Nhận diện hình ảnh trực tiếp Chọn chế độ “Realtime” để chuyển sang chế độ nhận dạng trực tiếp Lúc ứng dụng kết nối hiển thị hình ảnh camera buồng ảnh Luan van 67 Hình 4.12 Màn hình chế độ nhận dạng ảnh trực tiếp từ buồng ảnh Nguồn: Nhóm nghiên cứu Khi camera kết nối hình ảnh xem hiển thị “Full Image” Lúc nhấn “A” “a” để nhận dạng hình ảnh Hình ảnh nhận dạng hiển thị “Detect Results”, ảnh vừa chụp thêm vào mục List results Hình 4.13 Hiển thị kết nhận dạng nhấn “A” “a” Nguồn: Nhóm nghiên cứu Luan van 68 Sau nhận dạng hồn tất hình ảnh lưu thư mục bên Hình 4.14 Thư mục chứa hình ảnh vừa lưu sau nhận dạng Nguồn: Nhóm nghiên cứu Nhấn “q” để tắt chế độ nhận diện ảnh trực tuyến Lúc kết nối đến buồng ảnh bị đóng Giao diện trở lại chế độ nhận diện ảnh ban đầu 4.2.1.4 Xuất liệu nhận dạng tệp Excel Nhấn chọn “Save New File” xuất tất kết hình ảnh bảng “List Images” file Excel Sau chọn địa lưu tệp điền tên tệp vào mục “File name” nhấn “Save” để lưu tệp Hình 4.15 Cửa sổ chọn địa đường dẫn xuất file Excel Nguồn: Nhóm nghiên cứu Luan van 69 Sau nhấn “Save” tệp lưu đường dẫn chọn Mở tệp để kiểm tra kết Hình 4.16 Dữ liệu xuất tệp Excel Nguồn: Nhóm nghiên cứu 4.2.1.5 Xuất liệu nhận dạng tệp Excel sẵn có Nhấn chọn “Save To File” xuất tất kết hình ảnh bảng “List Images” file Excel có sẵn Sau chọn tệp cần nhập điểm nhấn “Open” Hình 4.17 Cửa sổ chọn tệp Excel sẵn có Luan van 70 Nguồn: Nhóm nghiên cứu Sau nhấn “Open” sinh viên có mã số sinh viên nhận dạng có danh sách nhập điểm nhập điểm tương ứng Hình 4.18 Điểm nhập vào danh sách có Nguồn: Nhóm nghiên cứu 4.2.2 Kết thực tiễn Sau hồn sản phẩm, nhóm nghiên cứu tiến hành chạy thử nghiệm tất hình ảnh thu thập (bao gồm tập liệu train tập liệu test) đạt kết sau: 4.2.2.1 Kết phần nhận dạng mã số sinh viên Nhóm nghiên cứu tiến hành nhận diện 2340 hình ảnh chứa mã số sinh viên cắt từ kiểm tra thực tế Trong số ảnh nhận dạng 2313/2340 ảnh chiếm tỉ lệ 98.84% Luan van 71 Hình 4.19 Một số hình ảnh mã số sinh viên nhận dạng Nguồn: Nhóm nghiên cứu Số hình ảnh nhận dạng chiếm tỷ lệ cao, tín hiệu tốt cho việc phát triển sản phẩm sau Bên cạnh còn tồn 27/2340 hình ảnh mã số sinh viên nhận diện sai chiếm tỉ lệ 1.15% Số hình ảnh sai chủ yếu từ việc chữ viết chữ số viết cách lộn xộn, viết khích chữ số khơng viết hàng Hình 4.20 Một số hình ảnh mã số sinh viên nhận dạng sai Nguồn: Nhóm nghiên cứu Để khắc phục tình trạng trình triển khai thực tế các coi thi cần lưu ý cho bạn sinh viên cần viết mã số sinh viên cách cẩn thận, không viết số thừa kiểm tra Luan van 72 4.2.2.2 Kết phần nhận dạng điểm số Do ảnh hưởng đại dịch Covid-19 tất thành viên nhóm phải quê sớm nên nhóm nghiên cứu thu thập 764 hình ảnh điểm kiểm tra sinh viên Sau tiến hành nhận diện tập ảnh có 749/764 ảnh nhận diện chiếm tỷ lệ 98.04% Hình 4.21 Một số hình ảnh điểm số nhận dạng Nguồn: Nhóm nghiên cứu Số hình ảnh nhận diện sai 15/764 ảnh chiếm tỷ lệ 1.96% Hình 4.22 Một số hình ảnh điểm số nhận dạng sai Nguồn: Nhóm nghiên cứu Luan van 73 Các lỗi sai nhận diện điểm số điểm số có số chữ số không cố định, dấu “.” điểm số chấm điểm có kích thước khác nên dẫn đến việc khó nhận dạng Bên cạnh còn tồn chữ số nhận diện sai có chi tiết giống Nguyên nhân dẫn đến lỗi hình ảnh phần ích, chênh lệch số cao dẫn đến việc model cho kết mong đợi Để khắc phục vấn đề tương lai nhóm nghiên cứu thu thập chọn lọc nhiều hình ảnh để để thu kết tốt Giúp ứng dụng việc nhập điểm các kỳ thi, kiểm tra khơng đại học mà còn ứng dụng kỳ thi tốt nghiệp trung học phổ thông quốc gia Luan van 74 CHƯƠNG 5: KẾT LUẬN, GIẢI PHÁP, KIẾN NGHỊ 5.1 Kết luận Cùng với sự phát triể n vươṭ bâ ̣t của AI, Machine Learning và Deep Learning, công nghê ̣ nhâ ̣n da ̣ng ngày càng chiế m liñ h xu hướng công nghê ̣ thời đa ̣i Nó đươc̣ xem là mũi tên nho ̣n có thể phá vỡ những rào cản, song với đó lĩnh vực thu hút quan tâm lớn từ cộng đồng nhiều nguồn nhân lực thời gian Nhưng không thể phủ nhận thực lĩnh vực tiêu tốn nhiều chất xám tài nguyên để vận hành, có tổ chức giới dám mạnh tay để phát triển hệ thống Deep Learning nói chung và ̣ thố ng nhâ ̣n da ̣ng nói riêng Sau mô ̣t thời gian nghiên cứu, nhóm đã thành công viê ̣c xây dựng giải pháp ̣ thố ng nhâ ̣p điể m tự đô ̣ng cho bài thi giấ y bằ ng thuâ ̣t toán xử lý và nhâ ̣n da ̣ng ảnh số Viê ̣c ứng du ̣ng nhâ ̣n da ̣ng sẽ là mô ̣t những bước tiế n quan tro ̣ng viê ̣c đơn giản hóa và tố i ưu hóa các quy trình từ da ̣y ho ̣c đế n quản lý của nề n giáo du ̣c hiê ̣n ta ̣i Hơn thế nữa, áp du ̣ng những công nghê ̣ vào giáo du ̣c sẽ góp phầ n nâng cao chấ t lươṇ g giáo du ̣c Bên ca ̣nh đó, giải pháp còn góp phầ n nâng giảm thiể u chi phí chi trả cho các bô ̣ phâ ̣n chuyên môn nhâ ̣p điể m và quản lý điể m ta ̣i các trường ho ̣c Giải pháp nhâ ̣p điể m tự đô ̣ng cho bài thi giấ y bằ ng thuâ ̣t toán xử lý, nhâ ̣n da ̣ng ảnh số không đươc̣ áp du ̣ng sở giáo du ̣c vì sự đơn giản thao tác, nhanh chóng xuấ t điểm mà còn đươc̣ nhân rô ̣ng vào các ̣ thố ng quan, ngân hàng, bưu điê ̣n, nhà máy xí nghiê ̣p để góp phầ n nâng cao hiê ̣u quả kinh tế , đẩ y ma ̣nh áp du ̣ng công nghê ̣ cao vào đời số ng, sản xuấ t Tuy vâ ̣y, quá trình nghiên cứu ̣ thố ng còn gă ̣p mô ̣t số khó khăn nhấ t đinh ̣ Cu ̣ thể là viê ̣c phát triể n mô ̣t ̣ thố ng nhâ ̣n da ̣ng cầ n số lươṇ g lớn các điể m ảnh, viê ̣c gă ̣p trở nga ̣i về diễn biế n phức ta ̣p của dich ̣ bê ̣nh Covid - 19, vì thế số lươṇ g ảnh mà nhóm nghiên cứu thu thâ ̣p đươc̣ còn ít, chấ t lươṇ g cũng sự đồ ng nhấ t của dữ liê ̣u cũng chưa cao, dẫn đế n ̣ thố ng nhâ ̣n da ̣ng với đô ̣ chính xác chưa cao Qua đó, nhóm nghiên cứu sẽ khắ c phu ̣c tình tra ̣ng bằ ng cách thu thâ ̣p, gia tăng số lươṇ g ảnh điể m, giúp cải thiê ̣n đô ̣ chính xác của ̣ thố ng nhâ ̣n da ̣ng ngày càng cao so với kế t quả ban đầ u Luan van 75 5.2 Kiến nghị - Giải pháp Sau thời gian nghiên cứu và áp du ̣ng giải pháp vâ ̣n hành môi trường ̣ điề u hành Windows và kể cả macOS cho kế t quả đa ̣t hiê ̣u suấ t cao và ổ n đinh ̣ Tuy nhiên, sau giai đoa ̣n này, nhóm nghiên cứu muố n hướng đế n tính đa da ̣ng của ứng du ̣ng bằ ng cách mở rô ̣ng khả tùy biế n nhiề u nề n tảng, hỗ trơ ̣ nhiề u tảng khác ứng du ̣ng trực tuyế n web, phát triể n ứng du ̣ng mobile tăng tính tương thích với các ̣ điề u hành khác Bên ca ̣nh đó nhóm sẽ cải tiế n tính tự đô ̣ng của giải pháp nhâ ̣p điể m qua hệ thố ng nhâ ̣n da ̣ng chữ số viế t tay, bằ ng cách tự đô ̣ng hóa quy trình từ bước quét ảnh bài thi đã chấ m cho đế n bước nhâ ̣n da ̣ng điể m số , nhâ ̣n da ̣ng bài làm của ho ̣c sinh, sinh viên đế n bước xuấ t bảng điể m đã đươc̣ nhâ ̣p tự đô ̣ng Nhóm nghiên cứu sẽ xây dựng chúng thành mô ̣t quy trình diễn liên tiế p và tự đô ̣ng chỉ với mô ̣t hoă ̣c vài thao tác đơn giản sẽ thực hiê ̣n đầ y đủ mô ̣t quá trình từ lúc scan bài chấ m đế n xuấ t phiếu điể m, giúp tiế t kiê ̣m thời gian, nhâ ̣p điể m nhanh chóng và có thể truy xuấ t điể m bất kì ho ̣c sinh, sinh viên nào đó Hiê ̣n ta ̣i, ứng du ̣ng nhâ ̣p điể m tự đô ̣ng bằ ng thuâ ̣t toán xử lý và nhâ ̣n da ̣ng ảnh số có chức xuấ t phiế u điể m, nhiên chức này chỉ hỗ trơ ̣ xuấ t phiế u điể m với đinh ̣ da ̣ng xlsx và xlsm (định dạng mặc định tập tin Microsoft Excel), qua còn nhiề u khó khăn quá trình chuyể n đổ i từ đinh ̣ da ̣ng này sang đinh ̣ dạng khác Chính vì lẽ đó, nhóm nghiên cứu sẽ phát triể n chức xuấ t phiế u điể m dưới nhiề u đinh ̣ da ̣ng phổ biế n chẳ ng ̣n doc, docx, pdf và các đinh ̣ da ̣ng khác Mô ̣t những cải tiế n không thể thiế u là cải thiê ̣n đô ̣ chính xác tố c đô ̣ tính toán của thuâ ̣t toán Bên ca ̣nh đó nhóm sẽ nâng cấ p giao diê ̣n người dùng trở nên tiê ̣n ích hơn, tố i ưu hóa quá trình sử du ̣ng và phù hơp̣ với môi trường làm việc Hơn thế nữa, nhóm nghiên cứu muố n mở rô ̣ng về pha ̣m vi hoa ̣t đô ̣ng của giải pháp sang các liñ h vực khác đời số ng ứng du ̣ng công nghê ̣ vào nhâ ̣n da ̣ng chữ viế t, số và chữ số viế t tay của chi phiế u các ̣ thố ng ngân hàng; số đơn hàng, số điê ̣n thoa ̣i, số vâ ̣n đơn đươc̣ viế t tay các ̣ thố ng bưu cu ̣c và mô ̣t số liñ h vực khác Thông qua nghiên cứu chúng ta cũng nhâ ̣n thấ y đươc̣ những mă ̣t nổ i trô ̣i của giải pháp, nhiên tồ n ta ̣i song song đó là những ̣n chế nhấ t đinh, ̣ từ Luan van 76 những ̣n chế đó, nhóm nghiên cứu sẽ làm rõ và tiế n hành cải tiế n, khắ c phu ̣c thông qua các hướng nghiên cứu kế tiế p Luan van 77 TÀI LIỆU THAM KHẢO Tiếng Việt Bài 01 - Thuật Toán Object Detection 18.06.2021, xem 7.9.2021, Hoàng Kiếm, Nguyễn Hồng Sơn, Đào Minh Sơn (2001), “Ứng dụng mạng nowrowrron nhân tạo hệ thống xử lý biểu mẫu tự động”, Kỷ yếu hội nghị kỷ niệm 25 năm thành lập Việt Công nghệ Thông tin, tr 560-567 PGS.TS Nguyễn Quang Hoan, 2006, Xử lý ảnh, Hà Nội, Tìm hiểu chung thị giác máy tính computer vision, xem 07.09.2021, Phạm Đình Khánh, 2019, Bài 13 - Model SSD Object Detection, xem 09.09.2021, Tô Đức Thắng, 2020, Giới Thiệu Mạng Resnet, xem 09.09.2021, Tiếng Anh Bakis, Raimo; Herbst, Noel M.; and Nagy, George "An Experimental Study of Machine Recognition of Hand-printed Numerals", IEEE Trans Systems Science and Cybernetics, Vol SSC-4 No 2, July 1968, pp 119-132 (July 1968) Dimond, Tom L "Experimental device for reading handwritten numbers", Electronic Equipment, Vol No 1, January 1958, pp 6-7 Hussain Mujtaba, 2020, Real-Time Object Detection Using TensorFlow, xem 09.09.2021, Retinanet/Resnet50_v1_fpn_640x640, 09.2021, xem 10.09.2021, TensorFlow Detection Model Zoo, Luan van 05.2021, xem 10.09.2021, 78 PHỤ LỤC Video demo ứng dụng - Link video: https://drive.google.com/drive/folders/1F3Q6fdjH6bU9Wx7lSnO3Lz2EIMMPSx7?usp=sharing Poster đề tài - Link poster: https://drive.google.com/drive/folders/1_uMpmPqJex4JCVTsAKPAyZCiaFGY lIgi?usp=sharing Source code ứng dụng - Link source code: https://drive.google.com/drive/folders/1Yt5TLx_BLkx603iHIyaZstDwD_oCK DMc?usp=sharing Luan van S K L 0 Luan van ... cứu Xây dựng giải pháp, ứng dụng trí tuệ nhân tạo cho việc nhập điểm tự động cho thi thực giấy Đề xuất giải pháp tối ưu để sử dụng loại giấy thi Sử dụng tốt thuật toán xử lý nhận dạng ảnh số để... dụng kiến thức nghiên cứu thuật toán xử lý nhận dạng ảnh số, nhóm nghiên cứu đưa giải pháp nhận dạng nhập điểm tự động cho thi giấy với độ xác cao Ứng dụng góp phần cải thi? ??n quy trình quản lý. .. VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN XÂY DỰNG GIẢI PHÁP NHẬP ĐIỂM TỰ ĐỘNG CHO BÀI THI TRÊN GIẤY SỬ DỤNG CÁC THUẬT TOÁN XỬ LÝ VÀ