Ứng dụng deep learning cho mục tiêu điểm danh sinh viên bằng Smartphone

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Đơn vị chủ trì: Trường Đại học Nguyễn Tất Thành BÁO CÁO TỎNG KẾT ĐÈ TÀI NCKH DÀNH CHO CÁN Bộ - GIẢNG VIÊN 2020 Tên đề tài: ÚNG DỤNG DEEP LEARNING CHO MỤC TIÊU ĐIẾM DANH SINH VIÊN BẰNG SMARTPHONE Số hợp đồng: /HĐ-KHCN Chủ nhiệm đề tài: Nguyền Mai Huy Đơn vị công tác: Khoa Công nghệ thông tin - Trường Đại học Nguyền Tất Thành Thời gian thực hiện: tháng TP Hồ Chỉ Minh, ngày 01 tháng 11 năm 2020 Ì1 lf TĨM TẤT KÉT QUẢ NGHIÊN cứu Sản phẩm thực đạt Sản phẩn đăng ký thuyết minh (1) Bộ dừ liệu hình ảnh sinh viên khoa (1) Bộ dừ liệu hình ảnh sinh viên khoa CNTT (KI9) CNTT (KI9) (2) Mơ hình tiên đốn dùng phát (2) Mơ hình tiên đốn dùng phát đối tượng môi trường ảnh chụp đối tượng môi trường ảnh chụp (3) Hội thảo cấp khoa “ứng dụng Computer vision việc điểm danh sinh viên dựa ảnh chụp” (4) Hệ thống phần mềm mô “Điêm danh sinh viên băng Smart phone” lớp học MỤC LỤC CHƯƠNG PHÁT HIỆN ĐỐI TƯỢNG TRONG MÒI TRƯỜNG ẢNH 1.1 Deep Neural Network 1.2 Convolutional Neural Network (CNN) 1.3 Computer vision object detection 1.3.1 Object detection phát đối tượng môi trường ảnh 1.3.2 Phát đối tượng theo thời gian thực 1.3.3 Kiến trúc YOLO v3 12 1.3.4 Computer vision nghiên cứu nước 17 1.4 Mơ hình CNN Object detection giai đoạn 18 1.4.1 Một số điềm kiến trúc CNN 18 1.4.2 Kiến trúc Object detection giai đoạn 27 CHƯƠNG MỊ HÌNH VÀ THUẬT TỐN 37 2.1 Mơ hình huấn luyện 37 2.1.1 Mơ hình dùng cho face detection 37 2.1.2 Kiến trúc mạng huấn luyện cho mục tiêu nhận dạng 42 2.1.3 Các biến dùng cho trình huấn luyện train function 46 2.2 Mơ hình hoạt động toàn hệ thống 48 2.3 ứng dụng web back-layer 50 2.3.1 Điều khiến giao tiếp mobile app web server 52 2.3.2 Chương trình nhận dạng khuôn mặt 54 2.4 ứng dụng điểm danh smart phone 55 CHƯƠNG NỘI DUNG TRIÊN KHAI 57 3.1 Thu thập dừ liệu 57 3.1.1 Chụp ảnh sinh viên 57 3.1.2 Đánh dấu khuôn mặt cho mục tiêu object detection .58 3.1.3 Cắt ảnh khuôn mặt cho mục tiêu face recognition 60 3.2 Chương trình nhận dạng sinh viên dựa ảnh chụp 61 3.2.1 Phát khuôn mặt môi trường ảnh 61 3.2.2 Giao diện ứng dụng chạy android 65 ii DANH MỤC KÝ HIỆU VÀ VIÉT TẤT Chữ viết tắt Ỷ nghĩa ANN Artificial Neural Network BBox Bounding Box Bi-FPN Bi-directional Feature Pyramid Network BoF Bag of freebies BoS Bag of specials CIoU Complete Intersection over Union CNN Convolutional Neural Network DNN Deep Neural Network DPM Deformable Part-based Model FAIR Fundamental And Applied IT Research FPN Feature Paramyd Network GIoU Generalized Intersection over Union IOƯ Intersection Over Union ML Marchine Learning NLP Natural Language Processing NMS Non-Maximum Suppression PANet Path Aggregation Network R-CNN Region-based Convolutional Neural Network SFAM Scale-wise Feature Aggregation Module SSD Single Shot Multi Box Detector SVM Supported Vector Machine YOLO You Only Look Once iii DANH MỤC HÌNH ẢNH VÀ ĐỊ THỊ Hinh 1 Minh họa Non-deep Deep neural network .4 Hĩnh Minh họa trình convolution Hinh 3: ứng dụng chiến lược tìm kiếm chọn lọc dựa liệu1'1 Hình 4: Kết Mask R-CNN liệu coco,ResNet-101-FPNt14] Hinh 1.5: Mơ hình phát đối tượng YOLO dựa trên3 bước Hình 6: Chia lưới đánh giá hệ số tín nhiệm de choraket YOLO .9 Hình 1.7: Mơ tả chế hoạt động cùa YOLO v3 13 Hình 8: Mơ hình kiến trúc cùa YOLO v3 14 Hinh 9: Hình mơ tả cách tính Predict box YOLO 15 Hình 10: Cách tính X|, yi dựa vào thuộc tính cùa Predict box 16 Hinh 1.11: Minh họa trình trượt filter de convolution 19 Hinh 12: Minh họa kết convolution cùa layer 20 Hinh 1.13: Convolution với nhiều filter 21 Hình 1.14: Minh họa kích thước cùa ảnh gốc lọc 21 Hinh 1.15: Mơ tả tích chập vùng để tạo dot product 22 Hinh 1.16: Convolved feature 22 Hinh 1.17: Activation map tạo sau trình convolution 23 Hinh 1.18: Minh họa max-pool đe tạo thành pooling layer 24 Hình 1.19: down sampling 24 Hinh 20: fully connected layer 25 Hinh 1.21: Mơ hình hoạt động cùa Object detection giai đoạn 27 Hinh 22: FPN dùng cho Object Detection 28 Hình 23: Ápdụng mơ hình FPN để xác định kích thước khác cùa đối tượng 29 Hình 24: Ket họp Backbone, Neck Head phát đoi tượng 30 Hình 25Áp dụng BoF làm biển dạng ảnh gốc cùa đối tượngí'^ 31 Hình 26: Áp dụng BoF theo cách xóa ngẫu nhiên vùng ânh gốc [I91 31 Hình 27: Ápdụng BoF dựa kỳ thuật DropBlock đe loại bỏ nhiễu ânhgốc[|9l 32 Hình 28: Hình minh họa cho thấy sừ dụng CIoU cho chất lượng tốt GIoU 33 Hình 29: Hình minh học việc áp dụng SPP block YOLO 34 Hinh 30: spatial Attention Module sữ dụng YOLO 34 Hinh 1.31: Module SAM sữa đổi để sử dụng YOLO v4 [19] 35 Hĩnh 32: Đồ thị tính Mish YOLO v3 35 iv Hình 1: Minh họa nội dung tập tin dùng cho train valid 39 Hình 2: Quy định che độ Training hay Detect cho DarkNet 39 Hình 3: Mơ hình mạng huấn luyện dùng đề tài 43 Hình 4: Minh họa mơ hình hệ thống với mức Front-layer Back-layer 49 Hình 5: Luồng xữ lý liệu Mobile app Web server 50 Hình 6: Lưu đồ xữ lý yêu cầu điềm danh back-server 51 Hình 7: Lưu đo yêu cầu cung cấp kết xử lý cho front-layer dựa token 52 Hình 8: cấu trúc SortedList kiểm sốt giao tiếp [back-layer::front-layer] 53 Hình 9: Lưu đồ xừ lý cùa chương trình điểm danh sinh viên dựa vào khn mặt 54 Hình 10: Lưu đo gữi hình cho back-layer yêu cầu điểm danh 55 Hình 2.11: Lưu đồ mơ tả hoạt động Mobile app 56 Hinh 1: Ảnh sinh viên lấy mầu dựa vào Android app 57 Hình 2: Hình minh họa đánh dấu khn mặt Sinh viên: Trần Lâm Như 58 Hinh 3: Hình minh họa đánh dấu khn mặt Sinh viên: Trần Thành Đạt 58 Hinh 4: Hình minh họa đánh dấu khn mặt Sinh viên: Trương Huệ Mần 59 Hình 5: Hình minh họa đánh dấu khn mặt Sinh viên: Mai Anh Quyết 59 Hình 6: Thư mục chứa hình đánh dấu sinh viên Đin Văn Pháp 59 Hình 7: Nội dung tập tin liệu chứa thông số đánh dấu khn mặt 60 Hình 8: Khn mặt cắt từ ảnh gốc cùa sinh viên: Nguyền Anh Tuấn 60 Hình 9: Khn mặt cắt từ ành gốc cùa sinh viên: Nguyền ThịThu Hiền 61 Hinh 10: Hình chụp lớp 19DTH1B tập trung bục giảng .62 Hinh 11: Phát khuôn mặt ành chụp lớp 19DTH1B 62 Hình 12: Khn mặt xác định dựa ảnh gốc 19DTH1B 62 Hĩnh 13: Hình chụp sinh viên lóp 19DTH2D 63 Hình 14: Phát khuôn mặt ành chụp cùa sinh viên 19DTH2D 63 Hình 15: Khn mặt xác định dựa ảnh gốc 19DTH2D 64 Hinh 16: Kết điểm danh sinh viên 19DTH1B 64 Hinh 17: Kết điểm danh sinh viên 19DTH2D 64 Hình 18: Giao diện chức đãng nhập android app 65 Hình 19: Chức liệt kê danh sách lóp học kỳ 66 Hình 20: Giao diện chức chụp hình điểm danh lớp chọn 67 Hình 21: Chức hiển thị danh sách học - vang mặt sau điểm danh 68 Hinh 22: Chức cho phép điểm danh bổ sung sinh viên 69 Hinh 23: Chức nâng cho phép xem thông tin ve lịch sứ điểm danh lóp 70 Hình 24: Wire frame mơ tà cho trình tự thực giao diện 71 V DANH MỤC BẢNG BIÉU vi MỞ ĐÀU Tính khoa học cấp thiết đề tài Deep learning, hướng nghiên cứu lĩnh vực học máy nhằm triển khai thuật toán dựa ý tưởng từ não người qua việc thu nhận tri thức thông qua nhiều tầng biểu đạt Hướng nghiên cứu này, đóng góp khơng nhỏ vào q trình thúc đẩy tiến lĩnh vực như: thị giác máy tính, xử lý ngơn ngữ tự nhiên, nhận diện giọng nói, chẩn đốn y khoa, Computer vision lĩnh vực phát triển nhanh chóng đạt thành tựu đáng kể, thành tựu phần lớn đến từ việc áp dụng cải tiến, điều chỉnh phát triển mơ hình huấn luyện kỳ thuật Deep Leaming[2][6][7][|3][15l Một hướng nghiên cứu computer vision đạt tiến lớn object detection, ứng dụng hướng nghiên cứu có ý nghĩa quan trọng xã hội, sử dụng nhiều ứng dụng thục tế như: robotics, an ninh (nhận dạng, theo dõi), thiết bị thông minh (smart phone, tablet), vận chuyến (xe tự hành, giao hàng tự động), tương tác người - máy, Với nhừng thành tựu lình vực Deep learning nay, việc ứng dụng mơ hình tiên tiến cho việc triển khai sản phẩm cụ thể, phục vụ cho mơi trường thực tế hồn tồn khả thi Việc điểm danh sinh viên theo cách truyền thống dần đến tốn chi phí thời gian, cơng sức lớn buổi học giảng đường Điều khơng có lợi cho q trình học tập sinh viên, cho công tác giảng dạy cùa giảng viên lớp học, đội ngũ hồ trợ có liên quan mơi trường đại học Mục tiêu đề tài Mục tiêu đe tài nghiên cứu ứng dụng, thông qua việc đề xuất “Ớhg dụng kỹ thuật Deep learning cho việc điểm danh sinh viên lớp học” phương pháp cụ thể, từ thực bước cho việc phát triển hệ thống hoàn chỉnh phục vụ cho công tác hồ trợ đào tạo giảng dạy môi trường đại học Các phần việc cần thực đề tài bao gồm: - Thứ nhất, xây dựng tập dừ liệu hình ảnh sinh viên KI 9, khoa công nghệ thông tin, phục vụ cho huấn luyện - Th ứ hai, tìm hiếu lựa chọn mơ hình sử dụng cho mục tiêu Object Detection môi trường ảnh để nhận dạng sinh viên ảnh chụp điểm danh - Thứ ba, chạy mơ hình huấn luyện dựa tập liệu thu thập để xây dựng mơ hình tiên đốn, sử dụng cho chng trình mơ - Thứ tư, cài đặt xây dựng chương trình mơ chạy hệ điều hành Android Phương pháp đối tượng nghiên cứu Tính tốn mềm bao gồm cơng cụ: mạng nơ-ron, lập luận xác suất, tính tốn tiến hóa Mục tiêu tính tốn mềm giải toán xấp xỉ, gần xu hướng mới, cho phép toán cụ thể khai thác với mục tiêu cho hệ thống dễ thiết kế, chi phí thấp vần đảm bảo tính đắn thơng minh trình thực với ngưỡng sai số chấp nhận Các ứng dụng thành cơng tính tốn mềm cho thấy tính tốn mềm ngày phát triển mạnh đóng vai trị quan trọng lình vực khác khoa học kỳ thuật Bên cạnh đó, với ưu điếm cập nhật tri thức thơng qua trình huấn luyện nên mạng nơ-ron áp dụng đế phục vụ cho mục tiêu phát nhận dạng đối tượng, lĩnh vực Deep learning Phương pháp nghiên cứu đề tài kết hợp chặt chẽ nghiên cứu lý thuyết với cài đặt mô kiểm chứng nghiên cứu lý thuyết: Chủ yếu tìm hiểu mơ hình Object Detect, kết cơng trình nghiên cứu liên quan đến nội dung đề tài, tiến hành lựa chọn mơ hình phù hợp với mục tiêu đề tài Đồng thời, tìm hiểu cơng cụ sử dụng nhằm khắc phục hạn chế, đề xuất mơ hình hiệu việc phát đối tượng ảnh (chụp bang smart phone) cài đặt mô phỏng: Các giải pháp ứng dụng cùa đề tài cài đặt, thực nghiệm mơi trường máy tính thiết bị di động tảng android, với yếu to ảnh hưởng đen độ xác nhận dạng, như: ánh sáng, góc nhìn, kích thước, độ phân giải, số lượng đối tượng ảnh Ket mô đánh giá dựa Hinh 13: Hình chụp sinh viên lớp 19DTH2D Hình 14: Phát khuôn mặt ảnh chụp cùa sinh viên 19DTH2D 63 19DTH2Dface.1J 19OTH2Dface_2J 19DTH2Dface_3.J 19DTH20face_4.j 19DTH2Dface_5.j 19DTH2Dfa«_6.j 19DTH2Dface_7.j 19DTH2Dface_aj 19DTH2Dface.9.j 19DTH2Dface.1O 19DTH2Dfacc_H pg pg pg pg pg pg pg pg pg |pg Jpg 19DTH2Dface.12 jpg 19DTH2Dface.18 19DTH2Dface_19 19DTH2Dface_20 19DTH2Dface.21 19DTH2Dface.22 jpg jpg jpg jpg jpg Hinh 15: Khuôn mặt xác định dựa ảnh gốc 19DTH2D Hĩnh 16: Kết điểm danh sinh viên 19DTH1B Hĩnh 17: Kết điểm danh sinh viên 19DTH2D 64 3.2.2 Giao diện ứng dụng chạy android Như mơ tả mục 2.4 chương 2, chương trình điểm danh sinh viên phát triển, hoạt động tảng android, với đối tượng sừ dụng giảng viên Đe sử dụng ứng dụng này, giảng viên cần đăng nhập trước sử dụng gọi thi hành chức chương trình Sau giao diện số chức xây dựng chạy thử nghiệm trình thực đề tài Email: huynm@ntt.edu.vn Password: ĐĂNG NHẬP Hĩnh 18: Giao diện chức đăng nhập android app 65 Sau đăng nhập thành công, giảng viên huyển đến giao diện chức hiển thị danh sách lớp học phần có thời khóa biếu giảng dạy giảng viên học kỳ [010100161202] - Thiết ké web -19DTH1B [010100161202]-Thiet kê web-19DTH1B Lớp:19DTH1B Đợt năm 2020 Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phân m’êm Đã điếm danh lúc 11-01-2021 08:19 [0101070089] - Hệ quản trị sở liệu - 19DTH1D [0101070089] -Hệ quán trị sở liệu -19DTH1D Lớp:19DTH1D Đợt nãm 2019 Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phân m'êm Đã điếm danh lúc 11 -01 -2021 08:19 KB [0101073128] - Chuyên đẻ.NET - 18DTH1D [0101073128] - Chuyên đẽ.NET - 18DTH1D Lớp:18DTH1D Đợt năm 2019 Ngành: Công nghệ thông tin Chuyên ngành: Kỹ thuật phân mềm L°j Điếm danh Lịch sử O cS Lịch dạy Cá nhân Hình 19: Chức liệt kê danh sách lớp học kỳ Đe tiến hành điểm danh, giảng viên cần chọn lóp có danh sách nhấn chọn nút “Điếm danh” góc dưới, bên trái thuộc giao giao diện (Hình 3.19) 66 Giao diện chụp hình, sè kích hoạt mơ tả hình 3.20, lúc người dùng tiến hành thao tác chụp hình giống chức chụp hình thơng thường có smart phone để chụp ảnh toàn sinh viên lớp Hĩnh 20: Giao diện chức chụp hình điểm danh lớp chọn Trong trường hợp đặc biệt, vị trí khơng gian chụp dẫn đến khung hình khơng thể chụp tồn sinh viên có mặt lớp học Có 67 thể chụp nhiều hình, mồi hình nhóm sinh viên chí sinh viên đe gửi cho ứng dụng đặt Back-layer xử lý Kết xử lý phản hồi từ ứng dụng phía Back-layer thể danh sách sinh viên có mặt (nhận dạng ảnh chụp), sinh viên nghỉ học (Hình 3.21) 20:26 B @ í? A ũ 99% [010100161202] - Thiết kê' web -19DT I TƠNG QUAN VẮNG CĨ HỌC Lê Văn Tiến Phan Anh Bảo 1900007382 1900006504 Ngơ Quốc Trí Giáp Duy Bình 1900006302 1911549359 Đỗ Hữu Trọng Hứa Đạt 1900005972 1900009468 Trần Thanh Trọng Lê Văn Đen 1900006898 1900007344 Trương Ngọc Tú Nguyền Đức Đò 1900006633 1900006506 Vũ Anh Tú Nguyền Tiến Đòng 1900006292 1900006508 Nguyền Minh Tuấn Nguyên Thanh Dũng 1900007199 1911547668 Trần Hoàng Thế Vinh Trương Phúc Dũng^c 1900006088 1911547734 Lê Trọng Vũ Nguyên Khánh Duy Hình 21: Chức hiên thị danh sách học - văng mặt sau điểm danh 68 Trong tình đặc biệt, điều kiện ánh sáng, bị che khuất so với hướng chụp ống kính, dần đến sinh viên có học, phần xử lý phía Back-layer khơng xác định cho kết thiếu thơng tin sinh viên có học Giảng viên tiến hành chụp bổ sung cách chọn tên sinh viên thuộc diện này, xác nhận hình chụp thơng qua giao diện hình 3.22 20:26 B (?) © (S) 46 A ũ 99% [010100161202] - Thiết kê' web -19DT Hình 22: Chức cho phép điểm danh bổ sung sinh viên 69 Chức cho phép truy xuất thơng tin lịch sử điểm danh lóp học phần thể tích cực cho hoạt động theo dõi ý thức học tập sinh viên 20:20 B © (?) 'O' A ũ 99% [010100161202] - Thiết kế web -19DT TỊNG QUAN IvẮNG có HỌC Phan Anh Bảo 1900006504 Giáp Duy Bình 1911549359 Hứa Đạt 1900009468 Lê Văn Đen 1900007344 Nguyên Đức Đô 1900006506 Nguyên Tiến Đông 1900006508 Nguyên Thanh Dũng 1911547668 Trương Phúc Dũng 1911547734 Nguyễn Khánh Duy ■ — o - Hình 23: Chức cho phép xem thông tin vê lịch sử diêm danh lóp Các tính liên quan đến lịch sử điềm danh hồ trợ hiệu cho nhà trường cho hoạt động nhằm đảm bảo chất lượng đào tạo công tác chăm sóc sinh viên, mục tiêu bao gom: 70 - Mô tả tỷ lệ học sinh học, vắng thông qua đồ thị dạng Pie - Danh sách sinh viên nghỉ học (z7 buổi) - Danh sách sinh viên nghi học nhiều - Danh sách sinh viên không học thỏi điểm - Danh sách sinh viên có ý thức học tập tốt (không nghỉ buổi nào) Do giới hạn thời gian thực mục tiêu đề tài, chức phần lớn chưa hoàn thiện, nhiên thực chức đề tài chuyến sang giai đoạn triển khai dự án xây dựng thành sản phâm để sử dụng thực tế đại học Nguyễn Tất Thành, Hĩnh 24: Wire frame mơ tả cho trình tự thực giao diện 71 KÉT LUẬN VÀ ĐÈ XUẤT • Kết luận đề tài ứng dụng khoa học công nghệ để tạo sản phẩm thiết thực, phục cho sống nói chung mơi trường giáo dục nói riêng, nhiệm vụ quan trọng cần thiết Việc áp dụng kết nghiên cứu lình vực thị giác máy tính cho mục tiêu diem danh sinh viên lớp học (giảng đường) bang smart phone đem lại nhiều lợi ích cụ the cho cơng tác đào tạo chăm sóc sinh viên trường đại học Nguyễn Tất Thành Sau thời gian thực hiện, mục tiêu đề tài đà thực đủ theo đăng ký ban đầu với phòng Khoa học công nghệ, ĐH Nguyễn Tất Thành, bao gồm công việc: - Xây dựng dừ liệu phục vụ cho nhận dạng khn mặt cho sinh viên khóa 19, khoa Công nghệ thông tin, ĐH Nguyễn Tất Thành - Mơ hình tiên đốn dùng phát đối tượng mơi trường ảnh chụp - Xây dựng mơ hình hoạt động cho mục tiêu điểm danh sinh viên smart phone thông qua phần mềm triển khai mức Front-layer Back-layer - Hội thảo cấp khoa “ứng dụng Computer vision việc điểm danh sinh viên dựa ảnh chụp” Tuy nhiên, suốt thời gian triến khai, có khơng khó khăn trở ngại mà nhóm thực đề tài gặp phải vấn đề khách quan chủ quan: - Khó khăn xây dựng dừ liệu: để chất lượng mơ hình tiên đốn đạt chất lượng tốt, dừ liệu ảnh chụp sinh viên cần phải lấy với số lượng lớn Trong đó, suốt thời gian thực đề tài diễn biến phức tạp cùa đại dịch Covid-19, nửa thời gian thực đề tài, sinh viên đến lớp theo hình thức học online, dần đen việc lấy mầu (chụp hình) lớp khó (hay gần thực hiện) - Vấn đề sai số phát đối tượng ảnh: nhiều vấn đề tác động từ môi trường vấn đề kỳ thuật, dần đen việc phát khuôn 72 mặt ảnh chụp đạt tỷ lệ mong đợi 100% Lý dần đến vấn đề có the liệt kê sau: o Do hướng, góc chụp bấm máy mà khn mặt cùa sinh viên bị che khuất phần, hay tồn (Hình 4.1) o Do ánh sáng mơi trường khoảng cách tiêu cự từ ống kính tới đối tượng, dẫn đen khuôn mặt nhừng vị trí xa so với ống kính khơng xác định thuật tốn (Hình 4.2) o Khi chụp hình sinh viên phịng thực hành, tường có background chứa khn mặt người, chương trình phân tích bị nhầm lẫn với người thật thời điểm tương ứng (Hình 4.3) o Do chất lượng dừ liệu huấn luyện khơng đủ tốt, xảy nhầm lần sinh viên có khn mặt gần tương đồng, chụp khoảng cách xa, thiếu sáng Hình 1: Khuôn mặt sinh viên bị che lấp dần đến detect 73 Hình 2: Ánh sáng, khoảng cách ảnh hưởng tới trình phát đối tượng Hình 3: Nhầm lẫn khn mặt background với người thật Ket đề tài khắng định việc áp dụng computer vision đe hồ trợ cho công tác đào tạo hồn tồn khả thực môi trường thực tế, việc sử dụng smart phone (thiết bị vốn phổ biến đời sổng thời điềm 74 tại) để điểm danh sinh viên lớp học hồn tồn thực Tuy nhiên vần có vấn đề cần xem xét triến khai - Chi phí cho việc xây dựng cập nhật thư viện mầu khuôn măt: việc lấy xử lý mẫu cần phải thực tay (thủ công), hầu hết sinh viên độ tuoi phát triển, khn mặt có the thay đối nhiều sau thời gian không dài (ố tháng — 24 thảng) - Đội ngũ vận hành hệ thống: Hệ thống hoạt động cần phải chia làm mức Back- layer Front-layer, tính tốn đội ngũ nhân cho việc vận hành hệ thống thực tế cần xem xét cách nghiêm túc - Dung lượng lưu trừ: dừ liệu hệ thống ứng dụng chủ yếu hình ảnh, dung lượng lưu trừ đe hồ trợ cho trình hoạt động vấn đề khơng nhỏ hoạt động thực tế - Thiết bị xử lý môi trường mạng: Hầu hết kỳ thuật lĩnh vực học máy đòi hỏi lực vi xử lý mức cao, kỳ thuật liên quan đến xử lý ảnh, việc thiết bị phải hồ trợ kiến trúc tính tốn song song đơn vị xử lý đồ họa, CUDA (Compute Unified Device Architecture NVIDIA phát triển) xem yêu cầu tiên máy chủ phía Back-layer, dừ liệu hình chụp điếm danh thường có dung lượng từ vài megabytes 10 megabytes (tùy theo smart phone) gửi từ lớp học, giảng đường thông qua Front-layer cho máy chủ đặt Back-layer địi hỏi mơi trường wifi sở trường phải có băng thơng đù tốt đe tránh tắc ngẽn cho trình truyền nhận dừ liệu Chii nhiệm đề tài (Ký ghi rõ họ tên) Nguyễn Mai Huy 75 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Nguyền Nhật Duy, Đồ Văn Tiến, Ngơ Đức Thành, Huỳnh Ngọc Tín, Lê Đình Duy, 'Đánh giá phương pháp dựa deep learning cho toán phát logo", Kỷ yeu Hội nghị Quốc gia lần thứ XII ve Nghiên cứu bân ứng dụng Công Nghệ thông tin (FAIR), 2019 [2] Nguyền Thị Duyên, Truơng Xuân Nam, Nguyễn Thanh Tùng, "Một mơ hình học sâu cho phát cảm xúc khuôn mặt", Kỳ yeu Hội nghị Quốc gia lan thứ XII ve Nghiên cứu bàn ứng dụng Công Nghệ thông tin (FAIR), 2019 Tài liệu tiếng Anh [3] J R R Uijlings, K E A van de Sande, T Gevers, A.W.M Smeulders, "Selective Search for Object Recognition" International Journal of Computer Vision, Volume 104 Issue 2, Sep 2013, Pages 154-171 [4] Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathieu, Rob Fergus, Yann LeCun, "OverFeat: Integrated Recognition Localization And Detection Using Convolutional Networks" arXiv preprint arXiv: 1312.6229, 2014 [5] J Yan, z Lei, L Wen, and s z Li The fastest deformable part model for object detection In Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on, pages 2497-2504 IEEE, 2014 5, [6] Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation" In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 580-587, 2014 [7], Ross Girshick, "Fast R-CNN", arXiv preprint arXiv: 1504.08083, 2015 [8] Karen Simonyan, Andrew Zisserman, "Very Deep Convolutional Networks For Large-Scale Image Recognition" arXiv preprint arXiv: 1409.1556, 2015 [9] Tianyi Liu, Shuangsang Fang, Yuehui Zhao, Peng Wang, Jun Zhang (2015), "Implementation of Training Convolutional Neural Networks" arXiv preprint arXiv: arXiv: 1506.01195, 2015 76 [10] Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, “Faster R-CNN: Towards RealTime Object Detection With Region Proposal Networks" arXiv preprint arXiv: 1506.01497, 2015 [11] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng- Yang Fu, Alexander C.Berg, "SSD: Single Shot Multi Box Detector" In European Conference on Computer Vision, pages 21-37, springer, 2016 [12] Joseph Redmon, Santosh Divvala, Ross Girshick, All Farhadi, "You Only Look Once: Unified, Real-Time Object Detection" In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 779-788, 2016 [13] Joseph Redmon, Ali Farhadi, "YOLO9000: Better, Faster, Stronger" In Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on, pages 6517— 6525 IEEE, 2017 [14] Navaneeth Bodla, Bharat Singh, Rama Chellappa, Larry s.Davis, "Soft-NMS — Improving Object Detection With One Line of Code" arXiv preprint arXiv: 1704.04503,2017 [15] Saad ALBAWI , Tareq Abed MOHAMMED, "Understanding of a Convolutional Neural Network" Engineering and Technology (ICET) 2017 International Conference on IEEE, pp 1-6, 2017 [16] Kaiming He, Georgia Gkioxari, Piotr Dollar, Ross Girshick, "Mask R-CNN' arXiv preprint arXiv: 1703.06870,2018 [17] Md Zahangir Alom, Tarek M Taha, Chris Yakopcic, Stefan Westberg, Paheding Sidike, Mst Shamima Nasrin, Brian c Van Essen, Abdul A s Awwal, and Vijayan K Asari, "The History Began From AlexNe -Acomprehensive Survey On Deep Learning Approaches" arXiv preprint arXiv: 1803.01164, 2018 [18] Joseph Redmon, Ali Farhadi, "YOLOv3: An Incremental Improvement" arXiv preprint arXiv: 1804.02767,2018 [19], Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao, "YOLOv4: Optimal Speed and Accuracy of Object Detection", 77 arXiv preprint arXiv:2004.10934, 2020 ... 21: Chức hiển thị danh sách học - vang mặt sau điểm danh 68 Hinh 22: Chức cho phép điểm danh bổ sung sinh viên 69 Hinh 23: Chức nâng cho phép xem thông tin ve lịch sứ điểm danh lóp 70 Hình... khơng có lợi cho trình học tập sinh viên, cho công tác giảng dạy cùa giảng viên lớp học, đội ngũ hồ trợ có liên quan mơi trường đại học Mục tiêu đề tài Mục tiêu đe tài nghiên cứu ứng dụng, thông... chụp (3) Hội thảo cấp khoa ? ?ứng dụng Computer vision việc điểm danh sinh viên dựa ảnh chụp” (4) Hệ thống phần mềm mô “Điêm danh sinh viên băng Smart phone” lớp học MỤC LỤC CHƯƠNG PHÁT HIỆN ĐỐI