MÔN CÔNG NGHỆ MỚI TRONG PHÁT TRIỂN ỨNG DỤNG CÔNG NGHỆ THÔNG TIN NHẬN DẠNG ĐEO KHẨU TRANG

NHẬN DẠNG ĐEO KHẨU TRANG BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CƠNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH KHOA CƠNG NGHỆ THÔNG TIN MÔN: CÔNG NGHỆ MỚI TRONG PHÁT TRIỂN ỨNG DỤNG CÔNG NGHỆ THÔNG TIN NHẬN DẠNG ĐEO KHẨU TRANG Sinh viên thực hiện: Lê Đình Hiếu 17030181 Giảng viên hướng dẫn: ThS Trương Văn Thông THÀNH PHỐ HỒ CHÍ MINH, THÁNG 12 NĂM 2021 NHẬN DẠNG ĐEO KHẨU TRANG NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN TP Hồ Chí Minh, ngày… Tháng … năm… CHỮ KÝ CỦA GIẢNG VIÊN NHẬN DẠNG ĐEO KHẨU TRANG NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN TP Hồ Chí Minh, ngày… Tháng … năm… CHỮ KÝ CỦA GIẢNG VIÊN NHẬN DẠNG ĐEO KHẨU TRANG NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN TP Hồ Chí Minh, ngày… Tháng … năm… CHỮ KÝ CỦA GIẢNG VIÊN NHẬN DẠNG ĐEO KHẨU TRANG MỤC LỤC HÌNH ẢNH Hình 2-1: Q trình trượt theo chiều rộng (W1) Hình 2-2: Đường viền P giúp cửa sổ chập trượt hết giá trị ma trận Hình 2-3: Cách thức làm việc Convolution Hình 2-4: Thiết kế mơ hình CNN Hình 2-5: Cấu trúc khối nơ ron 3D Hình 2-6: Kết nối cục Hình 2-7: Quá trình tổng hợp Hình 2-8: Độ phức tạp mạng tích chập Hình 2-9: Depthwise convolution Hình 2-10: Pointwise Convolution Hình 2-11: Mơ hình mạng MobileNet 11 Hình 2-12: Convolution truyền thống (Trái), Depthwise separable convolution với BN ReLU (Phải) 12 Hình 2-13: So sánh convolution Depthwise Separable Convolution 12 Hình 2-14: Sự khác MobileNet MobileNetV2 13 Hình 2-15: Residual block 14 Hình 2-16: Kiến trúc mạng MobileNetV2 15 Hình 2-17: So sánh object detection sử dụng MobileNetV1 MobileNetV2 16 Hình 2-18: So sánh semantic segmentation sử dụng MobileNetV1 MobileNetV2 16 Hình 3-1: Tham khảo, tìm hiểu đề tài 17 Hình 3-2: Data đeo trang 18 Hình 3-3: Data khơng đeo trang 18 Hình 3-4: Huấn luyện mơ hình 19 Hình 3-5: Thơng số model 20 Hình 3-6: Đồ thị độ xác giá trị lỗi 23 Hình 3-7: Sơ đồ thuật tốn nhận dạng đeo trang 24 Hình 3-8: Sơ đồ quy trình phát đeo trang (dự đốn) 25 NHẬN DẠNG ĐEO KHẨU TRANG MỤC LỤC ĐẶT VẤN ĐỀ CỞ SỞ LÝ THUYẾT 2.1 Convolution neural network - CNN 2.1.1 Giới thiệu tích chập 2.1.2 Mạng nơ ron tích chập: 2.1.3 Tính chất mạng tích chập 2.1.4 Độ phức tạp mạng tích chập: 2.2 MobileNET 2.2.1 Depthwise Separable Convolution – DSC 2.2.2 Kiến trúc mạng MobileNet 2.3 MobileNetV2 QUY TRÌNH THỰC HIỆN 8 10 12 17 3.1 Tham khảo, tìm hiểu đề tài tương tự 17 3.2 Chuẩn bị liệu (DataSet) 18 3.3 Train model với MobileNetV2 19 3.3.1 Tiền xử lý liệu 19 3.3.2 Huấn luyện mơ hình 19 3.4 Xây dựng ứng dụng 24 3.4.1 Sơ đồ thuật toán ứng dụng 24 3.4.2 Sơ đồ quy trình phát đeo trang (dự đoán) 25 3.5 Chạy ứng dụng thực nghiệm KẾT LUẬN VÀ KIẾN NGHỊ 26 29 4.1 Kết luận 29 4.2 Kiến nghị 29 4.2.1 Hạn chế 29 4.2.2 Hướng phát triển tương lai 29 TÀI LIỆU THAM KHẢO 30 BẢNG PHÂN CÔNG CÔNG VIỆC 31 NHẬN DẠNG ĐEO KHẨU TRANG ĐẶT VẤN ĐỀ Được biết dịch bệnh COVID-19 bùng phát vào cuối tháng 12/2019, bắt nguồn từ chợ hải sản Hồ Nam, Vũ Hán, miền Trung Trung Quốc, virus Corona ban đầu xác nhận loại bệnh “viêm phổi lạ” “viêm phổi không rõ nguyên nhân” Chỉ sau 100 ngày xuất hiện, đại dịch viêm đường hơ hấp cấp virus Corona nhanh chóng tác động tới lĩnh vực kinh tế, xã hội, thị trường tài chao đảo, kinh tế tồn cầu rơi vào suy thoái với tỷ lệ thất nghiệp nghèo đói chưa có lịch sử Hiện nay, dịch bệnh COVID-19 bùng phát mạnh mẽ nhiều nơi giới, có Việt Nam Bên cạnh đó, tổ chức Y tế Thế giới (WHO) cảnh báo có 2 đường lây nhiễm của virus corona chủng (SARS-CoV-2), một lây truyền trực tiếp qua việc tiếp xúc không bảo vệ với giọt tiết mũi họng từ người ho, hắt hơi, sổ mũi vào đường hô hấp; hai lây nhiễm gián tiếp qua bề mặt trung gian nhiễm virus Vì thế, đối với người chưa bị bệnh, việc đeo trang biện pháp ngăn chặn giọt bắn chứa virus xâm nhập vào đường hơ hấp Cịn với người giai đoạn ủ bệnh, đeo trang có tác dụng cản trở phát tán virus Trong trường hợp này, không đeo trang, giọt tiết mũi họng chứa virus bắn xa 2m, nguy hiểm cho người xung quanh Như vậy, vấn đề nhận dạng đối tượng có đeo trang hay khơng góp phần khơng nhỏ cho việc truy vết, dự đốn bùng phát dịch bệnh tương lai Từ đó, nhanh chóng lên phương án xử lý kịp thời tránh lây lan rộng cộng đồng NHẬN DẠNG ĐEO KHẨU TRANG CỞ SỞ LÝ THUYẾT 2.1 Convolution neural network - CNN 2.1.1 Giới thiệu tích chập Tích chập khái niệm xử lý ảnh nhằm loại bỏ chi tiết khơng cần thiết, trích xuất đặc trưng có giá trị việc xử lý ảnh Tích chập thơng dụng tích chập chiều áp dụng ma trận đầu vào ma trận lọc chiều Phép tích chập ma trận X ∈ RW1×H1 với một bộ lọc F∈RF×F là ma trận Y∈RW2×H2 trả qua bước sau: - Tại vị trí ma trận đầu vào ta lọc ma trận con Xsub∈RF×F có kích thước với kích thước lọc Giá trị 𝑦11 tương ứng trên Y là tích chập của Xsub với F được tính sau: 𝐹 𝐹 𝑦11 = ∑ ∑ 𝑥𝑖𝑗𝑓𝑖𝑗 𝑖=1 𝑗=1 - Sau thực trượt cửa sổ chập từ trái qua phải, từ xuống với bước nhảy (tride) S ta tính giá trị 𝑦𝑖𝑗 Sau trượt hết toàn ma trận ta thu kết ma trận Y Hình 2-1: Quá trình trượt theo chiều rộng (W1) Giả sử trình dừng sau W2 bước Tại bước trình đến vị trí thứ F Sau bước cửa sổ lọc dịch chuyển sang phải S bước Như đến bước thứ і q trình trượt đến vị trí F+(i−1)S Suy bước cuối cùng W2 ma trận đến NHẬN DẠNG ĐEO KHẨU TRANG vị trí F+(W2−1)S Đây vị trí lớn gần với vị trí cuối là W1 Trong trường hợp lý tưởng thì F+(W2−1)S=W1 Từ ta suy ra: 𝑊1−𝐹 𝑊2 = 𝑆 +1 (1) Chúng ta tạo đẳng thức (1) nhờ thêm đường viền (padding) cạnh ảnh với độ rộng viền là P sao cho phép chia cho S là chia hết Khi đó: 𝑊2 = 𝑊1+2𝑃−𝐹 𝑆 +1 Hình 2-2: Đường viền P giúp cửa sổ chập trượt hết giá trị ma trận Tương tự, ta có cơng thức ứng với chiều cao ảnh: 𝐻2 = 𝐻1+2𝑃−𝐹 𝑆 +1 Cách thức làm việc tích chập: Hình 2-3: Cách thức làm việc Convolution NHẬN DẠNG ĐEO KHẨU TRANG 2.1.2 Mạng nơ ron tích chập: Convolutional Neural Network (CNNs - Mạng neural tích chập) mơ hình Deep Learning, với thành phần lớp Convolution chồng lên nhau, sử dụng tốn nhận dạng đối tượng ảnh Tích chập ứng dụng phổ biến lĩnh vực thị giác máy tính Thơng qua lớp tích chập (layer convolution) đặc trưng từ ảnh trích xuất truyền vào lớp tích chập kế tiếp Mỗi lớp tích chập phép tích chập để trích xuất đặc trưng ảnh Thiết kế mạng tích chập chiều có dạng sau: Hình 2-4: Thiết kế mơ hình CNN 𝐼𝑁𝑃𝑈𝑇 −> [[𝐶𝑂𝑁𝑉 −> 𝑅𝐸𝐿𝑈]𝑁 −> 𝑃𝑂𝑂𝐿?]𝑀 −> [𝐹𝐶 −> 𝑅𝐸𝐿𝑈] * 𝐾 – 𝐹𝐶 Trong đó: INPUT: Lớp đầu vào CONV: Lớp tích chập RELU: hàm kích hoạt relu POOL: Lớp tổng hợp, thông thường Max pooling (chọn giá trị lớn khu vực mà áp dụng ) Average pooling (tính trung bình giá trị khu vực mà áp dụng ) dùng để giảm chiều ma trận đầu vào FC: Lớp kết nối hoàn toàn NHẬN DẠNG ĐEO KHẨU TRANG 𝐹𝑠𝑐𝑜𝑟𝑒 = 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 = 𝑇𝑃 𝑇𝑃+ 𝐹𝑁+𝐹𝑃 Bảng 3.2: Đánh giá huấn luyện mơ hình Epoch loss accuracy val_loss val_accuracy 0.2264 0.9271 0.0383 0.9864 0.0716 0.9778 0.0242 0.9914 0.0483 0.9865 0.0213 0.9914 0.0432 0.9868 0.0176 0.9914 0.0417 0.9854 0.0174 0.9921 0.0363 0.9892 0.0157 0.9928 0.0319 0.9894 0.0135 0.9943 0.0313 0.9895 0.0143 0.9935 0.0283 0.9912 0.0130 0.9950 10 0.0277 0.9912 0.0127 0.9943 11 0.0250 0.9912 0.0136 0.9943 12 0.0264 0.9913 0.0127 0.9943 13 0.0247 0.9924 0.0128 0.9943 14 0.0214 0.9931 0.0124 0.9950 15 0.0211 0.9926 0.0133 0.9943 16 0.0195 0.9944 0.0148 0.9950 17 0.0218 0.9933 0.0116 0.9964 18 0.0241 0.9930 0.0107 0.9964 19 0.0188 0.9935 0.0109 0.9957 20 0.0205 0.9937 0.0099 0.9964 Tiến hành huấn luyện với tốc độ học 0.0001, sau 20 lần lặp với số số lượng mẫu (Batch_size) sử dụng cho lần cập nhật trọng số 32 ta thu kết (bảng 3) Như bảng thấy, sau 20 lần lặp, mơ hình đạt độ xác khoảng 99% thử nghiệm (bộ kiểm tra) NHẬN DẠNG ĐEO KHẨU TRANG Bảng 3.3: Đánh giá mơ hình Precision Recall Fscore Có trang 0.99 0.99 0.99 Khơng có trang 0.99 0.99 0.99 Độ xác 0.99 Hình 3-6: Đồ thị độ xác giá trị lỗi NHẬN DẠNG ĐEO KHẨU TRANG 3.4 Xây dựng ứng dụng 3.4.1 Sơ đồ thuật tốn ứng dụng Hình 3-7: Sơ đồ thuật toán nhận dạng đeo trang Lấy video từ webcam camera kết nối mạng, thông qua quy trình xử lý ứng dụng để đưa dự đốn đối tượng có đeo trang hay khơng - Nếu có đeo trang, hệ thống hiển thị khn mặt dự đốn với khung viền xanh bao quanh - Nếu không đeo trang, hệ thống hiển thị khn mặt dự đốn với khung viền đỏ bao quanh, đồng thời phát âm cảnh báo thông qua loa kết nối lưu lại khuôn mặt đối tượng không đeo trang với tên ngày hành VD: “2021-11-30_14-58-29-132_000.jpg”,… * Lưu ý: Nếu không nhận dạng khn mặt video, hệ thống khơng tiến hành dự đốn NHẬN DẠNG ĐEO KHẨU TRANG 3.4.2 Sơ đồ quy trình phát đeo trang (dự đốn) Hình 3-8: Sơ đồ quy trình phát đeo trang (dự đoán) Khởi tạo video từ webcam camera kết nối mạng Trích xuất hình ảnh từ frame load mơ hình nhận dạng khn mặt để kiểm tra frame có khn mặt hay khơng: - Nếu có, trích tất khn mặt đưa làm thao tác tiền xử lý ảnh (Tiền xử lý thực chuẩn hóa kích thước hoán đổi kênh màu Để giảm nhiễu cho ảnh chiếu sáng nên chuyển ảnh sang dạng ảnh blob thông qua hàm blobFromImage OpenCV) để phù hợp với yêu cầu đầu vào mơ hình dạng đeo trang Tiếp theo load mơ hình nhận dạng đeo trang huấn luyện sẵn trước tiến hành nhận dạng xem trang hay không Cuối cùng, trả kết frame nhận MobileNetV2 khn mặt có đeo hiển thi kết lên hình - Nếu khơng có khn mặt hệ thống tiếp tục trích xuất hình ảnh từ frame NHẬN DẠNG ĐEO KHẨU TRANG 3.5 Chạy ứng dụng thực nghiệm * Link video demo đầy đủ: https://youtu.be/I_WeUCgMVdc - Kết nhận dạng người đeo trang: + Nhận dạng cự ly gần với webcam: + Nhận dạng cự ly từ 3m - 4m với webcam: NHẬN DẠNG ĐEO KHẨU TRANG NHẬN DẠNG ĐEO KHẨU TRANG + Một số trường hợp nhận dạng lỗi không nhận dạng được: + Nhận dạng kết nối với camera điện thoại NHẬN DẠNG ĐEO KHẨU TRANG NHẬN DẠNG ĐEO KHẨU TRANG + Một số trường hợp nhận dạng lỗi kết nối với camera điện thoại NHẬN DẠNG ĐEO KHẨU TRANG NHẬN DẠNG ĐEO KHẨU TRANG - Những gương mặt không đeo trang lưu lại phục vụ cho việc truy vết F0 NHẬN DẠNG ĐEO KHẨU TRANG KẾT LUẬN VÀ KIẾN NGHỊ 4.1 Kết luận Kết cho thấy ứng dụng nhận dạng người đeo trang với mơ hình MobileNetV2 có độ xác cao, số lượng tham số ít, thể phát nhiều khuôn mặt video thời gian thực Ứng dụng thực việc đưa cảnh báo phát có khn mặt khơng đeo trang, đồng thời lưu lại hình ảnh khn mặt vào thư mục nhằm tạo liệu phục vụ cho việc truy vết F0, dự đoán sớm bùng phát dịch bệnh có biện pháp ứng biến kịp thời tương lai, mà không cần xác định danh tính nhân người ảnh 4.2 Kiến nghị 4.2.1 Hạn chế - Về mơ hình nhận dạng khn mặt chưa có độ xác cao, đưa kết khuôn mặt không - Về phần lưu hình ảnh khn mặt khơng đeo trang chưa tối ưu, lưu ảnh khuôn mặt nhiều lần - Về phần kết nối với camera điện thoại cịn bị delay, khơng chạy mượt webcam 4.2.2 Hướng phát triển tương lai - Xây dựng mơ hình nhận dạng khn mặt có độ xác cao - Huấn luyện mơ hình nhận dạng đeo trang phân loại nhiều kênh đầu (VD: đeo sai cách, tay che mặt,…) - Tối ưu phần lưu hình ảnh, để lưu ảnh khuôn mặt không đeo trang không bị trùng, giảm lượng lớn nhớ - Chỉnh sửa cho ứng dụng để chạy mượt mà kết nối với camera khác - Triển khai ứng dụng chạy cloud NHẬN DẠNG ĐEO KHẨU TRANG TÀI LIỆU THAM KHẢO [1] Phạm Thị Hường (2020) Phát trang sử dụng mơ hình học sâu MobileNetV2, Tạp chí Nghiên cứu khoa học, Liên ngành điện - điện tử - tự động hóa, 30/09/2020 [2] Bùi Minh Đức (2020) Hệ thống cảnh báo đeo trang phòng chống dịch COVID-19 đơn giản với OpenCV Keras, 10/09/2021, từ [3] Chandrika Deb (2020) Face-Mask-Detection, 10/09/2021, từ [4] Nguyễn Thanh Huyền (2021) [CNN Architecture series #1] MobileNets - Mơ hình gọn nhẹ cho mobile applications, 15/10/2021, từ [5] StudyIT Administrator (2020) [Tâm Lý AI 01 - NET of CNN] MobileNETs ? Liệu bạn có hiểu yêu ?, 15/10/2021, từ [6] Vietnam Vaccine JSC (2021) VIRUS CORONA 2019 (COVID 19, SARS COV 2): NGUYÊN NHÂN & TRIỆU CHỨNG, 25/11/2021, từ NHẬN DẠNG ĐEO KHẨU TRANG BẢNG PHÂN CÔNG CƠNG VIỆC Cơng việc Người thực Tìm kiếm tài liệu có liên quan, tìm hiểu đề tài Tất thành viên Chuẩn bị liệu (DataSet) Lê Đình Hiếu Train mơ hình MobileNetV2 Nguyễn Chí Khang Xây dựng ứng dụng Tất thành viên Xem xét, chỉnh sửa lại cho ứng dụng chạy tốt Nguyễn Quốc Tuấn Viết báo cáo + Thuyết trình Nguyễn Chí Khang Làm Slide PowerPoint Lê Đình Hiếu ĐẶT VẤN ĐỀ CỞ SỞ LÝ THUYẾT 2.1 Convolution neural network - CNN 2.1.1 Giới thiệu tích chập 2.1.2 Mạng nơ ron tích chập: 2.1.3 Tính chất mạng tích chập 2.1.4 Độ phức tạp mạng tích chập: 2.2 MobileNET 2.2.1 Depthwise Separable Convolution – DSC Ghi Nguyễn Quốc Tuấn code NHẬN DẠNG ĐEO KHẨU TRANG 2.2.2 Kiến trúc mạng MobileNet 2.3 MobileNetV2 QUY TRÌNH THỰC HIỆN 3.1 Tham khảo, tìm hiểu đề tài tương tự 3.2 Chuẩn bị liệu (DataSet) 3.3 Train model với MobileNetV2 3.3.1 Tiền xử lý liệu 3.3.2 Huấn luyện mơ hình 3.4 Xây dựng ứng dụng 3.4.1 Sơ đồ thuật tốn ứng dụng 3.4.2 Sơ đồ quy trình phát đeo trang (dự đoán) 3.5 Chạy ứng dụng thực nghiệm KẾT LUẬN VÀ KIẾN NGHỊ 4.1 Kết luận 4.2 Kiến nghị 4.2.1 Hạn chế 4.2.2 Hướng phát triển tương lai TÀI LIỆU THAM KHẢO BẢNG PHÂN CÔNG CÔNG VIỆC