MÔN CÔNG NGHỆ mới TRONG PHÁT TRIỂN ỨNG DỤNG CÔNG NGHỆ THÔNG TIN NHẬN DẠNG ĐEO KHẨU TRANG

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THÀNH PHỐ HỒ CHÍ MINH KHOA CƠNG NGHỆ THƠNG TIN MƠN: CƠNG NGHỆ MỚI TRONG PHÁT TRIỂN ỨNG DỤNG CÔNG NGHỆ THÔNG TIN NHẬN DẠNG ĐEO KHẨU TRANG Sinh viên thực hiện: Lê Đình Hiếu Giảng viên hướng dẫn: ThS Trương Văn Thơng THÀNH PHỐ HỒ CHÍ MINH, THÁNG 12 NĂM 2021 TIEU LUAN MOI download : skknchat@gmail.com NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN TP Hồ Chí Minh, ngày… Tháng … năm… CHỮ KÝ CỦA GIẢNG VIÊN TIEU LUAN MOI download : skknchat@gmail.com NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN TP Hồ Chí Minh, ngày… Tháng … năm… CHỮ KÝ CỦA GIẢNG VIÊN TIEU LUAN MOI download : skknchat@gmail.com NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN TP Hồ Chí Minh, ngày… Tháng … năm… CHỮ KÝ CỦA GIẢNG VIÊN TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC HÌNH ẢNH Hình 2-1: Q trình trượt theo chiều rộng (W1) Hình 2-2: Đường viền P giúp cửa sổ chập trượt hết giá trị ma trận Hình 2-3: Cách thức làm việc Convolution Hình 2-4: Thiết kế mơ hình CNN Hình 2-5: Cấu trúc khối nơ ron 3D Hình 2-6: Kết nối cục Hình 2-7: Quá trình tổng hợp Hình 2-8: Độ phức tạp mạng tích chập Hình 2-9: Depthwise convolution Hình 2-10: Pointwise Convolution Hình 2-11: Mơ hình mạng MobileNet 11 Hình 2-12: Convolution truyền thống (Trái), Depthwise separable convolution với BN ReLU (Phải) 12 Hình 2-13: So sánh convolution Depthwise Separable Convolution 12 Hình 2-14: Sự khác MobileNet MobileNetV2 13 Hình 2-15: Residual block 14 Hình 2-16: Kiến trúc mạng MobileNetV2 15 Hình 2-17: So sánh object detection sử dụng MobileNetV1 MobileNetV2 .16 Hình 2-18: So sánh semantic segmentation sử dụng MobileNetV1 MobileNetV2 16 Hình 3-1: Tham khảo, tìm hiểu đề tài 17 Hình 3-2: Data đeo trang 18 Hình 3-3: Data không đeo trang 18 Hình 3-4: Huấn luyện mơ hình 19 Hình 3-5: Thơng số model 20 Hình 3-6: Đồ thị độ xác giá trị lỗi 23 Hình 3-7: Sơ đồ thuật toán nhận dạng đeo trang 24 Hình 3-8: Sơ đồ quy trình phát đeo trang (dự đốn) 25 TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC ĐẶT VẤN ĐỀ CỞ SỞ LÝ THUYẾT 2.1 2.1.1 Convolution neural network - CNN Giới thiệu tích chập 2.1.2 Mạng nơ ron tích chập: 2.1.3 Tính chất mạng tích chập 2.1.4 Độ phức tạp mạng tích chập 2.2 MobileNET 2.2.1 Depthwise Separable Convoluti 2.2.2 Kiến trúc mạng MobileNet 2.3 MobileNetV2 QUY TRÌNH THỰC HIỆN 3.1 Tham khảo, tìm hiểu đề tài tương tự 3.2 Chuẩn bị liệu (DataSet) 3.3 Train model với MobileNetV2 3.3.1 Tiền xử lý liệu 3.3.2 Huấn luyện mơ hình 3.4 Xây dựng ứng dụng 3.4.1 Sơ đồ thuật toán ứng dụng 3.4.2 Sơ đồ quy trình phát đeo k 3.5 Chạy ứng dụng thực nghiệm KẾT LUẬN VÀ KIẾN NGHỊ 4.1 Kết luận 4.2 Kiến nghị 4.2.1 Hạn chế 4.2.2 Hướng phát triển tương la TÀI LIỆU THAM KHẢO BẢNG PHÂN CÔNG CÔNG VIỆC TIEU LUAN MOI download : skknchat@gmail.com ĐẶT VẤN ĐỀ Được biết dịch bệnh COVID-19 bùng phát vào cuối tháng 12/2019, bắt nguồn từ chợ hải sản Hồ Nam, Vũ Hán, miền Trung Trung Quốc, virus Corona ban đầu xác nhận loại bệnh “viêm phổi lạ” “viêm phổi không rõ nguyên nhân” Chỉ sau 100 ngày xuất hiện, đại dịch viêm đường hô hấp cấp virus Corona nhanh chóng tác động tới lĩnh vực kinh tế, xã hội, thị trường tài chao đảo, kinh tế tồn cầu rơi vào suy thối với tỷ lệ thất nghiệp nghèo đói chưa có lịch sử Hiện nay, dịch bệnh COVID-19 bùng phát mạnh mẽ nhiều nơi giới, có Việt Nam Bên cạnh đó, tổ chức Y tế Thế giới (WHO) cảnh báo có đường lây nhiễm virus corona chủng (SARS-CoV-2), lây truyền trực tiếp qua việc tiếp xúc không bảo vệ với giọt tiết mũi họng từ người ho, hắt hơi, sổ mũi vào đường hô hấp; hai lây nhiễm gián tiếp qua bề mặt trung gian nhiễm virus Vì thế, người chưa bị bệnh, việc đeo trang biện pháp ngăn chặn giọt bắn chứa virus xâm nhập vào đường hô hấp Cịn với người giai đoạn ủ bệnh, đeo trang có tác dụng cản trở phát tán virus Trong trường hợp này, không đeo trang, giọt tiết mũi họng chứa virus bắn xa 2m, nguy hiểm cho người xung quanh Như vậy, vấn đề nhận dạng đối tượng có đeo trang hay khơng góp phần khơng nhỏ cho việc truy vết, dự đốn bùng phát dịch bệnh tương lai Từ đó, nhanh chóng lên phương án xử lý kịp thời tránh lây lan rộng cộng đồng TIEU LUAN MOI download : skknchat@gmail.com CỞ SỞ LÝ THUYẾT 2.1 Convolution neural network - CNN 2.1.1 Giới thiệu tích chập Tích chập khái niệm xử lý ảnh nhằm loại bỏ chi tiết khơng cần thiết, trích xuất đặc trưng có giá trị việc xử lý ảnh Tích chập thơng dụng tích chập chiều được∈áp dụng ma trận đầu∈vào ma trận lọc∈2 chiều Phép tích chập ma trận X RW1×H1 với lọc F RF×F ma trận Y RW2×H2 trả qua bước sau: - Tại vị trí ma trận đầu vào ta lọc ma trận Xsub∈RF×F có kích thước với kích thước lọc Giá trị y11 tương ứng Y tích chập Xsub với F tính sau: F F y 11= ∑ ∑ xij f ij i=1 j=1 - Sau thực trượt cửa sổ chập từ trái qua phải, từ xuống với bước nhảy (tride) S ta tính giá trị yij Sau trượt hết toàn ma trận ta thu kết ma trận Y Hình 2-1: Quá trình trượt theo chiều rộng (W1) Giả sử trình dừng sau W2 bước Tại bước q trình đến vị trí thứ F Sau bước cửa sổ lọc dịch chuyển sang phải S bước Như đến bước thứ і q trình trượt đến vị trí F+(i−1)S Suy bước cuối W2 ma trận đến vị trí F+(W2−1)S Đây vị trí lớn gần với vị trí cuối W1 Trong trường hợp lý tưởng F+(W2−1)S=W1 Từ ta suy ra: TIEU LUAN MOI download : skknchat@gmail.com W −F W2= S +1 (1) Chúng ta ln tạo đẳng thức (1) nhờ thêm đường viền (padding) cạnh ảnh với độ rộng viền P cho phép chia cho S chia hết Khi đó: W 2= W +2 P−F S +1 Hình 2-2: Đường viền P giúp cửa sổ chập trượt hết giá trị ma trận Tương tự, ta có cơng thức ứng với chiều cao ảnh: H 2= H +2 P−F S +1 Cách thức làm việc tích chập: Hình 2-3: Cách thức làm việc Convolution TIEU LUAN MOI download : skknchat@gmail.com 3.3 Train model với MobileNetV2 Hình 3-22: Huấn luyện mơ hình 3.3.1 Tiền xử lý liệu Các bước xử lý trước bao gồm nạp ảnh tiền xử lý nạp ảnh từ thư mục dataset với tiền xử lý gồm cơng đoạn: Thay đổi kích thước thành 128 × 128 pixel, chuyển kênh màu BGR sang RGB chia tỷ lệ cường độ pixel hình ảnh đầu vào thành phạm vi [-1, 1] Nhãn hình đánh ảnh nạp vào nhớ Nhãn hình có tên với thư mục chứa hình Sau qua bước nạp ảnh tiền xử lý hình ảnh nhãn chuyển mảng chiều với phần tử Cụ thể trường hợp [0, 1] cho nhãn không đeo trang [1, 0] cho nhãn đeo trang 3.3.2 Huấn luyện mơ hình Trong bước này, chia liệu thành tập huấn luyện chứa hình ảnh mà mơ hình CNN huấn luyện tập kiểm tra với hình ảnh mà mơ hình kiểm tra Cụ thể 19 TIEU LUAN MOI download : skknchat@gmail.com lấy split_size = 0.8, có nghĩa 80% tổng số hình ảnh cho huấn luyện 20% cịn lại hình ảnh cho kiểm tra cách ngẫu nhiên Sau đó, xây dựng mơ hình CNN với lớp khác AveragePooling2D với pool_size=4×4, Flatten, Dropout(0.5) Dense Trong lớp Dense cuối cùng, sử dụng hàm softmax để xuất véc – tơ thể xác suất lớp Hình 3-23: Thơng số model Để đánh giá tập trọng số cần xác định lỗi cho huấn luyện (loss) kiểm tra (val_loss) ta sử dụng hàm Cross Entropy nhị phân chéo binary_crossentropy Cụ thể, tính tốn loss trường hợp cách tính giá trị trung bình sau: loss ( y , y^ )=− (1n ∑ n i= ) yi log ( ^yi )+(1− yi ) log (1− ^yi ) Với n số lượng giá trị vô hướng đầu mơ hình, hàm loss trả số thực không âm thể chênh lệch hai đại lượng yˆ xác suất nhãn dự đoán y xác suất nhãn Sau sử dụng thuật tốn gradient descent “adam” (Adaptive Mô - ment Estimator) để tối ưu Hơn nữa, để kiểm định hiệu mơ hình phân loại, cần tính tốn tỷ lệ xác trung bình tất dự đoán sử dụng thang đo ma trận nhầm lẫn sau: 20 TIEU LUAN MOI download : skknchat@gmail.com Bảng 3.1: Đánh giá phân loại Trong đó: Các hàng ma trận nhãn lớp thực tế, cột ma trận nhãn lớp dự đoán - TN: Số lượng khuôn mặt không đeo trang phân loại xác - FN: Số lượng khn mặt đeo trang bị phân loại nhầm khuôn mặt không đeo trang - TP: Số lượng khuôn mặt đeo trang phân loại xác - FP: Số lượng khuôn mặt không đeo trang bị phân loại nhầm khn mặt đeo trang Từ đó, độ xác mơ hình tính theo cơng thức sau: TP+TN Accuracy= TP+FP+TN +FN Đây tỉ lệ tất trường hợp phân loại (không phân biệt negative/positive) toàn trường hợp mẫu kiểm tra Một độ đo thường dùng để đánh giá mơ hình phân lớp F-measure hay F-score tính dựa độ đo khác precision recall, tính sau: Precision= TP TP+FP Recall= TP TP+FN 21 TIEU LUAN MOI download : skknchat@gmail.com F = score Bảng 3.2: Đánh giá huấn luyện mô hình Epoch 10 11 12 13 14 15 16 17 18 19 20 Tiến hành huấn luyện với tốc độ học 0.0001, sau 20 lần lặp với số số lượng mẫu (Batch_size) sử dụng cho lần cập nhật trọng số 32 ta thu kết (bảng 3) Như bảng thấy, sau 20 lần lặp, mơ hình đạt độ xác khoảng 99% thử nghiệm (bộ kiểm tra) 22 TIEU LUAN MOI download : skknchat@gmail.com Bảng 3.3: Đánh giá mơ hình Có trang Khơng có trang Độ xác Hình 3-24: Đồ thị độ xác giá trị lỗi 23 TIEU LUAN MOI download : skknchat@gmail.com 3.4 Xây dựng ứng dụng 3.4.1 Sơ đồ thuật tốn ứng dụng Hình 3-25: Sơ đồ thuật toán nhận dạng đeo trang Lấy video từ webcam camera kết nối mạng, thơng qua quy trình xử lý ứng dụng để đưa dự đốn đối tượng có đeo trang hay khơng - Nếu có đeo trang, hệ thống hiển thị khn mặt dự đốn với khung viền xanh bao quanh - Nếu không đeo trang, hệ thống hiển thị khuôn mặt dự đốn với khung viền đỏ bao quanh, đồng thời phát âm cảnh báo thông qua loa kết nối lưu lại khuôn mặt đối tượng khơng đeo trang với tên ngày hành VD: “2021-11-30_14-58-29-132_000.jpg”,… * Lưu ý: Nếu không nhận dạng khuôn mặt video, hệ thống khơng tiến hành dự đoán 24 TIEU LUAN MOI download : skknchat@gmail.com 3.4.2 Sơ đồ quy trình phát đeo trang (dự đốn) Hình 3-26: Sơ đồ quy trình phát đeo trang (dự đoán) Khởi tạo video từ webcam camera kết nối mạng Trích xuất hình ảnh từ frame load mơ hình nhận dạng khn mặt để kiểm tra frame có khn mặt hay khơng: - Nếu có, trích tất khn mặt đưa làm thao tác tiền xử lý ảnh (Tiền xử lý thực chuẩn hóa kích thước hốn đổi kênh màu Để giảm nhiễu cho ảnh chiếu sáng nên chuyển ảnh sang dạng ảnh blob thông qua hàm blobFromImage OpenCV) để phù hợp với yêu cầu đầu vào mơ hình nhận dạng đeo trang Tiếp theo load mơ hình nhận dạng đeo trang MobileNetV2 huấn luyện sẵn trước tiến hành nhận dạng xem khn mặt có đeo trang hay không Cuối cùng, trả kết frame hiển thi kết lên hình - Nếu khơng có khn mặt hệ thống tiếp tục trích xuất hình ảnh từ frame 25 TIEU LUAN MOI download : skknchat@gmail.com 3.5 Chạy ứng dụng thực nghiệm * Link video demo đầy đủ: https://youtu.be/I_WeUCgMVdc Kết nhận dạng người đeo trang: + Nhận dạng cự ly gần với webcam: + Nhận dạng cự ly từ 3m - 4m với webcam: 26 TIEU LUAN MOI download : skknchat@gmail.com + Một số trường hợp nhận dạng lỗi không nhận dạng được: + Nhận dạng kết nối với camera điện thoại 27 TIEU LUAN MOI download : skknchat@gmail.com + Một số trường hợp nhận dạng lỗi kết nối với camera điện thoại - Những gương mặt không đeo trang lưu lại phục vụ cho việc truy vết F0 28 TIEU LUAN MOI download : skknchat@gmail.com KẾT LUẬN VÀ KIẾN NGHỊ 4.1 Kết luận Kết cho thấy ứng dụng nhận dạng người đeo trang với mơ hình MobileNetV2 có độ xác cao, số lượng tham số ít, thể phát nhiều khn mặt video thời gian thực Ứng dụng thực việc đưa cảnh báo phát có khn mặt khơng đeo trang, đồng thời lưu lại hình ảnh khn mặt vào thư mục nhằm tạo liệu phục vụ cho việc truy vết F0, dự đoán sớm bùng phát dịch bệnh có biện pháp ứng biến kịp thời tương lai, mà khơng cần xác định danh tính nhân người ảnh 4.2 Kiến nghị 4.2.1 Hạn chế - Về mơ hình nhận dạng khn mặt chưa có độ xác cao, đưa kết khn mặt khơng - Về phần lưu hình ảnh khn mặt không đeo trang chưa tối ưu, lưu ảnh khuôn mặt nhiều lần - Về phần kết nối với camera điện thoại cịn bị delay, khơng chạy mượt webcam 4.2.2 Hướng phát triển tương lai - Xây dựng mơ hình nhận dạng khn mặt có độ xác cao Huấn luyện mơ hình nhận dạng đeo trang phân loại nhiều kênh đầu (VD: đeo sai cách, tay che mặt,…) - Tối ưu phần lưu hình ảnh, để lưu ảnh khuôn mặt không đeo trang không bị trùng, giảm lượng lớn nhớ - Chỉnh sửa cho ứng dụng để chạy mượt mà kết nối với camera khác - Triển khai ứng dụng chạy cloud 29 TIEU LUAN MOI download : skknchat@gmail.com TÀI LIỆU THAM KHẢO [1] Phạm Thị Hường (2020) Phát trang sử dụng mơ hình học sâu MobileNetV2, Tạp chí Nghiên cứu khoa học, Liên ngành điện - điện tử - tự động hóa, 30/09/2020 [2] Bùi Minh Đức (2020) Hệ thống cảnh báo đeo trang phòng chống dịch COVID-19 đơn giản với OpenCV Keras, 10/09/2021, từ [3] Chandrika Deb (2020) Face-Mask-Detection, 10/09/2021, từ [4] Nguyễn Thanh Huyền (2021) [CNN Architecture series #1] MobileNets - Mơ hình gọn nhẹ cho mobile applications, 15/10/2021, từ [5] StudyIT Administrator (2020) [Tâm Lý AI 01 - NET of CNN] MobileNETs ? Liệu bạn có hiểu yêu ?, 15/10/2021, từ [6] Vietnam Vaccine JSC (2021) VIRUS CORONA 2019 (COVID 19, SARS COV 2): NGUYÊN NHÂN & TRIỆU CHỨNG, 25/11/2021, từ 30 TIEU LUAN MOI download : skknchat@gmail.com BẢNG PHÂN CÔNG CÔNG VIỆC 31 TIEU LUAN MOI download : skknchat@gmail.com ... Sơ đồ thuật toán nhận dạng đeo trang Lấy video từ webcam camera kết nối mạng, thơng qua quy trình xử lý ứng dụng để đưa dự đốn đối tượng có đeo trang hay khơng - Nếu có đeo trang, hệ thống hiển... sáng nên chuyển ảnh sang dạng ảnh blob thông qua hàm blobFromImage OpenCV) để phù hợp với yêu cầu đầu vào mơ hình nhận dạng đeo trang Tiếp theo load mơ hình nhận dạng đeo trang MobileNetV2 huấn... skknchat@gmail.com 3.5 Chạy ứng dụng thực nghiệm * Link video demo đầy đủ: https://youtu.be/I_WeUCgMVdc Kết nhận dạng người đeo trang: + Nhận dạng cự ly gần với webcam: + Nhận dạng cự ly từ 3m - 4m