ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM PHẠM HỒNG THỦY NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ XÂY DỰNG HỆ THỐNG PHÂN LUỒNG, TRUY VẾT TỰ ĐỘNG NGƯỜI NGHI NHIỄM COVID 19 RA VÀO HẢI QUAN BÌNH DƯƠNG Chuyên[.]
ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM PHẠM HỒNG THỦY NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ XÂY DỰNG HỆ THỐNG PHÂN LUỒNG, TRUY VẾT TỰ ĐỘNG NGƯỜI NGHI NHIỄM COVID-19 RA VÀO HẢI QUAN BÌNH DƯƠNG Chuyên ngành : HỆ THỐNG THÔNG TIN Mã số : 848.01.04 TĨM TẮT ḶN VĂN THẠC SĨ HỆ THỐNG THƠNG TIN Đà Nẵng – Năm 2022 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC SƯ PHẠM Người hướng dẫn khoa học: TS NGUYỄN ĐÌNH LẦU Phản biện 1: TS Nguyễn Trần Quốc Vinh Phản biện 2: PGS.TS Huỳnh Xuân Hiệp Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ ngành Hệ thống thông tin, họp Trường Đại học sư phạm vào ngày 09 tháng 07 Năm 2022 Có thể tìm hiểu luận văn tại: Thư viện Trường Đại học sư phạm – ĐHĐN Khoa Tin học, Trường Đại học sư phạm – ĐHĐN MỞ ĐẦU Lý chọn đề tài Năm 2021, đại dịch Covid-19 ảnh hưởng nhiều đến hoạt động sản xuất kinh doanh, mối quan hệ xã hội; địa phương triển khai đồng nhiều biện pháp giám sát, truy vết, giãn cách, tăng cường giãn cách, tiêm vắc-xin; bên cạnh nhiều biện pháp sách triển khai, vấn đề ứng dụng cơng nghệ kiểm soát dịch bệnh đặt trọng tâm cơng tác phịng chống dịch Hiện địa phương, doanh nghiệp chuyển sang trạng thái bình thường đảm bảo vừa phòng chống dịch Covid-19, vừa phát triển sản xuất kinh doanh Trong năm gần đây, tiến vượt bậc công nghệ thông tin, cách mạng công nghiệp 4.0 tác động mạnh mẽ đến lĩnh vực, doanh nghiệp đứng trước yêu cầu phải thực nhanh trình chuyển đối số Dịch bệnh lây lan qua giao tiếp người với người Vì cần thực yêu cầu để đảm bảo tuân thủ phòng chống dịch như: cần thực nhận dạng người đơn vị hay khách bên vào đơn vị, đeo trang quy định hay không, trực tiếp đo nhiệt độ người vào mức ngưỡng hướng dẫn phân luồng qua phận hỗ trợ xét nghiệm Tuy nhiên, quy trình vừa phải cắt cử nhân để thực cơng việc kiểm sốt người vào, vừa nguy hiểm cho người tiếp xúc trực tiếp đặc biệt cần tìm thơng tin người đến khó khăn Vì tơi chọn đề tài: “NGHIÊN CỨU ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ XÂY DỰNG HỆ THỐNG PHÂN LUỒNG, TRUY VẾT TỰ ĐỘNG NGƯỜI NGHI NHIỄM COVID-19 RA VÀO HẢI QUAN BÌNH DƯƠNG’’ để khắc phục hạn chế công việc nêu làm đề tài luận văn thạc sĩ ngành Hệ thống thông tin Mục tiêu nhiệm vụ nghiên cứu Mục tiêu: - Mục tiêu nghiên cứu đề tài nghiên cứu phương pháp nhận dạng khuôn mặt Có nhiều phương pháp để nhận dạng khn mặt, từ việc tìm hiểu nghiên cứu phương pháp từ đề xuất phương pháp cải tiến hiệu cho tốn nhận dạng khn mặt - Đánh giá hiệu phương pháp nhận dạng khuôn mặt - Ứng dụng phương pháp việc nhận dạng khn mặt người cơng tác kiểm sốt dịch bệnh Nhiệm vụ: - Tìm hiểu Trí tuệ nhân tạo (AI), Machine learning, Deep Learning; - Tìm hiểu phương pháp nhận dạng khn mặt; - Tìm hiểu liệu thực tế (cụ thể toán thực tế) - Xây dựng chương trình thử nghiệm tốn ứng dụng Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu - Các phương pháp Deep Learning nhận dạng khuôn mặt Phạm vi nghiên cứu - Nhận dạng khuôn mặt người đơn vị, khách vào đơn vị - Đưa thông tin người nhận dạng để ục vụ kiểm soát dịch COVID 19 Phương pháp nghiên cứu Nghiên cứu lý thuyết - Tìm hiểu lý thuyết kỹ thuật Deep Learning - Tìm hiểu phương pháp phát khuôn mặt nhận dạng khuôn mặt trường hợp có đeo khơng đeo trang; - Một số tài liệu liên quan Nghiên cứu thực nghiệm - Xây dựng liệu thử nghiệm; Ý nghĩa khoa học thực tiễn Về mặt khoa học: - Nghiên cứu, tìm hiểu phương pháp nhận dạng khn mặt để ứng dụng vào thực tế; - Cơng trình nghiên cứu đề tài góp phần khảo sát nghiên cứu ứng dụng Deep Learning Cấu trúc của luận văn Sau phần mở đầu, nội dung luận văn chia thành chương: Chương 1: Cơ sở lý thuyết, giới thiệu cơng tác phịng chống dịch đơn vị mở rộng điểm cơng cộng thực trạng kiểm sốt dịch; giới thiệu trí tuệ nhân tạo, Machine Learning, Deep Learning; tổng quan phương pháp phát đối tượng nhận dạng khn mặt Chương 2: Phân tích thiết kế tốn thơng tin người vào quan Chương 3: Xây dựng chương trình, cài đặt thử nghiệm đánh giá Kết luận hướng phát triển đề tài 4 CHƯƠNG CƠ SỞ LÝ THUYẾT 1.1 Vấn đề kiểm soát sàng lọc thực trạng kiểm soát Việt Nam 1.1.1 Hiện trạng: Khi người vào quan, bệnh viện, tòa nhà, tất phải kiểm tra sàng lọc thông qua kiểm tra nhiệt độ, thông tin khai báo y tế từ phân luồng trước cho vào Kiểm tra đo nhiệt độ bố trí nhân thực đo tiếp xúc đo không tiếp xúc không lưu trữ kết hợp thông tin người vào Một số nơi, có trang bị camera tầm nhiệt giá thành cao gặp nhiều vấn đề rủi ro cần phải khắc phục đáp ứng 1.1.2 Quy trình kiểm sốt sàng lọc 1.1.2.1 Quy trình nghiệp vụ tổng hợp: Hình 1.1 Quy trình nghiệp vụ tổng hợp B1 Sàng lọc: thực đo nhiệt độ, nhận dạng nhanh khuôn mặt để phát đeo trang hay không, kiểm tra thông tin khai báo y tế, tiêm vắc xin, xét nghiệm, di chuyển B2 Tiếp nhận: lưu thông tin vào hệ thống hiển thị lên hình B3 Thống kê người vào quan, thống kê nhân viên thuộc đơn vị hay người lạ đến 5 1.1.2.2 Quy trình nghiệp vụ chi tiết: Hình 1.2 Quy trình nghiệp vụ chi tiết B1-Nhận diện: nhận diện đeo trang cách, truy xuất thông tin tiêm vắc xin, xét nghiệm, thông tin khai báo y tế B2- Đo nhiệt độ người vào thực đồng thời với B1; kết đạt hay không đạt ngưỡng: B3.1 – Thông báo hướng dẫn 2: mời khách hàng nhân viên vào B3.2 – Không đạt ngưỡng cảnh báo âm phân luồng qua phận test nhanh 1.2 Khái niệm Trí tuệ nhân tạo, Machine Learning, Deep Learning 1.2.1 Khái niệm Trí tuệ nhân tạo (AI – Artificail Intelligence) 1.2.2 Machine Learning Khái niệm Machine Learning (Học máy) là lĩnh vực trí tuệ nhân tạo liên quan đến việc nghiên cứu xây dựng kĩ thuật cho phép hệ thống "học" tự động từ liệu để giải vấn đề cụ thể Ví dụ máy "học" cách phân loại thư điện tử xem có phải thư rác (spam) hay không tự động xếp thư vào thư mục tương ứng Học máy gần với suy diễn thống kê (statistical inference) có khác thuật ngữ 1.2.3 Deep Learning Hình 1.3 Mối liên hệ AI, Machine Leaning, Deep Learning 1.2.4 Tổng quan phương pháp Deep Learning phát đối tượng nhận dạng khuôn mặt a Facenet: Triplet Loss Triplet Loss: 𝒏 𝟐 𝐋(𝑨, 𝑷, 𝑵) = ∑ 𝒎𝒂𝒙 (||𝐟(𝑨𝒊 ) − 𝐟(𝑷𝒊 )||𝟐 𝒊=𝟎 𝟐 − ||𝐟(𝑨𝒊 ) − 𝐟(𝑵𝒊 )||𝟐 + 𝜶, 𝟎) Giải thích kí hiệu: • A mẫu Anchor đầu vào • P: hình ảnh dương • N: hình ảnh âm • 𝜶 : biên độ hình ảnh âm hình ảnh dương • 𝒇 : vec tơ đặc trưng Hình 1.4 Minh họa ý tưởng Triplet Loss b Mạng nơ ron CNN – VGG16 Hình 1.5 Kiến trúc mạng CNN Hình 1.6 Bộ lọc tích chập sử dụng ma trận điểm ảnh 8 Hình 1.7 Phương thức Max Pooling Avarage Pooling Hình 1.8 Kiến trúc mạng VGG16 Hình 1.9 Đường ống R – CNN sử dụng Caffe cho phát đối tượng Hình 1.10 Mơ hình OpenFace CHƯƠNG PHÂN TÍCH THIẾT KẾ BÀI TỐN THƠNG TIN NGƯỜI RA VÀO CƠ QUAN 2.1 Phát biểu tốn Bài tốn phân tích thơng tin người vào tịa nhà điểm cơng cộng vấn đề kiểm soát dịch Covid-19 Căn vào phân tích thơng tin người vào để đưa định đắn Từ thông tin thu thập đưa kế hoạch kiểm sốt chống dịch hiệu Từ đó, xây dựng hệ thống phân luồng, truy vết tự động người nghi nhiễm vào hải quan Bình Dương 2.1.1 Bài tốn nhận dạng khn mặt Từ liệu hình ảnh video trích xuất từ camera điểm vào quan nhận dạng khuôn mặt người vào Đầu hình ảnh nhận dạng khn mặt khách vào tiến hành phân tích thơng tin khách có đeo trang, nhiệt độ, tiêm vắc xin, thông tin khai báo y tế Áp dụng kĩ thuật Deep Learning để nhận dạng khn mặt: 10 Hình 2.1 Mơ hình giải pháp nhận dạng khuôn mặt Giai đoạn 1: Thu thập sở liệu huấn luyện Bước 1: Phát khuôn mặt: khuôn mặt đánh dấu từ liệu khn mặt video hình ảnh qua thuật tốn phát khn mặt Sau khuôn mặt phát chuyển đến bước để trích chọn đặc trưng Bước 2: Trích chọn đặc trưng: sử dụng mạng nơ ron thần kinh CNN huấn luyện để trích xuất đặc trưng riêng biệt cách sử dụng 128 phép đo cho khuôn mặt, khuôn mặt biểu diễn vec tơ đặc trưng với 128 giá trị số Bước 3: Lưu trữ đặc trưng mô hình vào sở liệu Giai đoạn 2: Nhận dạng Bước 1: Phát khn mặt Tìm ảnh video có xuất khn mặt cần truy xuất Đánh dấu vị trí khn mặt hình Tỉ lệ phát khuôn mặt phụ thuộc vào ánh sáng, góc độ, biểu cảm xúc… 11 Bước 2: Tiền xử lý: sử dụng phép lọc để xử lý hình ảnh khn mặt Bước 3: Trích xuất đặc trưng Sau phát khuôn mặt ảnh video, Deep Learning xác định thành phần đặc trưng nhất, đảm bảo tính khn mặt Bước trích xuất vector đặc trưng với 128 giá trị đặc trưng khuôn mặt Vec tơ đặc trưng so sánh với vec tơ tính lưu trữ sở liệu Bước 3: Nhận dạng khuôn mặt Với hình ảnh đầu vào sau phát khn mặt, sử dụng thuật tốn SVM để so sánh trích rút đặc trưng khn mặt với sở liệu khuôn mặt Tên người cần truy vấn nhận dạng khuôn mặt hiển thị 2.1.2 Bài tốn phát khơng đeo trang Khi nhận diện khn mặt người vào tịa nhà, phát người không đeo trang đeo trang không đúng, chia thành hai giai đoạn: Giai đoạn 1: phát khuôn mặt ảnh, bước phát khn mặt có đeo lẫn khơng đeo trang, sau cắt lại qua bước Giai đoạn 2: phân loại (classification) để phát khuôn mặt trường hợp sau: + Mask: có đeo trang + No Mask: không đeo trang + Wrong: đeo trang chừa mũi miệng + Hand: lấy tay che trang + Nothing: bước nhận diện nhằm vùng khn mặt 12 2.1.3 Bài tốn đếm số lượng khách nhận dạng nhân viên hay người lạ: Cũng từ liệu video trích xuất từ camera địa điểm quan , đếm số lượng khách từ liệu video, thống kê gần số lượng khách đến quan hàng ngày, thời gian Áp dụng kết hợp trình theo dõi đối tượng phát đối tượng thành thuật toán nhất, chia thành hai giai đoạn: - Giai đoạn 1- Phát hiện: xác định vị trí đối tượng hình ảnh/ khung hình Trong giai đoạn phát đối tượng, chạy trình theo dõi đối tượng để phát xem đối tượng “mới” xuất hay khơng xem tìm thấy đối tượng bị “mất” giai đoạn theo dõi hay không Đối với đối tượng phát hiện, tạo cập nhật trình theo dõi đối tượng với tọa độ hộp giới hạn - Giai đoạn – Theo dõi: theo dõi đối tượng chấp nhận tọa độ đầu vào (x, y) vị trí đối tượng hình ảnh sẽ: + Gán ID cho đối tượng cụ thể + Theo dõi đối tượng di chuyển xung quanh luồng video, dự đốn vị trí đối tượng khung dựa thuộc tính khác khung Đối với đối tượng phát hiện, tạo trình theo dõi đối tượng để theo dõi đối tượng di chuyển xung quanh khung Tiếp tục theo dõi đạt đến khung thứ N lặp lại tồn q trình 2.1.3.1 MobileNet Single Shot Detector (MobileNet SSD) 13 MobileNet SSD thuật toán phát đối tượng thời gian thực, siêu nhanh thiết bị hạn chế tài nguyên (Raspberry Pi, điện thoại thông minh,…) MobileNet SSD bao gồm Single Shot Detector MoblileNet: a Single Shot Detector Hình 2.2 Kiến trúc mạng SSD Hình 2.3 Bản đồ tính có độ phân giải thấp (bên phải) phát đối tượng có quy mơ lớn b MobileNets 2.1.3.2 Thuật toán theo dõi centroid: 2.2 Mạng nơ ron CNN (Convolutional Neural Networks) 2.2.1 Khái niệm 14 2.2.2 Cấu trúc CNN 2.2.2.1 Convolution layer 2.2.2.2 Nonlinear Layer 2.2.2.3 Pooling Layer Hình 2.16 Pooling layer 2x2 2.2.2.4 Fully Connected Layer Hình 2.17 Chuyển ma trận đặc trưng thành vec tơ 2.2.3 Mơ hình nhận dạng khn mặt dựa CNN 15 Hình 2.18 Kiến trúc mạng khối mơ hình CNN 2.3 Quá trình huấn luyện mạng nơ ron Hình 2.19 Quá trình huấn luyện mạng nơ ron 2.4 Thuật tốn SVM (Máy vectơ hỗ trợ) 2.4.1 Định nghĩa: 2.4.2 Bài toán phân lớp 2.4.3 Cơ sở lý thuyết SVM 2.5 Hàm nhân Kernel 16 CHƯƠNG XÂY DỰNG CHƯƠNG TRÌNH, CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Môi trường công cụ sử dụng Camera nhận diện: Camera dùng để nhận diện cách thu thập hình ảnh, video Thơng số kỹ thuật Len: - Kích cỡ CMOS: 1/4 inch - Độ mở (F): 2.35 - Độ dài tiêu cự: 3.15 mm - Góc nhìn (đường chéo): 160 độ - Bóp méo: