ứng dụng computer vision trong nhận diện người đeo khẩu trang tại nơi công cộng

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ BÀI KIỂM TRA Học phần: Trí tuệ nhân tạo kinh doanh Đề tài: Ứng dụng Computer Vision nhận diện người đeo trang nơi công cộng Giảng viên hướng dẫn : Nguyễn Văn Thủy Nhóm thực : 02 Lớp : 211IS42A13 Hà nội, tháng 09 năm 2021 MỤC LỤC PHÂN CHIA CÔNG SỨC LÀM VIỆC CÁC THÀNH VIÊN NỘI DUNG Phát biểu toán lý chọn toán .2 Giới thiệu cách thức thu thập liệu, kiểu liệu ảnh cần thu thập, số lượng kiểu liệu ảnh cách tổ chức lưu trữ liệu máy tính Giới thiệu tổng quan thuật toán sử dụng .2 Mã lệnh chương trình 4.1 Khai báo thư viện cần sử dụng .2 4.3 Khai báo đường dẫn đến thư mục chứa liệu 4.4 Gán nhãn cho liệu .2 4.5 Tiền xử lý liệu 4.6 Đọc hai liệu train, validation gán nhãn tương ứng với cấu trúc thư mục 4.7 Xây dựng mơ hình 4.8 Thiết lập tham số để huấn luyện mơ hình 4.9 Huấn luyện mơ hình .2 4.10 Sử dụng mơ hình Kết luận 2 PHÂN CHIA CÔNG SỨC LÀM VIỆC CÁC THÀNH VIÊN Danh sách thành viên  40 Phạm Thị May MSV: 22A4030188 Lớp K22QTDNA Nhóm trưởng SĐT: 0343197894  48 Lê Quỳnh Như MSV: 22A4010047 Lớp K22NHD  58 Phạm Ngọc Thao MSV: 22A4050391 Lớp K22KDQTE STT MSV HỌ TÊN CÔNG VIỆC 22A403018 Phạm Thị May - Lên kế hoạch cơng việc, lịch trình, thời gian cho nhóm - Hỗ trợ tìm kiếm hình ảnh, cắt chỉnh ảnh - Trình bày colab, chạy tốn colab - Ý tưởng để nâng cấp mơ hình - Hỗ trợ phần video giới thiệu 22A401004 Lê Quỳnh Như - Tìm kiếm tập liệu ảnh, chỉnh ảnh - Ý tưởng nâng cấp mô hình - Chạy tập test sử dụng mơ hình báo cáo kết - Quay video giới thiệu 34% 22A405039 Phạm Ngọc - Hỗ trợ tìm kiếm ảnh, cắt chỉnh Thao ảnh - Tìm kiếm thơng tin liên hệ thực tế vào toán bối cảnh - Tổng kết chung đưa kết - Ghi âm chỉnh sửa video 32% MỨC ĐỘ ĐÓNG GÓP 34% NỘI DUNG Phát biểu toán lý chọn toán Thực đạo Thủ tướng Chính phủ Nguyễn Xuân Phúc họp Thường trực Chính phủ phịng, chống dịch COVID-19 ngày 19/10/2020; theo phải tiếp tục đạo thực biện pháp phòng chống dịch tình hình theo hướng dẫn Bộ Y tế, thực tốt “Thông điệp 5K”, đeo trang rửa tay xà phòng, dung dịch sát khuẩn Để hạn chế nguy lây nhiễm dịch bệnh hành khách phương tiện giao thông công cộng nguy dịch bệnh lây lan rộng vào Việt Nam, Bộ Giao thông vận tải yêu cầu quan, đơn vị thực nhiệm vụ, cụ thể sau: - Đôn đốc, nhắc nhở doanh nghiệp vận tải, chủ/người điều khiển phương tiện vận tải để thông báo yêu cầu: Tất hành khách phương tiện giao thông công cộng (xe buýt, taxi, xe chở khách, tàu hỏa, tàu phà ) đặc biệt máy bay; người điều khiển phương tiện người phục vụ phương tiện phải thực đeo trang cách theo khuyến cáo Bộ Y tế bến tàu, bến xe, nhà ga phương tiện giao thông công cộng suốt thời gian di chuyển - Cục Hàng không Việt Nam: Có văn nhắc nhở tất hãng hàng không Việt Nam, Tổng công ty Cảng Hàng không Việt Nam tiếp tục thực nghiêm quy định yêu cầu toàn hành khách (bao gồm người Việt Nam người nước ngoài) bắt buộc phải đeo trang cách suốt thời gian máy bay, làm thủ tục, thời gian sân bay Hành khách người đưa tiền bắt buộc đeo trang phạm vi sân bay Người ta nhận rằng, thị giác người đáp ứng nhu cầu tìm lỗi nhỏ trình sản xuất Nhưng cỗ máy trang bị camera nhạy gấp nhiều lần so với mắt thường tương lai giải tốn Do đó, Ứng dụng Computer Vision nhận diện người đeo trang nơi cơng cộng đóng vai trò quan trọng thời kỳ đại dịch Bài toán ứng dụng: Cho tập liệu gồm loại là: người đeo trang (mask) người không đeo trang (nomask) lấy cộng đồng Xây dựng mơ hình có khả nhận dạng hai loại Giới thiệu cách thức thu thập liệu, kiểu liệu ảnh cần thu thập, số lượng kiểu liệu ảnh cách tổ chức lưu trữ liệu máy tính Dữ liệu lấy từ Internet cắt chỉnh cho rõ nét, tránh ngoại cảnh lưu drive My Drive/datakhautrang gồm hai thư mục Train Validation Mỗi loại tương ứng thư mục có 100 ảnh Train, 25 ảnh Validation Giới thiệu tổng quan thuật toán sử dụng Thuật toán sử dụng với toán nhận diện người đeo trang mạng noron tích chập (CNN) Đây xem mơ hình Deep Learning – tập hợp thuật tốn để có mơ hình liệu trừu tượng hóa mức cao cách sử dụng nhiều lớp xử lý cấu trúc phức tạp Hiểu đơn giản, CNN lớp mạng nơ-ron sâu, áp dụng phổ biến để phân tích hình ảnh trực quan Cấu trúc mạng CNN: CNN bao gồm tập hợp lớp bao gồm: lớp tích chập (Convolutional); lớp kích hoạt phi tuyến (Non Linearity); lớp lấy mẫu (Pooling); lớp kết nối đầy đủ (Fully connected) Các lớp liên kết với theo thứ tự định Thông thường, ảnh lan truyền qua lớp tích chập + lớp kích hoạt phi tuyến đầu tiên, sau giá trị tính tốn lan truyền qua lớp lấy mẫu, ba lớp tích chập + lớp kích hoạt phi tuyến lớp lấy mẫu lặp lại nhiều lần mạng Và sau lan truyền qua kết nối đầy đủ để tính sác xuất ảnh chứa vật thể - Lớp tích chập: Convolution layer lớp quan trọng lớp của mơ hình CNN Lớp có chức phát đặc trưng có tính khơng gian hiệu Lớp tích chập thể liên kết cục thay kết nối tồn điểm ảnh Các liên kết cục tính tốn phép tích chập giá trị điểm ảnh vùng ảnh cục với lọc filters có kích thước nhỏ Các filter ma trận có kích thước thơng thường 3x3 5x5, bao gồm số gọi parameter Sau đưa ảnh đầu vào cho lớp tích chập nhận kết đầu loạt ảnh tương ứng với lọc sử dụng để thực phép tích chập Các trọng số lọc khởi tạo ngẫu nhiên lần cập nhật trình huấn luyện - Lớp kích hoạt phi tuyến xây dựng để đảm bảo tính phi tuyến mơ hình huấn luyện sau thực loạt phép tính tốn tuyến tính qua lớp tích chập Lớp kích hoạt phi tuyến sử dụng hàm kích hoạt phi tuyến ReLU Sigmoid, Tanh, Leaky relu, Maxout… để giới hạn phạm vi biên độ cho phép giá trị đầu Trong số hàm kích hoạt này, hàm ReLU chọn cài đặt đơn giản, tốc độ xử lý nhanh mà đảm bảo tính tốn hiệu Phép tính tốn hàm ReLU đơn giản chuyển tất giá trị âm thành giá trị Lớp ReLU áp dụng phía sau lớp tích chập, với đầu ảnh có kích thước giống với ảnh đầu vào, giá trị điểm ảnh hoàn toàn tương tự, trừ giá trị âm bị loại bỏ - Lớp lấy mẫu Pooling Layer đặt sau lớp tích chập lớp ReLU để làm giảm kích thước ảnh đầu giữ thông tin quan trọng ảnh đầu vào Việc giảm kích thước liệu có tác dụng làm giảm số lượng parameter (tham số) tăng hiệu tính tốn Lớp lấy mẫu sử dụng cửa sổ trượt để quét tồn vùng ảnh lớp tích chập, thực phép lấy mẫu thay phép tích chập, chọn lưu lại giá trị đại diện cho tồn thơng tin vùng ảnh Các phương thức lấy mẫu thường sử dụng nay, Max Pooling (lấy giá trị điểm ảnh lớn nhất) Average Pooling (lấy giá trị trung bình điểm ảnh vùng ảnh cục bộ) Như vậy, với ảnh đầu vào đưa qua lấy mẫu thu ảnh đầu tương ứng, có kích thước giảm xuống đáng kể giữ đặc trưng cần thiết cho trình tính tốn nhận dạng - Lớp kết nối đầy đủ Fully Connected Layer: Lớp có chức đưa ma trận đặc trưng lớp trước vào mạng kết nối đầy đủ mạng nơ ron bình thường Tại lớp này, nơ ron lớp liên kết với nơ ron lớp khác Để đưa ảnh từ lớp trước vào ta phải dàn phẳng ảnh thành vector Cuối sử dụng hàm softmax để thực phân loại đối tượng (Tham khảo phần tài liệu đọc thêm chương 6) Mã lệnh chương trình 4.1 Khai báo thư viện cần sử dụng Các thư viện cần dùng gồm:  Thư viện tensorflow thư viện mã nguồn mở hỗ trợ học máy học sâu tiếng giới, phát triển nhà nghiên cứu Google Việc hỗ trợ mạnh mẽ phép tốn học để tính tốn học máy học sâu giúp việc tiếp cận tốn trở nên đơn giản, nhanh chóng tiện lợi  Thư viện matplotlib thư viện dùng để vẽ biểu đồ  Thư viện numpy thư viện dùng để tính tốn số học 4.2 Kết nối với Google Drive để đọc file lưu file 4.3 Khai báo đường dẫn đến thư mục chứa liệu Khai báo đường dẫn đến thư mục chứa ảnh để Huấn luyện Kiểm định mơ hình bằng: 4.4 Gán nhãn cho liệu - Phân loại ảnh tốn học có giám sát, liệu huấn luyện kiểm định phải gán nhãn Ảnh gán nhãn dựa theo tên thư mục chứa nó, ta có tên thứ tự nhãn tương ứng với tên thứ tự thư mục chứa ảnh huấn luyện kiểm định - Nhóm đưa nhãn để gán cho liệu là: mask (người đeo trang) nomask (người không đeo trang) 4.5 Tiền xử lý liệu Một file ảnh lưu máy tính dạng ma trận liệu số có giá trị khoảng [0, 255] 4.6 Đọc hai liệu train, validation gán nhãn tương ứng với cấu trúc thư mục Ở đây, nhóm chọn biến đổi ảnh kích thước [100x100] 4.7 Xây dựng mơ hình  Mơ hình gồm tầng: Input image -> CNN1 -> CNN2 -> CNN3 -> Fully connected layer -> Output Tầng CNN gồm 64 lọc kích thước 3x3 Tầng CNN kết nối với đầu vào nên phải mô tả thông tin đầu vào (input_shape) Với lọc khác học đặc trưng khác ảnh, tầng convolutional ta dùng nhiều lọc (CNN1 sử dụng 64 lọc) để học nhiều đặc trưng ảnh (ví dụ biên ngang, biên dọc…) Tầng CNN gồm 64 lọc kích thước 3x3 Tầng CNN gồm 64 lọc kích thước 3x3 MaxPooling2D: lớp Pooling thường dùng lớp convolutional, để giảm kích thước liệu giữ thuộc tính quan trọng Kích thước liệu giảm giúp giảm việc tính tốn model Hầu hết dùng pooling layer dùng cửa sổ trượt size = (2,2), bước dịch chuyển stride=2 Khi kích thước liệu giảm nửa Có loại pooling layer phổ biến là: max pooling average pooling Ở đây, nhóm chọn loại max pooling Hàm kích hoạt Relu để loại giá trị âm Flatten: chuyển ảnh từ dạng ma trận mảng chiều Sau ảnh truyền qua nhiều lớp CNN mơ hình học đặc điểm ảnh, output lớp CNN cuối ma trận, chuyển vector chiều 4.8 Thiết lập tham số để huấn luyện mơ hình Qua tìm hiểu, có nhiều thuật toán tối ưu Optimizer khác Xem xét ưu, nhược điểm loại, nhóm định chọn Adam để huấn luyện mơ hình 4.9 Huấn luyện mơ hình  Với số vịng lặp Epochs=500, thấy huấn luyện đến epochs từ 200 độ xác mơ hình mức ổn định Thống kế độ xác sai số mơ hình huấn luyện: 4.10 Sử dụng mơ hình Khi chạy tập test độ xác mơ hình dao động khoảng 66% Độ xác mơ hình dự đốn cịn phụ thuộc vào nhiều yếu tố: 10 - Tập Train, Validation nhóm: số lượng cịn nhỏ; ảnh chưa chuẩn hóa kích thước, ảnh cịn nhiều chi tiết phụ, dư thừa - Tập ảnh đeo trang, kiểu dáng trang cịn - Khi điều kiện ánh sáng kém, việc phát trang chưa thực hiệu Kết luận  Kết nghiên cứu cho thấy: “Ứng dụng Computer Vision nhận diện người đeo trang nơi cơng cộng” có độ xác cao, số lượng tham số ít, giảm chi phí sản xuất hệ thống triển khai thiết bị phát nhiều khn mặt ảnh video với liệu đeo trang thực tế Hơn nữa, nghiên cứu thực thu thập mặt không đeo trang lưu trữ vào thư mục máy chủ nhằm tạo liệu thống kê để dự đốn bùng phát dịch bệnh mà khơng cần xác định danh tính cá nhân họ Bài nghiên cứu xây dựng thành cơng chương trình phát nhắc nhở người không đeo trang nhằm hỗ trợ công tác giám sát người dân thực quy định Chính phủ việc đeo trang nơi công cộng Nhất vào thời điểm tại, tốc độ truyền nhiễm dịch bệnh chưa có dấu hiệu suy giảm Bài nghiên cứu của chúng em cịn nhiều thiếu sót, mong thầy nhận xét giúp chúng em hoàn thiện nhiều Chúng em xin chân thành cảm ơn! 11 ... - Tập ảnh đeo trang, kiểu dáng trang cịn - Khi điều kiện ánh sáng kém, việc phát trang chưa thực hiệu Kết luận  Kết nghiên cứu cho thấy: “Ứng dụng Computer Vision nhận diện người đeo trang nơi... lỗi nhỏ trình sản xuất Nhưng cỗ máy trang bị camera nhạy gấp nhiều lần so với mắt thường tương lai giải tốn Do đó, Ứng dụng Computer Vision nhận diện người đeo trang nơi cơng cộng đóng vai trị quan... quan trọng thời kỳ đại dịch Bài toán ứng dụng: Cho tập liệu gồm loại là: người đeo trang (mask) người không đeo trang (nomask) lấy cộng đồng Xây dựng mơ hình có khả nhận dạng hai loại Giới thiệu