ỨNG DỤNG COMPUTER VISION TRONG NHẬN DIỆN KHUÔN MẶT ĐEO KHẨU TRANG, KHÔNG ĐEO KHẨU TRANG VÀ ĐEO KHẨU TRANG SAI CÁCH TẠI TRUNG TÂM THƯƠNG MẠI

BÀI BÁO CÁO ỨNG DỤNG COMPUTER VISION TRONG NHẬN DIỆN KHUÔN MẶT ĐEO KHẨU TRANG, KHÔNG ĐEO KHẨU TRANG VÀ ĐEO KHẨU TRANG SAI CÁCH TẠI TRUNG TÂM THƯƠNG MẠI Giáo viên hướng dẫn: Vũ Trọng Sinh Nhóm tín chỉ: Nhóm thực hiện: IS42A05 Nhóm 16 MỤC LỤC Giáo viên hướng dẫn: Vũ Trọng Sinh Error! Bookmark not defined Danh sách thành viên nhóm 16 NỘI DUNG Xác định vấn đề I Giới thiệu chung trung tâm thương mại Đặt vấn đề Bài toán đặt II Giới thiệu tổng quan thuật toán .6 Giới thiệu chung .6 Cách sử dụng Teachable Machine để huấn luyện mơ hình .8 Teachable Machine xây dựng nào? Về số lớp mạng ẩn (Hidden layer) 4.1 Teachable machine có lớp ẩn? 4.2 Cách Teachable Machine phân loại hình ảnh 10 III Xây dựng mơ hình .10 Chuẩn bị liệu .10 Triển khai huấn luyện mơ hình 10 Sử dụng mơ hình 14 Kết mơ hình .15 IV Đánh giá mơ hình 15 V Ưu điểm 15 Hạn chế 16 Kết luận 16 TÀI LIỆU THAM KHẢO 17 Nhóm 16 - 211IS42A05 Danh sách thành viên nhóm 16 STT Họ tên MSV Đóng góp Phần trăm đóng góp Nguyễn Văn Giáp 22A4070206 Nêu ý tưởng; Thu thập liệu; Giới thiệu tổng quan thuật tốn; Xây dựng mơ hình; Triển khai huấn luyện test mơ hình; Nêu kết mơ hình 16% Trịnh Thanh Hà 22A4070172 Thu thập liệu; Xác định vấn đề; Triển khai huấn luyện test mơ hình; Nêu ưu điểm, hạn chế; Nêu kết mơ hình; Làm Word 20% Nguyễn Hương Ly 22A4070189 Nêu ý tưởng; Thu thập liệu; Triển khai huấn luyện test mơ hình; Nêu kết mơ hình; Làm Powerpoint 16% Trịnh Thị Chi Mai 22A4070121 Thu thập liệu; Xác định vấn đề; Nêu ưu điểm, hạn chế; Triển khai huấn luyện test mơ hình; Nêu kết mơ hình 16% Đỗ Phú Hoàng Quý 22A4070055 Nêu ý tưởng; Triển khai huấn luyện mơ hình; Nêu kết mơ hình 16% Tạ Hà Thu Nêu ý tưởng; Giới thiệu tổng quan dự án Thu thập liệu; Triển khai huấn luyện test mơ hình 16% 22A4070128 Nhóm 16 - 211IS42A05 NỘI DUNG I Xác định vấn đề Giới thiệu chung trung tâm thương mại Trung tâm thương mại loại hình tổ chức kinh doanh thương mại đại, đa chức gồm tổ hợp loại hình cửa hàng, sở hoạt động dịch vụ, hội trường, phòng họp, văn phòng cho thuê, Tất bố trí tập trung, liên hồn cơng trình kiến trúc liền kề, đáp ứng tiêu chuẩn diện tích kinh doanh, trang bị kỹ thuật trình độ quản lý, có phương thức phục vụ văn minh, thuận tiện đáp ứng nhu cầu phát triển hoạt động kinh doanh thương nhân thỏa mãn nhu cầu hàng hóa, dịch vụ khách hàng Đặt vấn đề Trong thời gian dịch bệnh COVID-19 diễn biến căng thẳng phức tạp vừa qua, đa số tỉnh thành, vùng phát dịch bệnh hầu hết có liên quan đến trung tâm thương mại Cụ thể, tháng tỉnh Bắc Giang có ca bệnh liên quan đến siêu thị BigC hay Hà Nội, vào đợt giãn cách xã hội tháng có chùm ca bệnh liên quan đến hệ thống Vinmart Hiện tại, dịch COVID-19 diễn biến phức tạp nước, đặc biệt khu vực miền Nam Trong ngày qua, trung tâm thương mại miền Bắc, cụ thể Hà Nội phép hoạt động trở lại, nhiên, nơi tiếp nhận lượng khách hàng đông đảo nên khả lây nhiễm dịch bệnh cao Chính vậy, trung tâm thương mại cần có biện pháp phòng chống nghiêm ngặt để tránh rủi ro thời điểm dịch bệnh bùng phát nước ta Một biện pháp dễ thực có khả phịng ngừa lây nhiễm chéo cao kiểm soát người đeo trang đến trung tâm thương mại Tuy nhiên, nhiều khách hàng chưa tự nhận thức nguy hiểm COVID-19 mang đến cho người xung quanh, mang tinh thần chủ quan không đeo trang đeo cách đối phó tham gia mua sắm Từ khiến tình hình dịch bệnh diễn biến phức tạp , nhà nước khó khăn việc phòng ngừa, ngăn chặn dịch bệnh lây lan Bài toán đặt Khi phép mở cửa trở lại, trung tâm thương mại muốn có hệ thống giám sát nhận diện phát đeo trang, không đeo trang đeo sai cách để kịp thời nhắc nhở, xử lí trường hợp vi phạm giúp đảm bảo an toàn cho cộng đồng Nhóm 16 - 211IS42A05 Đánh giá giải pháp phương hướng tối ưu: - Yêu cầu lực lượng an ninh kiểm tra, rà soát người vào trung tâm thương mại có đeo trang hay khơng, khơng đeo sai cách khơng phép vào trung tâm thương mại + Ưu điểm: Theo dõi sát ý thức chấp hành đeo trang người, đảm bảo số lượng người vào phải đeo trang Hạn chế tối đa trường hợp thiếu ý thức không đeo trang vào trung tâm thương mại + Nhược điểm: Lực lượng kiểm tra chốt cửa chính, khúc giao cầu thang, khó có khả rà sốt tồn lượng người trung tâm thương mại có tháo gỡ trang theo cách vơ tình hay cố tình trình mua sắm Vì vậy, muốn kiểm sốt người ln ln đeo trang trung tâm thương mại cần chi phí nhân cơng lớn, nguồn lực lượng an ninh đơng đảo phải làm việc vất vả - Dùng hệ thống loa phát trung tâm thương mại để khuyến cáo nhắc nhở đeo trang + Ưu điểm : Không tốn nhiều chi phí nguồn lực để thực + Nhược điểm : Khó có khả kiểm sốt biện pháp phụ thuộc vào ý thức cá nhân người, nghiêm túc chấp hành nên cần phải có lực lượng an ninh kiểm tra, rà soát thường xuyên - Xây dựng hệ thống AI nhận diện khn mặt có đeo trang, không đeo trang đeo trang sai cách + Ưu điểm: Tiết kiệm nguồn nhân lực, kiểm soát tốt chặt chẽ người không đeo trang, nhanh chóng kịp thời nhắc nhở có biện pháp xử lý + Nhược điểm: Tốn khoản chi phí khơng để tiến hành triển khai, lắp đặt xuất sai số  Lựa chọn biện pháp: Xây dựng hệ thống Computer Vision đặt quầy thu ngân cửa vào để nhận diện khuôn mặt đeo, không đeo hay đeo sai cách trung tâm thương mại Biện pháp lựa chọn việc sử dụng hệ thống Computer Vision đạt hiệu tối ưu nhất, khắc phục nhược điểm biện pháp khác tiết kiệm thời gian nguồn lực, chi phí bỏ lần lớn thiết bị sử dụng dùng lâu dài chi phí khơng lớn chi phí th nhân cơng lao động Nhóm 16 - 211IS42A05 Hình 1: Tỷ lệ không đeo trang phương tiện vận tải hành khách sau áp dụng AI II Giới thiệu tổng quan thuật toán Giới thiệu chung Trong tốn này, nhóm thực thuật tốn cụ thể thông qua ứng dụng Teachable Machine Teachable Machine tảng sử dụng thư viện mã nguồn mở Tensorflow thư viện dành cho máy học Javascript Google phát triển Đây thử nghiệm trực tuyến miễn phí cho phép người đào tạo mơ hình Học sâu trình duyệt web để phân loại hình ảnh, âm tư người vài giây mà không cần chuyên môn lĩnh vực lập trình Các mơ hình sử dụng kỹ thuật gọi học chuyển giao (transfer learning) Có mạng nơ-ron đào tạo trước bạn tạo lớp (class) riêng Các lớp tích chập mơ hình đào tạo trước hiệu việc trích xuất đối tượng nên bạn thay phần nhỏ dựa liệu huấn luyện hầu hết kiến trúc mạng nơ-ron giữ lại mà khơng phải đào tạo lại Nhóm 16 - 211IS42A05 Hình 2: Transfer learning Cơng cụ sử dụng với tập liệu bạn sử dụng máy ảnh, micrơ máy tính xách tay để ghi lại hình ảnh mẫu âm gắn nhãn chúng Bạn chọn loại mơ hình mà muốn xây dựng (các dự án giống nhau, điểm khác biệt đầu vào) qua cách: - Xác định mẫu hình ảnh - Xác định mẫu âm - Xác định tư cử Nhóm 16 - 211IS42A05 Cách sử dụng Teachable Machine để huấn luyện mơ hình - Bước 1: Gather Thu thập nhóm ví dụ thành lớp (class) danh mục mà bạn muốn máy tính học - Bước 2: Train Đào tạo mơ hình bạn, sau kiểm tra để xem liệu phân loại xác ví dụ hay khơng - Bước 3: Export Xuất mơ hình cho dự án như: trang web, ứng dụng tải xuống mơ hình hay lưu trữ trực tuyến miễn phí Teachable Machine xây dựng nào? Teachable Machine dựa kỹ thuật học sâu phổ biến gọi học chuyển giao (transfer learning) Transfer learning việc ứng dụng kỹ năng, tri thức học từ vấn đề với ứng dụng sang vấn đề khác với ứng dụng khác có liên quan Nhóm 16 - 211IS42A05 Về số lớp mạng ẩn (Hidden layer) Hình 3: Mơ hình Deep Learning Nhìn vào hình 3, ta thấy lớp ẩn vùng Hidden Layers bơi vàng Các nodes hình trịn màu xanh nước biển nơ-ron chứa giá trị tính toán từ lớp trước Khi bắt đầu huấn luyện model, nơ-ron (hoặc gọi node) lớp trước lớp sau nối mũi tên màu đen, mũi tên mang giá trị gọi weights mà đưa vào phép tính với nodes lớp trước để nodes lớp sau Ban đầu giá trị gán ngẫu nhiên, trình huấn luyện model, chúng tinh chỉnh kết lớp đầu cuối (Output Layer) thực tính tốn tích chập lớp ẩn (Hidden layer) 4.1 Teachable machine có lớp ẩn? Như tên gọi nó, lớp ẩn thứ bị ẩn trình train model, có người thực viết model biết có lớp ẩn Giao diện Teachable Machine mà sử dụng front-end Google làm ra, không bao hàm thông tin hay mã nguồn Backend hay AI chạy đằng sau chúng Bài cơng bố nghiên cứu Teachable machine có tiêu đề “Teachable Machine: Approachable Web-Based Tool for Exploring Machine Learning Classification” công bố vào ngày 25/8/2020 Michelle Carney cộng Google CHI EA '20: Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems Tuy nhiên proceeding không cơng khai nên khơng thể tìm thơng tin cụ thể lớp mạng ẩn Nhóm 16 - 211IS42A05 10 4.2 Cách Teachable Machine phân loại hình ảnh Để dạy thuật toán nhận diện đối tượng hình ảnh, Teachable Machine sử dụng Mạng nơ-ron tích chập (CNN) CNN mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thơng minh với độ xác cao Trước tiên CNN tìm đặc trưng ảnh: CNN so sánh hình ảnh theo mảnh, mảnh gọi feature (đặc trưng) Mỗi feature coi hình ảnh mini, tức chúng mảng hai chiều nhỏ Các feature khớp với khía cạnh chung ảnh nghĩa feature tương ứng với khía cạnh ảnh chúng khớp lại với Khi xem hình ảnh mới, CNN khơng biết vị trí feature khớp với đâu, thử chúng tất vị trí khác Trong q trình chúng tạo thành lọc, gọi filter Và để thực điều này, sử dụng phép tốn tích chập Phép tích chập phép nhân điểm ảnh feature với giá trị điểm ảnh tương ứng hình ảnh III Xây dựng mơ hình Trong chủ đề “Ứng dụng computer vision nhận diện khuôn mặt đeo trang, không đeo trang đeo trang sai cách trung tâm thương mại” mà nhóm đưa ra, cơng cụ “học” thơng qua sử dụng liệu hình ảnh Nhóm đào tạo mơ hình cách đưa file hình ảnh bao gồm: hình ảnh người đeo trang, hình ảnh người khơng đeo trang hình ảnh người đeo trang sai cách thu thập Chuẩn bị liệu Hình ảnh thu thập mạng Internet, tảng mạng xã hội để làm liệu Train camera an ninh giám sát chụp ảnh người đeo trang, không đeo trang đeo trang sai cách trung tâm thương mại để làm liệu Test Bộ liệu: https://bit.ly/datanhom16 Triển khai huấn luyện mô hình • Bước 1: Tải liệu hình ảnh lên Google Driver để chuẩn bị huấn luyện Nhóm 16 - 211IS42A05 11 Tiến hành tải liệu ảnh tìm kiếm thành thư mục lớn máy tính, phân loại thành thư mục Train Test, thư mục gồm thư mục nhỏ gồm: “Đeo trang”, “Không đeo trang” “Đeo trang sai cách” Mỗi thư mục nhỏ thư mục Train bao gồm từ 500 ảnh Bên cạnh đó, chuẩn bị thêm 100 ảnh (trong thư mục Test) không nằm liệu huấn luyện để kiểm tra độ xác mơ hình • Bước 2: Truy cập vào trang web: https://teachablemachine.withgoogle.com/ • Bước 3: Bắt đầu xây dựng mơ hình với Teachable Machine - Đây giao diện bắt đầu Chọn “Get Started”: - Có dự án lựa chọn: Image (Hình ảnh), Audio (Âm thanh), Pose (Cử chỉ) Như đề cập trên, nhóm chọn dự án cho máy học sử dụng đầu vào hình ảnh Chọn “Image Project” Nhóm 16 - 211IS42A05 12 - Chọn “Upload” để tải tất ảnh từ thư mục nhỏ chuẩn bị Google Drive vào Class Sau đổi tên Class thành “Đeo trang”, “Không đeo trang” “Đeo trang sai cách” - Phần mục ‘Khơng đeo trang’ nhóm xuất 500 ảnh, phần mục “Đeo trang sai cách” xuất 500 ảnh “Không đeo trang” xuất 500 ảnh upload Google Drive Nhóm 16 - 211IS42A05 13 - Tiếp theo, chọn “Train Embedded Model” để máy tiến hành học Sau học xong, phần “Preview” kiểm tra độ xác mơ hình cách đưa vào ảnh hồn tồn để xem máy có phân loại Class học không Tải ảnh từ thư mục Test chuẩn bị dùng Webcam để kiểm tra Nhóm 16 - 211IS42A05 14 Sử dụng mơ hình Sau xây dựng test mơ hình Teachable Machine, mơ hình xuất số định dạng sẵn sàng để triển khai trình duyệt web (JavaScript), TensorFlow gốc để sử dụng ứng dụng Python Java chí lượng tử hóa mơ hình để chạy điện thoại di động Chọn “Export Model” Tại Teachable Machine xây dựng model tức liệu huấn luyện sẵn, muốn sử dụng dùng model Có thể chọn “Download my model” để tải xuống đoạn code để sử dụng nhiên sau để tiện chia sẻ chọn “Copy” sau truy cập https://glitch.com/ (Một trang web hỗ trợ hosting, domain, giúp bạn xây dựng web, chia sẻ với người để học hỏi tham khảo lẫn nhau) đăng nhập tạo dự án Dán đoạn code copy vào phần body, chọn “Show” tiếp tục chọn “In a new window” xuất giao diện test Nhóm 16 - 211IS42A05 15 Kết mơ hình Nhóm thực test khoảng 100 hình ảnh kết dự đốn số ảnh 75 ảnh cịn lại ảnh sai dự đốn Như phần trăm tỉ lệ dự đoán trang web khoảng 75% IV Đánh giá mơ hình Ưu điểm - Tốc độ xử lý hình ảnh nhanh chóng máy học liệu đươc cập nhật dataset, bên cạnh thường xuyên bổ sung data để phù hợp với nhu cầu, hoàn cảnh sử dụng, tái sử dụng cho mục đích khác sau trung tâm thương mại - Chính sử dụng data dễ dàng tìm thu thập từ trước nên phương pháp xử lý nhanh chóng xác - Ngồi vật tư phải chuẩn bị camera với chi phí tốn sử dụng lâu dài phương pháp dùng Computer vision cho nhận diện khuôn mặt giúp nhà quản lý trung tâm thương mại tiết kiệm khoản chi phí đáng kể - Mơ hình khơng áp dụng máy tính mà cịn sử dụng điện thoại Nhóm 16 - 211IS42A05 16 - Việc thực thao tác với mơ hình đơn giản, dễ dàng, đồng thời cịn trang web miễn phí, dùng kết nối mạng nên thuận tiện việc dạy, triển khai giám sát q trình sử dụng - Mơ hình test thời gian ngắn nên nhanh chóng phát trường hợp đeo trang, không đeo trang đeo trang sai cách, từ kịp thời phát loa nhờ bảo vệ nhắc nhở, đảm bảo giữ an toàn, tuân thủ theo quy định Nhà nước phịng chống dịch q trình mua sắm, vui chơi trung tâm thương mại Hạn chế - Mơ hình sử dụng điện thoại tương thích hệ điều hành Android - Thường xun xảy sai sót q trình thực với số lý như: + Góc camera bị lệch, khuất hay đặt xa; + Chất lượng ánh sáng không tốt (quá sáng tối); + Các quầy tốn q đơng người, đặc biệt vào dịp lễ, tết khiến mơ hình khơng bắt kịp thời để đưa kết xác; + Người mua hàng, vui chơi trung tâm thương mại mang thêm nhiều phụ kiện khiến mơ hình khơng nắm bắt rõ hình ảnh để đưa kết luận + Khi liệu Test có nhiều đối tượng mà đối tượng thuộc Class khác mơ hình hoạt động không hiệu V Kết luận Sau trình nghiên cứu triển khai thực đề tài mơ hình Teachable Machine, nhóm rút kết luận sau: Mơ hình mang tính chất tham khảo, bước đầu để làm quen với chủ đề nhận diện khuôn mặt đeo trang, không đeo trang đeo trang sai cách với Computer Vision Trong q trình Train, mơ hình đạt độ xác định nhiên chưa đạt yêu cầu nhóm mong muốn Bên cạnh đó, sau cập nhật thêm liệu Train lại mô hình kết đưa có thay đổi Nhóm 16 - 211IS42A05 17 TÀI LIỆU THAM KHẢO Slide giảng chương - Ứng dụng thị giác máy tính Nhóm 02 (2021) - Ứng dụng nhận diện khuôn mặt đeo trang hay không đeo trang bệnh viện – Báo cáo học phần Trí tuệ nhân tạo kinh doanh – Khoa Hệ thống thông tin quản lý – Học viện Ngân Hàng Google, "Teachable Machine," [Online] Available: https://teachablemachine.withgoogle.com J MSV, "Teachable Machine From Google Makes It Easy To Train And Deploy ML Models," 29 12 2020 [Online] Available: https://www.forbes.com/sites/janakirammsv/2020/11/29/teachable-machine-fromgoogle-makes-it-easy-to-train-and-deploy-ml-models/?sh=4355e7ce64f2 RAX Automation Suite, "Introducing Transfer Learning as Your Next Engine to Drive Future Innovations," 27 02 2020 [Online] Available: https://medium.datadriveninvestor.com/introducing-transfer-learning-as-your-nextengine-to-drive-future-innovations-5e81a15bb567 Deepomatic, "Introduction to deep learning – AI for dummies," [Online] Available: https://deepomatic.com/en/introduction-to-deep-learning-ai-for-dummies-2-4 C Michelle, W Barron, A Irene, P Kyle and H Noura, "Teachable Machine: Approachable Web-Based Tool for Exploring Machine Learning Classification," in CHI '20: CHI Conference on Human Factors in Computing Systems, Honolulu HI USA, 2020 Google, "Glitch," [Online] Available: https://glitch.com/ https://www.techopedia.com/definition/33264/hidden-layer-neural-networks 10 https://machinelearningmastery.com/transfer-learning-for-deep-learning/ 11 https://thigiacmaytinh.com/teachablemachine-cong-cu-huan-luyen-phan-loai-anh/ 12 https://www.youtube.com/watch?v=T1pneI_VKIw&ab_channel=Ph%E1%BA%A1mH uyHo%C3%A0ng 13 https://thigiacmaytinh.com/teachablemachine-cong-cu-huan-luyen-phan-loai-anh/ Nhóm 16 - 211IS42A05 18 14 https://ichi.pro/vi/xay-dung-mo-hinh-hoc-sau-san-sang-de-trien-khai-voi-mot-vai-cunhap-chuot-268723612653587 15 https://tinhte.vn/thread/tu-lam-ra-con-ai-nhan-dien-hinh-anh-khong-can-code-dong-naoco-the-tich-hop-vao-app-web-cua-ban.3036532/ 16 https://ichi.pro/vi/thiet-ke-va-dao-tao-mo-hinh-hoc-may-cua-ban-voi-may-co-the-dayhuong-dan-co-the-242147795501730 17 https://www.youtube.com/watch?v=sa4qGxQAlqs&fbclid=IwAR2bT4McO8TmKU9Z dor2gIikxkvyIy9NxFHVIjtK8Qa-m6dMolHB3K-evjg 18 https://dangcongsan.vn/phong-chong-dich-covid-19/hieu-qua-cua-cong-nghe-tri-tuenhan-tao-al-trong-canh-bao-khong-deo-khau-trang-tren-xe-khach-584334.html Nhóm 16 - 211IS42A05 ... đổi tên Class thành ? ?Đeo trang? ??, “Không đeo trang? ?? ? ?Đeo trang sai cách” - Phần mục ‘Không đeo trang? ?? nhóm xuất 500 ảnh, phần mục ? ?Đeo trang sai cách” xuất 500 ảnh “Không đeo trang? ?? xuất 500 ảnh... ảnh tương ứng hình ảnh III Xây dựng mơ hình Trong chủ đề “Ứng dụng computer vision nhận diện khuôn mặt đeo trang, không đeo trang đeo trang sai cách trung tâm thương mại” mà nhóm đưa ra, công... dựng hệ thống AI nhận diện khn mặt có đeo trang, không đeo trang đeo trang sai cách + Ưu điểm: Tiết kiệm nguồn nhân lực, kiểm sốt tốt chặt chẽ người khơng đeo trang, nhanh chóng kịp thời nhắc nhở