Ứng dụng thị giác máy tính để thiết kế hệ thống giám sát tuân thủ an toàn lao động tại công trường, nhà máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT MÁY TÍNH ỨNG DỤNG THỊ GIÁC MÁY TÍNH ĐỂ THIẾT KẾ HỆ THỐNG GIÁM SÁT TUÂN THỦ AN TỒN LAO ĐỘNG TẠI CƠNG TRƯỜNG, NHÀ MÁY GVHD: TS HUỲNH THẾ THIỆN SVTH : NGÔ TRUNG NGUYÊN NGUYỄN TRUNG HIẾU SKL011176 Tp Hồ Chí Minh, tháng 7/2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THƠNG ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG THỊ GIÁC MÁY TÍNH ĐỂ THIẾT KẾ HỆ THỐNG GIÁM SÁT TUÂN THỦ AN TOÀN LAO ĐỘNG TẠI CÔNG TRƯỜNG, NHÀ MÁY NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH Sinh viên: NGƠ TRUNG NGUN MSSV: 19119117 NGUYỄN TRUNG HIẾU MSSV: 19119087 GVHD: TS HUỲNH THẾ THIỆN TP HỒ CHÍ MINH – 06/2023 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** TP Hồ Chí Minh, ngày 21 tháng năm 2023 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Ngô Trung Nguyên MSSV: 19119117 Nguyễn Trung Hiếu MSSV: 19119087 Ngành: Cơng nghệ kỹ thuật máy tính Tên đề tài: Ứng dụng thị giác máy tính để thiết kế hệ thống giám sát tn thủ an tồn lao động cơng trường, nhà máy Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: ………… (Bằng chữ: ) GIẢNG VIÊN PHẢN BIỆN LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn sâu sắc đến TS Huỳnh Thế Thiện giảng viên trường ĐH Sư Phạm Kỹ Thuật Tp.HCM đề xuất hỗ trợ tơi có đủ điều kiện để thực đề tài Bên cạnh đó, TS Huỳnh Thế Thiện tạo điều kiện cho tiếp cận lĩnh vực học máy trí tuệ nhân tạo từ kinh nghiệm nghiên cứu khoa học thầy cung cấp cho ý tưởng hội để thực tốt đề tài Ngồi tơi xin chân thành cảm ơn đến quý thầy cô giảng viên trường ĐH Sư Phạm Kỹ Thuật Tp.HCM cụ thể ngành cơng nghệ kỹ thuật máy tính khoa Đào Tạo Chất Lượng Cao giảng dạy hỗ trợ tơi suốt q trình học tập trường đóng góp quý báo cho đề tài Người thực Ngô Trung Nguyên Nguyễn Trung Hiếu v GIỚI THIỆU ĐỀ TÀI Ngày với tốc độ phát triển kinh tế sở hạ tầng, dẫn đến thu hút nhiều người tham gia vào lực lương lao động Tuy nhiên, mặt trái việc liên quan đến vấn đề tai nạn lao động hít phải chất độc hại, khơng đội nón bảo hiểm gây chấn thương vùng đầu, dần trở thành vấn nạn nhức nhối ngày gần ngày gia tăng cách đáng báo động Nguyên nhân chủ yếu gây tai nạn lao động người lao động liên quan đến việc chủ quan người lao động việc bảo vệ thân khơng đội nói bảo hiểm, khơng mang găng tay, không mặc áo bảo hộ, Cũng lí mà nhóm thiết kế mơ hình vừa có tác dụng giám sát an tồn lao động cơng trường, nhà máy đồng thời có tác dụng nhận diện điểm danh công nhân công trường, nhà máy Đề tài "Ứng dụng thị giác máy tính để thiết kế hệ thống giám sát tuân thủ an tồn lao động cơng trường, nhà máy" tập trung vào việc sử dụng công nghệ thị giác máy tính để phát triển hệ thống giám sát an tồn lao động cơng trình xây dựng nhà máy Bằng cách sử dụng thiết bị cảm biến camera, hệ thống thu thập liệu môi trường làm việc hoạt động công nhân, sử dụng phương pháp thị giác máy tính để phân tích đánh giá mức độ an toàn hoạt động điều kiện làm việc Việc sử dụng cơng nghệ thị giác máy tính cho phép hệ thống giám sát hoạt động liên tục xác so với phương pháp giám sát thủ cơng truyền thống Kết đề tài giúp cải thiện mức độ an toàn giảm thiểu tai nạn lao động công trường xây dựng nhà máy vi MỤC LỤC DANH MỤC HÌNH X DANH MỤC BẢNG XII CÁC TỪ VIẾT TẮT XII CHƯƠNG TỔNG QUAN ĐỀ TÀI 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU ĐỀ TÀI 1.3 PHƯƠNG PHÁP NGHIÊN CỨU 1.4 NỘI DUNG NGHIÊN CỨU 1.5 BỐ CỤC TRÌNH BÀY CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 2.2 2.3 2.4 TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH 2.1.1 Giới thiệu chung 2.1.2 Xử lý hình ảnh số thị giác máy tính HỌC SÂU TRONG THỊ GIÁC MÁY TÍNH 2.2.1 Khái niệm mạng Nơ-ron nhân tạo 2.2.2 Tổng quan học sâu thị giác máy tính 2.2.3 Phân tích khác mạng học sâu, học máy trí tuệ nhân tạo KĨ THUẬT XỬ LÝ ẢNH SỐ TRONG MẠNG HỌC SÂU 10 2.3.1 Bài toán phát đối tượng 10 2.3.2 Bài tốn phân vùng hình ảnh 11 2.3.3 Bài tốn phân loại hình ảnh 12 2.3.4 Kĩ thuật nhận diện khn mặt thị giác máy tính 12 MƠ HÌNH MẠNG NƠ-RON TÍCH CHẬP 13 2.4.1 Tổng quan mơ hình mạng CNN 13 2.4.2 Kiến trúc mạng nơ-ron tích chập CNN 14 2.4.3 Phép tích chập xử lý ảnh 15 2.4.4 Bước nhảy mạng CNN 16 2.4.5 Đệm mạng CNN 16 2.4.6 Lấy mẫu mạng CNN 17 vii 2.5 2.6 MẠNG HỌC SÂU YOLO 18 2.5.1 Khái niệm mạng học sâu YOLO 18 2.5.2 Tổng quan kiến trúc mạng YOLO 19 2.5.3 Một số phiên mạng YOLO 21 2.5.4 Một số hàm quan trọng mạng YOLO 23 2.5.5 Một số thuật ngữ liên quan đến tiêu chuẩn đánh giá 25 2.5.6 Kiến trúc mạng YOLOv4-tiny 27 2.5.7 Các khối sử dụng mạng 28 GIỚI THIỆU THƯ VIỆN OPENCV VÀ FACE RECOGNITION 30 2.6.1 Thư viện OPENCV 30 2.6.2 Thư viện Face Recognition 31 CHƯƠNG THIẾT KẾ MƠ HÌNH 32 3.1 3.2 3.3 TỔNG QUAN VỀ MƠ HÌNH THIẾT KẾ 32 3.1.1 Yêu cầu thiết kế 32 3.1.2 Nguyên lí hoạt động mơ hình 33 THIẾT KẾ LƯU ĐỒ THUẬT TOÁN GIAO DIỆN TRÊN JETSON NANO 34 3.2.1 Ý tưởng thiết kế 34 3.2.2 Lưu đồ thuật tốn cho mơ hình xử lý Jetson Nano 35 3.2.3 Lưu đồ thuật toán hiển thị kết nhận diện đồ bảo hộ công nhân 36 THIẾT KẾ LƯU ĐỒ THUẬT TỐN CHO GIAO DIỆN QUẢN LÍ 37 3.3.1 Ý tưởng thiết kế 37 3.3.2 Nguyên lí hoạt động 38 3.3.3 Lưu đồ thuật tốn chức thêm cơng nhân mới: 38 3.3.4 Lưu đồ thuật tốn chức cập nhật thơng tin 40 3.3.5 Lưu đồ thuật toán chức hiển thị danh sách xóa cơng nhân 41 3.3.6 Lưu đồ thuật toán cho chức hiển thị liệu chấm công: 42 CHƯƠNG THỰC HIỆN MƠ HÌNH 44 4.1 4.2 MƠ HÌNH NHẬN DIỆN KHUÔN MẶT 44 4.1.1 Q trình trích xuất vec-tơ đặc trưng: 44 4.1.2 Quá trình nhận diện khuôn mặt 46 SỬ DỤNG MẠNG YOLO HUẤN LUYỆN MƠ HÌNH GIÁM SÁT 46 4.2.1 Chuẩn bị tập liệu huấn luyện: 46 4.2.2 Thiết lập tệp cấu hình huấn luyện cho mơ hình YOLO 49 viii 4.2.3 4.3 Tải tập huấn luyện thử nghiệm cho mơ hình YOLO 50 THIẾT KẾ GIAO DIỆN CHO MƠ HÌNH 51 4.3.1 Giao diện xử lý Jetson Nano: 51 4.3.2 Giao diện quản lí: 53 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 58 5.1 5.2 5.3 KẾT QUẢ MÔ HÌNH NHẬN DIỆN KHN MẶT 58 5.1.1 Đánh giá mơ hình: 58 5.1.2 Kết nhận diện: 58 KẾT QUẢ MƠ HÌNH HUẤN LUYỆN 59 5.2.1 Quá trình huấn luyện 59 5.2.2 Kết độ xác hai mơ hình YOLOv4 YOLOv4-tiny 60 KẾT QUẢ MƠ HÌNH THỰC TẾ 63 5.3.1 Cấu hình phần cứng phát triển Jetson Nano B01 63 5.3.2 Kết chạy mơ hình thực tế Jetson Nano B01: 64 5.3.3 Kết chạy mơ hình giao diện quản lí 66 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70 6.1 KẾT LUẬN 70 6.2 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 71 TÀI LIỆU THAM KHẢO 72 PHỤ LỤC 73 ix Thực huấn luyện tương tự với mạng YOLOv4-tiny, kết thu bảng 5.4 bảng 5.5 sau: Bảng 5.4: Độ xác trung bình đối tượng YOLOv4-tiny Độ xác Lớp TP FP Helmet 2984 410 83.44 Vest 882 264 79.10 Gloves 453 302 30.91 (%) Bảng 5.5: Kết nhận diện mơ hình YOLOv4-tiny Chỉ số YOLOv4-tiny Precision (%) 87 Recall (%) 54 F1-score (%) 66 Average IoU (%) 67.44 mAP (%) 64.48 Size (MB) 24.02 Sau có thơng số kết trả sau huấn luyện kết thúc Chúng ta kiểm nghiệm độ xác tệp weights trả để kiểm nghiệm độ xác tập huấn luyện Kết thử nghiệm mơ hình huấn luyện ảnh thử nghiệm biểu thị đây: 61 Hình 5.3: Kết nhận diện ảnh mơ hình giám sát sử dụng mạng YOLOv4-tiny Kết luận: Với mơ hình YOLOv4 thơng thường, kết cho có độ xác cao YOLOv4-tiny lại bù lại có kích thước lớn tốc độ thấp, nên ứng dụng với phần cứng có GPU mạnh Thay vào đó, phiên YOLOv4-tiny có thơng số đánh giá thấp đơi chút so với YOLOv4 thơng thường kích thước nhỏ, FPS cao ứng dụng với phần cứng mơ hình đề tài, dùng phiên YOLOv4-tiny giải pháp với phần cứng tầm trung đảm bảo độ xác tương đối cho mơ hình 62 5.3 KẾT QUẢ MƠ HÌNH THỰC TẾ 5.3.1 Cấu hình phần cứng phát triển Jetson Nano B01 Bộ phát triển NVIDIA Jetson Nano B01 phiên nâng cấp bo mạch tích hợp Jetson Nano A02 NVIDIA Phiên kèm với số cải tiến nâng cấp để cung cấp trải nghiệm tốt cho việc phát triển ứng dụng trí tuệ nhân tạo máy học thiết bị nhúng Hình 5.4: Hình ảnh minh họa phần cứng Jetson Nano B01 Dưới cấu hình kĩ thuật phần cứng Jetson Nano B01 để minh chứng độ phù hợp cho việc nhúng mơ hình huấn luyện giao diện mơ tả bảng 4.9: Bảng 5.6: Cấu hình kĩ thuật phần cứng Jetson Nano B01 Kích thước 69.6mm x 45mm Cấu hình GPU 128 lõi Maxwell Cấu hình CPU Quad-core ARM A57 @ 1.43 GHz RAM GB 64-bit LPDDR4 đạt tốc độ 25.6 GB/s Bộ nhớ 16GB eMMC Khe thẻ nhớ MicroSD Kết nối mạng Gigabit Ethernet 63 Kết nối không dây Wi-Fi 802.11ac Bluetooth 4.2 GPIO 40 chân GPIO Nguồn Điện áp 5V, dòng điện tối thiểu 2A 5.3.2 Kết chạy mơ hình thực tế Jetson Nano B01: Mơ hình sau xây dựng thiết kế thành công, để đánh giá hiệu mơ hình, cần phải chuẩn bị yếu tố dùng cho việc kiểm nghiệm hoạt động mơ hình thực tế Đầu tiên, mơ hình thực tế thử nghiệm Jetson Nano B01 phiên 4GB kết hợp với hình LCD Camera thể hình đây: Hình 5.5: Mơ hình kết nối thực tế Sau kết nối tồn mơ hình sau, việc cần thử nghiệm trình xử lý nhận diện Jetson Nano bao gồm nhận diện qua camera, hiển thị gửi gói tin cho giao diện quản lí máy window sau: • Bấm nút capture (chụp) để tiến hành lấy ảnh từ camera 64 Hình 5.6: Thực thao tác chụp ảnh • Đợi giây sau bấm để đảm bao bao qt hết người cơng nhân Hình 5.7: Chờ đợi giây trước lấy ảnh xử lý • Hiển thị giao diện kết chấm cơng thành công, đồng thời thể đồ bảo hộ mặc nón bảo hộ trạng thái khơng an tồn 65 Hình 5.8: Kết xử lý LCD kết nối 5.3.3 Kết chạy mơ hình giao diện quản lí Hiển thị thời gian chấm công công nhân lên giao diện quản lí window theo giao diện thiết kế Thiết lập IP server client giống để tạo mối liên kết, sau liên kết thành công, kết trả giao diện sau: Hình 5.9: Hiển thị kết lên giao diện quản lí 66 Tiếp đến, cần thử nghiệm việc cập nhật cơng nhân từ giao diện quản lí lên Jetson Nano, để đảm bảo cập nhật liệu thơng qua socket: • Xóa cơng nhân mẫu Ngơ Trung Nguyên để tiến hành cập nhật lại Hình 5.10: Xóa cơng nhân Ngơ Trung Ngun • Dùng giao diện cập nhật công nhân để gửi liệu cho Jetson Nano việc cung cấp ảnh chân dung lưu trữ từ trước, lưu ý ảnh cần phải rõ ràng có khn mặt người cần cập nhật Hình 5.11: Cập nhật cơng nhân cho liệu • Kiểm tra liệu công nhân cập nhật thành cơng 67 Hình 5.12: Kiểm tra liệu cập nhật thành công Cuối cùng, thử nghiệm việc thay đổi ảnh đại diện công nhân tên cơng nhân giao diện quản lí tiến hành thử nghiệm việc cập nhật Jetson Nano thành cơng hay chưa: • Truy cập vào thơng tin cơng nhân tìm kiếm cập nhật lại ảnh cho cơng nhân Hình 5.13: Chỉnh sửa ảnh cơng nhân • Chỉnh sửa lại tên cơng nhân để xem thay đổi Hình 5.14: Chỉnh sửa tên cơng nhân 68 • Kiểm tra thay đổi ảnh tên thay đổi Jetson Nano, ta thấy ảnh tên cập nhật từ giao diện quản lí thành cơng Hình 5.15: Kết liệu cập nhật thành công 69 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Qua tìm hiểu, nghiên cứu thực đề tài, nhóm chúng em hồn thành đạt mục tiêu ban đầu đề Cụ thể nhóm đạt kết sau: • Nghiên cứu, tìm hiểu học sâu, học máy, thị giác máy tính trí tuệ nhân tạo • Áp dụng học sâu để đào tạo mơ hình nhận diện nón, áo găng tay bảo hộ • Tìm hiểu phần cứng jetson nano cách triển trai khải mô hình huấn luyện xuống phần cứng • Xây dựng hệ thống gồm phần cứng phần mềm kết hợp để thu nhập hình ảnh cơng nhân Nhận diện xử lý thơng tin • Xây dựng giao diện tương tác người dùng phần cứng jetson nano đặt cửa vào để điểm danh công nhân họ làm việc, đồng thời cảnh báo họ khơng có đủ đồ bảo hộ Lưu lại thông tin người dùng vào file để tiện cho việc theo dõi số lượng người có mặt kiểm tra xem cơng nhân có mặc đầy đủ đồ bảo hộ hay khơng • Xây dựng giao diện cho quản lý để theo dõi số người có mặt theo dõi xem cơng nhân có mặc đầy đủ đồ bảo hộ 70 hay khơng Ngồi quản lý thêm cơng nhân có người vào xố cơng nhân họ khơng cịn làm Quản lý chỉnh sửa lại thơng tin cơng nhân thông tin nhập vào sai Giao diện tự động cập nhật lại liệu 10 giây lần để đảm bảo tính xác, độ tin cậy cho quản lý việc theo dõi Mặc dù đề tài nhóm đề đạt số kết phải đối mặt với số hạn chế: • Tốc độ xử lý hình ảnh cịn chậm • Độ xác nhận diện chưa cao • Mơ hình áp dụng mạng máy tính • Chưa thêm với người tên 6.2 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Định hướng phát triển đề tài ứng dụng thị giác máy tính để thiết kế hệ thống giám sát tuân thủ an toàn lao động cơng trường, nhà máy: • Xây dựng máy chủ để lưu trữ liệu để quản lý quản lý theo dõi thông tin đâu • Sử dụng phần cứng mạnh mẽ để cải thiện khả xử lý • Phát âm cảnh báo công nhân không mang đủ đồ bảo hộ có người lạ vào cơng trường 71 TÀI LIỆU THAM KHẢO [1] NIELSEN, Michael A Neural networks and deep learning San Francisco, CA, USA: Determination press, 2015 [2] Lin, Shang-Hung “An introduction to face recognition technology.” Informing Sci Int J an Emerg Transdiscipl 3, 2000 [3] Zhan, Chaohui, et al "An improved moving object detection algorithm based on frame difference and edge detection." Fourth international conference on image and graphics” IEEE, 2007 [4] Nixon, Mark, and Alberto Aguado “Feature extraction and image processing for computer vision” Academic press, 2019 [5] Albawi, Saad, Tareq Abed Mohammed, and Saad Al-Zawi "Understanding of a convolutional neural network." international conference on engineering and technology (ICET), 2017 [6] Liu, C., Tao, Y., Liang, J., Li, K., & Chen, Y “Object detection based on YOLO network” IEEE 4th information technology and mechatronics engineering conference (ITOEC), 2018 [7] Jiang, Zicong, et al "Real-time object detection method based on improved YOLOv4-tiny." arXiv preprint arXiv:2011.04244, 2020 72 PHỤ LỤC [1] Link mã nguồn https://github.com/NguyenTapLapTrinh/Final_Project.git 73 74 S K L 0