(Đồ án tốt nghiệp) nghiên cứu kỹ thuật học sâu trong nhận dạng đối tượng hướng đến ứng dụng trong giám sát thông minh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG ĐỐI TƯỢNG HƯỚNG ĐẾN ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH MÃ SỐ: SV2022-34 CHỦ NHIỆM ĐỀ TÀI: VĂN HOÀNG PHƯỚC TOÀN SKC008080 Tp Hồ Chí Minh, tháng 11/2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG ĐỐI TƯỢNG HƯỚNG ĐẾN ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH Mã số đề tài : SV2022-34 Thuộc nhóm ngành khoa học: Khoa học máy tính SV thực hiện: Văn Hoàng Phước Toàn Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: 191513B Khoa Điện - Điện Tử Năm thứ: 4/Số năm đào tạo: Ngành học: Công Nghệ Kỹ Thuật Điều Khiển Tự Động Hóa Người hướng dẫn: PGS.TS Hồng Văn Dũng TP Hồ Chí Minh, 11/2022 Mục Lục Mục Lục i Danh Mục Bảng Biểu iii Danh Mục Hình Ảnh iv Danh Mục Những Từ Viết Tắt vi MỞ ĐẦU 1) Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài 2) Lý chọn đề tài 3) Mục tiêu đề tài 4) Phương pháp nghiên cứu 5) Đối tượng phạm vi nghiên cứu Chương 1: CƠ SỞ LÝ THUYẾT 1.1 Ảnh xử lý ảnh 1.2 Học sâu trí tuệ nhân tạo 1.3 Mạng thần kinh tích chập 1.3.1 Tích chập (Convolution) 1.3.2 Mơ hình mạng thần kinh tích chập 1.4 Nhận dạng đối tượng 1.4.1 Khái niệm ứng dụng 1.4.2 Các phương pháp nhận dạng đối tượng phổ biến 13 1.4.2.1.1 Mạng thần kinh tích chập theo vùng (R-CNN) 13 1.4.2.2 Faster R-CNN 14 1.4.2.3 Single Shot MultiBox Detector (SSD) 16 Chương 2: KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG SỨ ĐIỆN 18 2.1 Tầm quan trọng nhận dạng sứ điện 18 2.2 Nhận dạng sứ YOLO 18 2.2.1 Giới thiệu YOLO 18 2.2.2 Cách thức hoạt động YOLO 20 2.2.3 Kiến trúc mạng YOLO 21 2.2.4 Các hàm Loss YOLO (Loss function) 22 Chương 3: GIẢI PHÁP NHẬN DẠNG SỨ ĐIỆN 24 3.1 Giải pháp tổng thể 24 3.2 Giải pháp chi tiết 25 Chương 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ GIẢI PHÁP 34 i 4.1 Môi trường công cụ thực nghiệm 34 4.2 Thu thập xử lý liệu 34 4.3 Thực nghiệm đánh giá 36 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 5.1 Kết luận 54 5.2 Hướng phát triển 54 Tài Liệu Tham Khảo 55 ii Danh Mục Bảng Biểu Bảng 1: Dữ liệu thực nghiệm phát sứ điện 36 Bảng 2: Cấu hình tham số nhận dạng YOLOv5 38 Bảng 3: Các siêu tham số sử dụng mô hình tối ưu YOLOv5x 40 Bảng 4: Tổng hợp kết từ mơ hình huấn luyện 46 iii Danh Mục Hình Ảnh Hình 1: Sơ đồ tổng quan hệ thống xử lý ảnh Hình 2: Mối quan hệ AI ML DL Hình 3: Ví dụ Tích chập Hình 4: Làm mờ ảnh dùng ma trận tích chập Gaussian blur 7x7 Hình 5: Kiến trúc CNN Hình 6: Ví dụ nhận dạng sứ đường dây điện Hình 7: Nhận dạng đèn giao thông 10 Hình 8: Nhận dạng chỗ trống bãi đỗ xe 11 Hình 9: Nhận dạng tế bào ung thư da 12 Hình 10: Nhận dạng sản phẩm lỗi 12 Hình 11: Nhận dạng loại côn trùng gây hại 13 Hình 12: Kiến trúc R-CNN 14 Hình 13: Kiến trúc mơ hình Faster R-CNN 15 Hình 14: Kiến trúc mơ hình SSD 16 Hình 15: Ví dụ mơ hình nhận dạng giai đoạn hai giai đoạn 19 Hình 16: Ảnh chia thành nhiều để dự đoán đối tượng 20 Hình 17: Quá trình nhận dạng YOLO 21 Hình 18: Kiến trúc YOLO 21 Hình 19: Sơ đồ khối hệ thống giám sát sứ điện 24 Hình 20: Một số ảnh tế bào máu áp dụng tăng cường liệu 27 Hình 21:Các kết nối Mạng DenseNet với kết nối lớp 28 Hình 22: Dữ liệu DenseNet qua k lớp thành lớp chuyển tiếp cuối 28 Hình 23: Dữ liệu DenseNet qua k lớp thành lớp chuyển tiếp phần 29 Hình 24: Mạng PA-Net 29 Hình 25: Các hộp giới hạn với kích thước vị trí dự đốn 30 Hình 26: Sự phát triển chiến lược tổng lợp lớp YOLOv7 .31 Hình 27: Tỷ lệ mơ hình phức hợp YOLOv7 32 Hình 28: Các thử nghiệm tham số hóa YOLOv7 32 Hình 29: Bộ gán nhãn cho Lead head gán nhãn từ thô-đến-mịn cho Lead head 33 Hình 30: Tài nguyên để phục vụ thực nghiệm 34 Hình 31: Một số ảnh sứ điện 35 Hình 32: Các điều chỉnh ảnh để huấn luyện Roboflow 35 Hình 33: Dùng Roboflow để gán nhãn, tạo liệu 36 Hình 34: Đồ thị thể mối quan hệ Precision Recall 37 Hình 35: Quá trình huấn luyện YOLOv5n 42 Hình 36: Quá trình huấn luyện YOLOv5m 43 Hình 37: Quá trình huấn luyện YOLOv5x 44 Hình 38: Quá trình huấn luyện YOLOv5x hiệu chỉnh siêu tham số .45 Hình 39: Quá trình huấn luyện YOLOv7 46 Hình 40: Một số ảnh sứ nhận diện từ YOLOv5n 48 Hình 41: Một số ảnh sứ nhận diện từ YOLOv5m 48 Hình 42: Một số ảnh sứ nhận diện từ YOLOv5x 49 Hình 43: Một số ảnh sứ nhận diện từ YOLOv5x hiệu chỉnh tham số 49 Hình 44: Một số ảnh sứ nhận diện từ YOLOv7 50 iv Hình 45: Ảnh nhận dạng sai từ YOLOv7 50 Hình 46: Ảnh nhận dạng từ YOLOv5x 51 Hình 47: Ảnh nhận dạng sai từ YOLOv7 51 Hình 48: Ảnh nhận dạng từ YOLOv5x 52 Hình 49: Ảnh nhận dạng sai từ YOLOv5n 52 Hình 50: Ảnh nhận dạng từ YOLOv5x 53 v Danh Mục Những Từ Viết Tắt Từ viết tắt Từ đầy đủ CNN Convolutional Neural Network DL Deep Learning ML Machine Learning AI Artificial Intelligence SSP Spatial Pyramid Pooling SSD Single Shot Multibox Detector YOLO You Only Look Once CSP Cross Stage Partial R-FCN Region-based Fully Convolutional Networks ReLu Rectified Linear Units SIFT Scale Invariant and Feature Transform R-CNN Region-based Convolutional Neural Networks SVM Support Vector Machine RPN Region Proposal Network FPN Feature Pyramid Networks SPP Spatial Pyramid Pooling UAV Unmanned aerial vehicle IoT Internet of Things IOU Intersection over union HOG Histogram of oriented gradients mAP mean Average Precision vi BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: NGHIÊN CỨU KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG ĐỐI TƯỢNG HƯỚNG ĐẾN ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH Mã số SV: 19151298 - Chủ nhiệm đề tài: Văn Hoàng Phước Toàn - Lớp: 191513B Khoa: Điện - Điện Tử - Thành viên đề tài: Stt Họ tên MSSV Lớp Khoa Ghi Lê Nguyễn Hùng Anh 19110322 19110CLST4 Đào tạo Chất Lượng Cao Không tham gia thực Phan Tấn Thành 19110288 19110CLST2 Đào tạo Chất Lượng Cao Đặng Nguyễn Quyết Thắng 19110291 19110CLST2 Đào tạo Chất Lượng Cao - Người hướng dẫn: PGS.TS Hoàng Văn Dũng Mục tiêu đề tài: Nghiên cứu kỹ thuật học sâu nhận dạng đối tượng hướng đến ứng dụng giám sát thông minh Tính sáng tạo: Sử dụng mơ hình học sâu YOLOv5 áp dụng thay đổi siêu tham số để thiện chất lượng mơ hình nhận diện sứ điện Kết nghiên cứu: Mơ hình nhận diện sứ điện với thông số precision, recall, mAP_0.5 mAP_0.5:0.95 99.3%, 98.5%, 99.0% 68.6% Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: Kết nghiên cứu đề tài áp dụng vào hệ thống giám sát thông minh, cụ thể việc phát sứ điện bị hư hỏng mạng lưới điện Công bố khoa học SV từ kết nghiên cứu đề tài (ghi rõ tên tạp chí có) nhận xét, đánh giá sở áp dụng kết nghiên cứu (nếu có): Bài báo “NGHIÊN CỨU KỸ THUẬT HỌC SÂU TRONG NHẬN DẠNG ĐỐI TƯỢNG HƯỚNG ĐẾN ỨNG DỤNG TRONG GIÁM SÁT THÔNG MINH” chấp nhận đăng kỷ yếu JTE-HCMUTE