Chương 2 - Phương pháp phát hiện đối tượng dựa trên mô hình học sâu: Chương này trình bày Bài toán phát hiện đối tượng từ hình ảnh, Các hướng tiếp cận trong phát hiện đối tượng từ hình ả
BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC PHẠM HỒNG LONG NGHIÊN CỨU, ỨNG DỤNG HỌC SÂU TRONG PHÁT HIỆN CỘT ĐIỆN VÀ CÁC THIẾT BỊ TRÊN ĐƯỜNG DÂY TRUYỀN TẢI ĐIỆN TỪ ẢNH UAV LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI, 2019 BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC PHẠM HỒNG LONG NGHIÊN CỨU, ỨNG DỤNG HỌC SÂU TRONG PHÁT HIỆN CỘT ĐIỆN VÀ CÁC THIẾT BỊ TRÊN ĐƯỜNG DÂY TRUYỀN TẢI ĐIỆN TỪ ẢNH UAV Chuyên ngành : Công nghệ Thông tin Mã số : 7480102 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS Nguyễn Thị Thanh Tân HÀ NỘI, 2019 LỜI CẢM ƠN Sau thời gian tiến hành thực nghiệm nghiên cứu, em hoàn thành nội dung luận văn “Nghiên cứu, ứng dụng học sâu phát cột điện thiết bị đường dây truyền tải điện từ ảnh UAV” Q trình hồn thành luận văn khơng dựa công sức thân nghiên cứu sinh mà cịn có giúp đỡ, hỗ trợ tích cực nhiều cá nhân tập thể Trước hết, em xin gửi lời cảm ơn chân thành sâu sắc đến TS Nguyễn Thị Thanh Tân, người trực tiếp hướng dẫn cho em hoàn thành luận văn Cô dành cho em nhiều thời gian, tâm huyết, cho em nhiều nhận xét trọng tâm, thời điểm, giúp luận văn em hoàn thiện mặt nội dung hình thức Cơ quan tâm, động viên, nhắc nhở kịp thời để em hồn thành luận văn tiến độ Với khích lệ nguồn cổ vũ to lớn từ cơ, em có nhận thức tốt trách nhiệm thân với đề tài Em xin gửi lời cảm ơn đến Ban Giám hiệu, tập thể thầy cô giáo Khoa Công nghệ Thông tin trường Đại Học Điện lực tận tình dạy dỗ giúp đỡ em năm giảng đường Cao học Nhân dịp này, em xin gửi lời cảm ơn tới gia đình, bạn bè động viên, tạo điều kiện cho em trình học tập trình thực luận văn Xin trân trọng cảm ơn đề tài nghiên cứu ứng dụng phát triển cơng nghệ cấp quốc gia, thuộc chương trình hỗ trợ nghiên cứu, phát triển ứng dụng công nghệ công nghiệp 4.0 mã số: KC-4.0.31/19-25 hỗ trợ nghiên cứu, thực nghiệm trình thực luận văn Trân trọng! Hà Nội, ngày 01 tháng 06 năm 2023 Học viên Phạm Hồng Long LỜI CAM ĐOAN Tôi xin cam đoan luận văn đề tài “Nghiên cứu, ứng dụng học sâu phát cột điện thiết bị đường dây truyền tải điện từ ảnh UAV” công trình nghiên cứu cá nhân tơi thời gian qua Mọi số liệu sử dụng phân tích luận văn kết nghiên cứu tơi tự tìm hiểu, phân tích cách khách quan, trung thực, có nguồn gốc rõ ràng chưa cơng bố hình thức Tơi xin chịu hồn tồn trách nhiệm có khơng trung thực thơng tin sử dụng cơng trình nghiên cứu Hà Nội, ngày 01 tháng 06 năm 2023 Học viên Phạm Hồng Long MỤC LỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ HỌC SÂU VÀ CÁC BÀI TOÁN ỨNG DỤNG 1.1 Mạng neural nhân tạo 1.1.1 Perceptrons 1.1.2 Sigmoid Neurons 1.1.3 Kiến trúc mạng MLP 1.2 Kiến trúc mạng học sâu 1.2.1 Tổng quan kiến trúc CNN 1.2.2 Chọn tham số cho CNN 12 1.2.3 Đặc trưng chung mạng CNN 12 1.2.4 Một số kiến trúc mạng CNN tiêu biểu 13 1.3 Kết luận chương 20 CHƯƠNG PHƯƠNG PHÁP PHÁT HIỆN ĐỐI TƯỢNG DỰA TRÊN MƠ HÌNH HỌC SÂU 21 2.1 Bài toán phát đối tượng từ hình ảnh 21 2.2 Các hướng triển khai phát đối tượng từ hình ảnh .22 2.3 Phương pháp phát đối tượng dựa kiến trúc mạng R-CNN .24 2.3.1 Thuật toán R-CNN .24 2.3.2 Thuật toán Fast R-CNN .27 2.3.3 Thuật toán Faster R-CNN 30 2.3.4 Phân loại tốn phân đoạn hình ảnh 32 2.3.5 Mask R-CNN 32 2.3.6 Phát đối tượng dựa instance segmentation 36 2.4 Kiến trúc MaskRCNN-R50-FPN 37 2.4.1 Tổng quan kiến trúc FPN 38 2.4.2 Data Flow 38 2.4.3 Sử dụng FPN với Fast R-CNN, Faster R-CNN, Mask R-CNN .40 2.5 Kết luận chương .41 CHƯƠNG 3: ỨNG DỤNG HỌC SÂU TRONG PHÁT HIỆN CỘT ĐIỆN VÀ CÁC THIẾT BỊ TRÊN ĐƯỜNG DÂY TRUYỀN TẢI ĐIỆN CAO THẾ TỪ ẢNH UAV 43 3.1 Bài toán phát cột điện thiết bị đường dây truyền tải điện cao từ ảnh UAV .43 3.1.1 Quy trình kiểm tra lưới đường dây cao 110kV .43 3.1.2 Những lợi ích hạn chế cơng tác giám sát đường dây 44 3.1.3 Áp dụng công nghệ cho công việc kiểm tra đường dây 110kV 46 3.2 Nghiên cứu đặc trưng ảnh UAV .47 3.3 Các kỹ thuật tiền xử lý ảnh UAV 47 3.3.1 Thu thập liệu từ máy bay UAV 47 3.3.2 Trích xuất liệu ảnh từ liệu video giám sát máy bay UAV 48 3.3.3 Chuẩn hóa liệu kích thước mong muốn huấn luyện cho mơ hình 49 3.3.4 Loại bỏ tinh chỉnh ảnh nhiễu .52 3.4 Đánh giá thực nghiệm 54 3.4.1 Môi trường thực nghiệm 54 3.4.2 Dữ liệu thực nghiệm 54 3.4.3 Các độ đo đánh giá .55 3.4.4 Kết thực nghiệm 56 3.6 Kết luận chương .62 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 DANH MỤC CHỮ VIẾT TẮT STT Ký hiệu chữ viết tắt Chữ viết đầy đủ UAV Unmanned Aerial Vehicle ANN Artificial Neural Network DL Deep Learning AI Artificial Intelligence CNN Convolutional Neural Network D-CNN Deep Convolutional Neural Network CONV Convolutional R-CNN Region-based Convolutional Neural Network FC Fully Connected FCN Fully Convolutional Network 10 FPN Feature Pyramid Network 11 IoU Intersection over Union DANH MỤC HÌNH VẼ Hình 1: Mơ hình Nơ-ron sinh học Hình 2: Đồ thị hàm Sigmoid Neurons Hình 3: Mạng MLP Hình 4: Mơ hình MLP (trái) kiến trúc mạng học sâu (phải) .6 Hình 5: Kiến trúc mạng CNN .7 Hình 6: Pooling layer .9 Hình 7: Max pooling Average pooling 10 Hình 8: Fully Connected Layer 11 Hình 9: LeNet-5 13 Hình 10: Kiến trúc mạng AlexNet .14 Hình 11: Hàm kích hoạt Hàm ReLU 14 Hình 12: Kỹ thuật dropout 15 Hình 13: VGG-16 16 Hình 14: Kiến trúc cell 16 Hình 15: Kiến trúc mạng Inception-V3 17 Hình 16: Kiến trúc mạng ResNet-50 18 Hình 17: Kiến trúc DenseNet .19 Hình 1: Phân biệt phát đối tượng, phân đoạn hình ảnh, phân loại hình ảnh 21 Hình 2: Phát đối tượng ảnh 23 Hình 3: Mơ tả cách hoạt động thuật toán R-CNN 24 Hình 4: Mơ hình bounding box regression 25 Hình 5: Thuật toán non-max suppression 26 Hình 6: Mơ tả cách hoạt động thuật toán Fast R-CNN 27 Hình 7: Mơ tả chế RoI Poling 28 Hình 8: Các giá trị hàm Loss thuật tốn Fast R-CNN 29 Hình 9: Thuật toán Faster R-CNN .30 Hình 10: Các giá trị hàm Loss mơ hình Faster R-CNN .31 Hình 11: Kỹ thuật phân vùng ảnh 32 Hình 12: Mơ hình thuật tốn Mask-RCNN 33 Hình 13: Mơ tả chế IoU 34 Hình 14: Kiến trúc Mask R-CNN dựa Faster R-CNN 35 Hình 15: Kết tách sau phân đoạn vật thể 35 Hình 16: Mơ tả thuật tốn Mask R-CNN .36 Hình 17: Một vài kết mơ hình Mask R-CNN 36 Hình 18: Ảnh biến đổi RoI Align .37 Hình 19: Mơ hình bottom-up FPN .39 Hình 20: Mơ hình top-down FPN 39 Hình 21: chi tiết đường theo bottom-up top-down 40 Hình 22: Áp dụng FPN tăng hiệu suất cho mơ hình Mask R-CNN 41 Hình 1: Tiến hành kiểm tra lưới điện 43 Hình 2: Bảo trì thay đường dây cao 110kV 45 Hình 3: Áp dụng cơng nghệ UAV vào giám sát đường dây cao 46 Hình 4: Ảnh đầu vào (ảnh gốc) 49 Hình 5: Ảnh sau điều chỉnh kích thước (resize) 50 Hình 6: Quy trình cắt lấy trung tâm ảnh .51 Hình 7: Ảnh bị chi tiết sử dụng phương pháp cắt lấy trung tâm ảnh 52 Hình 8: Quy trình tinh chỉnh ảnh nhiễu 52 Hình 9: Kết khử nhiễu ảnh 53 Hình 10: Đối tượng nhãn công cụ labelme 55 Hình 11: Kết phát lớp dây điện sau training 57 Hình 12: Kết phát lớp cách điện thủy tinh sau training .58 Hình 13: Kết phát lớp thiết bị sau training 58 Hình 14: Kết phát lớp dây điện sau training 59 Hình 15: Kết phát thiết bị đường dây 60 Hình 16: Kết phát cột thép hình 61 Hình 17: Kết phát thiết bị cách điện thủy tinh .61 Hình 18: Kết sử dụng instance segmentation để tách khỏi lớp thiết bị 62 DANH MỤC BẢNG BIỂU Bảng 1: Tập liệu thử nghiệm 54 Bảng 2: Đánh giá độ đo TP, FP, FN 56 Bảng 3: Đánh giá độ đo Precision, Recall .56