Phát hiện một số sự kiện bất thường dựa trên hình ảnh sử dụng mô hình phân cấp

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - VŨ HOÀI NAM PHÁT HIỆN MỘT SỐ SỰ KIỆN BẤT THƯỜNG DỰA TRÊN HÌNH ẢNH SỬ DỤNG MƠ HÌNH PHÂN CẤP LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2023 BỘ THÔNG TIN VÀ TRUYỀN THƠNG HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - VŨ HOÀI NAM PHÁT HIỆN MỘT SỐ SỰ KIỆN BẤT THƯỜNG DỰA TRÊN HÌNH ẢNH SỬ DỤNG MƠ HÌNH PHÂN CẤP CHUYÊN NGÀNH: KỸ THUẬT MÁY TÍNH MÃ SỐ: 9.48.01.06 LUẬN ÁN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Phạm Văn Cường HÀ NỘI - 2023 LỜI CAM ĐOAN Tôi xin cam đoan luận án tốt nghiệp riêng tôi, hướng dẫn PGS.TS Phạm Văn Cường – Học Viện Cơng Nghệ Bưu Chính Viễn Thơng Tất kết số liệu luận án trung thực có từ nghiên cứu mà thầy hướng dẫn thực trình làm luận án Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh Vũ Hoài Nam i LỜI CẢM ƠN Để hoàn thành luận án này, trước hết, tơi xin bày tỏ lịng biết ơn sâu sắc tới thầy hướng dẫn PGS.TS Phạm Văn Cường hướng dẫn tận tình, lời khun, lắng nghe khích lệ q trình thực luận án Thầy không truyền cho kiến thức chun mơn mà cịn giúp tơi cải thiện nhiều kỹ nghiên cứu khoa học sống Tôi không quên khoảng thời gian dài thầy thực địa thu thập liệu, thực thử nghiệm, mô triển khai hệ thống Các buổi thảo luận thường xuyên vào tối với nhóm nghiên cứu Thầy định hướng, hướng dẫn giúp chỉnh sửa báo thảo luận án tiến sĩ Tôi học hỏi nhiều điều, lần nữa, xin gửi lời cảm ơn chân thành tới thầy hướng dẫn Tôi xin chân thành cảm ơn Lãnh đạo, thầy, cô giáo Khoa Đào tạo Sau đại học, Học viện Cơng nghệ Bưu Viễn thơng hướng dẫn, giúp đỡ, tạo điều kiện thuận lợi cho thời gian học tập, nghiên cứu thực luận án Tôi xin gửi lời cảm ơn đặc biệt đến Quỹ đổi sáng tạo VINGROUP (VINIF), Viện nghiên cứu liệu lớn (VINBIGDATA), chấp nhận hồ sơ ứng tuyển tài trợ học bổng đào tạo Tiến sĩ nước cho Đây nguồn kinh phí thiết thực, giúp tơi tập trung vào cơng việc nghiên cứu hồn thành hạn chương trình nghiên cứu sinh Tơi xin chân thành cảm ơn Lãnh đạo đồng nghiệp Khoa Công nghệ thơng tin 1, Học viện Cơng nghệ Bưu Viễn thông, giúp đỡ, tạo điều kiện công tác thuận lợi, giúp tơi tập trung hồn thành luận án Cuối cùng, tơi xin cảm ơn gia đình ln bên cạnh giúp tơi vượt qua khó khăn, thách thức suốt trình làm luận án Hà Nội, ngày tháng năm 2023 Nghiên cứu sinh ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC TỪ VIẾT TẮT v DANH MỤC KÝ HIỆU vii DANH MỤC HÌNH VẼ ix DANH MỤC BẢNG xi MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ GIÁM SÁT SỰ KIỆN BẤT THƯỜNG BẰNG THỊ GIÁC MÁY TÍNH VÀ HỌC MÁY 11 1.1 Tổng quan kiện bất thường .11 1.2 Dữ liệu cho phát kiện bất thường 15 1.2.1 Bộ liệu phát kiện bất thường tĩnh .16 1.2.2 Bộ liệu phát kiện bất thường động 19 1.3 Học máy cho phát kiện bất thường 22 1.4 Các nghiên cứu liên quan 24 1.4.1 Phát kiện bất thường tĩnh 25 1.4.2 Phát kiện bất thường động 28 1.5 Kết luận chương .33 CHƯƠNG ĐỀ XUẤT MƠ HÌNH PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG TĨNH SỬ DỤNG MẠNG PHÂN CẤP .35 2.1 Mơ hình hệ thống 36 2.2 Phát hố sụt ảnh nhiệt thu từ UAV .38 2.2.1 Phát hố sụt mơ hình mạng phân cấp 40 2.2.2 Bám vết hố sụt thuật toán Hungary .49 2.2.3 Kết thực nghiệm .51 2.3 Phát đường sạt lở ảnh thu từ UAV .63 2.3.1 Phân đoạn đường 65 2.3.2 Phát sạt lở mơ hình phân cấp .66 2.3.3 Kết thực nghiệm .71 2.4 Kết luận chương .83 iii CHƯƠNG ĐỀ XUẤT MÔ HÌNH PHÁT HIỆN SỰ KIỆN BẤT THƯỜNG ĐỘNG SỬ DỤNG MẠNG PHÂN CẤP .86 3.1 Mơ hình hệ thống 86 3.2 Phát lửa sử dụng mơ hình mạng phân cấp 89 3.2.1 Trích xuất đặc trưng đối tượng nghi ngờ lửa khung ảnh 92 3.2.2 Trích xuất đặc trưng thời gian đối tượng sử dụng mơ hình BiLSTM 96 3.2.3 Bộ liệu lửa video FirePTIT .98 3.2.4 Kết thực nghiệm 102 3.3 Kết luận chương 112 KẾT LUẬN 114 DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ 117 TÀI LIỆU THAM KHẢO 118 iv DANH MỤC TỪ VIẾT TẮT Từ viết tắt 1DCNN Nghĩa tiếng Anh Dimensional CNN Nghĩa tiếng Việt Mạng CNN chiều 2DCNN Dimensional CNN Mạng CNN hai chiều 3DCNN Dimensional CNN Mạng CNN ba chiều AI Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Neural Network Mạng nơ ron nhân tạo BoVW Bag-of-Visual-Word Túi từ trực quan hóa CNN Convolutional Neural Network Mạng nơ ron tích chập CRF Conditional Random Field Trường ngẫu nhiên có điều kiện DBN Deep Belief Network Mạng niềm tin sâu DEM Digital Elevation Models Mơ hình độ cao số DRN Deep Recurrent Network Mạng lặp lại sâu GIS Geographic Information System Hệ thống thông tin địa lý GPS Global Positioning System Hệ thống định vị tồn cầu HA Hungarian Algorithm Thuật tốn Hungary HM Hierarchical Model Mơ hình phân cấp HMM Hidden Markov Model Mơ hình Markov ẩn HN Hierarchical Network Mạng phân cấp IoT Internet of Things Internet vạn vật ISTL Incremental Spatiotemporal Learner Bộ học không-thời gian gia tăng LiDAR Light Detection and Ranging Vùng phát ánh sáng LSTM Long Short Term Memory Mạng nhớ dài ngắn hạn v NAIP National Agriculture Imagery Program RCNN RGB Region Based Convolutional Neural Networks Red Green Blue Chương trình ảnh vệ tinh nơng nghiệp quốc gia Mạng nơ ron tích chập dựa vùng Đỏ - xanh - xanh da trời RNN Recurrent Neural Network Mạng nơ ron hồi quy ROI Region of Interest Vùng quan tâm SVM Support Vector Machine Máy vector hỗ trợ TL Transfer Learning Học chuyển tiếp UAV Unmmaned Aerial Vehicle Thiết bị bay không người lái vi DANH MỤC KÝ HIỆU Chỉ số độ xác trung bình Chỉ số recall trung bình (") (") (") Năng lượng nhấp nháy tích lũy ( ) (") Trạng thái tế bào mạng LSTM thời điểm t (") ℎ$(.) ℎ%(.) ℎ&''(.) ℎ()(.) ℎ* ℎ+,)-(.) ℎ +-.'-" Độ sáng điểm ảnh thời điểm t /! /" ℎ(") ( ) (") Giá trị chi phí thuật toán Hungary Hàm số chồng lấn đối tượng nhãn Năng lượng nhấp nháy điểm ảnh thời điểm t Giá trị dự đoán đối tượng lửa hay lửa Giá trị cổng quên tế bào mạng LSTM thời điểm t Hàm lọc tầng Hàm lọc tầng Hàm mô hình học sâu CNN Hàm mơ hình học sâu MobileNet toán phát sạt lở Độ dài tenor (Đối tượng liên kết Connected components) Hàm lọc theo luật Hàm mơ hình học sâu Resnet toán phát lửa Ngưỡng kênh màu H Ngưỡng trên kênh màu H Giá trị trạng thái ẩn tế bào mạng LSTM thời điểm t Hàm số phần giao phần hợp đối tượng Giá trị lớp cổng vào tế bào mạng LSTM thời điểm t vii τ Tập hợp tensor đầu vào Hàm Jaccard (.) ! Giá trị mát ứng với số Jaccard Số lượng tensor tập hợp (") / Tập hợp tensor đầu * ( ) ℎ( ) Giá trị lớp cổng tế bào mạng LSTM thời điểm t ℎ(.) 0/ * Xác suất điểm ảnh điểm ảnh thuộc đối tượng bất thường (") &'' 12"&3 + (") -.'-" Ngưỡng kênh màu R Diện tích tenor (Đối tượng liên kết Connected components) (.) τ Hàm softmax Hàm Swish Hàm Ngưỡng chồng lấn để xác định tỉ lệ phát xác đối tượng bất thường Độ rộng tenor (Đối tượng liên kết Connected components) Tập hợp vector đặc trưng đối tượng có khả đối tượng bất thường thời điểm t Cụm vector đặc trưng bước thời gian khứ trích xuất từ mơ hình Resnet Tập hợp vector đặc trưng đối tượng có khả đối tượng bất thường thời điểm t trích xuất từ mơ hình Resnet Đầu dự đốn mơ hình mạng nơ ron hồi quy RNN Hệ số tích lũy Hàm sigmoid Tensor viii