(Tóm tắt luận văn thạc sĩ) xây dựng ứng dụng phát hiện khói dựa trên xử lý ảnh và mô hình học sâu vgg

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HÀ NHƯ THÁI Xây dựng ứng dụng phát khói dựa xử lý ảnh mơ hình học sâu VGG Chun ngành: HỆ THỐNG THƠNG TIN Mã số: 8480104 TĨM TẮT ĐỀ ÁN TỐT NGHIỆP THẠC SĨ HÀ NỘI - NĂM 2023 Đề án tốt nghiệp hoàn thành tại: HC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Trần Tiến Công Phản biện 1: ……………………………………………… Phản biện 2: ……………………………………………… Đề án tốt nghiệp bảo vệ trước Hội đồng chấm đề án tốt nghiệp thạc sĩ Học viện Cơng nghệ Bưu Viễn thông Vào lúc: ngày tháng năm Có thể tìm hiểu đề án tốt nghiệp tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng CHƯƠNG GIỚI THIỆU BÀI TỐN Trong chương này, đề án trình bày nhìn tổng quan tốn phát đối tượng cụ thể tốn phát đám khói, nêu lý chọn đề tài, mục tiêu chọn đề tài Trong chương nêu số thành tựu tốn phát khói nước nước Đưa ý tưởng hướng nghiên cứu cho đề tài, bao gồm phần:     1.1 Giới thiệu toán phát đối tượng Thực trạng hoả hoạn Việt Nam Động lực mục tiêu nghiên cứu Các thành tựu nghiên cứu ngồi nước tốn phát khói Giới thiệu tốn phát đối tượng Định nghĩa Phần nêu rõ định nghĩa tốn phát đối tượng, khái qt số điểm sau: Object Detection ( Phát đối tượng) kỹ thuật thị giác máy tính hoạt động để xác định định vị đối tượng hình ảnh video Cụ thể, phát đối tượng vẽ hộp giới hạn xung quanh đối tượng phát Object Detection đề cập đến khả hệ thống máy tính phần mềm để định vị đối tượng hình ảnh xác định đối tượng Object Detection sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe khơng người lái Có nhiều cách để nhận diện đối tượng sử dụng nhiều lĩnh vực thực hành Ứng dụng tốn object detection Với cơng nghệ deeplearning phát triển với độ xác cao tốc độ nhanh, toán object detection áp dụng nhiều lĩnh vực, đặc biệt việc tích hợp vào hệ thống giám sát AI camera, số toán phổ biến như: phát đám cháy, giám sát đếm người, xe, phát bạo lực khu công cộng, phát biển báo hệ thống xe ô tô… Với việc độ xác object detection cao, ứng dụng áp dụng nhiều, đặc biệt lĩnh vực quan trọng, chẳng hạn y tế, phát bệnh nhân đột quỵ (ngã) phát tế bào ung thư sớm từ hình ảnh X quang Trong qn bước tiến toán với việc áp dụng vào hệ thống máy bay không người lái, hệ thống công tự động phát quân địch… 1.2 Thực trạng hoả hoạn Việt Nam Phần nêu rõ thực trạng hoả hoạn Việt Nam nay, số, số liệu thống kê để phản ánh lên mức độ nghiêm trọng hoả hoạn tác động đến đời sống sức khoẻ người 1.3 Động lực mục tiêu nghiên cứu Động lực nghiên cứu Đề án đưa hướng phát triển cho việc phát vùng khói Để xử lý loạt vấn đề cố hữu nêu trên, đề tài kết hợp thuật toán xử lý ảnh dựa tính chất khói cách chuyển động, màu sắc … bước cuối sử dụng deeplearning cụ thể mạng VGG16 để xác minh lại có phải xác vùng khói hay không Mục tiêu nghiên cứu Mục tiêu đề tài nhắm đến việc tạo mơ hình thuật tốn với độ xác hiệu suất cao để tích hợp hệ thống VMS Các kết cần đạt được:     Độ xác thuật tốn xử lý ảnh > 90% Độ xác mơ hình tập train > 97% Độ xác mơ hình khói > 95% Xử lý frame 100 -> 200 ms card đồ hoạ thông dụng GTX1660Ti, RTX 2060, RTX 2070… Về mặt lý luận: Detect hầu hết đám khói mà mắt thường nhìn thấy 1.4 Các thành tựu nghiên cứu ngồi nước tốn phát khói Đã có nhiều báo ứng dụng đăng tải lên tạp chí khoa học tiếng cho kết với hiệu suất độ xác cao Tiếp theo nêu rõ thành tựu đạt kể nước nước, so sánh kết nghiên cứu so với đề án 1.5 Kết luận chương Như vậy, chương giới thiệu đề tài “Xây dựng ứng dụng phát khói dựa xử lý ảnh mơ hình học sâu VGG” vấn đề tồn đọng, thành tựu đạt Nội dung chương cịn trình bày kết số nghiên cứu trước thành tựu đạt “smoke detection”, so sánh kết với từ dẫn dắt đến nội dung chương CHƯƠNG XÂY DỰNG ỨNG DỤNG PHÁT HIỆN KHĨI SỬ DỤNG XỬ LÝ ẢNH VÀ CƠNG NGHỆ VGG Trong chương này, đề án trình bày sơ lược bước chi tiết để xây dựng ứng dụng phát vùng khói Thuật tốn trừ single gaussian để tìm vùng candidate smoke, kỹ thuật xử lý ảnh để phân loại vùng candidate smoke dựa màu sắc khói, dựa phát triển theo thời gian vùng khói Chương bao gồm phần:    Candidate smoke regions detection : phát vùng candidate smoke dựa thuật toán xử lý ảnh Smoke classifier: phân loại vùng khói  Phân loại dựa màu sắc khói  Phân loại khói dựa phát triển theo thời gian vùng khói  Phân loại khói dựa cơng nghệ học sâu VGG16 Temporal analysis: Phân tích để đưa kết luận cuối Candidate smoke region detection (phát vùng khói) : Sử dụng thuật tốn background subtraction (trừ nền) để tìm vùng có thay đổi so với pixel nền, vùng khói nhất, sau em nhóm vùng pixel thành vùng candidate smoke Smoke classifier: Một chuỗi layers phân loại em đưa em gọi cascade model sử dụng để định vùng candidate bước smoke hay non-smoke Một vùng candidate smoke định true smoke vượt qua bước phân loại cascade model Cascade model em trình bày cụ thể phần 2.3 đề án Temporal analysis: Đây giai đoạn định cuối dựa thời gian tích luỹ được, mục đích để tăng độ xác việc kết luận vùng khói 2.1 Candidate smoke regions detection (phát vùng candidate smoke dựa thuật toán xử lý ảnh) 2.1.1 Thuật toán trừ dựa thuật toán running gaussian average Phương pháp trừ phương pháp sử dụng rộng rãi để phát đối tượng chuyển động từ camera tĩnh Cơ sở phương pháp phát đối tượng chuyển động từ khác biệt khung khung tham chiếu, thường gọi "hình ảnh nền" "mơ hình nền"(‘Background Image' ‘Background Model') Việc trừ thường thực cách phát đối tượng tiền cảnh khung video phát tiền cảnh nhiệm vụ tồn phương pháp Các bước thực tóm tắt sau:    Xây dựng background model Background subtraction Update background 2.1.2 Tách vùng candidate smoke dựa phân ngưỡng binary phân ngưỡng otsu Phần trình bày phân ngưỡng binary phân ngưỡng otsu, sau kết hợp loại phân ngưỡng Để tăng độ xác giảm nhiễu detect vùng candidate smoke, em kết hợp ngưỡng nhị phân ngưỡng otsu Cụ thể là lấy AND pixel tương ứng ảnh sau tách ngưỡng nhị phân ảnh sau tách ngưỡng otsu 2.1.3 Quy trình phát vùng candidate smoke kết hợp trừ phân ngưỡng Sau kết hợp tách ngưỡng nhị phân tách ngưỡng otsu, tiếp tục thực lọc nhiễu bé nhóm vùng có nhiều điểm ảnh trắng gần lại với nhau, mục đích bước để tìm vùng candidate smoke có khả khói 2.2 Phân loại khói Xử lý ảnh mạnh mẽ việc tính tốn, lọc, dễ bị nhầm lẫn màu sắc, tính chất đối tượng giống khói Vì em có đặt quy trình phân loại để chắn vùng candidate smoke có phải khói thật hay khơng gọi tên “cascade model” nghĩa mơ hình thác nước để phân loại khói Một vùng candidate smoke định true smoke vượt qua bước phân loại cascade model Cấu trúc cascade model tóm tắt sau:    Color classification: Phân loại dựa màu sắc khói Growing region classification : Phân loại dựa tính chất phát triển theo thời gian khói Size variation classification: Phân loại dựa biến đổi kích thước khói  CNN classification: Phân loại sử dụng model deep learning VGG16 2.2.1 Phân loại khói dựa màu sắc (Color classification) Khi quan sát mắt thường, dễ dàng nhận thấy khói thường có màu trắng, màu xám, xám trắng, xám tối Từ em đưa cơng thức để phân loại khói dựa màu sắc: Phần chi tiết trình bày chi tiết đồ án gốc 2.2.2 Phân loại khói dựa vào phát triển vùng khói (Growing region classification) Nếu quan sát kỹ mắt thường thấy khói bắt đầu xuất hiện, lan toả dần khơng khí cần chu kỳ thời gian cụ thể Trong chuỗi frame liên tiếp, vùng khói đếm tăng dần thỗ mãn điều kiện diện tích vùng khói frame lớn lượng định so với frame trước pixel khói trùng frame liên tiếp không bé (do khoảng thời gian ngắn frame liên tiếp vùng khói khơng thể phát triển q nhanh bay từ vị trí sang vị trí tách biệt khác xa được) 2.2.3 Phân loại khói dựa mạng học sâu VGG16 Em đưa vào hình ảnh có kích thước 244*244*3 (pixels), output layer với 1000 nút mạng, tương ứng với 1000 class Imagenet, sử dụng Softmax với phân phối xác suất đầu ứng với class Các lớp ẩn bao gồm layer mạng CNN như: lớp Convolution, Pooling, kết nối đầy đủ hàm kích hoạt Như nói trên, mạng nơ ron hoạt động tương tự trích chọn đặc trưng, với layer lớp đầu dùng để bóc tách đặc trưng mức thấp như: góc, cạnh, hình khối vật thể Các lớp cao thực bóc tách đặc trưng mức cao, ứng với đặc trưng riêng đối tượng Trong tốn nhận dạng khói, em sử dụng Tensorflow để xây dựng chương trình model Cụ thể trình bày đề án tốt nghiệp 2.3 Temporal analysis Các vùng xác định vùng có khả khói ảnh thu từ phân loại khói phần 2.2 đánh object id, frame tồn vùng có khả khói vùng giao vùng so với vùng frame trước có số lượng pixel > 70% so với vùng frame trước đánh object id giống Sau việc kết luận cuối có phải khói hay khơng video theo quy tắc sau:   frame ảnh liên tiếp có chứa vùng có khả khói có id kết luận vùng vùng khói video frame ảnh liên tiếp có chứa vùng có object id phân loại khói kết luận khơng phải khói bị loại bỏ để tối ưu tốc độ Ý nghĩa quy tắc để tối ưu tốc độ cho phần cứng, thay ảnh đưa vùng candidate smoke vào phân loại việc làm loại bỏ vùng chắn khói vùng chắn khơng phải khói để frame đưa vào phân loại 2.4 Kết luận chương Trong chương 2, đề án trình bày chi tiết bước xây dựng thuật tốn phân loại khói, bao gồm thuật tốn xử lý ảnh model phân loại VGG16, bước để định xác có phải vùng khói hay khơng Thuật tốn phát triển ngơn ngữ lập trình C++, đầu thuật toán dạng dll lib (dynamic lib) để dễ dàng tích hợp vào hệ thống VMS Trong chương tiếp theo, đề án trình bày quy trình thu thập liệu liệu cho training, thử nghiệm thuật toán hệ thống VMS Nx Witness, kết thu được, đánh giá kết mơ hình so sánh với nghiên cứu khác CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM Trong chương này, đề án trình bày quy trình tích hợp thuật toán vào hệ thống VMS cụ thể, hiệu suất đạt chạy lúc nhiều channel hệ thống, kết thu được, kết thực nghiệm đánh giá mơ hình cuối kết luận chương Chương bao gồm phần:     Thu thập liệu thử nghiệm cho việc training model Kết thực nghiệm đánh giá thuật tốn Tích hợp thuật tốn thử nghiệm hệ thống VMS Kết luận chương 3.1 Thu thập liệu thử nghiệm cho việc training model 3.1.1 Thu thập liệu Hình ảnh chia thành nguồn chính: Tập liệu ảnh video cơng khai crawl từ internet, tệp liệu private từ khách hàng Việc sử dụng nguồn lúc để đảm bảo liệu không bị overfit vào hoàn cảnh, cách gán nhãn riêng Các ảnh chủ yếu lấy theo dạng ảnh màu, chụp từ nhiều góc vào vùng khói, ảnh khói khơng có đối tượng khác class phân loại, chẳng hạn người xe Nếu hình ảnh có khói object khác đưa vào xử lý lại để crop vùng ảnh chứa khói 3.1.2 Xử lý liệu thơ Vì liệu thu thập theo nhiều nguồn chưa qua kiểm duyệt ta cần sử dụng số kỹ thuật tiền xử lý liệu Nguồn ảnh từ mạng Internet cho nhiều ảnh với điều kiện khác nhau, với việc sử dụng công cụ lấy ảnh tự động nên số lượng ảnh không liên quan nhiều Nguồn ảnh chụp thực tế có nhiều ảnh bị nhiễu – nhịe – nét Ngồi ra, số lượng lớn ảnh bị trùng lặp chụp ảnh theo chế độ liên tục, dẫn tới việc phải lọc bớt để tránh tượng overfit huấn luyện mơ hình Quy trình xử lý liệu thơ dựa thuật tốn xử lý ảnh em trình bày phần 2.2 đề án Đầu vào bao gồm 323 video khói, chạy qua video để cắt frame thực qua thuật toán để save vùng candidate smoke Từ vùng candidate smoke đó, em tiếp tục crop công cụ crop ảnh window 10 cho vùng khói fit với ảnh nhất, team gồm bạn sinh viên thực công việc Hình thể ví dụ q trình để xử lý liệu thơ, bên trái hình ảnh trích xuất từ video có chứa khói, vùng candidate smoke region tìm sau xử dụng kỹ thuật xử lý ảnh tốn, cuối ảnh tự crop vùng khói riêng, vùng có người riêng để đưa vào class riêng biệt Hình 3.1: Quá trình crop liệu Ảnh gốc extract từ video Ảnh vùng candidate smoke Ảnh crop vùng khói 3.1.3 Gán nhãn liệu Ảnh sau qua bước xử lý thô gán nhãn Một đội gồm người tham gia vào q trình gán nhãn liệu, diễn vịng tháng Đầu tiên, thành viên đội yêu cầu đọc kỹ hướng dẫn thu liệu hồn thành số ví dụ cho trước bước vào quy trình thu thập liệu thức Dữ liệu phân loại gán nhãn cho classes sau:    Human Smoke Fire   Car Unknown Dữ liệu gán nhãn đảm bảo tuân thủ theo số quy định thống Bao gồm:     Ảnh hoài nghi ko rõ ràng đưa vào unknown Các ảnh có từ đối tượng trở lên crop lại sử dụng tool cắt ảnh window 10 phân loại tiếp Ảnh có có độ phân giải lớn resize lại với kích thước < fullhd Ảnh có kích thước bé q bỏ (< 60*60 ) 3.1.4 Định dạng thống kê liệu Sau thu thập trích xuất ảnh từ video từ nguồn, xử lý liệu thô, phân loại gán nhãn liệu, em có bảng thống kê số ảnh xử lý cho class sau: Bảng 3.1: Bảng thống kê data sau xử lý để đưa vào training Classes From public source(on internet) Total image 7596 From private source(from customer of my company) 9871 Human Car 8564 3574 12138 Smoke 9677 11231 20908 17467 Fire 5547 8341 13888 Unknown 17829 16048 33877 Dưới số demo liệu sau thu thập tiền xử lý: Một số liệu ảnh smoke sau xử lý: 3.2 Kết thực nghiệm so sánh, đánh giá thuật toán Để thực việc thực nghiệm đánh giá độ xác thuật toán, Em thực thực nghiệm sử dụng visual studio 2019 sử dụng thư viện opencv 4.5.0, NIVIDIA CUDA SDK Em chạy thực nghiệm máy tính window 10 với CPU Intel® Core i910850K @ 3.60GHz, 32GB RAM NIVIDIA GeForce RTX 2060 Supper Em sử dụng 15 video, bao gồm 10 videos khói, video khơng có khói để thực đánh giá Hình 3.7: Kết phát khói 10 videos khói videos khơng khói 3.2.1 Kết thu so với số nghiên cứu khác Thực so sánh kết 15 video so với số nghiên cứu trước Trái ngược với kỹ thuật khác, thuật toán em dũng cố gắng chọn ngưỡng tốt để loại bỏ object chuyển động có khả khói thấp Tuỳ thuộc vào hiệu suất độ xác cao phân loại CNN, thuật toán em kết hợp điều nên không giảm false alarm mà cịn tăng độ xác phát khói Chi tiết nêu đề án 3.2.2 Hiệu suất thuật toán đạt Với việc sử dụng phần cứng mạnh mẽ sản xuất NVIDIA, thuật toán đạt hiệu hiệu suất tính tốn tốt Thời gian xử lý cho lớp phân loại cascade model nhỏ millisencond, thời gian xử lý trình phần loại CNN khoảng ms cho hình ảnh cộng thêm với thời gian xử lý phần khác Kết kiểm tra hiệu suất hệ thống tóm tắt bảng đề án Kết thử nghiệm cho thấy hệ thống em xử lý tổng cộng 40 frame giây phát khói vịng đến 10s; đó, hệ thống em hồn tồn phù hợp với hệ thống thời gian thực 3.3 Tích hợp thử nghiệm thuật tốn vào hệ thống VMS 3.3.1 Kiến trúc hệ thống VMS Hình 3.8: Kiến trúc VMS 3.3.2 Thực tích hợp phát khói hệ thống VMS Máy chủ quản lý video quét kết nối tới tất camera để lấy luồng rtsp stream Máy chủ quản lý video kiểm soát luồng rtsp đến máy khách từ xa máy chủ phân tích video Máy chủ phân tích video nhận luồng rtsp, giải mã frame ảnh phân tích liệu có smoke hay khơng Sau phân tích, kết gửi máy chủ quản lý video qua metadata Cuối , rtsp stream thông tin kết smoke detection gửi client lưu lại database Sơ đồ chi tiết việc tích