Xây dựng ứng dụng phát hiện khói dựa trên xử lý ảnh và mô hình học sâu VGG

GIỚI THIỆU BÀI TOÁN

Ngoài ra còn nhiều nguyên nhân khác dẫn đến các vụ hoả hoạn như sử dụng bếp gas không an toàn, khu vực nấu nướng gần rèm cửa dễ gây bén lửa… Hầu hết trong các vụ cháy nổ, các đám khói toả ra rất nhiều trước cả khi đám cháy lan rộng, việc phát hiện sớm đám cháy là rất quan trọng, vì vậy smoke detection là bài toán vô cùng quan trọng trong việc phát hiện các vụ cháy nổ sớm sẽ được em trình bày trong đề án này. Ở những kết quả nghiên cứu trước đây, có rất nhiều nghiên cứu đưa ra tỉ lệ chính xác rất cao, lên tới 96 đến 98% trên tập data thử nghiệm, từ những năm từ 2002 đến năm 2015 chủ yếu những nghiên cứu về smoke detection tập trung vào xử lý ảnh thuần dựa vào mầu sắc, tính chất chuyển động của khói nên đạt được tốc độ rất tốt nhưng độ chính xác sẽ kém hơn vì rất dễ nhầm bởi những vật thể có tính chất chuyển động cũng như màu sắc giống khói.

Bảng 1.1: Kết quả so sánh hiệu suất đạt được của một số nghiên cứu trước Những

Với hàng loạt bài báo khoa học hiện nay về phát hiện khói lửa, độ chính xác và hiệu suất vẫn là đích đến cuối cùng của mọi giải pháp, vì cảnh báo khói lửa khi ứng dụng vào trong thực tế trong trường hợp detect nhầm thì có thể tắt cảnh báo được, nhưng sẽ là rất nguy hiểm nếu như hệ thống giám sát không phát hiện được khói lửa. Để xử lý một loạt các vấn đề cố hữu đã được nêu trên, đề tài sẽ kết hợp cả thuật toán xử lý ảnh dựa trên tính chất của khói như cách chuyển động, màu sắc … và bước cuối cùng mới sử dụng deeplearning cụ thể là mạng VGG16 để xác minh lại rằng đó có phải chính xác là vùng khói hay không.

XÂY DỰNG ỨNG DỤNG PHÁT HIỆN KHểI SỬ DỤNG XỬ LÝ ẢNH VÀ CÔNG NGHỆ VGG

• Candidate smoke regions detection (phát hiện vùng candidate smoke dựa trên các thuật toán xử lý ảnh)
• Phân loại khói

Phương pháp của em bao gồm 3 bước chính: candidate smoke region detection( tìm ra vùng có thể là smoke nhất trong ảnh), smoke classifier(phân loại các vùng candidate smoke ở bước 1 thành smoke và non-smoke), temporal analysis (giai đoạn quyết định cuối cùng để tăng độ chính xác cho bài toán smoke detection). Candidate smoke region detection (phát hiện vùng có thể là khói) : Sử dụng thuật toán background subtraction (trừ nền) để tìm vùng có thay đổi so với các pixel nền, đây có thể là những vùng khói nhất, sau đó em nhóm các vùng pixel đó thành các vùng candidate smoke. Cơ sở trong phương pháp này là phát hiện các đối tượng chuyển động từ sự khác biệt giữa khung hiện tại và khung tham chiếu, thường được gọi là "hình ảnh nền" hoặc "mô hình nền"(‘Background Image' hoặc. ‘Background Model').

Cơ sở trong phương pháp này là phát hiện các đối tượng chuyển động từ sự khác biệt giữa khung hiện tại và khung tham chiếu, thường được gọi là "hình ảnh nền" hoặc "mô hình nền" (‘Background Image' hoặc. ‘Background Model'). Ngược lại, nếu giá trị chênh lệch lớn hơn ngưỡng Mσ, điều đó có nghĩa là giá trị nhiều khác hơn so với giá trị trung bình và không thể được tạo ra bởi bất kỳ thứ gì khác ngoài đối tượng đang chuyển động, thì độ tin cậy được đặt thành 100%. Trong hình 2.4, việc lựa chọn phân ngưỡng binary hay otsu là rất quan trọng, vì nếu lựa chọn phân ngưỡng binary việc lựa chọn ngưỡng threshold cao sẽ bị mất một số đồng xu có mức sáng thấp, còn nếu lựa chọn ngưỡng threshold thấp sẽ khiến nhiều trường hợp khác xuất hiện nhiều nhiễu.

Sau khi kết hợp giữa tách ngưỡng nhị phân và tách ngưỡng otsu, tiếp tục thực hiện lọc các nhiễu bé và nhóm các vùng có nhiều điểm ảnh trắng và gần nhau lại với nhau, mục đích của các bước này là để tìm các vùng candidate smoke có khả năng là khói nhất.

Hình 2.11: Kiến trúc mạng VGG16

Các lớp ẩn ở giữa bao gồm các layer cơ bản của 1 mạng CNN như: lớp Convolution, Pooling, kết nối đầy đủ và hàm kích hoạt. Các lớp cao hơn thực hiện bóc tách các đặc trưng mức cao, ứng với các đặc trưng riêng của từng đối tượng.

Bảng 2.1: Thư viện sử dụng training model VGG16 cho bài toán nhận dạng khói

Nhưng sau một loạt các frame liên tiếp như vậy, qua nhiều lần thực nghiệm thực thế em có đưa ra một phương pháp để có thể quyết định cuối cùng là có event khói trong video không bằng cách kết hợp các kết quả ở các chuỗi frame liên tục. Các vùng được xác định là vùng có khả năng là khói trong ảnh thu được từ bộ phân loại khói ở phần 2.2 sẽ được đánh object id, ở các frame tiếp theo nếu vẫn tồn tại vùng có khả năng là khói và vùng giao nhau giữa vùng đó so với vùng ở frame trước có số lượng pixel > 70% so với vùng ở frame trước sẽ được đánh object id giống nhau. Ý nghĩa của quy tắc trên là để tối ưu tốc độ cho phần cứng, thay vì ảnh nào cũng đưa vùng candidate smoke vào bộ phân loại thì việc làm này sẽ loại bỏ được những vùng đã chắc chắn là khói rồi và những vùng chắc chắn không phải là khói để ở những frame tiếp theo không phải đưa vào bộ phân loại nữa.

Trong chương 2, đề án đã trình bày chi tiết về các bước xây dựng thuật toán phân loại khói, bao gồm cả các thuật toán xử lý ảnh và model phân loại VGG16, cũng như các bước để quyết định đó chính xác có phải là vùng khói hay không. Trong chương tiếp theo, đề án sẽ trình bày về quy trình thu thập dữ liệu dữ liệu cho training, thử nghiệm thuật toán trên hệ thống VMS Nx Witness, các kết quả thu được, đánh giá kết quả của mô hình và so sánh với các nghiên cứu khác.

CÀI ĐẶT VÀ THỬ NGHIỆM

• Thu thập dữ liệu và thử nghiệm cho việc training model .1 Thu thập dữ liệu
• Kết quả thực nghiệm và so sánh, đánh giá thuật toán
• Tích hợp và thử nghiệm thuật toán vào hệ thống VMS .1 Kiến trúc hệ thống VMS

Tuy nhiên, trong video 6, môi trường là ở trong đường hầm, sự di chuyển không khí trong môi trường này là thấp ; trong trường hợp đó, cả hướng và kích thước của khói đều không thay đổi nhiều, vì vậy bị phân loại là object không phải là khói. Theo thuật toán này, mức độ ranh giới của các vật thể không khói nhìn mượt mà hơn so với vật thể có khói (nghĩa là mức chênh lệch giữa khói so với nền là lớn hơn giữa các vật thể khác so với nền), tuy nhiên, cách nhìn nhận này không phải lúc nào cũng đúng. Tuỳ thuộc vào hiệu suất và độ chính xác cao của bộ phân loại CNN, thuật toán của em là sự kết hợp giữa 2 điều này nên không chỉ giảm được false alarm mà còn tăng độ chính xác khi phát hiện khói.

Thời gian xử lý cho các lớp phân loại trên cùng của cascade model nhỏ hơn 1 millisencond, và thời gian xử lý của trình phần loại CNN là khoảng 8 ms cho mỗi hình ảnh cộng thêm với thời gian xử lý của các phần khác. Kết quả thử nghiệm cho thấy hệ thống của em có thể xử lý tổng cộng 40 frame mỗi giây và có thể phát hiện khói trong vòng 3 đến 10s; do đó, hệ thống của em hoàn toàn phù hợp với các hệ thống thời gian thực.  Video annalytic server: thực hiện thuật toán phân tích để phát hiện các tình huống bất thường, có thể là nhận dạng đám cháy, khuôn mặt, phát hiện chuyển động và theo dừi… Khi một sự kiện bất thường được phỏt hiện, nú sẽ được chuyển đến máy chủ quản lý video trước khi phát hình ảnh cho người dùng.

Trong chương này còn trình bày về quá trình thu thập dữ liệu cho việc đào tạo model, quy trình xử lý dữ liệu thô, gán nhán dữ liệu và cuối cùng là các kết quả thực nghiệm đạt được trên 15 video trong đó có 10 video khói và 4 video không khói.

TỔNG KẾT

Nhược điểm của các thuật toán của em là chỉ hoạt động trên các đám khói có màu sắc chung và thuật toán cũng không thể hoạt động với một lượng khói nhỏ. Trong công việc sắp tới, em sẽ mở rộng mô hình màu để phát hiện khói màu đen hoặc có màu lạ do ảnh hưởng từ môi trường, không gian xảy ra. Trong bài toán phát hiện khói, vẫn còn một số hạn chế như màu nền giống với màu khói, hoặc đối với khói trong các môi trường ánh sáng khác nhau thì màu sắc sẽ bị ảnh hưởng của màu sắc của ánh sáng.

Việc tích hợp thuật toán phát hiện khói sử dụng cả xử lý ảnh và CNN vào hệ thống VMS với độ chính xác và hiệu suất hoạt cao như vậy mang lại một tiềm năng phát triển cho tương lại trong lĩnh vực AI Camera hiện nay. Với cùng hệ thống VMS như vậy có thể phát triển rất nhiều các thuật toán khác nhau như phát hiện người đột quỵ , phát hiện trộm, phát hiện phương tiện giao thông, đếm xe, và tất cả những gì con người có thể nhìn và nhận biết bằng mắt thường được thì computer vision đều có thể làm được.