đồ án tốt nghiệp thiết kế hệ thống nhận diện đám cháy từ camera sử dụng deep learning

CƠ SỞ LÝ THUYẾT 2.1 T ng quan v Deep Learing ổề Giới thiệu v Deep Learning ềDeep Learning h c sâu là mọ ột phương thức trong lĩnh vực trí tu nhân t o AI, ệ ạđược sử dụng để ạy máy tính x

Ngành KT Điều khi n & T ng hóa ể ự độ

Giảng viên hướng dẫn: Nguyễn Công Phương

Chữ ký của GVHD

HÀ NỘI, 1/2024

B GIÁO DỘ ỤC & ĐÀO TẠO

I

ĐH BÁCH KHOA HÀ NỘ

CỘNG HÒA XÃ H I CH Ộ Ủ NGHĨA VIỆT NAM

Độ ậ – c l p Tự do - ạnh phúc H

NHI M V Ệ Ụ

ĐỒ ÁN T T NGHIỆP Ố

Họ và tên sinh viên: Nguy n Tu n Anh ễ ấ

Khóa : 64 Trường: Điện- Điệ ửn t

Ngành: KT ĐK &TĐH 1 Tên đề tài: ………

2 Nội dung đề tài: ………

………

………

………

………

………

………

………

………

3 Thời gian giao đề tài:

4 Thời gian hoàn thành:………

Ngày tháng … năm 2023

CÁN BỘ HƯỚNG D N Ẫ

Lời cảm ơn

Lời đầu tiên em xin được g i l i cử ờ ảm ơn chân thành t i giáo viên ớ hướng d n cẫ ủa mình là thầy giáo Nguyễn Công Phương – người đã trực tiếp định hướng, trao đổi

và giúp đỡ em trong suốt thời gian em thực hiện đồ án

Em cũng xin chân thành cảm ơn các thầy, cô giáo đã trực ti p gi ng d y và ế ả ạ trau

d i cho em nh ng ki n th c quý giá trong su t quá trình h c t p, nghiên c u tồ ữ ế ứ ố ọ ậ ứ ại trường Đại học Bách khoa Hà Nội

Dù đã hết sức cố gắng để hoàn thiện, song do khả năng còn hạn chế, không tránh

kh i viỏ ệc đồ án t t nghi p c a em còn nhi u thi u sót Vì v y, em r t mong nh n ố ệ ủ ề ế ậ ấ ậđược sự góp ý từ các thầy cô và bạn bè

Em xin chân thành cảm ơn!

Tóm tắt nội dung đồ án

Đề tài xây dựng hệ thống nhận diện đám cháy từ camera sử d ng Deep Learning ụ

đặt ta m c tiêu xây dựng m t hệ th ng có khả năng ụ ộ ố nhận diện được hai đối tượng

là l a và khói t camera th i gian th c, ử ừ ờ ự sau đó hiển th k t quị ế ả đó ra giao diện người dùng, lập tức gửi thông tin về đám cháy lên server hệ th ng và gửi email ốcảnh báo đến người dùng Đồ án này sử dụng trực tiếp webcam của máy tính làm

ph n c ng, v m t ph n m m, nh ng công ngh ầ ứ ề ặ ầ ề ữ ệ được s d ng là ngôn ng ử ụ ữ Python, công c LabelMe ụ để dán nhãn d ữ liệu, n n tề ảng Google Colab và thư viện YOLOv8

để hu n luyấ ện mô hình, thư viện Django để xây d ng web server K t qu ự ế ả đạt được nhìn chung đã phù hợp v i các vớ ấn đề đã đạt ra, tuy nhiên do th i gian h n ch ờ ạ ếcũng như khả năng có hạn, đồ án vẫn còn những điểm sai sót Em sẽ cố gắng nghiên cứu phương án tối ưu mô hình cũng như giao diện người dùng trong tương lai để đạt được hiệu suất cao hơn và giảm thiểu tình trạng phát hiện thiếu có thể gây ra nh ng thi t hữ ệ ại không đáng có Đề tài này có ý nghĩa rấ ớt l n trong vấn đềphòng ch ng cháy nố ổ cho người dân trong b i c nh nh ng v h a hoố ả ữ ụ ỏ ạn thương tâm không ngừng x y ra lả ấy đi sinh mạng c a rủ ất nhiều người

Sinh viên thực hiện

Ký và ghi rõ h tên ọ

MỤC LỤC

CHƯƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI 1

1.1 Lý do chọn đề tài 1

1.2 Mục tiêu và phạm vi của đề tài 2

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 3

2.1 Tổng quan v Deep Learing 3ề Giới thiệu v Deep Learning 3ề Deep Learning hoạt động như thế nào? 3

2.2 Tổng quan v Convolutional Neural Network (CNN) 4ề 2.3 Lớp các mô hình h R-ọ CNN 4

R-CNN 5

Fast R-CNN 5

Faster R-CNN 7

2.4 Tổng quan v YOLO (You Only Look Once) 8ề YOLO là gì? 8

Kiến trúc m ng YOLO 9ạ Output của YOLO 10

Dự báo trên nhi u feature map 11ề Anchor box 12

Hàm loss function 13

Dự báo bounding box 13

Non-max suppression 14

YOLOv8 15

2.5 Dataset (tập d u) 15ữ liệ Khái niệm dataset 15

Tại sao cần dataset trong machine learning? 16

Các lo i dataset 17ạ CHƯƠNG 3 XÂY DỰNG HỆ THỐNG 18

3.1 Mô tả bài toán 18

3.2 Phân tích thiết kế ệ thố h ng 18

Sơ đồ khối 18

Sơ đồ Use Case 19

Lưu đồ thuật toán 21

3.3 Thu thập và x ử lý dữ liệ u 21

Thu thập d u 21ữ liệ Tiền x ử lý dữ liệ u 22 Gắn nhãn d u 22ữ liệ 3.4 Huấn luy n mô hình YOLOv8 24ệ

Tạo t p d u hu n luy n 24ậ ữ liệ ấ ệ Huấn luy n mô hình YOLOv8 trên Google Colab 25ệ Đánh giá mô hình 29 Tinh chỉnh mô hình 29 3.5 Xây dựng s n ph m 29ả ẩ

C u trúc d 30ấ ự án Kết quả xây d ng s n ph m 31ự ả ẩ

CHƯƠNG 4 KẾT LUẬN 35

4.1 Kết luận 35 4.2 Hướng phát tri n cể ủa đồ án trong tương lai 35

TÀI LIỆU THAM KH O 36 Ả PHỤ L C 37 Ụ

DANH MỤC HÌNH VẼ

Hình 1.1 Sử d ng nh n diụ ậ ện đối tượng để phát hi n v ệ ị trí phương tiện 1

Hình 1.2 Vụ cháy chung cư mini khiến nhiều người thi t mệ ạng t i Hà N i 1ạ ộ Hình 2.1 Deep Learning là tập con c a Machine Learning 3ủ Hình 2.2 Deep Learning hoạt động như nào? 4

Hình 2.3 Sơ đồ pipeline xử lý trong mô hình mạng R-CNN 5

Hình 2.4 Kiến trúc single model Fast R-CNN 6

Hình 2.5 Kiến trúc mô hình Faster R-CNN 7

Hình 2.6 So sánh tốc đ c a 3 mô hình R-CNN 8ộ ủ Hình 2.7 Dòng thời gian của các phiên bản YOLO 9

Hình 2.8 Sơ đồ kiến trúc m ng YOLO 9ạ Hình 2.9 Các layer trong mạng darknet-53 10

Hình 2.10 Kiến trúc một output của model YOLO 11

Hình 2.11 Các feature maps của mạng YOLOv3 v i input shape là 416x416 11ớ Hình 2.12 Xác định anchor box cho m t vật thể 12ộ Hình 2.13 Công thức ư c lướ ợng bounding box t ừ anchor box 14

Hình 2.14 Kết quả c a quá trình non-max suppression 14ủ Hình 3.1 Sơ đồ khối của hệ thống 18

Hình 3.2 Sơ đồ Use Case của hệ thống 19

Hình 3.3 Lưu đồ thuật toán nhận diện lửa và khói 21

Hình 3.4 Hình ảnh minh họa dữ liệ u c n thu th p 22ầ ậ Hình 3.5 Gắn nhãn d u vữ liệ ới hộp gi i h n 23ớ ạ Hình 3.6 Gắn nhãn b ng công c LabelMe 23ằ ụ Hình 3.7 Tọa đ c a các h p gi i h n cộ ủ ộ ớ ạ ủa các đối tượng được g n nhãn 24ắ Hình 3.8 Cấu trúc thư mục dữ liệu để huấn luyện YOLOv8 25

Hình 3.9 Thư mục YOLOv8 trên Google Drive chứa tập dữ liệu đã chuẩn bị 25

Hình 3.10 Tạo Jupyter trên Google Colab 26

Hình 3.11 Kết nối với thư mục YOLOv8 trên Google Drive 26

Hình 3.12 Cài đặt thư mục mô hình YOLOv8 vào Google Drive 26

Hình 3.13 Giải nén dữ liệu file zip trong thư mục YolOv8 trên Google Drive 26

Hình 3.14 Sắp x p lế ại tệp 27

Hình 3.15 Cấu trúc thư mục sau khi cài đặt YOLOv8 và sắp xếp dữ liệu 27 Hình 3.16 Tạo t p data1.yaml ch a thông tin c u hình hu n luy n 27ệ ứ ấ ấ ệ Hình 3.17 Nội dung t p data1.yaml 28ệ Hình 3.18 Huấn luy n mô hình YOLOv8 28ệ Hình 3.19 Các tệp chứa trọng số sau khi huấn luy n 28ệ

Hình 3.20 Cấu trúc thư mục của code hệ thống 30

Hình 3.21 Giao diện của chức năng đăng nhập hoặc đăng ký 31

Hình 3.22 Giao diện của chức năng cài đặt 32

Hình 3.23 Giao diện của chức năng nhận di n lệ ửa và khói từ camera 32

Hình 3.24 Giao diện của trang web ch a lứ ịch sử phát hiện đám cháy 33

Hình 3.25 Giao diện của trang web hiển th chi tiị ết lần phát hiện đám cháy 33

Hình 3.26 Email cảnh báo đám cháy 34

DANH M C Ụ B NG BI U Ả Ể

Bảng 3.1 Đặc tả Use Case h ệ thống 19

1

CHƯƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI

1.1 Lý do chọn đề tài

Nhận diện đối tượng (Object Detection) trong trí tu nhân t o (AI) là m t k ệ ạ ộ ỹ thuật

h c máy có khọ ả năng phát hiện và nh n dậ ạng các đối tượng trong hình nh hoả ặc video Nó tạo điều ki n cho s phát tri n c a các ng dệ ự ể ủ ứ ụng thông minh như xe tựlái, quản lý giao thông, an ninh, chăm sóc sức khỏe, trò chơi điện tử và giải trí T ừ

b d ộ ữ liệu đầu vào gồm các hình ảnh (dataset), mô hình học máy được huấn luy n ệ

để phát hiện các đối tượng được phân loại trước Kỹ thuật này dựa trên các thuật toán h c máy, ch ng họ ẳ ạn như mạng nơ ron sâu, để- học cách phân bi t giệ ữa các đối tượng khác nhau và xác định tọa độ của chúng trong hình ảnh

Hình 1.1 S d ng nh n diử ụ ậ ện đối tượng để phát hi n v ệ ị trí phương tiện

Nhận di n ệ đối tượng trong AI có ng d ng r ng rãi trong các ngành công nghiứ ụ ộ ệp khác nhau b i nó giúp c i thi n tở ả ệ ốc độ cũng như chất lượng của việc xử lý d ữ liệu,

giảm sự ph thu c vào s ụ ộ ự can thiệp của con người

Hiện nay, vấn đề h a ho n tr thành m t thách th c nghiêm trỏ ạ ở ộ ứ ọng đối v i toàn c u, ớ ầ

đặc biệt là trong b i cảnh biố ến đổi khí hậu và sự tăng cường về mật độ đô thị Sự gia tăng của các khu đô thị và công nghiệp đi cùng với việc nguy cơ xảy ra cháy

n ổ ngày càng tăng cao và khó kiểm soát

Hình 1.2 V ụ cháy chung cư mini khiến nhiều người thi t m ng t i Hà N i ệ ạ ạ ộ

Đối mặt v i thực tế ngày càng phức tạp của vớ ấn đề hỏa hoạn, sự cần thiết c a các ủ

giải pháp phòng chống cháy n hi u qu ổ ệ ả trở nên quan trọng hơn bao giờ ết Việc htriển khai các h ệ thống thông minh s d ng trí tu nhân tử ụ ệ ạo để nh n diậ ện đám cháy không ch là mỉ ột bước ti n l n trong vi c nâng cao khế ớ ệ ả năng phát hiện s m các ớnguy cơ, mà còn đề xuất một cách tiếp cận mới trong quản lý rủi ro cháy nổ

Vì v y, d a vào nh ng ki n thậ ự ữ ế ức đã tích lũy được, cùng v i sớ ự đồng ý c a giáo ủviên hướng d n, th y Nguyẫ ầ ễn Công Phương, em xin chọn đề tài “Thiết k h ế ệ thống

nh n diậ ện đám cháy từ camera sử ụng Deep Learning” d

1.2 Mục tiêu và ph m vi cạ ủa đề tài

Đề tài "Thiết kế hệ thống nhận diện đám cháy từ camera sử d ng Deep Learning" ụ

đặt ra m c tiêu xây dựng m t hệ thống có khả ụ ộ năng xác định lửa và khói từ hình ảnh được ghi l i trên camera th i gian th c, t ạ ờ ự ừ đó gửi những c nh báo k p thả ị ời đến người quản lý

Đề tài sẽ được thực hiện theo các bước sau:

- Thu th p d ậ ữ liệu: xây d ng b d u dataset g m các hình ự ộ ữ liệ ồ ảnh có ch a lứ ửa

và khói ở trong môi trường thực tế

- Gắn nhãn dữ liệu: Gắn nhãn các đối tượng c n nh n di n là l a và khói ầ ậ ệ ửtrong các hình ảnh b d ở ộ ữ liệu nói ở trên

- Phân chia dữ liệu: Chia b dộ ữ liệu đã gắn nhãn thành 3 ph n: training set, ầvalidation set và test set

- Huấn luy n mô hình: S d ng n n t ng Google Colab cùng v i thu t toán ệ ử ụ ề ả ớ ậYOLOv8 để huấn luyện mô hình dựa trên bộ dữ liệu đã gắn nhãn và phân chia

- Kiểm th : Ki m tra tính hiử ể ệu qu c a mô hình ả ủ

- Áp d ng vào s n ph m th c t : Tri n khai mô hình vào ng d ng th c tụ ả ẩ ự ế ể ứ ụ ự ế,

s d ng Python cùng vử ụ ới Django để xây d ng giao diự ện người dùng cũng như server hệ thống

3

CHƯƠNG 2 CƠ SỞ LÝ THUYẾT

2.1 T ng quan v Deep Learing ổ ề

Giới thiệu v Deep Learning ề

Deep Learning (h c sâu) là mọ ột phương thức trong lĩnh vực trí tu nhân t o (AI), ệ ạđược sử dụng để ạy máy tính xử lý dữ liệu theo cách được lấy cảm hứng từ b d ộnão con người Mô hình học sâu có thể nhận diện nhiều hình mẫu phức tạp trong hình ảnh, văn bản, âm thanh và các d ữ liệu khác để ạ t o ra thông tin chuyên sâu và

dự đoán chính xác Bạn có th s dể ử ụng các phương pháp học sâu để ự độ t ng hóa các tác vụ thường đòi hỏi trí tuệ con người, ch ng hẳ ạn như mô tả hình nh hoả ặc chép l i mờ ột tập tin âm thanh M t s ộ ố ứng dụng trong đời th c c a Deep Learning ự ủbao gồm điều khi n xe t hành và robot, nh n d ng hình nh, phát hi n các b nh ể ự ậ ạ ả ệ ệ

hi m g p và hế ặ ệ thống đề xu t trên các n n tấ ề ảng như Facebook, Amazon, Netflix, v.v

Deep learning là một lĩnh vực “con” của machine learning Các thu t toán h c sâu ậ ọ

xu t hi n nh m n l c c i thi n hi u qu c a các k thu machine learning truy n ấ ệ ằ ỗ ự ả ệ ệ ả ủ ỹ ật ềthống Các phương pháp machine learning truy n thề ống đòi hỏi công sức đáng kể

để đào tạo phần mềm

Hình 2.1 Deep Learning là t p con c a Machine Learning ậ ủ

Deep Learning hoạt động như thế nào?

Mạng nơ-ron nhân tạo trong Deep Learning được xây dựng để mô ph ng kh ỏ ả năng

tư duy của bộ não con người Một mạng nơ-ron bao gồm nhiều lớp (layer) khác nhau, số lượng layer càng nhi u thì m ng sề ạ ẽ càng “sâu” Trong mỗi layer là các nút mạng (node) và được liên k t v i nh ng l p li n k khác M i k t n i gi a các ế ớ ữ ớ ề ề ỗ ế ố ữnode s có m t tr ng sẽ ộ ọ ố tương ứng, tr ng s càng cao thì ọ ố ảnh hưởng c a k t nủ ế ối

này đến mạng nơ-ron càng l n Mớ ỗi nơ-ron s có m t hàm kích ho t, v ẽ ộ ạ ề cơ bản thì

có nhiệm vụ “chuẩn hoá” đầu ra từ nơ-ron này Dữ liệu được người dùng đưa vào mạng nơ-ron s ẽ đi qua tất cả layer và tr v k t qu ả ề ế ả ở layer cu i cùng, g i là output ố ọlayer

Hình 2.2 Deep Learning hoạt động như nào?

Trong quá trình hu n luy n mô hình mấ ệ ạng nơ-ron, các tr ng s sọ ố ẽ được thay đổi

và nhi m v c a mô hình là tìm ra b giá tr cệ ụ ủ ộ ị ủa trọng s ố sao cho phán đoán là tốt

nh Các hất ệ thống Deep Learning yêu c u ph n c ng ph i r t mầ ầ ứ ả ấ ạnh để có th x ể ử

lý được lượng dữ liệu lớn và thực hiện các phép tính phức tạp Nhiều mô hình Deep Learning có th m t nhi u tu n, th m chí nhiể ấ ề ầ ậ ều tháng để triển khai trên nh ng ữ

ph n c ng tiên ti n nhầ ứ ế ất hiện nay

2.2 T ng quan v Convolutional Neural Network ổ ề (CNN)

Convolutional Neural Network (CNNs - M ng ạ nơ-ron tích ch p) là m t trong ậ ộ

nh ng mô hình Deep Learning tiên ti n Nó giúp cho chúng ta xây dữ ế ựng được

nh ng h ữ ệ thống thông minh với độ chính xác cao như hiện nay CNN được s d ng ử ụnhi u trong các bài toán nh n d ng các object trong nh ề ậ ạ ả

Ứng d ng: Nh n d ng hình ụ ậ ạ ảnh, phân tích video ho c cho các vặ ấn đề v x lý ngôn ề ử

- Với CNN, một nơ-ron trong m t l p ch ộ ớ ỉ được kết nố ới v i m t vài ộ nơ-ron ở

lớp trước, có thể giải quy t vế ấn đề ề v m t sộ ố lượng l n các tham sớ ố trong khi v n thu ẫ được các đặc điểm của hình nh ả

2.3 L p các mô hình h R-ớ ọ CNN

Region-based Convolutional Neural Network (R-CNN) là l p các mô hình xác ớđịnh vùng đặc trưng dựa trên các mạng CNN được phát tri n b i Ross Girshick và ể ở

5

các c ng s L p các mô hình này g m 3 mô hình chính là R-CNN, Fast R-CNN ộ ự ớ ồ

và Faster R-CNN được thi t k cho các nhiế ế ệm vụ định v v t th và nh n di n vị ậ ể ậ ệ ật thể

R-CNN

R-CNN được gi i thi u lớ ệ ần đầu vào 2014 b i Ross Girshick và các c ng sở ộ ự ở UC Berkeley m t trong nh ng trung tâm nghiên cộ ữ ứu AI hàng đầu th gi i Nó có th ế ớ ể

là m t trong nh ng ng d ng nộ ữ ứ ụ ền móng đầu tiên c a mủ ạng nơ ron tích chập đối

với vấn đề đị nh v , phát hiị ện và phân đoạn đối tượng

Kiến trúc của R-CNN gồm 3 thành phần đó là:

- Vùng đề xuất hình nh (Region proposal): Có tác d ng t o và trích xu t các ả ụ ạ ấvùng đề xuất chứa v t thể được bao bởi các bounding box ậ

- Trích lọc đặc trưng (Feature Extractor): Trích xuất các đặc trưng giúp nhận

di n hình nh t các region proposal thông qua các m ng deep ệ ả ừ ạconvolutional neural network

- Phân lo i (classifier): D a vào input là các features ạ ự ở phần trước để phân loại hình ảnh ch a trong region proposal v ứ ề đúng nhãn

Kiến trúc của mô hình được mô tả trong biểu đồ bên dưới:

Hình 2.3 Sơ đồ pipeline x lý trong mô hình m ng R-ử ạ CNN

Ta có th nh n th y các hình ể ậ ấ ảnh con được trích xu t tấ ại bước 2 v i sớ ố lượng rất

l n ớ (khoảng 2000 region proposals) Tiếp theo đó áp dụng m t m ng deep CNN ộ ạ

để tính toán các feature tại bước 3 và tr ả ra kết qu d báo nhãn ả ự ở bước 4 như một tác vụ image classification thông thường

Đây là một ứng dụng tương đối đơn giản và d hi u cễ ể ủa CNN đối với vấn đề object localization và object detection Một nhược điểm của phương pháp này là chậm, đòi hỏi phải vượt qua nhiều module độ ập trong đó có trích xuất đặc trưng từc l một

m ng CNN h c sâu trên tạ ọ ừng region proposal được t o b i thuạ ở ật toán đề xu t vùng ấchứa ảnh Đây là mộ ấn đềt v chính cần giải quyết vì bài viết mô tả mô hình hoạt

động trên khoảng 2000 vùng được đề xuất cho m i hình ảnh tại thỗ ời điểm thử nghiệm

Fast R-CNN

D a trên thành công c a R-ự ủ CNN, Ross Girshick đề xu t m t m rấ ộ ở ộng để gi i quyả ết vấn đề c a R-CNN trong mủ ột bài báo vào năm 2015 với tiêu đề r t ng n g n: "Fast ấ ắ ọR-CNN"

Bài báo chỉ ra những h n ch cạ ế ủa R-CNN đó là:

- Training qua một pipeline g m nhiồ ều bước: Pipeline liên quan đến việc chuẩn b và vị ận hành ba mô hình riêng bi ệt

- Chi phí training t n kém v s ố ề ố lượng bounding box và th i gian hu n luy n: ờ ấ ệ

Mô hình hu n luy n m t m ng CNN h c sâu trên r t nhi u region proposal ấ ệ ộ ạ ọ ấ ềcho mỗi hình ảnh nên rất chậm

- Phát hiện đối tượng chậm: Tốc độ x lý không th ử ể đảm bảo realtime Điểm đột phá của Fast R-CNN là sử dụng một single model thay vì pipeline đểphát hi n region và classification cùng lúc ệ

Kiến trúc của mô hình trích xuất từ ức ả b nh một tập h p các region proposals làm ợđầu vào được truy n qua m ng deep CNN M t pretrained-CNN, ch ng h n VGG-ề ạ ộ ẳ ạ

16, được sử dụng để trích lọc features Phần cuối của deep-CNN là một custom layer được gọi là layer vùng quan tâm (Region of Interest Pooling - RoI Pooling)

có tác dụng trích xuất các features cho m t vùng ộ ảnh input nhất định

Sau đó các features được kết bởi m t l p fully connected Cu i cùng mô hình chia ộ ớ ốthành hai đầu ra, một đầu ra cho d ự đoán nhãn thông qua một softmax layer và một

đầu ra khác dự đoán bounding box (kí hiệu là bbox) dựa trên h i qui tuyến tính ồQuá trình này sau đó được lặp lại nhi u l n cho m i vùng RoI trong m t hình ề ầ ỗ ộ ảnh

Hình 2.4 Kiến trúc single model Fast R-CNN

Ở bước đầu ta áp d ng m t mụ ộ ạng Deep CNN để trích xu t ra feature map Thay vì ấwarp image của region proposal như ở R-CNN chúng ta xác d nh ngay v trí hình ị ịchiếu c a c a region proposal trên feature map thông qua phép chiủ ủ ếu RoI projection V trí này sị ẽ tương đố ớ ịi v i v trí trên nh gả ốc Sau đó tiếp t c truyụ ền output qua các layer RoI pooling layer và các Fully Connected layers để thu được véc tơ RoI feature Sau đó kết quả đầu ra sẽ được chia làm 2 nhánh 1 nhánh giúp xác định phân phối xác suất theo các class của 1 vùng quan tâm RoI thông qua hàm softmax và nhánh còn xác định tọa độ của bounding box thông qua hồi qui các offsets

Mô hình này nhanh hơn đáng kể cả về huấn luyện và dự đoán, tuy nhiên vẫn cần

một tập hợp các region proposal được đề xu t cùng v i m i hình ấ ớ ỗ ảnh đầu vào

7

Faster R-CNN

Kiến trúc mô hình đã được cải thiện hơn nữa về cả tốc độ huấn luyện và phát hiện được đề xuất bởi Shaoqing Ren và các cộng sự tại Microsoft Research Kiến trúc được thiết kế xuất và tinh chđể đề ỉnh các region proposals như là một phần c a ủquá trình hu n luyấ ện, được g i là mọ ạng đề xu t khu v c (Region Proposal ấ ựNetwork), hoặc RPN Các vùng này sau đó được sử dụng cùng với mô hình Fast R-CNN trong một thiế ế mô hình duy nh t Nht k ấ ững cải tiến này vừa làm giảm sốlượng region proposal vừa tăng tốc hoạt động trong th i gian th nghi m mô hình ờ ử ệlên gần thời gian thực với hiệu suấ ốt nh t Tt t ấ ốc độ là 5fps trên m t GPU ộ

M c dù là mặ ột mô hình đơn lẻ duy nh t, ki n trúc này là kấ ế ết hợp c a hai modules: ủ

- Mạng đề xu t khu v c (Region Proposal Network, vi t t T là RPN) M ng ấ ự ế ắ ạCNN để xuđề ất các vùng và lo i đ i tưạ ố ợng cần xem xét trong vùng

- Fast R-CNN: Mạng CNN để trích xu t các features t các region proposal ấ ừ

và tr ả ra các bounding box và nhãn

C hai modules hoả ạt động trên cùng m t output c a m t m ng deep CNN M ng ộ ủ ộ ạ ạRPN hoạt động như một cơ chế attention cho mạng Fast R-CNN, thông báo cho

m ng th hai v ạ ứ ề nơi cần xem ho c chú ý ặ

Hình 2.5 Kiến trúc mô hình Faster R-CNN

Ở giai đoạn s m sử dụng m t mớ ộ ạng deep CNN để ạo ra một feature map Khác t

v i Fast R-CNN, ki n trúc này không t o RoI ngay trên feature map mà s d ng ớ ế ạ ử ụfeature map làm đầu vào để xác định các region proposal thông qua một RPN network Đồng thời feature maps cũng là đầu vào cho classifier nhằm phân loại các vật thể của region proposal xác định đượ ừc t RPN network

Trong machine learning, người dùng s c n m t t p thông tin d ẽ ầ ộ ậ ữ liệu đào tạo Đây

là t p dậ ữ liệu th c tự ế đang được dùng để hu n luy n mô hình th c hi n các hành ấ ệ ự ệđộng và hoạt động vận hành khác nhau Dataset là một bước phát triển cực kỳ

m nh m trong vi c nghiên c u và phát tri n nh ng ph n mạ ẽ ệ ứ ể ữ ầ ềm cơ sở ữ liệu đa d

h ệ

Tại sao cần dataset trong machine learning?

H c máy có s ph thu c r t lọ ự ụ ộ ấ ớn vào các d ữ liệu, nếu như không có các dữ liệu cụ thể thì trí tu nhân t o AI s không th hệ ạ ẽ ể ọc được Đây chính là khía cạnh quan trọng nhất giúp cho vi c th c hiệ ự ện đào tạo các thuật toán có th ể thực hi n d dàng ệ ễMặc dù người dùng có m t nhóm trí tu thông minh v i t p h p c a nhi u quy mô ộ ệ ớ ậ ợ ủ ề

t p dậ ữ liệu lớn hay nhân tài nhưng nếu t p h p dậ ợ ữ liệu không đủ chất lượng thì toàn bộ d án AI s bự ẽ ị thấ ại hoàn toàn t b

Trong quá trình phát tri n trí tu nhân tể ệ ạo AI, người dùng c n ph i d a vào thông ầ ả ựtin dữ liệu T vi c nghiên cừ ệ ứu đào tạo, sửa đổi, điều ch nh l a chỉ ự ọn mô hình để

kiểm tra, người dùng có th s d ng 3 b d u khác nhau, gể ử ụ ộ ữ liệ ồm: b ộ huấn luy n ệ

- training set b, ộ thử nghiệm - testing set và ộ b xác thực - validation set B ộxác thực - Validation set sẽ được s dử ụng để ừ đó có thể chọ ựa và điề t n l u ch nh, ỉchỉnh sửa lại mô hình máy học cuối cùng

Có nhiều người cho r ng vi c thu th p thông tin dằ ệ ậ ữ liệu là đủ nhưng thực t thì ếhoàn toàn ngược l i Trong m i d án trí tu nhân t o AI, vi c tìm ki m, phân loạ ọ ự ệ ạ ệ ế ại

và g n nhãn cho các t p tin dắ ậ ữ liệu đã chiếm khá nhi u th i gian cề ờ ủa người dùng, đặc biệt là các tập dữ liệu chất lượng, đủ chính xác để ừ đó có thể phản ánh rõ tràng nhất tầm nhìn thực tế ề thị trường và th gi v ế ới

M t cu c kh o sát c a các nhà khoa h c dộ ộ ả ủ ọ ữ liệu cho th y h dành ph n l n thấ ọ ầ ớ ời gian để tổ chức và xử lý d ữ liệu (60% lượng th i gian trong 1 d án h c máy) Do ờ ự ọ

đó, việc thực hiện bước này một cách tỉ mỉ là hết sức cần thiết để tạo điều kiện thuận lợi cho các giai đoạn ti p theo trong d ế ự án

17

Các loại dataset

B d u hu n luyộ ữ liệ ấ ện - Training set

B dộ ữ liệu hu n luy n - ấ ệ Training set là mộ ật t p hợp được s dử ụng để hu n luyấ ện các thu t toán có th hiậ ể ểu được cách áp d ng các khái niụ ệm như họ ậc t p thông tin

và t o ra các k t qu phù h p Nó bao g m m i dạ ế ả ợ ồ ọ ữ liệu đầu vào và dữ liệu đầu ra

d ki n ự ế

T p h p này chi m t l ph n l n trong t ng s dậ ợ ế ỷ ệ ầ ớ ổ ố ữ liệu, cụ thể là kho ng 60% ảTrong nh ng cu c th nghi m, các mô hình phù h p v i nh ng thông s dữ ộ ử ệ ợ ớ ữ ố ữ liệu trong một quá trình được gọi là phương thức điều ch nh tr ng sỉ ọ ố - adjusting weights

B xác thộ ực - Validation set

Để mô hình được đào tạo m t cách bài bản và khoa h c, nó cần phải được đánh ộ ọgiá định kỳ, thường xuyên và đó cũng chính là mục đích cụ thể nhất của bộ xác thực Thông qua vi c tính toán t n th t (t l m c lệ ổ ấ ỷ ệ ắ ỗi) mà mô hình đem lại d a trên ự

b xác thộ ực ở ất cứ điể b m nào đã đư c cho, ngư i dùng sẽ ết được độ chính xác ợ ờ bicủa dữ liệu

Đây chính là bản chất thực tế của việc đào tạo Tiếp đó, mô hình này sẽ thực hiện điều ch nh những tham s c a nó dựa trên các kết quả chính xác đã đư c đánh giá ỉ ố ủ ợmột cách thường xuyên nh validation set B xác th c chi m t m 20% các d ờ ộ ự ế ầ ữ liệu được sử d ng ụ

B d u th nghiộ ữ liệ ử ệm - Testing set

T p dậ ữ liệu th nghi m sử ệ ẽ được dùng để làm nhi m vệ ụ đánh giá thuật toán của người dùng được đào tạo chất lượng và tốt như thế nào v i các t p d ớ ậ ữ liệu đào tạo Trong các d án trí tu nhân tự ệ ạo AI, người dùng không th s d ng nh ng t p d ể ử ụ ữ ậ ữliệu đào tạo ở bước giai đoạn thử nghiệm bởi vì thuật toán có thể sẽ biết trước

nh ng kữ ết quả mong đợi không phải là m c tiêu chính cụ ủa người dùng

B dộ ữ liệu th nghi m chi m 20% t l dử ệ ế ỷ ệ ữ liệu Bộ thử nghiệm được đảm b o là ảcác dữ liệu đầu vào sẽ được nhóm lại cùng nhau, đồng th i các dờ ữ liệu đầu ra có tính chính xác cao và được xác minh rõ ràng, cụ thể

CHƯƠNG 3 XÂY DỰNG HỆ THỐNG

3.1 Mô tả bài toán

H ệ thống nh n di n và c nh báo lậ ệ ả ửa, khói là giải pháp đột phá trong việc đảm bảo

an toàn cho con người trong cu c sộ ống và trong môi trường tiềm ẩn nhiều nguy cơ cháy, n Bài toán này t p trung vào vi c s d ng công nghổ ậ ệ ử ụ ệ để giám sát và phát hiện các đám cháy nhỏ và khói gây ra các v n ụ ổ tiềm ẩn, t ừ đó đưa ra các cảnh báo

k p th i khi phát hiị ờ ện ra nguy cơ Bất cứ nơi nào tiềm ẩn nguy cơ cháy, nổ gây thiệt h i n ng nạ ặ ề cho con người, vi c phòng ch ng cháy n là r t c n thiệ ố ổ ấ ầ ết để ả b o

v tính mệ ạng con người Tuy nhiên, kh ả năng cháy nổ có th t n t i trong r t nhiể ồ ạ ấ ều tình huống hy h u và khó ki m soát ữ ể

Để giải quyết vấn đề này, các hệ th ng phát hiện và cảnh báo cháy và khói sẽ tận ố

d ng các công ngh tiên tiụ ệ ến như thị giác máy tính và học máy Đầu tiên, camera

sẽ đượ ắp đặt ởc l nhà, tại công ty, trong các tòa nhà, trường h c, v.v Các camera ọnày s ghi l i hình nh m t cách liên tẽ ạ ả ộ ục, sau đó thông qua phân tích hình ảnh và ứng dụng các thuật toán h c máy, hệ thống sẽ xác định các vụ nổ tiềọ m n thông ẩqua lửa và khói

Để đả m bảo tính chính xác c a h ủ ệ thống, trước khi tri n khai, các m u l a và khói ể ẫ ử

sẽ được cung c p và mô hình nh n d ng sấ ậ ạ ẽ được hu n luyấ ện để học các đặc trưng

và phân lo i khác nhau cạ ủa l a và khói.ử

Khi l a ho c khói xu t hi n trong khu vử ặ ấ ệ ực được giám sát b i hở ệ thống giám sát,

h ệ thống s so sánh nh ng hình ẽ ữ ảnh được ghi l i t camera v i các m u l a và khói ạ ừ ớ ẫ ử

đã được huấn luyện Nếu hệ thống phát hiện lửa và khói, nó sẽ đưa ra cảnh báo ngay l p t c C nh báo có th ậ ứ ả ể được gửi đến người quản lý và người giám sát để họ

có thể k p thị ời kiểm tra và giải quyết vấn đề

Việc tri n khai h ể ệ thống nh n di n và c nh báo cháy khói s mang l i nhi u l i ích ậ ệ ả ẽ ạ ề ợkhác nhau cho người dân nói chung, cũng như các nhà quản lý, các công ty nói riêng, giúp qu n lý r i ro và tuân thả ủ ủ các quy định v phòng ch ng cháy n , t o ề ố ổ ạmôi trường s ng an toàn, giảm thiểu nguy cơ cháy nổố và bảo vệ con người

3.2 Phân tích thiết kế ệ thống h

Sơ đồ khối

Hình 3.1 Sơ đồ khố ủi c a h ệ thống