Đồ án Vi điều khiển dùng cảm biến phát hiện đám cháy kết hợp nhận dạng người để phát chuông báo động và gửi thông báo đến điện thoại. Dùng cảm biến để phát hiện lửa, nếu có lửa xác định nhận dạng có người hay không? Nếu có cháy hay không cũng gửi ảnh và thông báo tời các đơn vị chữa cháy và các bên liên quan. Có người thì sẽ báo động kiểu khác, và không có người sẽ báo động kiểu khác.
TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO ĐỒ ÁN LẬP TRÌNH HỆ THỐNG VÀ VI ĐIỀU KHIỂN TÊN ĐỀ TÀI HỆ THỐNG BÁO CHÁY GIẢNG VIÊN HƯỚNG DẪN: HUỲNH HỮU HƯNG GIẢNG VIÊN CHẤM: STT NHÓM: 10 LỚP HỌC ĐIỂM QUÁ ĐIỂM BẢO VỆ HỌ VÀ TÊN SINH VIÊN PHẦN ĐỒ TRÌNH (do GV chấm ghi) ÁN (do GVHD ghi) Trương Công Quốc Thịnh 18N11A Trần Văn Hiền 18N11A Hồ Văn Hoài 18N10A Chế Văn Minh Đức 18N10B ĐÀ NẴNG, 08/2021 TÓM TẮT ĐỒ ÁN Hiện vấn đề cảnh báo cháy hệ thống báo cháy tâm, để giảm rủi ro thuận tiện cho cơng chữa cháy cứu người nhóm tụi em thực đồ án hệ thống báo cháy tự động Hệ thống tự động báo cháy qua loa tích hợp với tính nhận diện người đám cháy gửi thông báo qua ứng dụng android Vì có chế độ báo động khác nhau, quan sát đám cháy thơng qua camera ứng dụng Android Hiện tại, với hệ thống khả thi tối thiểu mình, xác nhận tình xảy cháy , có người bên đám cháy với độ xác ổn định tương đối tốt Các mơ hình phối hợp với ổn định Tuy có thời gian nguồn lực lớn hơn, nhóm cải thiện lại mơ hình để hoạt động tốt đáng tin cậy Những ý tưởng phát triển: + Tích hợp báo vị trí người mắc kẹt đám cháy + Tích hợp hệ thống chống cháy phát nước tự động BẢNG PHÂN CÔNG NHIỆM VỤ Sinh viên thực Các nhiệm vụ Tự đánh giá theo mức Chế Văn Minh Đức -Lập trình Raspberry Đã hoàn thành -Dán nhãn tập liệu Trần Văn Hiền -Lập trình phần cứng Arduino Đã hồn thành -Dán nhãn tập liệu Hồ Văn Hồi -Lập trình ứng dụng Android Đã hoàn thành -Dán nhãn tập liệu Trương Thịnh Cơng Quốc -Train mơ hình nhận diện người Đã hồn thành -Lập trình Raspberry -Dán nhãn tập liệu MỤC LỤC Contents DANH MỤC HÌNH ẢNH .5 DANH MỤC BẢNG I Giới thiệu II Giải pháp .7 2.1 Giải pháp phần cứng truyền thông 2.2 Giải pháp phần mềm 13 2.2.1 Mơ hình nhận diện vật thể SSDLite-MobilenetV2 : 13 III Kết .19 3.1 Mơ hình nhận diện : 19 3.2 Ứng dụng di động : 21 3.3 Phần cứng thử nghiệm toàn hệ thống 22 3.4 Đánh giá : 23 IV Kết luận 24 V Danh mục tài liệu tham khảo 25 DANH MỤC HÌNH ẢNH HÌNH Tổng quan chức HÌNH Raspberry Pi Model 3B+ HÌNH Module Camera Rev 1.3 HÌNH Arduino UNO R3 HÌNH Loa Bluetooth HÌNH Cảm biến khói MQ2 HÌNH Cảm biến nhiệt độ DHT11 10 HÌNH Sơ đồ kết nối vi xử lý 10 HÌNH Cảm biến lửa KY-026 11 HÌNH 10 Sơ đồ kết nối hệ thống 12 HÌNH 11 Mơ hình Single Shot Detector 13 HÌNH 12 Kiến trúc mạng SSD 14 HÌNH 13 Sơ đồ trình đăng nhập 16 HÌNH 14 Sơ đồ trình đăng ký 17 HÌNH 15 Sơ đồ trình tải ảnh lên ứng dụng 18 HÌNH 16 Sơ đồ lắng nghe kiện gửi thông báo 19 HÌNH 17 Kích thước tập liệu 20 HÌNH 18 Kết train 20 HÌNH 19 Ví dụ kết nhận diện 21 HÌNH 20 Màn hình đăng nhập 21 HÌNH 21 Màn hình đăng ký 21 HÌNH 22 Thơng báo có cháy 22 HÌNH 23 Xem ảnh qua camera 22 HÌNH 24 Sơ đồ phần cứng hệ thống 22 DANH MỤC BẢNG Bảng Cấu trúc ghi Authentication table 14 Bảng Cấu trúc ghi Authentication table 15 Bảng Cấu trúc bảng ghi Real-Time Image table .15 Bảng Cấu trúc bảng ghi Warning table .15 I Giới thiệu Hệ thống báo cháy thành phần thiếu hệ thống phòng cháy chữa cháy Có nhiều hệ thống báo cháy thực cho loại cơng trình khác nhau: hệ thống báo cháy địa chỉ, hệ thống báo cháy không dây… Nhưng hệ thống báo cháy thông thường, chưa thể phát có người bị nạn đám cháy hay khơng xem xét trực tiếp thông qua camera giám sát nhân viên làm tốn nguồn tài nguyên nhân lực Từ đó, nhóm chúng em phát triển hệ thống báo cháy tích hợp thêm nhận diện người Trường hợp có người đám cháy ưu tiên việc cứu người trước Truong trường hợp ngược lại điều động nhân lực phụ trách tìm cứu người đáng kể mà tập trung vào chữa cháy để giảm thiểu thiệt hại vật chất II Giải pháp Hệ thống phát hoả hoạn , sau nhận diện xem có người cịn mắc kẹt đám cháy khơng đồng thời gửi thông báo ảnh đến sở liệu Firebase từ Firebase nhận thơng báo xem ảnh ứng dụng android Nếu không nhận diện người, hệ thống phát tín hiệu X để người tập trung chữa cháy Nếu nhận diện có người khu vực hoả hoạn, hệ thống phát tín hiệu Y để người ưu tiên tìm kiếm cứu người trước.(Tín hiệu X Y phổ biến trước cho người để phân biệt) HÌNH Tổng quan chức 2.1 Giải pháp phần cứng truyền thông a Linh kiện sử dụng - Raspberry pi model 3B+: CPU quad-core A53 (ARMv8) 64-bit, RAM 1GB Kết nối Gigabit Ethernet, Wi-Fi Bộ nhớ Micro-SD 40-pin GPIO header Camera SerialInterface (CSI) Kích thước 82mm x 56mm x 19.5mm, 50g HÌNH Raspberry Pi Model 3B+ - Module Camera Rev 1.3 5MP Camera kết nối với Raspberry Pi thơng qua socket nhỏ mặt phía bo mạch Kết nối giao tiếp thông qua CSI interface, thiết kế dành riêng cho việc truyền tải liệu Camera Raspberry Pi Bus CSI truyền dẫn liệu tốc độ cực cao, mang theo liệu điểm ảnh Máy ảnh kết nối với xử lý BCM2835 Pi thông qua bus CSI Bus CSI kết nối tới Pi Camera qua cáp FFC (Flexible Flat Cable) HÌNH Module Camera Rev 1.3 - Arduino UNO R3: HÌNH Arduino UNO R3 Vi điều khiển Atmega328P, điện áp hoạt động 5V Digital I/O pin: 14 (trong pin có khả băm xung) PWM Digital I/O Pins: 6; Analog Input Pins: Kích thước 68.6mm x 53.4 mm, trọng lượng 25g - Loa Bluetooth LG Xboom: cơng suất 30W HÌNH Loa Bluetooth - Cảm biến khói MQ2: HÌNH Cảm biến khói MQ2 MQ2 cảm biến khí gas, cấu tạo từ chất bán dẫn SnO2 Chất có độ nhạy cảm thấp với khơng khí sạch, mơi trường có chất gây cháy độ dẫn thay đổi Nhờ đặc điểm đó, người ta thêm vào mạch đơn giản để biến đổi từ độ nhạy sang điện áp Giá trị điện áp đầu tăng nồng độ khí gây cháy xung quang MQ2 cao Arduino MQ2 A0 Aout VCC 5V GND GND - Cảm biến nhiệt độ DHT11: HÌNH Cảm biến nhiệt độ DHT11 HÌNH Sơ đồ kết nối vi xử lý 10 ➢ Nguyên lý hoạt động: để giao tiếp với DHT11 theo chuẩn chân vi xử lý thực bước: + Gửi tín hiệu muốn đo (Start) tới DHT11, sau DHT11 xác nhận lại + Khi giao tiếp với DHT11, cảm biến gửi lại byte liệu nhiệt độ đo Arduino DHT11 5V VCC GND GND D4 DATA - Cảm biến lửa Mô đun cảm biến lửa dùng led thu tín hiệu hồng ngoại để bắt tín hiệu hồng ngoại mà lửa phát ( lửa thường dải 760- 1100 nm) HÌNH Cảm biến lửa KY-026 Arduino Cảm biến lửa 5V VCC GND GND D (hoặc A) OUT Khi phát lửa, chân OUT đẩy điện lên cao ngược lại 11 b Sơ đồ kết nối hệ thống : HÌNH 10 Sơ đồ kết nối hệ thống Mơ tả mơ hình : - Các đường nét liền kết nối có dây, nét đứt kết nối không dây thông qua bluetooth internet - Ba cảm biến đo thông số môi trường xung quanh gửi arduino Nếu vượt qua ngưỡng định , arduino xác định có cháy gửi tín hiệu sang raspberry pi - Raspberry pi nhận tín hiệu có cháy từ arduino, thông qua video realtime nhận từ pi camera, raspberry pi nhận diện xem có người khu vực xảy hoả hoạn khơng, sau phát tín hiệu tương ứng thơng qua loa bluetooth - Đồng thời gửi hình ảnh từ pi camera lên firebasae storage, thơng qua app, xem hình ảnh nhận thơng báo có cháy 12 2.2 Giải pháp phần mềm 2.2.1 Mơ hình nhận diện vật thể SSDLite-MobilenetV2 : a.SSDLite-Mobilenet-v2-quantized-coco model : Vì điều kiện thời gian, vật chất nhóm ỏi, tiến hành thu thập liệu lớn để thực train lại từ đầu mơ hình thường có nhiều lớp, phải train tập liệu lớn thường tốn nhiều thời gian Do nhóm tiến hành kỹ thuật transfer learning[1] cho tốn mơ hình pre-trained SSDLite-Mobilenetv2-quantized-coco[2] cung cấp Tensorflow Mơ hình huấn luyện sẵn (pretrained) mơ hình mạnh phù hợp cho tốn u cầu mơ hình nhanh, xác, nhận diện real-time TensorFlow Lite[3] giải pháp gọn nhẹ TensorFlow, giúp nhà phát triển chạy mơ hình họ thiết bị di động, nhúng IoT b SSD model SSD : Single Shot Detector[4] với YOLO kiến trúc có tốc độ xử lý nhanh mà đảm bảo độ xác nhờ thay đổi kiến trúc mạng nhằm gói gọn q trình phát phân loại vật thể lần cắt bớt xử lý khơng cần thiết HÌNH 11 Mơ hình Single Shot Detector 13 HÌNH 12 Kiến trúc mạng SSD 2.2.2 Firebase[5] - Authentication table (bảng xác thực người dùng): lưu trữ tài khoản có quyền đăng nhập vào ứng dụng điện thoại lưu trữ ID tương ứng cho tài khoản để tiện cho việc tham chiếu tra cứu thông tin Tên trường Ý nghĩa Kiểu liệu Khóa Username Tên tài khoản đăng nhập String Khóa Password User UID Mật cùa tài khoản tương ứng ID tương ứng tài khoản String String Bảng Cấu trúc ghi Authentication table - Level Management table (bảng phân quyền đăng nhập): lưu trữ thông tin quyền truy cập người dùng Tên trường User UID isHost Ý nghĩa ID tương ứng tài khoản người dùng Lưu trữ quyền đăng nhập Kiểu liệu Khóa String Khóa Boolean 14 có phải chủ nhà hay khơng Bảng Cấu trúc ghi Authentication table - Real-Time Image table: lưu trữ hình ảnh camera thời gian thực xử lý nhận dạng đẩy lên từ sever Tên trường Ý nghĩa Kiểu liệu Khóa Name Tên ảnh upload String Khóa Kích thước ảnh với đơn vị Size KB Double Type Định dạng file ảnh String Last modified Lần cật nhập gần Datetime Bảng Cấu trúc bảng ghi Real-Time Image table - Warning table (bảng cảnh báo): lưu liệu liệu có cháy hay khơng đẩy lên từ sever, đẩy lên file text có nội dung yes (có cháy) no (khơng có cháy) Tên trường Ý nghĩa Kiểu liệu Khóa Name Tên file text upload String Khóa Bảng Cấu trúc bảng ghi Warning table 2.2.3 Ứng dụng di động - Ứng dụng di động xây dựng tảng Android, sử dụng công cụ android SDK Ứng dụng hướng đến loại người dung người chủ sở hữu camera quan chữa cháy Ứng dụng có chức sau: a Đăng nhập: Khi bật ứng dụng lần đầu tiên, người dùng yêu cầu đăng nhập Thông tin đăng nhập người dùng cung cấp người chủ camera gồm email mật Thông tin đăng nhập lưu lại để không cần đăng nhập vào lần mở ứng dụng sau Sơ đồ thể trình đăng nhập: 15 HÌNH 13 Sơ đồ q trình đăng nhập b Tạo tài khoản mới: Chức dành riêng cho người dùng đăng nhập với tài khoản có quyền Admin, người sử dụng khơng phải admin liên hệ admin để cấp tài khoản Tài khoản tạo bới admin gồm thông tin sau: gmail đăng nhập, mật quyền đăng nhập với trường isHost(true= quyền admin, false= admin) Những thông tin gửi lên Firebase hợp lệ Firebase tự động tạo ID cho tài khoản để cung cấp cho người dùng với mục đích xác thực lúc đăng nhập thông tin lưu vào Firebase Authentication table Firestore Database 16 Sơ đồ thể trình tạo tài khoản lưu liệu thể sau: HÌNH 14 Sơ đồ trình đăng ký c Xem danh sách ảnh từ Camera thời gian thực: có chế độ xem - Chế độ quyền Admin: với chế độ ứng dụng tự động tải ảnh lên cho người dùng xem dạng danh sách ảnh ảnh tự động load lại giây lần suốt trình xem ứng dụng - Chế độ quyền User: với chế độ ứng dụng tự động tải ảnh lên cho người dùng xem có thơng báo cháy từ Server, Server dừng báo ứng dụng dừng tải ảnh Sơ đồ thể trình tải ảnh lên ứng dụng : Quá trình xét điều kiện “Có báo cháy từ Server khơng?” giới thiệu phần 17 HÌNH 15 Sơ đồ trình tải ảnh lên ứng dụng d Lắng nghe kiện gửi thông báo tới người dùng: - Chức tích hợp ứng dụng chạy ngầm ứng dụng điện thoại người dùng khởi động lần đăng nhập ứng dụng - Nguyên lý hoạt động chức lắng nghe kiện từ Firebase Storage giây đọc file text “Warning.txt” Warning table File text tải lên có nội dụng “Yes” “No” ứng dụng lắng nghe kiện tự động tải thông báo lên cho người dùng, thông báo kiện “ Có cháy” “Khơng có cháy” tới trình tải ảnh lên ứng dụng Sơ đồ thể q trình: 18 HÌNH 16 Sơ đồ lắng nghe kiện gửi thông báo III Kết 3.1 Mơ hình nhận diện : a Dữ liệu sử dụng để train nhận diện người: - Sử dụng liệu ảnh từ Open Image Dataset[6] từ máy ảnh điện thoại Xố ảnh khơng phải người búp bê, tượng, Sử dụng phần mềm LabelImage để dán nhãn - Tập liệu gồm khoảng 500 ảnh, kích thước từ 11KB đến 290KB, có độ phân giải tối đa 640x480 Mỗi hình có nhiều nhãn person Tập liệu chia theo tỷ lệ kích thước tập huấn luyện : kích thước tập kiểm thử 8:2 19 HÌNH 17 Kích thước tập liệu b.Kết train HÌNH 18 Kết train 20 c Kết nhận diện HÌNH 19 Ví dụ kết nhận diện 3.2 Ứng dụng di động : HÌNH 20 Màn hình đăng nhập HÌNH 21 Màn hình đăng ký 21 HÌNH 22 Thơng báo có cháy HÌNH 23 Xem ảnh từ camera 3.3 Phần cứng thử nghiệm tồn hệ thống HÌNH 23 Sơ đồ phần cứng hệ thống 22 - Thử nghiệm hệ thống thực tế cho kết tốt Khả phát cháy nhanh khoảng cách gần Ở khoảng cách xa phát lửa lớn, chưa thể phát lửa nhỏ Mặc dù FPS nhận diện không cao cho kết nhận diện xác 3.4 Đánh giá : a.Ưu điểm: - Các phần hệ thống kết nối, giao tiếp với ổn định - Thực đầy đủ chức đề - Khả mở rộng tốt b.Nhược điểm: - Không phát nguồn lửa nhỏ xa - Tốc độ xử lý khung hình khơng cao (1 FPS) - Mơ hình nhận diện người chưa tối ưu, chưa nhận diện người nằm điều kiện thiếu sáng 23 IV Kết luận Học được: - Nhóm hồn thành tương đối yêu cầu ban đầu - Tăng khả làm việc nhóm - Học lập trình Vi điều khiển , huấn luyện mơ hình học máy - Học lập trình Android, vận hành giao tiếp Android sở liệu Firebase - Chuyên nghiệp tư duy, xây dựng định hướng công việc Tồn tại: - Vẫn chưa bám sát Work-Flow ban đầu đề - Cần cải thiện thiết kế lại để mượt mà, bắt mắt Hướng phát triển: - Tăng độ hoàn thiện ứng dụng Android - Hồn thiện mơ hình nhận diện nhận diện người nằm điều kiện thiếu sáng - Thêm tính kích hoạt hệ thống chữa cháy( nước) - Cải thiện khả phát có lửa 24 V Danh mục tài liệu tham khảo [1]Transfer Learning https://dlapplications.github.io/2018-07-15-Transfer-Learning-Basic/ [2] SSD_mobilenet_v2_quantized_coco from TensorFlow detection model zoo: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf1 _detection_zoo.md [3] Tensorflow Lite https://www.tensorflow.org/lite/examples/object_detection/overview [4] SSD model object detection https://phamdinhkhanh.github.io/2019/10/05/SSDModelObjectDetection.html [5]Firebase https://firebase.google.com/docs [6] Open image dataset v6 - category : person https://storage.googleapis.com/openimages/web/visualizer/index.html?set=train&type =detection&c=%2Fm%2F01g317 [7]Source code App android https://github.com/tranvanhien187/Raspberry.git 25 ... thiệu Hệ thống báo cháy thành phần khơng thể thiếu hệ thống phịng cháy chữa cháy Có nhiều hệ thống báo cháy thực cho loại cơng trình khác nhau: hệ thống báo cháy địa chỉ, hệ thống báo cháy không...TÓM TẮT ĐỒ ÁN Hiện vấn đề cảnh báo cháy hệ thống báo cháy tâm, để giảm rủi ro thuận tiện cho công chữa cháy cứu người nhóm tụi em thực đồ án hệ thống báo cháy tự động Hệ thống tự động báo cháy qua... Real-Time Image table - Warning table (bảng cảnh báo) : lưu liệu liệu có cháy hay khơng đẩy lên từ sever, đẩy lên file text có nội dung yes (có cháy) no (khơng có cháy) Tên trường Ý nghĩa Kiểu liệu Khóa