1. Trang chủ
  2. » Luận Văn - Báo Cáo

DANAFLOOD: CẢ NH BÁO NGẬ P LỤ T ĐÔ THỊ SỬ DỤ NG CAMERA GIÁM SÁT VÀ MÔ HÌ NH HỌC SÂU

20 0 0
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề DANAFLOOD: Cảnh Báo Ngập Lụt Đô Thị Sử Dụng Camera Giám Sát Và Mô Hình Học Sâu
Tác giả Đàm Quang Tiến
Người hướng dẫn TS. Ninh Khánh Duy
Trường học Trường Đại Học Bách Khoa – Đại Học Đà Nẵng
Chuyên ngành Công Nghệ Thông Tin
Thể loại Nghiên Cứu Khoa Học
Năm xuất bản 2022 - 2023
Thành phố Đà Nẵng
Định dạng
Số trang 20
Dung lượng 1,38 MB

Nội dung

Kỹ Thuật - Công Nghệ - Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Công nghệ thông tin Nghiên cứu khoa học TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN Đà m Quang Tiế n TS. Ninh Khá nh Duy Giảng viên hướng dẫn Sinh viên thực hiện Học kì I 2022 - 2023 1 DANAFLOOD: CẢ NH BÁO NGẬ P LỤ T ĐÔ THỊ SỬ DỤ NG CAMERA GIÁM SÁT VÀ MÔ HÌ NH HỌC SÂU DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING 2 Contents 1. Introduction 2. Methodology 3. Evaluation 4. Conclusion 5. Discussion DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Nghiên cứu khoa học 3 DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Nghiên cứu khoa học 4Ả nh: Facebook Page củ a “BCH Phò ng chố ng Lụ t Bã o và Tìm kiế m cứ u nạ n Đà Nẵ ng” kêu gọi ngườ i dân đá nh dấ u mố c ngậ p lụ t sau đợ t mưa ngậ p lụ t lị ch sử ngà y 14102022. (Link bà i viế t, truy cậ p 05122022) DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Dữ liệu ngậ p lụ t thông thườ ng có thể thu đượ c từ hệ thố ng cảm biế n, hoặ c thu thậ p từ khảo sá t thực đị a. Tuy vậ y đố i với đườ ng phố ngậ p lụ t thì thườ ng không có sẵ n hệ thố ng cảm biế n hay cá c dấ u hiệu thực đị a để khảo sá t. Nghiên cứu khoa học 5 Thành phố Đà Nẵng có đủ thông tin điều hành để đưa ra cảnh báo sớm và đúng mức độ. Có một hệ thống phát hiện ngập lụt đường phố và gửi cảnh báo ngập lụt trên từng tuyến đường cho người dân. Nếu vào đợt lũ ngày 2410, Nghiên cứu khoa học DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING (1) Cho phé p cư dân thà nh phố xá c đị nh tuyế n đườ ng có thể di chuyể n an toà n và đưa ra quyế t đị nh (đã qua thông tin chí nh xá c) trá nh việc phơi nhiễ m chấ t thải trong nước ngậ p; (2) Cung cấ p thông tin cho cơ quan công quyền thà nh phố trong nỗ lực cải thiện việc kiể m soá t ngậ p lụ t có mụ c tiêu thông qua việc ra quyế t đị nh dựa trên dữ liệu (data-driven decision making). Chố ng chị u bề n vữ ng vớ i thiên tai và biế n đổ i khí hậ u 6 FloodNet - Computer Vision for Urban Street Flood Detection NYU CUSP. (2022). 2022 Capstone Projects NYU CUSP. online Available at: https:cusp.nyu.edu2022-capstone-projects Accessed 8 Sep. 2022. DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Giả thuyết nghiên cứu? Đồ án tốt nghiệp 7 1. Q. Zhang et al. “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian Journal of Electrical Engineering and Computer Science, vol. 17, no. 2, pp. 793–803, 2019, doi: 10.11591IJEECS.V17.I2.PP793-803. -> nhanh nhưng ảnh hưởng mạnh bởi thay đổi môi trường 2. Barz, B. et al. (2019). Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images. arXiv.org. online doi:10.5445KSP100008732706. -> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả 3. H. N. Do, M. T. Vo, V. S. Tran, P. V. Tan, and C. V. Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol. 2016-January, pp. 599–603, Jan. 2016, doi: 10.1109ATC.2015.7388400. -> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng 4. Moy de Vitry et al. (2019). Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network. Hydrology and Earth System Sciences, online 23(11), pp.4621–4634. doi:10.5194hess-23-4621-2019. -> sử dụng lại chỉ số ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai 5. S.-W. Lo et al, “Deep Sensing of Urban Waterlogging,” Mar. 2021, doi: 10.48550arxiv.2103.05927. -> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Đồ án tốt nghiệp 8 (1) Xây dựng một mô hình đa nhiệm vụ (multi-task model) có thể nhân rộng (scalable) mới để đồ ng thờ i phân đoạ n vùng bị ngậ p và đá nh giá mứ c độ ngậ p. (2) Tạ o nên một nguồ n tin giúp ngườ i dân có kế hoạ ch di chuyể n phù hợ p, trá nh chị u cá c thiệt hạ i liên quan đế n việc đườ ng phố ngậ p lụ t. Đồ ng thờ i thu thậ p dữ liệu độ phân giải cao để phụ c vụ cho nhữ ng phân tí ch khá c. Our contribution DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Đồ án tốt nghiệp Flood level: 3 Flood level: 2 Flood level: 1 Flood level: 0 DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Dữ liệu huấ n luyện 9 Có ngậ p lụ t nước chảy mạ nhnhiều, nguy hiể m. Có ngậ p lụ t, không khuyế n khí ch. Có nước, không ảnh hưởng. Không có nước. 10 Water Segmentation Dataset Mirko Zaffaroni, Claudio Rossi. (2019). Water Segmentation Dataset (1.0) Data set. Zenodo. https:doi.org10.5281zenodo.3642406 European Flood 2013 Dataset Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris D...

Trang 1

Nghiên cứu khoa học

TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG

KHOA CÔNG NGHỆ THÔNG TIN

Đàm Quang Tiến

TS Ninh Khánh Duy

Giảng viên hướng dẫn

Sinh viên thực hiện

Học kì I

2022 - 2023

DANAFLOOD: CẢNH BÁO NGẬP LỤT

ĐÔ THỊ SỬ DỤNG CAMERA GIÁM SÁT VÀ MÔ HÌNH HỌC SÂU

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Trang 2

Contents

1 Introduction

2 Methodology

3 Evaluation

4 Conclusion

5 Discussion

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Nghiên cứu khoa học

Trang 3

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Nghiên cứu khoa học

Trang 4

Ảnh: Facebook Page của “BCH Phòng chống Lụt Bão và Tìm

kiếm cứu nạn Đà Nẵng” kêu gọi người dân đánh dấu mốc

ngập lụt sau đợt mưa ngập lụt lịch sử ngày 14/10/2022

( Link bài viết , truy cập 05/12/2022)

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Dữ liệu ngập lụt thông thường có thể thu được từ hệ thống cảm biến, hoặc thu thập từ khảo sát thực địa Tuy vậy

đối với đường phố ngập lụt thì

thường không có sẵn hệ thống cảm biến hay các dấu hiệu thực địa để khảo sát

Nghiên cứu khoa học

Trang 5

Thành phố Đà Nẵng có đủ thông tin điều hành

để đưa ra cảnh báo sớm và đúng mức độ.

Có một hệ thống phát hiện ngập lụt đường

phố và gửi cảnh báo ngập lụt trên từng tuyến

đường cho người dân.

Nếu vào đợt lũ ngày 24/10,

Nghiên cứu khoa học

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Trang 6

(1) Cho phép cư dân thành phố xác định tuyến đường có thể di chuyển an toàn và đưa ra quyết định (đã qua thông tin chính xác) tránh việc phơi nhiễm chất thải trong nước ngập;

(2) Cung cấp thông tin cho cơ quan công quyền thành phố trong nỗ lực cải thiện việc kiểm soát ngập lụt có mục tiêu thông qua việc ra quyết định dựa trên dữ liệu (data-driven decision making)

Chống chịu bền vững với thiên tai và biến đổi khí hậu

6

FloodNet - Computer Vision for Urban Street Flood Detection

NYU CUSP (2022) 2022 Capstone Projects | NYU CUSP [online]

Available at: https://cusp.nyu.edu/2022-capstone-projects/ [Accessed 8 Sep 2022].

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Trang 7

1 Q Zhang et al “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian

Journal of Electrical Engineering and Computer Science, vol 17, no 2, pp 793–803, 2019, doi:

2 Barz, B et al (2019) Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images arXiv.org

[online] doi:10.5445/KSP/1000087327/06 -> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả

3 H N Do, M T Vo, V S Tran, P V Tan, and C V Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol 2016-January, pp 599–603, Jan 2016, doi: 10.1109/ATC.2015.7388400 -> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng

4 Moy de Vitry et al (2019) Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network Hydrology and Earth System Sciences, [online] 23(11), pp.4621–4634 doi:10.5194/hess-23-4621-2019

-> sử dụng lại chỉ số ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai

5 S.-W Lo et al, “Deep Sensing of Urban Waterlogging,” Mar 2021, doi: 10.48550/arxiv.2103.05927

-> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Đồ án tốt nghiệp

Trang 8

(1) Xây dựng một mô hình đa nhiệm vụ (multi-task model) có thể

nhân rộng (scalable) mới để đồng thời phân đoạn vùng bị

ngập và đánh giá mức độ ngập

(2) Tạo nên một nguồn tin giúp người dân có kế hoạch di chuyển

phù hợp, tránh chịu các thiệt hại liên quan đến việc đường

phố ngập lụt Đồng thời thu thập dữ liệu độ phân giải cao để

phục vụ cho những phân tích khác

Our contribution

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Đồ án tốt nghiệp

Trang 9

Flood level: 3 Flood level: 2 Flood level: 1 Flood level: 0

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Dữ liệu huấn luyện

Trang 10

Water Segmentation Dataset

Mirko Zaffaroni, & Claudio Rossi (2019)

Water Segmentation Dataset (1.0) [Data set]

Zenodo https://doi.org/10.5281/zenodo.3642406

European Flood 2013 Dataset

Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris Dransch, and Joachim Denzler

"Enhancing Flood Impact Analysis using Interactive Image Retrieval of Social Media Images.“

Archives of Data Science, Series A, 5.1, 2018.

Image Dataset for Roadway Flooding

Sazara, Cem; Cetin, Mecit; Iftekharuddin, Khan (2019),

“Image Dataset for Roadway Flooding”, Mendeley Data, V1, doi: 10.17632/t395bwcvbw.1

Danang Street Flood Dataset

Collected in SonCa Storm and Historic flood in October 2022

636

3710

441

302

Overall Dataset

train & valid set

test set

Chọn ra những mẫu có độ tương đồng cao với hình ảnh thu được từ camera

1434

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Dữ liệu huấn luyện

5089

Tool: Sử dụng công cụ đánh nhãn

với kĩ thuật huấn luyện online sẽ gia tăng hiệu suất đánh nhãn rất cao.

Reviving Iterative Training with Mask Guidance for Interactive Segmentation https://arxiv.org/abs/2102.06583

Trang 11

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Mô hình U-Net

Trang 12

Encoder

Up block

Up block

Up block

Up block

Up block

Classification

head

Segmentation head

+

+

+

+

skip connection

skip connection

skip connection

Time

Level 2

Warning index

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Multi-output U-Net

Tận dụng được năng lực trích xuất đặc

trưng của pretrained backbone Khai thác được 2 loại dữ liệu có ý nghĩa

12

Trang 13

Bảng 1 Kết quả thử nghiệm U-Net gốc và sử dụng các backbone,

train sau 20 epochs với cùng một thiết lập

Kiểm tra hiệu năng được thực hiện trên thiết bị Nvidia GTX 1050.

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Khảo sát backbone

Trang 14

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

SOFI logging

𝑆𝑂𝐹𝐼 = #𝑝𝑖𝑥𝑒𝑙𝑠_𝑓𝑙𝑜𝑜𝑑

#𝑝𝑖𝑥𝑒𝑙𝑠_𝑡𝑜𝑡𝑎𝑙

Chỉ số quan sát ngập lụt tĩnh

M Moy De Vitry, S Kramer, J Dirk Wegner, and J P Leitao,

“Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network,”

Hydrol Earth Syst Sci, vol 23, no 11, pp 4621–4634, Nov 2019, doi: 10.5194/HESS-23-4621-2019.

Trang 15

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSINGDemo

Trang 16

b) Misclassify sidewalk as flood c) Nigh time segmentation error

a) Too sensitive with wet road

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Error analysis

Các trường hợp lỗi này thường diễn ra vào các điều kiện ngày mưa và ban đêm nhưng chưa ngập

Tuy vậy chỉ số SOFI lẫn phân loại vẫn đáng tin cậy trong các trường hợp này

LEVEL: 0

16

Trang 17

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Error analysis

Ma trận nhầm lẫn đối với tác vụ phân loại

Hầu hết các trường hợp của lớp 0

và 4 được nhận định đúng, lớp 1 và 2 thì dễ nhầm lẫn hơn

Trang 18

U-Net with backbone

Level 2

Warning index

Time

High resolution logging data

High abstraction warning signal

Flood segmented frame

Surveillance camera Video frames deep convolutional network Multi-output

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Kết luận

18

Bước tiếp theo:

• Cải tiến kiến trúc học máy mới hiệu quả hơn như U2-Net, hoặc U-Net++…

• Tiếp cận với mạng lưới camera thực sự của thành phố để thu thập dữ liệu huấn luyện chuẩn hơn

Application interface

Android, IOS, and web application Historical map

City Smart Hub

Trang 19

DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING

Trang web demo dịch vụ

The Real-Time Flood Dashboard

Hosted on

Trang 20

CÁM ƠN THẦY VÀ QUÝ VỊ ĐÃ THEO DÕI!

Đàm Quang Tiến

Khoa CNTT, Đại học Đà Nẵng – Trường Đại học Bách Khoa

(+84)-967-237-101, damtien440@gmail.com

Ngày đăng: 29/04/2024, 21:46

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN