Kỹ Thuật - Công Nghệ - Công Nghệ Thông Tin, it, phầm mềm, website, web, mobile app, trí tuệ nhân tạo, blockchain, AI, machine learning - Công nghệ thông tin Nghiên cứu khoa học TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN Đà m Quang Tiế n TS. Ninh Khá nh Duy Giảng viên hướng dẫn Sinh viên thực hiện Học kì I 2022 - 2023 1 DANAFLOOD: CẢ NH BÁO NGẬ P LỤ T ĐÔ THỊ SỬ DỤ NG CAMERA GIÁM SÁT VÀ MÔ HÌ NH HỌC SÂU DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING 2 Contents 1. Introduction 2. Methodology 3. Evaluation 4. Conclusion 5. Discussion DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Nghiên cứu khoa học 3 DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Nghiên cứu khoa học 4Ả nh: Facebook Page củ a “BCH Phò ng chố ng Lụ t Bã o và Tìm kiế m cứ u nạ n Đà Nẵ ng” kêu gọi ngườ i dân đá nh dấ u mố c ngậ p lụ t sau đợ t mưa ngậ p lụ t lị ch sử ngà y 14102022. (Link bà i viế t, truy cậ p 05122022) DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Dữ liệu ngậ p lụ t thông thườ ng có thể thu đượ c từ hệ thố ng cảm biế n, hoặ c thu thậ p từ khảo sá t thực đị a. Tuy vậ y đố i với đườ ng phố ngậ p lụ t thì thườ ng không có sẵ n hệ thố ng cảm biế n hay cá c dấ u hiệu thực đị a để khảo sá t. Nghiên cứu khoa học 5 Thành phố Đà Nẵng có đủ thông tin điều hành để đưa ra cảnh báo sớm và đúng mức độ. Có một hệ thống phát hiện ngập lụt đường phố và gửi cảnh báo ngập lụt trên từng tuyến đường cho người dân. Nếu vào đợt lũ ngày 2410, Nghiên cứu khoa học DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING (1) Cho phé p cư dân thà nh phố xá c đị nh tuyế n đườ ng có thể di chuyể n an toà n và đưa ra quyế t đị nh (đã qua thông tin chí nh xá c) trá nh việc phơi nhiễ m chấ t thải trong nước ngậ p; (2) Cung cấ p thông tin cho cơ quan công quyền thà nh phố trong nỗ lực cải thiện việc kiể m soá t ngậ p lụ t có mụ c tiêu thông qua việc ra quyế t đị nh dựa trên dữ liệu (data-driven decision making). Chố ng chị u bề n vữ ng vớ i thiên tai và biế n đổ i khí hậ u 6 FloodNet - Computer Vision for Urban Street Flood Detection NYU CUSP. (2022). 2022 Capstone Projects NYU CUSP. online Available at: https:cusp.nyu.edu2022-capstone-projects Accessed 8 Sep. 2022. DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Giả thuyết nghiên cứu? Đồ án tốt nghiệp 7 1. Q. Zhang et al. “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian Journal of Electrical Engineering and Computer Science, vol. 17, no. 2, pp. 793–803, 2019, doi: 10.11591IJEECS.V17.I2.PP793-803. -> nhanh nhưng ảnh hưởng mạnh bởi thay đổi môi trường 2. Barz, B. et al. (2019). Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images. arXiv.org. online doi:10.5445KSP100008732706. -> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả 3. H. N. Do, M. T. Vo, V. S. Tran, P. V. Tan, and C. V. Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol. 2016-January, pp. 599–603, Jan. 2016, doi: 10.1109ATC.2015.7388400. -> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng 4. Moy de Vitry et al. (2019). Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network. Hydrology and Earth System Sciences, online 23(11), pp.4621–4634. doi:10.5194hess-23-4621-2019. -> sử dụng lại chỉ số ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai 5. S.-W. Lo et al, “Deep Sensing of Urban Waterlogging,” Mar. 2021, doi: 10.48550arxiv.2103.05927. -> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Đồ án tốt nghiệp 8 (1) Xây dựng một mô hình đa nhiệm vụ (multi-task model) có thể nhân rộng (scalable) mới để đồ ng thờ i phân đoạ n vùng bị ngậ p và đá nh giá mứ c độ ngậ p. (2) Tạ o nên một nguồ n tin giúp ngườ i dân có kế hoạ ch di chuyể n phù hợ p, trá nh chị u cá c thiệt hạ i liên quan đế n việc đườ ng phố ngậ p lụ t. Đồ ng thờ i thu thậ p dữ liệu độ phân giải cao để phụ c vụ cho nhữ ng phân tí ch khá c. Our contribution DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Đồ án tốt nghiệp Flood level: 3 Flood level: 2 Flood level: 1 Flood level: 0 DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING Dữ liệu huấ n luyện 9 Có ngậ p lụ t nước chảy mạ nhnhiều, nguy hiể m. Có ngậ p lụ t, không khuyế n khí ch. Có nước, không ảnh hưởng. Không có nước. 10 Water Segmentation Dataset Mirko Zaffaroni, Claudio Rossi. (2019). Water Segmentation Dataset (1.0) Data set. Zenodo. https:doi.org10.5281zenodo.3642406 European Flood 2013 Dataset Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris D...
Trang 1Nghiên cứu khoa học
TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐẠI HỌC ĐÀ NẴNG
KHOA CÔNG NGHỆ THÔNG TIN
Đàm Quang Tiến
TS Ninh Khánh Duy
Giảng viên hướng dẫn
Sinh viên thực hiện
Học kì I
2022 - 2023
DANAFLOOD: CẢNH BÁO NGẬP LỤT
ĐÔ THỊ SỬ DỤNG CAMERA GIÁM SÁT VÀ MÔ HÌNH HỌC SÂU
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Trang 2Contents
1 Introduction
2 Methodology
3 Evaluation
4 Conclusion
5 Discussion
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Nghiên cứu khoa học
Trang 3DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Nghiên cứu khoa học
Trang 4Ảnh: Facebook Page của “BCH Phòng chống Lụt Bão và Tìm
kiếm cứu nạn Đà Nẵng” kêu gọi người dân đánh dấu mốc
ngập lụt sau đợt mưa ngập lụt lịch sử ngày 14/10/2022
( Link bài viết , truy cập 05/12/2022)
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Dữ liệu ngập lụt thông thường có thể thu được từ hệ thống cảm biến, hoặc thu thập từ khảo sát thực địa Tuy vậy
đối với đường phố ngập lụt thì
thường không có sẵn hệ thống cảm biến hay các dấu hiệu thực địa để khảo sát
Nghiên cứu khoa học
Trang 5Thành phố Đà Nẵng có đủ thông tin điều hành
để đưa ra cảnh báo sớm và đúng mức độ.
Có một hệ thống phát hiện ngập lụt đường
phố và gửi cảnh báo ngập lụt trên từng tuyến
đường cho người dân.
Nếu vào đợt lũ ngày 24/10,
Nghiên cứu khoa học
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Trang 6(1) Cho phép cư dân thành phố xác định tuyến đường có thể di chuyển an toàn và đưa ra quyết định (đã qua thông tin chính xác) tránh việc phơi nhiễm chất thải trong nước ngập;
(2) Cung cấp thông tin cho cơ quan công quyền thành phố trong nỗ lực cải thiện việc kiểm soát ngập lụt có mục tiêu thông qua việc ra quyết định dựa trên dữ liệu (data-driven decision making)
Chống chịu bền vững với thiên tai và biến đổi khí hậu
6
FloodNet - Computer Vision for Urban Street Flood Detection
NYU CUSP (2022) 2022 Capstone Projects | NYU CUSP [online]
Available at: https://cusp.nyu.edu/2022-capstone-projects/ [Accessed 8 Sep 2022].
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Trang 71 Q Zhang et al “A performance analysis for real-time flood monitoring using image-based processing,” Indonesian
Journal of Electrical Engineering and Computer Science, vol 17, no 2, pp 793–803, 2019, doi:
2 Barz, B et al (2019) Enhancing Flood Impact Analysis using Interactive Retrieval of Social Media Images arXiv.org
[online] doi:10.5445/KSP/1000087327/06 -> không phù hợp làm cảnh báo tức thời, dễ ảnh hưởng bởi tin giả
3 H N Do, M T Vo, V S Tran, P V Tan, and C V Trinh, “An early flood detection system using mobile networks,” International Conference on Advanced Technologies for Communications, vol 2016-January, pp 599–603, Jan 2016, doi: 10.1109/ATC.2015.7388400 -> độ chính xác cao, độ phân giải cao, nhưng phải đầu tư cơ sở hạ tầng
4 Moy de Vitry et al (2019) Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network Hydrology and Earth System Sciences, [online] 23(11), pp.4621–4634 doi:10.5194/hess-23-4621-2019
-> sử dụng lại chỉ số ngập lụt chỉ cần dữ liệu hình ảnh từ camera, chưa đủ tốt để triển khai
5 S.-W Lo et al, “Deep Sensing of Urban Waterlogging,” Mar 2021, doi: 10.48550/arxiv.2103.05927
-> sử dụng cơ sở hạ tầng máy chủ xử lý quá lớn, nhưng thể hiện sự khả thi để cảnh báo diện rộng
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Đồ án tốt nghiệp
Trang 8(1) Xây dựng một mô hình đa nhiệm vụ (multi-task model) có thể
nhân rộng (scalable) mới để đồng thời phân đoạn vùng bị
ngập và đánh giá mức độ ngập
(2) Tạo nên một nguồn tin giúp người dân có kế hoạch di chuyển
phù hợp, tránh chịu các thiệt hại liên quan đến việc đường
phố ngập lụt Đồng thời thu thập dữ liệu độ phân giải cao để
phục vụ cho những phân tích khác
Our contribution
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Đồ án tốt nghiệp
Trang 9Flood level: 3 Flood level: 2 Flood level: 1 Flood level: 0
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Dữ liệu huấn luyện
Trang 10Water Segmentation Dataset
Mirko Zaffaroni, & Claudio Rossi (2019)
Water Segmentation Dataset (1.0) [Data set]
Zenodo https://doi.org/10.5281/zenodo.3642406
European Flood 2013 Dataset
Björn Barz, Kai Schröter, Moritz Münch, Bin Yang, Andrea Unger, Doris Dransch, and Joachim Denzler
"Enhancing Flood Impact Analysis using Interactive Image Retrieval of Social Media Images.“
Archives of Data Science, Series A, 5.1, 2018.
Image Dataset for Roadway Flooding
Sazara, Cem; Cetin, Mecit; Iftekharuddin, Khan (2019),
“Image Dataset for Roadway Flooding”, Mendeley Data, V1, doi: 10.17632/t395bwcvbw.1
Danang Street Flood Dataset
Collected in SonCa Storm and Historic flood in October 2022
636
3710
441
302
Overall Dataset
train & valid set
test set
Chọn ra những mẫu có độ tương đồng cao với hình ảnh thu được từ camera
1434
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Dữ liệu huấn luyện
5089
Tool: Sử dụng công cụ đánh nhãn
với kĩ thuật huấn luyện online sẽ gia tăng hiệu suất đánh nhãn rất cao.
Reviving Iterative Training with Mask Guidance for Interactive Segmentation https://arxiv.org/abs/2102.06583
Trang 11DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Mô hình U-Net
Trang 12Encoder
Up block
Up block
Up block
Up block
Up block
Classification
head
Segmentation head
+
+
+
+
skip connection
skip connection
skip connection
Time
Level 2
Warning index
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Multi-output U-Net
Tận dụng được năng lực trích xuất đặc
trưng của pretrained backbone Khai thác được 2 loại dữ liệu có ý nghĩa
12
Trang 13Bảng 1 Kết quả thử nghiệm U-Net gốc và sử dụng các backbone,
train sau 20 epochs với cùng một thiết lập
Kiểm tra hiệu năng được thực hiện trên thiết bị Nvidia GTX 1050.
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Khảo sát backbone
Trang 14DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
SOFI logging
𝑆𝑂𝐹𝐼 = #𝑝𝑖𝑥𝑒𝑙𝑠_𝑓𝑙𝑜𝑜𝑑
#𝑝𝑖𝑥𝑒𝑙𝑠_𝑡𝑜𝑡𝑎𝑙
Chỉ số quan sát ngập lụt tĩnh
M Moy De Vitry, S Kramer, J Dirk Wegner, and J P Leitao,
“Scalable flood level trend monitoring with surveillance cameras using a deep convolutional neural network,”
Hydrol Earth Syst Sci, vol 23, no 11, pp 4621–4634, Nov 2019, doi: 10.5194/HESS-23-4621-2019.
Trang 15DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSINGDemo
Trang 16b) Misclassify sidewalk as flood c) Nigh time segmentation error
a) Too sensitive with wet road
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Error analysis
Các trường hợp lỗi này thường diễn ra vào các điều kiện ngày mưa và ban đêm nhưng chưa ngập
Tuy vậy chỉ số SOFI lẫn phân loại vẫn đáng tin cậy trong các trường hợp này
LEVEL: 0
16
Trang 17DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Error analysis
Ma trận nhầm lẫn đối với tác vụ phân loại
Hầu hết các trường hợp của lớp 0
và 4 được nhận định đúng, lớp 1 và 2 thì dễ nhầm lẫn hơn
Trang 18U-Net with backbone
Level 2
Warning index
Time
High resolution logging data
High abstraction warning signal
Flood segmented frame
Surveillance camera Video frames deep convolutional network Multi-output
DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Kết luận
18
Bước tiếp theo:
• Cải tiến kiến trúc học máy mới hiệu quả hơn như U2-Net, hoặc U-Net++…
• Tiếp cận với mạng lưới camera thực sự của thành phố để thu thập dữ liệu huấn luyện chuẩn hơn
Application interface
Android, IOS, and web application Historical map
City Smart Hub
Trang 19DANAFLOOD: SCALABLE URBAN STREET FLOOD SENSING
Trang web demo dịch vụ
The Real-Time Flood Dashboard
Hosted on
Trang 20CÁM ƠN THẦY VÀ QUÝ VỊ ĐÃ THEO DÕI!
Đàm Quang Tiến
Khoa CNTT, Đại học Đà Nẵng – Trường Đại học Bách Khoa
(+84)-967-237-101, damtien440@gmail.com