Xây dựng hệ thống giám sát trượt lở trên công nghệ mã nguồn mở

Nghiên cứu - Ứng dụng XÂY DỰNG HỆ THỐNG GIÁM SÁT TRƯỢT LỞ TRÊN CÔNG NGHỆ Mà NGUỒN MỞ NGUYỄN MAI DUNG, ĐINH BẢO NGỌC Khoa Công nghệ thông tin, Trường Đại học Mỏ - Địa chất Tóm tắt: Việc cung cấp tham số liên quan đến môi trường độ ẩm, nhiệt độ, lượng mưa cần thiết công tác giám sát cảnh báo nguy thiên tai lũ lụt, sạt lở đất Yếu tố quan trọng việc giám sát, cảnh báo sớm đến từ vấn đề cung cấp thông tin kịp thời nhanh Bài báo cung cấp giải pháp thiết lập hệ thống thu thập liệu môi trường theo thời gian thực, đồng thời cung cấp dịch vụ chia sẻ liệu tới ứng dụng khác dạng API (Application Programming Interface) Hệ thống xây dựng công nghệ mã nguồn mở với việc thiết lập hệ thống server tảng NodeJS, hệ quản trị sở liệu PostgreSQL Ngoài ra, báo cịn giới thiệu giải pháp gửi thơng tin cảnh báo tới người sử dụng thiết bị di động thông qua tảng pusher ứng dụng website, thiết bị di động qua tin nhắn SMS điện thoại Hệ thống thiết kế thành phần trung tâm giúp kết nối phân hệ thiết kế hệ thống thu thập liệu mối trường phân hệ sử dụng học máy để trợ giúp phân tích liệu đưa cảnh báo tai biến thiên nhiên môi trường Đặt vấn đề Các ứng dụng WebGIS hỗ trợ công tác giám sát tai biến thiên nhiên môi trường ngày phát triển hỗ trợ tốt cho quan quản lý việc phát cảnh báo tới người dân khu vực có nguy xảy cao xảy tai biến thiên nhiên mơi trường Ví dụ cụ thể Hệ thống giám sát thiên tai Việt Nam [1], cổng thông tin trượt lở Tỉnh Quảng Nam [2] Tuy nhiên, hệ thống có điểm chung: (1) Chưa cung cấp chia sẻ liệu cho hệ thống khác; (2) Chưa cung cấp cảnh báo trượt lở theo thời gian thực dạng tin nhắn thông báo tới người sử dụng (3) Các vị trí cảnh báo, cấp cảnh báo người quản trị cập nhật chưa thực cách tự động Hiện có nhiều nhà cung cấp phần mềm tảng công nghệ cho phép xây dựng hệ thống WebGIS hãng ESRI với việc cung cấp giải pháp xây dựng hệ thống WebGIS cách toàn diện, từ cung cấp phần mềm biên tập, phân tích liệu đồ với phần mềm ArcGIS desktop giải pháp kết nối lưu trữ liệu đa dạng với hệ quản trị sở liệu SQL Server, PostgreSQL thơng qua ArcSDE Ngồi ra, ESRI cung cấp giải pháp máy chủ GIS cho phép cung cấp dịch vụ đồ phục vụ đa tảng từ thiết bị di động, website phần mềm máy tính Để phục vụ cho ứng dụng thời gian thực ESRI cung cấp giải pháp GeoEvent giải pháp mở rộng ArcGIS Server cho phép cập nhật trạng thái đối tượng theo dõi theo thời gian thực Tuy nhiên, nhược điểm lớn hệ thống ESRI cung cấp chi phí quyền lớn trình phát triển địi hỏi người dùng cần có kiến thức GIS khả lập trình Ngồi ESRI cịn có cơng nghệ cung cấp giải pháp lưu trữ phân phối dịch vụ đồ khác GeoServer hay MapServer, hai tảng miễn phí nhiên việc cài đặt, cấu hình địi hỏi khả lập trình nhược điểm lớn với người phát triển trang WebGIS Việc quản trị liệu dịch vụ đồ Ngày nhận bài: 05/6/2021, ngày chuyển phản biện: 09/6/2021, ngày chấp nhận phản biện: 15/6/2021, ngày chấp nhận đăng: 18/6/2021 tạp chí khoa học đo đạc đồ sè 48-6/2021 51 Nghiên cứu - Ứng dụng vấn đề cần quan tâm với tất hệ thống WebGIS Hiện với công nghệ thương mại quyền ESRI mã nguồn mở GeoServer MapServer cung cấp việc quản trị liệu dịch vụ đồ hai thành phần riêng rẽ Ví dụ với ESRI, việc quản trị dịch vụ đồ thiết lập ArcGIS Server việc quản trị liệu sử dụng SQL Server phần mềm khác ArcGIS desktop Với công nghệ mã nguồn mở GeoServer MapServer tương tự với việc quản trị dịch vụ đồ liệu riêng rẽ Vấn đề đặt cần có quản lý tập trung cho liệu dịch vụ đồ nhằm giảm chi phí thiết lập, cài đặt, quản trị Các hệ thống giám sát thiên tai Việt Nam thiếu tính phân phối thông báo cảnh báo tới người dùng đưa cảnh báo người dùng di chuyển vào khu vực nguy hiểm Hệ thống giám sát tham số môi trường theo thời gian thực xây dựng để giảm thiểu nhược điểm hệ thống công nghệ nêu Hệ thống phát triển công nghệ mã nguồn mở NodeJS kết hợp với hệ quản trị sở liệu mã nguồn mở PostgreSQL Ngoài ra, thư viện Socket.io hay Pusher sử dụng cho phép xây dựng cảnh báo gửi nhận thông báo theo thời gian thực Hệ thống xây dựng có chức sau: + Lưu trữ liệu gửi từ hệ thống cảm biến trường + Chia sẻ liệu dạng GeoJSON qua API (Application Programming Interface) + Cung cấp chức gửi thông báo tới ứng dụng thiết bị di động qua tảng web + Hiển thị đồ công cụ thao tác với đối tượng đồ, biểu đồ thống kê liệu thu thập Cơ sở lý thuyết phương pháp nghiên cứu 2.1 Cơ sở lý thuyết Theo tìm hiểu giả quy trình chia sẻ liệu hệ thống GIS thực theo sơ đồ đây: (Xem hình 1) Dữ liệu sau biên tập dạng shapefile geodatabase tải lên máy chủ lưu trữ hình thức: (1) Lưu trữ thư mục máy chủ; (2) Lưu trữ hệ quản trị sở liệu Đối với công nghệ ESRI sử dụng hệ thống máy chủ GIS ArcGIS Server, liệu lưu trữ hệ quản trị sở liệu SQL Server thông qua ArcSDE định dạng geodatabase Với GeoServer sử dụng thư mục để lưu trữ liệu sử dụng PostgreSQL để lưu trữ liệu, đặc điểm PostgreSQL cung cấp công cụ cho phép nhập liệu định dạng shapefile vào sở liệu Ngoài ra, hai công nghệ ESRI GeoServer chia sẻ liệu thông qua việc cấp quyền truy cập vào thư mục thông qua FTP truy cập hệ quản trị sở liệu từ xa thông qua cấp quyền Qua sơ đồ thấy liệu chia sẻ Hình 1: Sơ đồ chia sẻ liệu h thng GIS 52 tạp chí khoa học đo đạc đồ số 48-6/2021 Nghiờn cu - ng dng nhiều định dạng khác nhau, đồng thời muốn truy cập liệu từ hệ quản trị sở liệu cần tiến hành cài đặt hệ quản trị sở liệu tương đương máy chủ phần mềm cung cấp khả kết nối từ xa máy khách đến máy chủ Việc theo dõi hiển thị liệu theo thời gian thực thực theo số hình thức sau: (1) thực việc truy vấn liệu theo khoảng thời gian cho trước ví dụ ứng dụng theo dõi hoạt động hệ thống phà Sydney nước Úc [3]; (2) thực việc theo dõi thay đổi liệu bảng sở liệu thơng qua trigger ví dụ hàm notify listen hệ quản trị PostgreSQL [4] liệu có thay đổi gửi thông báo tới hệ thống máy chủ để thực thao tác xử lý 2.2 Nghiên cứu giải pháp công nghệ xây dựng hệ thống giám sát tham số môi trường Từ đánh giá mục 2.1 cho thấy hạn chế việc chia sẻ liệu GIS Để khắc phục hạn chế cần xây dựng hệ thống máy chủ cho phép cung cấp liệu dạng chuẩn chung cho phép dễ dàng sử dụng truy cập từ ứng dụng, tảng thiết bị khác Rest full API giải pháp đưa việc chia sẻ liệu Với đặc điểm sử dụng giao thức HTTP (HyperText Transfer Protocol) với phương thức GET (lấy liệu về), POST (tải liệu lên), PUT (cập nhật liệu), DELETE (xóa liệu) Rest API dễ dàng cung cấp dịch vụ gửi nhận liệu đến tảng khác thông qua URL (Uniform Resource Locator) Các máy khách cần kết nối đến địa URL truyền tham số khác theo định nghĩa có sẵn từ nhà cung cấp dịch vụ API để lấy liệu sử dụng cho hệ thống khác Hiện có nhiều framework khác giúp thiết lập Rest API, nhiên nghiên cứu sử dụng framework NodeJS để xây dựng hệ thống server cung cấp Rest API NodeJS framework hỗ trợ mạnh mẽ từ cộng đồng nhà phát triển với 49.9% số lượng nhà phát triển lựa chọn để phát triển hệ thống [5] Việc bảo mật xác thực API thực với JSON Web Token chuẩn mở (RFC 7519) định nghĩa nhỏ gọn khép kín để truyền thơng tin cách an toàn bên dạng đối tượng JSON Thơng tin xác minh đáng tin cậy có chứa chữ ký số JWTs ký thuật tốn bí mật (với thuật toán HMAC) public / private key sử dụng mã hố RSA Quy trình xác thực Restful API thực với JSON Web Token thông qua bước sau: 1) Máy khách (Client) gửi mật (password), tên đăng nhập (username) tới máy chủ (server) nhằm để xác thực việc đăng nhập 2) Nếu đăng nhập thành cơng phía back-end tạo chuỗi dạng json web token gửi cho máy khách (client) 3) Client nhận token đó, lưu trữ cookies, storageSession, vv … 4) Khi client muốn lấy liệu ln gửi kèm token lên với giao thức http request 5) Server nhận http request từ client kiểm tra token có tồn hay khơng? Nếu có cho thực tiếp, cịn khơng chặn lại báo cáo địa IP PostgreSQL hệ quản trị liệu tác giả lựa chọn với yếu tố sau: + Hỗ trợ kết nối từ phần mềm biên tập đồ khác ArcGIS, QGIS từ hệ thống máy chủ GIS khác ArcGIS Server hay GeoServer + Cung cấp chế listen để lắng nghe thay đổi thêm mới, chỉnh sửa liệu, chế notify giúp gửi thông điệp tới máy chủ chương trình xử lý thơng báo thay đổi sở liệu, điều quan trọng chế hoạt động thời gian thưc hệ thống + Có số lượng lớn cỏc hm truy vn, phõn tạp chí khoa học đo đạc đồ số 48-6/2021 53 Nghiờn cu - Ứng dụng tích liệu khơng gian với 300 hàm thay 70 hàm hệ quản trị sở liệu SQL Server [6] + Hỗ trợ lưu trữ liệu GIS với thành phần mở rộng PostGIS Hiện công nghệ gửi nhận thông báo theo thời gian thực đa dạng ví dụ với công nghệ google google cloud message, thư viện Pusher hay socket.io Các đặc điểm cơng nghệ phân tích sau đây: + Với google could message hỗ trợ tốt cho sở liệu firebase google, nhiên nhược điểm sở liệu miễn phí với 5000 lượt yêu cầu truy cập web ngày, ngồi firebase gặp khó khăn việc lưu trữ liệu không gian việc cung cấp hàm truy vấn liệu không gian Công nghệ cho phép gửi thông báo tới đa tảng đa thiết bị + Pusher cung cấp chế gửi thông báo tới đa tảng đa thiết bị Tuy nhiên, cơng nghệ có nhược điểm hỗ trợ gửi thơng báo miễn phí cho 1000 thiết bị, gửi thông báo tới số lượng thiết bị lớn nhà phát triển phải trả phí + Socket.io hỗ trợ cung cấp thông báo tới đa tảng thiết bị không bị phụ thuộc vào số lượng thiết bị số lượng người truy cập Tuy nhiên, công nghệ hỗ trợ tốt dụng với ứng dụng website, cơng nghệ địi hỏi thiết bị phải giữ kết nối máy khách máy chủ hay nói cách khác thiết bị ln phải hoạt động trực tuyến Từ thực trạng tỉnh miền núi nơi hay xảy tai biến thiên nhiên môi trường lũ quét, sạt lở đất thường có sở hạ tầng mạng internet khơng ổn định chất lượng thấp Do đó, cần có thêm chế gửi thơng báo đặc thù khơng có kết nối mạng, ví dụ gửi thơng báo qua tin nhắn điện thoại SMS (short message service) API cung cấp dịch vụ gửi tin nhắn từ website ứng dụng điện thoại SMS API cho phép gửi tin nhắn tới nhiều số điện thoại lúc Tuy nhiên, đa số nhà cung cấp SMS API tính phí cho việc gửi nhận tin nhắn 2.3 Xây dựng hệ thống giám sát tham số môi trường Sơ đồ hoạt động hệ thống thể hình đây: (Xem hình 2) Dữ liệu thu nhận từ cảm biến dạng JSON, liệu sau lưu trữ vào hệ quản trị sở liệu PostgreSQL thông qua API cung cấp cho hệ thống cảm biến Máy chủ hệ thống xử lý liệu thời gian thực việc sử dụng thư viện socket.io kết hợp với chế lắng nghe (listen) thông báo (notify), chế cung cấp PostgreSQL Khi có liệu cập nhật vào hệ quản trị sở liệu, thông báo (notify) gửi đến máy chủ, socket.io máy chủ lắng nghe thông báo phát thông báo tới tất máy khách nhận Hình 2: Sơ đồ hoạt động hệ thống 54 t¹p chí khoa học đo đạc đồ số 48-6/2021 Nghiên cứu - Ứng dụng thơng báo từ PostgreSQL Máy khách làm lại nhận thơng báo từ phía máy chủ, điều khắc phục nhược điểm phải làm lại trang liên tục thời gian ngắn gây tắc nghẽn mạng giảm hiệu hệ thống Khi máy khách kết nối mạng, hệ thống chuyển đổi qua chế gửi tin nhắn SMS việc sử dụng thư viện Nexmo Hai chế gửi thực song song với hai mục đích + Sử dụng socket.io để gửi thông báo tới người quản trị hệ thống ln cần theo dõi địi hỏi cần có kết nối mạng + Sử dụng Nexmo SMS API giải pháp cho phép gửi tin nhắn SMS người dân khu vực khơng có kết nối kết nối mạng khơng ổn định (Xem hình 3) Các tin nhắn từ website thông qua hệ thống API chuyển hệ thống SMS Center gửi trực tiếp thông qua hệ thống GSM tới thiết bị di động Ngồi ra, hệ thống cịn cho phép tương tác, thực phép truy vấn không gian với đối tượng đồ thông qua thư viện Leaflet Bộ thư viện Leaflet lựa chọn sử dụng ngơn ngữ lập trình JavaScript tương đồng với ngơn ngữ lập trình hệ thống máy chủ, điều giúp giảm chi phí nhân cơng thời gian xây dựng hệ thống Hơn nữa, Leaflet làm việc với liệu đầu vào dạng GeoJSON phù hợp với chuẩn liệu đầu hệ thống cung cấp [7] Hệ thống thiết kế với chức sau: - Thu nhận liệu từ thiết bị cảm biến - Gửi cảnh báo tới người sử dụng có nguy xảy tai biến thiên nhiên - Chia sẻ liệu thông qua API - Hiển thị, tương tác với đối tượng đồ khu vực nghiên cứu Kết đánh giá Hệ thống nghiên cứu áp dụng để theo dõi liệu độ ẩm đất theo thời gian thực Khu vực giám sát tỉnh Lai Châu, thuộc vùng núi phía Bắc Việt Nam, nơi có nguy xảy lũ lụt sạt lở đất Dữ liệu độ ẩm đất thu thập thông qua cảm biến đặt trạm quan trắc Sau đó, liệu truyền máy chủ định dạng JSON lưu trữ hệ quản trị sở liệu Dưới vài dịch vụ hệ thống cung cấp thơng qua Restful API Ví dụ liệu trả với API lấy danh sách trạm đo: http://103.163.119.33:3000/stations Hình 3: Sơ đồ hoạt động h thng SMS API [7] tạp chí khoa học đo đạc đồ số 48-6/2021 55 Nghiờn cu - Ứng dụng điểm màu đỏ nhâp nháy thể vị trí cảnh báo có nguy xảy tai biến thiên nhiên Ngồi hệ thống cịn cnng cấp thống kê liệu theo biểu đồ (Xem hình 5, 6) Địa truy cập hệ thống sau: http://103.163.119.33:3000/ (Xem hình 4) Các điểm màu cam thể vị trí điểm hay xảy trượt lở, Các biểu tượng trạm thu phát song thể vị trí đặt trạm quan trắc, Hệ thống xây dựng đáp ứng mục tiêu đề Tuy nhiên, việc gửi nhận thông báo hệ thống xây dựng tảng khác (1) thông báo WebGIS thành phần thông báo màu đỏ góc bên trái hình hình 3, 4, thực chế listen notify PostgreSQL; (2) gây bất tiện tốn việc trì hệ thống (việc gửi tin nhắn SMS phát sinh chi phí lớn số lượng người nhận tăng lên), giải pháp đưa liên kết với nhà mạng để cung cấp dịch vụ gửi nhận tin nhắn miễn phí trường hợp khẩn cấp Hệ thống xây dựng đóng vai trị trợ giúp đóng góp cho việc xác định cảnh báo sớm tai biến thiên nhiên Hình 4: Ứng dụng giám sát tham số môi trường tỉnh Lai Châu Hình 5: Các thơng số quan trắc trạm 56 tạp chí khoa học đo đạc đồ sè 48-6/2021 Nghiên cứu - Ứng dụng Hình 6: Biểu đồ thống kê giá trị đo thông số đo trạm theo khoảng thời gian Kết luận Hệ thống xây dựng hồn tồn cơng nghệ mã nguồn mở giúp giảm chi phí xây dựng hệ thống, Ngoài việc chia sẻ liệu qua API giúp tăng khả chia sẻ đa tảng thống chung định dạng liệu hệ thống khác Hệ thống góp phần vào việc đưa thơng tin cảnh báo giải pháp gửi cảnh báo tới người dân khu vực có thiên tai Bài báo phần kết nghiên cứu đề tài cấp Bộ, mã số CT.2019.01.05 Qua báo nhóm nghiên cứu gửi lời cảm ơn tới đề tài định hướng hỗ trợ quý báu suốt thời gian nghiên cứu.m Tài liệu tham khảo [1] T c p c t tai “Hệ thống giám sát thiên tai Việt Nam” 2021 [Online] Available: http://vndms.dmc.gov.vn/# [2] Q Nam “Cổng thông tin trượt lở Tỉnh Quảng Nam” Cổng thông tin trượt lở Tỉnh Quảng Nam, 2021 [Online] Available: http://quangnam.truotlo.com/trang-chu [3] D Demonceau “themagiscian” themagiscian, 23 2017 [Online] Available: http://themagiscian.com/2017/07/23/trackingsydney-ferries-in-real-time-with-opensourcegis-tools/ [4] T P G D Group “PostgreSQL” 2021 [Online] Available: https://www.postgresql.org/docs/9.1/sqlnotify.html [5] Stackoverflow “Developer Survey Results” Developer Survey Results, 2019 [Online] Available: https://insights.stackoverflow.com/survey/2019 [6] B G I Systems “Cross Compare SQL Server 2008 Spatial, PostgreSQL/PostGIS 1.31.4, MySQL 5-6” [Online] Available: http://bostongis.org/PrinterFriendly.aspx?content_name=sqlserver2008_postgis_mysql_compare [Accessed 2021] [7] Fibo “Lập trình tích hợp SMS API” [Online] Available: https://fibo.vn/sms/sms-apilap-trinh-tich-hop-sms-api-thu-vien-code-maugui-sms/ [Accessed 2021] [8] Anonystick “JSON Web Token: Vấn đề xác thực REST API với JWT(JSON Web Token)” [Online] Available: https://anonystick.com/blog-developer/jsonweb-token-van-de-xac-thuc-rest-api-voi-jwtjson-web-token-201906074991365 [Accessed 2021].m t¹p chÝ khoa học đo đạc đồ số 48-6/2021 57 Nghiờn cứu - Ứng dụng Summary Development of a landslide monitoring system based on open source platforms Nguyen Mai Dung, Dinh Bao Ngoc Faculty of Information Technology, Hanoi University of Mining and Geology The acquisition of weather parameters such as humidity, temperature and rainfall in real-time is one of the important factors of the monitoring and warning system of natural disasters This article provides a solution for a real-time environmental data collection system and a data sharing service to the third-party applications in the form of an API (Application Programming Interface) Opensource technologies are used for the constructing the the system The server back-end is built on the NodeJS platform, the database is stored in the PostgreSQL database management system In addition, the article also introduces a solution to send alert information to users via Pusher platform on website or via SMS on mobile phone The system is designed as a central component to connect between the environmental data collection system module and the decision support module to help local government to analyze data and give warnings of natural hazards and environment.m ĐỀ XUẤT PHƯƠNG PHÁP PHÂN TÍCH (Tiếp theo trang 22) [10] Stefan Hajkowicz and Andrew Higgins (2008), “A comparison of multiple criteria analysis techniques for water resource management“, European Journal of Operational Research 184(1), pages 255-265 [11] Ali Jozaghi and et al (2018), “A Comparative Study of the AHP and TOPSIS Techniques for Dam Site Selection Using GIS: A Case Study of Sistan and Baluchestan Province, Iran“, Geosciences 8(12) [12] Serafim Opricovic and Gwo-Hshiung Tzeng (2004), “Compromise solution by MCDM methods: A comparative analysis of VIKOR and TOPSIS“, European Journal of Operational Research 156(2), pages 445-455 [13] Saaty T.L (1987), “The analytic hierarchy process: what it is and how it is used, Math Model.” (161-176) [14] Mark Velasquez and Patrick T Hester (2013), “An Analysis of Multi-Criteria Decision Making Methods“, International Journal of Operations Research Vol 10(No 2), pages 5666 [15] Stelios H Zanakis and et al (1998), “Multi-attribute decision making: A simulation comparison of select methods“, European Journal of Operational Research 107(3), pages 507-529.m Summary Selection of multi-criteria analysis methods to prioritize protection and restoration of wetland ecosystems Nguyen Thanh Thuy, Vietnam Institute Of Geodesy And Cartography Wetland ecosystem effected and threated by many negative factors that lead to degeadation of eosystem functions and service values Therefore, the requirement is to determine which ecosystems need to be prioritized for protection and restoration in order to come up with appropriate policies and technical measures to maintain, restore and develop these ecosystems wetland ecology in a sustainable way - this is a complex, multi-aim, multi-criteria problem, including qualitative and quantitative information Basing on the overview and evaluation of multi-criteria decision methods which have been used in Vietnam and over the world, this paper proposes the combination of multicriteria analysis methods AHP and TOPSIS to define the protection and restoration priority of wetland ecosystems (Case study in Dong Thap Muoi region).m 58 tạp chí khoa học đo đạc ®å sè 48-6/2021 ... trường theo thời gian thực xây dựng để giảm thiểu nhược điểm hệ thống công nghệ nêu Hệ thống phát triển công nghệ mã nguồn mở NodeJS kết hợp với hệ quản trị sở liệu mã nguồn mở PostgreSQL Ngoài ra,... Ứng dụng Hình 6: Biểu đồ thống kê giá trị đo thông số đo trạm theo khoảng thời gian Kết luận Hệ thống xây dựng hồn tồn cơng nghệ mã nguồn mở giúp giảm chi phí xây dựng hệ thống, Ngoài việc chia... Nghiên cứu giải pháp công nghệ xây dựng hệ thống giám sát tham số môi trường Từ đánh giá mục 2.1 cho thấy hạn chế việc chia sẻ liệu GIS Để khắc phục hạn chế cần xây dựng hệ thống máy chủ cho phép