Bài báo khoa học Xây dựng giải pháp công nghệ nhận dạng giản đồ Khí tượng thủy văn Phạm Lê Phương1*, Lê Trung Hưng1, Mạnh Xuân Huy2, Triệu Văn Linh3, Nguyễn Xuân Hoài3, Hải Hồng Phan4, Vũ Hải5 Trung tâm Thông tin Dữ liệu KTTV; phuongpl80@gmail.com; hungtttl@gmail.com Trường Đại học Bách Khoa Hà Nội; mxhuysnowy@gmail.com Viện AI Academy Việt Nam; nxhoai@gmail.com; trieuvanlinh04101998@gmail.com Học Viện Kỹ thuật Quân Sự; hongpth@lqdtu.edu.vn Viện Điện tử – Viễn Thông, Trường Đại học Bách Khoa Hà Nội; hai.vu@hust.edu.vn *Tác giả liên hệ: phuongpl80@gmail.com; Tel.: +84–912353680 Ban Biên tập nhận bài: 25/3/2021; Ngày phản biện xong: 4/5/2021; Ngày đăng bài: 25/6/2021 Tóm tắt: Giản đồ khí tượng thủy văn ghi chép lại thông tin, số liệu đo đạc lượng mưa, mực nước, độ ẩm, nhiệt độ loại thông số đo đạt khác Các thông số thu thập từ trạm đo lường KTTV toàn quốc Việc lưu thông tin quan trọng nhằm phục vụ cho mục đích nghiên cứu dự báo thời tiết thiên tai tương lai Tuy nhiên, việc lưu trữ loại giản đồ dạng truyền thống; việc đọc liệu lại phụ thuộc người có chun mơn Do đó, khó bảo đảm tính tồn vẹn liệu theo thời gian Bài báo đưa giải pháp nhận dạng giản đồ tự ghi tách thông tin giản đồ công nghệ thị giác máy, giúp việc lưu trữ số hóa liệu giản đồ cách tự động Giải pháp tích hợp thuật tốn phân tích cấu trúc trang, thuật tốn phát lưới chỉnh kết hợp thuật toán phát line đối tượng giản đồ để tách line Bằng thực nghiệm, phương pháp đạt độ xác cao, 90% giản đồ số hóa, bao gồm loại giản đồ lượng mưa, mực nước, độ ẩm, áp suất nhiệt độ Từ khóa: Giản đồ Khí tượng, thủy văn; Nhận dạng; Xử lý ảnh; Thị giác máy Mở đầu Theo Tổng cục Khí tượng Thủy văn (Bộ Tài nguyên Mơi trường), đến mạng lưới quan trắc khí tượng thủy văn (KTTV) có 1.719 trạm điểm đo tồn quốc, trong giai đoạn 2010–2020 có 40% trạm đầu tư tự động hóa [1] Cịn gần 60% (hơn 1000) trạm vận hành theo phương pháp kĩ thuật cũ Tại trạm quan trắc lượng liệu quan trắc lớn thu nhận liên tục hàng ngày nước, áp suất, độ ẩm, nhiệt độ… Do đó, vấn đề lưu trữ xử lý thơng tin khó khăn Ngay trạm đầu tư tồn với quy trình tự động hóa hết việc lưu trữ xử lý liệu trước quan trọng, phục vụ dự báo cảnh báo thiên tai lai xảy làm giảm thiểu tối đa thiệt hại thiên tai gây [2–3] Việt Nam thuộc nhóm quốc gia phát triển, chủ chương nước ta hướng tới phát triển ứng dụng công nghệ 4.0 Cũng vậy, lĩnh vực KTTV cần cơng chuyển đổi số với tồn quy trình [4–6] Tuy nhiên, với số lượng tài liệu giản đồ sổ sách khổng lồ lưu trữ từ hàng chục năm trước vấn đề nam giải cho công chuyển đổi sổ Nhiều nghiên cứu giới tập trung để giải tốn xử lý liệu khí tượng thủy văn [7–12] Do đó, nghiên cứu đưa giải pháp để số hóa Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 http://tapchikttv.vn/ Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 giản đồ sử dụng công nghệ xử lý ảnh đại, công nghệ thị giác máy để nhận dạng trích xuất thơng tin từ giản đồ Phương pháp áp dụng thực nghiệm cho loại giản đồ lượng mưa, mực nước, áp suất khơng khí, nhiệt độ, độ ẩm Giải pháp đưa nghiên cứu theo hướng tiếp cận sử dụng kỹ thuật phân tích ảnh nhận dạng tự động để tách đường line ghi giản đồ Kết trình tách line từ giúp việc đọc liệu xác Thuật tốn áp dụng cho loại giản đồ tự ghi thông dụng giản đồ mưa, nhiệt, ẩm, áp lượng nước Thuật tốn tính tốn nhanh xử lý quy trình đọc vào tập file ảnh scan, số hóa thơng tin để tách line thước đo làm đầu vào cho giao diện GUI Các kết thực nghiệm năm loại giản đồ cho thấy kết tách line sai lệch trung bình chưa đến 2% loại giản đồ với chất lượng scan tốt; đường line đối tượng giản đồ tách chuẩn xác từ giản đồ giúp việc đọc mốc thời gian giá trị đo tốt Thời gian xử lý việc tách line đối tượng tương đối nhanh, đảm bảo thời gian xử lý kỹ thuật viên Từ kết giải pháp, làm đầu vào để xây dựng công cụ DigiMeto [14] trợ giúp đọc giản đồ tự ghi khí tượng thủy văn rút ngắn đáng kể thời gian đọc thủ công; đồng thời cho phép tùy chỉnh tham số theo yêu cầu người dùng Việc giải pháp số hóa làm tiền đề cho việc số hóa loại tài liệu KTTV khác lưu trữ Tổng cục Khí tượng Thủy văn Hình mơ tả cấu trúc tổng thể giải pháp Để nhận dạng giản đồ phục vụ đọc liệu, nghiên cứu đề xuất tích hợp thuật tốn phân tích cấu trúc trang, thuật tốn phát lưới chỉnh với thuật toán phát line đối tượng giản đồ để tách line đối tượng khác, làm đầu vào cho công cụ đọc ghi tự động DigiMeto Thực nghiệm đánh giá loại giản đồ giản đồ mưa, ẩm, lượng nước, áp suất nhiệt cho kết tốt Hình Các khối module giải pháp số hóa giản đồ KTTV; báo tập trung phát triển thuật tốn Phân tích cấu trúc trang, phát lưới chỉnh, phát line đối tượng khác giản đồ làm đầu vào cho phát triển GUI (DigiMeto) hỗ trợ đọc giản đồ tự ghi KTTV Phương pháp nghiên cứu 2.1 Đối tượng nghiên cứu Với lịch sử hình thành 100 năm nên tài liệu giản đồ KTTV phong phú chủng loại hình thức chất lượng vật lý [15] Giản đồ chiếm khoảng 1/3 khối lượng tài liệu lưu trữ với nhiều loại giản đồ mưa, nhiệt, độ ẩm, áp suất mực nước Cùng loại giản đồ có hình thức thiết kế khơng khơng hồn toàn giống theo thời gian Do điều kiện lưu trữ Trung tâm Thông tin Dữ liệu KTTV Đài KTTV khu vực không đạt chuẩn kho lưu trữ theo quy định Do tình trạng vật lý giản đồ bị ảnh hưởng nhiều Các giản đồ từ trước năm 70 có tình trạng vật lý kém, nhiều tờ giản đồ bị thủng, bị rách cịn có tờ giản đồ bị oxy hóa gây thông tin Các giản đồ sau năm 90 có độ dày tờ giản đồ mỏng năm trước đó, Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 nguyên nhân giản đồ dễ bị nhòe gặp độ ẩm khơng khí cao dễ bị nhăn Các lỗi thường hay gặp nhòa nét giản đồ, lỗi bậc thang, lỗi chảy men…Hình 2a–2e minh họa loại giản đồ thực nghiệm báo, giản đồ mưa có độ phức tạp giản đồ cao giản đồ khác Các giản đồ chia thành hai nhóm: giản đồ lưới thẳng giản đồ lưới cong Giản đồ lưới thẳng bao gồm giản đồ lượng mưa mực nước, xác định theo đường tọa độ thẳng quy định trước; Giản đồ lưới cong bao gồm giản đồ độ ẩm, nhiệt áp xuất Các giản đồ có đặc điểm đường tọa độ có hình dạng cong để phù hợp với máy đo kỹ thuật Nghiên cứu đề xuất giải pháp tách line đối tượng giản đồ cho loại giản đồ Hình (a) Giản đồ mưa Mường Tè 5/2019; (b) Giản đồ nước Bản Yên 8/2012; (c) Giản đồ áp Điện Biên 7/2007; (d) Giản đồ nhiệt Ngân Sơn 9/2019 Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 2.2 Thuật tốn phân tích cấu trúc trang Phân tích cấu trúc trang bước số hóa biểu đồ khí tượng thủy văn Việc phân tích giúp xác định vùng biểu đồ cần làm việc loại bỏ vùng không quan tâm Đầu vào ảnh scan biểu đồ khí tượng thủy văn có nhiều biểu đồ nhiều ngày khác Từ việc xác định vị trí vùng biểu đồ ảnh scan, tách thành biểu đồ riêng biệt làm đầu vào cho bước xử lý sau Qua phân tích nghiên cứu thấy biểu đồ có đặc trưng góc khu vực biểu đồ rõ nét Hình biểu diễn kênh S ảnh đầu vào sau chuyển sang hệ màu HSV Ta thấy thơng tin góc biểu đồ thể rõ kênh S thuộc ba kênh màu HSV Vì vậy, gợi ý tưởng áp dụng phương pháp phát góc, từ gián tiếp tìm khu vực biểu đồ cần phát Hình Giản đồ ẩm Mường Tè 7/2007 (tiếp) Hình Biểu diễn kênh S (thuộc hệ màu HSV) ảnh giản đồ mưa Harris Corner Detector [15–16] phương pháp phát góc đơn giản hiệu Ý tưởng thật tốn dựa vào biến đổi cường độ sáng vùng lân cận: vùng nhỏ quanh đặc trưng (góc, cạnh…) có thay đổi lớn cường độ sáng window dịch chuyển đoạn (u,v) từ điểm (x,y) theo hướng Cơng thức Harris Corner Detection tổng quát sau: 𝐸(𝑢, 𝑣) = 𝑤(𝑥, 𝑦)[𝐼(𝑥 + 𝑢, 𝑦 + 𝑣) − 𝐼(𝑥, 𝑦)] (1) , Trong w window ảnh; x, y tọa độ điểm w(x,y) thuộc window đó; I(x,y) giá trị độ sáng pixel điểm x,y; I(x+u, y+v) giá trị độ sáng pixel điểm I(x+u, y+v) Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 Hiệu shifted intensity intensity biểu thị độ thay đổi giá trị điểm ảnh ta dịch chuyển lượng u, v (trên ảnh) Mục tiêu Harris Corner detector cực đại hóa hàm E(u,v) để tìm khu vực có thay đổi intensity lớn 𝑢 (2) E(u,v) ≈ [u v] M 𝑣 Trong đó: M = Σw(x, y) 𝐼 𝐼 𝐼 𝐼 𝐼 𝐼 (3) Ta có cơng thức cuối sau: Việc tìm điểm ảnh có phải corner hay khơng phụ thuộc vào giá trị R (Measure of corner response) Công thức R sau: R = det(M) – k(trace(M)2 (4) Trong det(M) = AB – C2 = λ1λ2, trace(M) = λ1 + λ2, λ1, λ2 giá trị địa M tương ứng với độ cong hàm địa phương định xem điểm có phải corner hay không, k tham số điều khiển Phương pháp đề xuất phát tách vùng biểu đồ gồm bước: (1) Sử dụng Harris Corner Detection để phát vùng lưới; (2) Tìm contour bao quanh khu vực có mật độ corner detect nhiều nhất; (3) Xác định vùng biểu đồ vùng khác từ tọa độ góc đường contour; (4) Cắt vùng biểu đồ xác định Hình 4a–4d minh họa kết phân tích cấu trúc trang giản đồ Ta thấy vùng biểu đồ xác định tốt Ưu điểm phương pháp áp dụng đơn giản, tốc độ nhanh hiệu Hình (a) Kết detect góc; (b) Kết tìm contour; (c) Xác định cấu trúc trang biểu đồ; (d) Kết vùng biểu đồ xác định 2.3 Thuật toán phát lưới chỉnh Vùng biểu đồ sau xác định từ thuật toán phân tích cấu trúc trang cần cắt gọn, chỉnh làm phẳng để đo đạc xác Kế thừa ý tưởng phát góc thuật tốn phần 2.2, dựa vào việc phát corner để từ gián tiếp phát bao quanh biểu đồ cắt gọn Tuy nhiên, có số ảnh bị lệch, không thẳng với hướng ngang trình scan đặt giản đồ khơng thẳng góc Hình 5a minh họa ảnh sau cắt vùng biểu đồ thuật tốn phân tích cấu trúc trang cịn dư phần góc lệch so với đường vng góc Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 Hình (a) Minh Minh họa ảnh sau cắt vùng biểu đồ thuật tốn phân tích cấu trúc trang cịn dư phần góc lệch so với đường vng góc (b) Ảnh kết sau phát lưới chỉnh Phát tọa độ số biểu đồ sử dụng khớp mẫu, tìm đường thẳng ngang qua số có giá trị (ví dụ 40, 50, 60) Lưu ý bước này, khơng tìm tồn số cần tìm, ví dụ đường nằm ngang có số cần tìm ta tìm 2, số, nhiên ta cần tìm đường thẳng qua điểm nằm ngang biểu đồ nên việc tìm 2,3 điểm cho đường đủ Để hạn chế thiếu xác, báo tìm tất hệ số góc đường thẳng qua điểm nằm ngang biểu đồ lấy trung bình Hình (a) Tọa độ tọa độ diểm cần phát giản đồ; (b) Xoay hình ảnh theo góc phát Để xác định vùng giản đồ chuẩn xác nhất, thuật toán áp dụng thêm phép biến đổi hình thái học [17–19] gồm: dilate để vùng biểu đồ liền mạch với nhau, sau áp dụng phương pháp erosion để làm biến khu vực nhiễu, dilate lần để biến đổi khu vực mask kích thước ban đầu Thuật toán áp dụng thêm bước biến đổi opening lần để kết ảnh xử lý nhiễu tốt Kết sau thực hai phép biến đổi erosion dilation Hình Hình Tọa độ tọa độ diểm cần phát giản đồ Tạp chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 2.4 Thuật toán phát line đối tượng khác giản đồ Phần nghiên cứu đề xuất thuật toán tách đường line từ biểu đồ đối tượng khác giản đồ từ kết thuật toán phần 2.3 Để tách line khỏi giản đồ nghiên cứu tích hợp thuật toán xử lý ảnh sau: Bước 1: Tiền xử lý: - Resize kích thước ảnh (cụ thể 500px theo chiều rộng) - Tùy vào loại giản đồ, tách chuyển khơng gian màu HSV giữ nguyên RGB tính chất màu đường line lưới đo định để màu đường line lưới tách biệt rõ ràng hơn, ví dụ biểu diễn phân bố màu giản đồ mưa Hình Hình Đồ thị 3D biểu diễn phân bố màu ảnh giản đồ mưa không gian ảnh RGB (trái) HSV (phải) Có thể quan sát thấy phân bố màu line lưới tách biệt rõ ràng hơn, thuận lợi cho việc tách ngưỡng bước Bước 2: Tách line theo phương pháp ngưỡng: - Thuật toán áp dụng số phương pháp Adaptive threshold, phương pháp OTSU để chọn ngưỡng tự động phương án chọn ngưỡng cố định Bước 3: Hậu xử lý: - Sử dụng phép biến đổi hình thái closing: làm dầy (dilate) sau làm mịn (erosion) để làm cho đường line rõ nét hơn, loại bỏ nhiễu, làm mảnh đường line, nội suy phần đường thiếu Hình minh họa kết sau tách line hậu xử lý tách line Hình (a) Kết tách line hệ mầu HSV; (b) Kết sau áp dụng kỷ thuật hình thái học, loại bỏ nhiễu, làm mảnh đường line, nội suy phần đường thiếu ... chí Khí tượng Thủy văn 2021, 726, 1-11; doi:10.36335/VNJHM.2021(726).1-11 giản đồ sử dụng công nghệ xử lý ảnh đại, công nghệ thị giác máy để nhận dạng trích xuất thơng tin từ giản đồ Phương pháp. .. nhòa nét giản đồ, lỗi bậc thang, lỗi chảy men…Hình 2a–2e minh họa loại giản đồ thực nghiệm báo, giản đồ mưa có độ phức tạp giản đồ cao giản đồ khác Các giản đồ chia thành hai nhóm: giản đồ lưới... dạng cong để phù hợp với máy đo kỹ thuật Nghiên cứu đề xuất giải pháp tách line đối tượng giản đồ cho loại giản đồ Hình (a) Giản đồ mưa Mường Tè 5/2019; (b) Giản đồ nước Bản Yên 8/2012; (c) Giản