Chuẩn hóa cơ sở dữ liệu và xây dựng phần mềm quản lý, phân tích cơ sở dữ liệu tài nguyên nước Việt Nam

Bài viết tiến hành xây dựng được một hệ thống các môdun bao gồm môdun chuẩn hóa dữ liệu kết hợp với phần mềm quản lý, phân tích cơ sở dữ liệu cho lĩnh vực “Tài Nguyên Nước Việt Nam” với các chức năng nhằm giải quyết những hạn chế vừa nêu trên đồng thời hỗ trợ đắc lực cho việc tính toán, phân tích thủy văn cũng như kết nối với các mô hình tính toán thủy văn, thủy lực thông dụng hiện nay.

CHUẨN HÓA CƠ SỞ DỮ LIỆU VÀ XÂY DỰNG PHẦN MỀM QUẢN LÝ, PHÂN TÍCH CƠ SỞ DỮ LIỆU TÀI NGUYÊN NƯỚC VIỆT NAM NCS Hoàng Thanh Tùng 1), TS Ngơ Lê An 2), SV Trịnh Quang Tồn 3) 1) Khoa Thủy văn Tài Nguyên nước, Đại học Thủy lợi 175 Tây Sơn, Đống Đa, Hà Nội; Email: httung@wru.edu.vn 2) Khoa Thủy văn Tài Nguyên nước, Đại học Thủy lợi 175 Tây Sơn, Đống Đa, Hà Nội; Email: nlan@wru.edu.vn 3) Lớp 47V, Đại học Thủy lợi, Email: mark09870@gmail.com Tóm tắt Đề tài “Chuẩn hóa sở liệu xây dựng phần mềm quản lý, phân tích sở liệu tài nguyên nước Việt Nam” giải vấn đề khó khăn hạn chế quản lý liệu ngành tài nguyên nước Việt Nam Những hạn chế bao gồm: i) số liệu lưu trữ không đồng bộ, với nhiều định dạng khác nhau, ii) khuôn thức lưu trữ không thống nhất, không quán bố cục, iii) khó tập hợp liệu dạng chuẩn, quản lý liệu theo hệ thống, iv) chưa có chế đánh giá rõ ràng chất lượng số liệu sở liệu, v) khơng có tính kết nối hệ thống trạm đo đạc, số liệu vị trí địa lý trạm Với mục đích vậy, nghiên cứu xây dựng hệ thống môdun bao gồm mơdun chuẩn hóa liệu kết hợp với phần mềm quản lý, phân tích sở liệu cho lĩnh vực “Tài Nguyên Nước Việt Nam” với chức nhằm giải hạn chế vừa nêu đồng thời hỗ trợ đắc lực cho việc tính tốn, phân tích thủy văn kết nối với mơ hình tính tốn thủy văn, thủy lực thơng dụng Các từ khóa: Chuẩn hóa, Tài nguyên nước, môdun, sở liệu, định dạng, quản lý MỞ ĐẦU Ngày nay, với phát triển nhanh chóng khoa học kỹ thuật, người đạt nhiều thành tựu lĩnh vực góp phần khơng nhỏ cải thiện đời sống nhân loại Tuy nhiên người phải đối mặt với khó khăn số lượng thông tin lớn, bùng nổ số lượng liệu, dẫn đến việc chọn lọc thơng tin, tìm kiếm liệu vấn đề khó khăn Để giải vấn đề này, người sử dụng “cơ sở liệu” hay cịn gọi tập hợp thơng tin có cấu trúc, để quản lý lưu trữ liệu, giúp người quản lý, chọn lọc tìm kiếm thơng tin nhanh Hiện nay, giới có nhiều hệ quản trị sở liệu hay phần mềm lưu trữ, quản lý phân tích liệu khác nhau, tập trung vào liệu đời sống xã hội, kinh tế, trị, văn hóa, số ngành khoa học Tuy nhiên, việc lưu trữ quản lý tài liệu Tài nguyên nước nói chung hay liệu Thuỷ văn nói riêng Việt Nam chưa phát triển số nguyên nhân sau: i) số liệu lưu trữ không đồng bộ, với nhiều định dạng khác nhau, ii) khuôn thức lưu trữ không thống nhất, khơng qn bố cục, iii) khó tập hợp liệu dạng chuẩn, quản lý liệu theo hệ thống, iv) chưa có đánh giá rõ ràng chất lượng số liệu, v) tính kết nối hệ thống trạm đo đạc, số liệu vị trí địa lý trạm Chính vậy, đề tài thực nghiên cứu cách thức chuẩn hóa liệu, nhằm tạo dạng thống để lưu trữ quản lý liệu mang tính hệ thống Tiến hành xây dựng phần mềm quản lý, phân tích sở liệu cho lĩnh vực “Tài Nguyên Nước Việt Nam” để giải nguyên nhân hạn chế trên, tiến tới hệ thống liệu ưu việt thuận tiện cho người sử dụng PHƯƠNG PHÁP NGHIÊN CỨU Để xây dựng hệ thống mơdun bao gồm mơdun chuẩn hóa liệu kết hợp với phần mềm quản lý, phân tích sở liệu cho lĩnh vực “Tài Nguyên Nước Việt Nam”, chúng tơi tiến hành thực cơng việc sau: 1) Nghiên cứu áp dụng phần mềm sở liệu tài nguyên nước có tên “Water Resources Database” Hoa Kỳ vào hỗ trợ chuẩn hoá số liệu TNN Việt Nam, phần mềm có chức chuẩn hố số liệu mạnh mang tính hệ thống 2) Nghiên cứu xây dựng form hỗ trợ nhập số liệu cho tất trạm đo đạc KTTV môi trường Việt Nam với mã trạm tổ chức Khí tượng Thế giới - WMO quy định 3) Tiến hành lập trình giao diện, mang tính khoa học nhằm quản lý liệu thuận tiện đơn giản 4) Lập trình nhằm tạo tính kết nối phần mềm “Water Resources Database” với phần mềm “quản lý, phân tích sở liệu cho lĩnh vực Tài Nguyên Nước Việt Nam”, liên kết liệu chuẩn hóa, quản lý liệu dạng số dạng đồ 5) Lập trình tạo phương pháp phân tích đơn giản, kết nối với cơng cụ tính tốn khoa học Khí tượng - Thủy văn với liệu có Phần sau giới thiệu tóm tắt cơng cụ sử dụng nghiên cứu: Giới thiệu tóm tắt ngơn ngữ lập trình C# C# ngơn ngữ lập trình thuộc hệ NET, ngơn ngữ hỗ trợ lập trình hướng đối tượng phổ biến C# phát triển Microsoft, đội nghiên cứu Hejlsberg Scott Wiltamuth lãnh đạo C# khơng ngơn ngữ hướng đối tượng, mà cịn ngơn ngữ lập trình trực quan điều khiển kiện Hơn ngôn ngữ cho phép giao tiếp với ngôn ngữ máy khác chương trình cho phép người truy cập qua thiết bị Với cơng cụ lập trình này, tiến hành xây dựng phần mềm “quản lý, phân tích sở liệu cho lĩnh vực Tài Nguyên Nước Việt Nam” ngôn ngữ C# WINDOWS FORM thơng qua lập trình Microsoft Visual Studio 2005 Phần mềm tích hợp modun lập trình mà chúng tơi thực với phần mềm WRDB - phần mềm chuẩn hoá liệu để tạo thành phần mềm quản lý sở liệu hồn chỉnh liệu KTTV, mơi trường, với số liệu đồ Giới thiệu tóm tắt WRDB Phần mềm WRDB Tổ chức Bảo vệ Môi trường Georgia (EPD) xây dựng phát triển liên tục từ năm 1993 với mục đích quản lý thống khối lượng lớn liệu khác khí tượng, thuỷ văn mơi trường Phiên phần mềm version 5.0 Phần mềm WRDB cho phép quản lý liệu có hệ thống cho phép mô tất liệu thu thập cách hiệu toàn diện  Cơ sở liệu quản lý hầu hết định dạng paradox, Acess, SQL Server, Oracle, Firebird, Firebird Embedded, MySQL, SQLite truy cập nhanh liệu PC môi trường Windows Đồng thời, sở liệu hồn tồn chuyển sang định dạng sở liệu hệ thống quản lý sở liệu  Các bảng liệu nhập từ nhiều mẫu khác tiện lợi hầu hết số liệu thu thập Việt Nam nhiều dạng bảng biểu khác Đặc biệt thiết kế để nhập số liệu quan trắc từ dataloger đo tự động Các bảng số liệu CSDL xuất thành bảng tính luân phiên đa dạng, thành sở liệu định dạng văn  Toàn bảng kết hợp tạo ra, chỉnh sửa in ấn sử dụng theo kiểu bảng tính hiển thị tiến hành phép phân tích thơng kê đơn giản hiển thị dạng biểu đồ thông dụng  Cơ sở liệu phân cấp quản lý nên tính bảo mật cao Đồng thời có chế tự kiểm tra phát trị số khác thường số liệu sai sót việc nhập liệu khơng xác v.v  Vị trí trạm quản lý GIS, có tính kết hợp với phần mềm BASINS Với tính trên, phần mềm WRDB thích hợp dễ dàng việc đưa dạng liệu khí tượng, thuỷ văn dạng số từ nguồn liệu, định dạng khác kiểu Và kết truy xuất nhiều định dạng phổ biến đầu vào cho nhiều phần mềm tính tốn khác Cấu trúc WRDB mô tả vắn tắt bao gồm thành phần sau đưa sơ đồ hình 2.1:  Các bảng số liệu KTTV - MT (bảng làm việc - Working, bảng Master, bảng lựa chọn) Đây phần CSDL  Các trạm - Stations  Các nhóm trạm (quản lý nhóm trạm theo phạm vi lưu vực, tỉnh, …) – Station groups  Các nhánh sông - Branches  Mã yếu tố đo đạc - Parameter Codes (PCodes)  Các nhóm mã trạm - Parameter Code Groups  Phân nhóm yếu tố đo theo thời gian (ngày, giờ, 6h…) - Compositing Codes (CCodes)  Báo cáo tóm tắt quản lý việc vào liệu - Database Batch Tracking  Thông số đánh giá độ tin cậy số liệu thu thập - Quality Codes (QCodes) Hình Sơ đồ cấu trúc CSDL WRDB KẾT QUẢ VÀ THẢO LUẬN Đề tài thực khắc phục khó khăn hạn chế việc lưu trữ quản lý liệu tài nguyên nước việc kết nối tận dụng phần mềm WRDB 5.0 để tiến hành xây dựng liệu chuẩn hóa quản lý liệu cách hệ thống; từ tiến hành lập trình xây dựng phần mềm đặt tên MAWRD MAWRD phần mềm quản lý, phân tích sở liệu cho lĩnh vực “Tài Nguyên Nước Việt Nam”, phần mềm xây dựng nhằm mục đích tạo tính kết nối với phần mềm “Water Resources Database 5.0”, liên kết với liệu chuẩn hóa, quản lý liệu dạng số dạng đồ, tạo số cơng cụ tính tốn với liệu MAWRD có giao diện thân thiện dễ sử dụng có nhiều tính hỗ trợ vào liệu tự động nhận dạng loại liệu, mã trạm KTTV nước, chức đồ chức tính tốn giúp người sử dụng thực nhiều phép phân tích thống kê thủy văn Phần mềm xây dựng ngơn ngữ lập trình C#; ngơn ngữ lập trình thuộc hệ NET, ngơn ngữ hỗ trợ lập trình hướng đối tượng Microsoft phát triển Phần mềm được đóng gói để dễ dàng cài đặt hệ điều hành Windows XP, Windows 2000, Windows Vista Sơ đồ mô tả chức MAWRD định dạng liệu mà MAWRD quản lý được trình bày tóm tắt Hình đây: Hình 2: Sơ đồ chức MAWRD Hình Các định dạng liệu mà MAWRD quản lý Như nêu liệu tài nguyên nước Việt Nam thường lưu cách không tập trung, nhiều định dạng khác nhau, để tiến hành quản lý chúng cách thống nhất, trước tiên cần chuẩn hóa chúng, đề tài sử dụng WRDB để chuẩn hóa tất liệu thu thập từ nhiều nguồn, nhiều định dạnh khác sở liệu chuẩn Sử dụng WRDB chuẩn hóa sở liệu Việc chuẩn hóa sở liệu đề tài thực việc xây dựng Bảng Support WRDB, thành phần quan trọng phần mềm thành phần hỗ trợ cho người dùng tất trình làm việc với liệu Đây bảng quan trọng Nó chứa đựng tất thơng tin hệ thống mạng lưới sơng ngịi mạng lưới trạm khí tượng thủy văn, mơi trường Bên cạnh đó, liên kết với tất bảng liệu khác phần mềm Đề tài xây dựng bảng Support cho phép người dùng vào, cập nhật triết xuất thông tin cách dễ dàng, tự động nhận dạng kiểm tra dạng số liệu, mã trạm, với mã trạm KTTV toàn quốc WMO quy định Hình 4: Bảng Support Dữ liệu sau chuẩn hóa, lưu dạng File *.mdb truy cập qua Microsoft Office Access Khi người dùng thay đổi liệu phần mềm WRDB liệu file Microsoft Office Access thay đổi tương ứng phần mềm MAWRD sử dụng liệu trực tiếp từ file Microsoft Office Access, ba liệu sơ có tính kết nối với Tuy nhiên tính MAWRD khơng trùng lặp với tính phần mềm WRDB, mà hai phần mềm có tính bổ sung hỗ trợ cho nhau, tạo nên sản phẩm quản lý sở liệu linh hoạt tiện dụng cho người sử dụng Phần mềm quản lý sở liệu Tài nguyên nước Việt Nam - MAWRD Phần mềm lập có khả quản lý liệu đồ, liệu khí tượng - thủy văn môi trường, văn báo cáo, bảng biểu, liệu mặt cắt, đồ hình ảnh Với sở liệu khí tượng - thủy văn - mơi trường, người dùng sử dụng cơng cụ tính tốn sẵn có phần mềm phần mềm WRDB 5.0, chức hiển thị kết quả, chức tính tốn phân tích kết xuất kết định dạng quen thuộc Dữ liệu đồ phần mềm quản lý lưu trữ theo nhóm : Hình 5: Sơ đồ liệu đồ quản lý MAWRD Phần mềm quản lý có chức phần mềm GIS, bao gồm chức phóng to thu nhỏ, kéo thả đồ, hiển thị thơng tin đến người sử dụng Ngồi đồ xây dựng có tính linh hoạt, tìm kiếm vị trí tỉnh, trạm đo, hay lưu vực đồ theo địa lý theo tên đối tượng có đồ, chức thực cách nhanh chóng tiện dụng, chức thể tính kết nối hệ thống trạm đo đạc, số liệu vị trí địa lý trạm Xét khía cạnh khác, đồ chia làm hai loại chính, đồ liên kết với liệu số ( hiển thị trạm đồ, nhóm ) đồ chuyên đề ( hiển thị hình ảnh chuyên đề, nhóm từ 2-5 ) Ngồi chức hiển thị liệu, phần mềm này, người dùng sử dụng chức phân tích tính tốn đơn giản ứng dụng nhiều lĩnh vực tài nguyên nước chức vẽ đường trung bình trượt đánh giá số liệu mặt chu kỳ, vẽ đường tần suất để tính tốn, vẽ đường q trình để hiển thị phân tích số liệu tính tốn với mơđun mưa dịng chảy dựa lý thuyết mơ hình “NAM” minh họa hình đây: Hình 6: Biểu diễn trung bình trượt Hình 7: Vẽ đường trình mưa Hình 8: Vẽ đường tần suất Hình 9:Form nhập liệu Với liệu mặt cắt định dạng *.dwf, người dùng sử dụng bàn tay để kéo thả hình ảnh hay phóng to thu nhỏ tùy thích thực số chức mở phần mềm Autocad Hình 10: Menu Form hiển thị liệu mặt cắt *.dwf KẾT LUẬN Đề tài nghiên cứu lập trình xây dựng phần mềm MAWRD, phần mềm quản lý, phân tích sở liệu cho lĩnh vực “Tài Nguyên Nước Việt Nam”, phần mềm xây dựng nhằm mục đích tạo tính kết nối với phần mềm “Water Resources Database 5.0”, liên kết liệu chuẩn hóa, quản lý liệu dạng số dạng đồ, kết nối với số cơng cụ tính tốn với liệu hiên có Giao diện thân thiện dễ sử dụng có nhiều tính tính tốn giúp đỡ cho người sử dụng Đặc biệt phần mềm có sẵn chuẩn để nhập số liệu bao gồm mã tất trạm KTTV Tổ chức Khí tượng Thế giới quy định cho Việt Nam Với chuẩn này, phần mềm dùng để quản lý liệu cho tất lưu vực, tỉnh, vùng khác Việt Nam để xây dựng quản lý số liệu định dạng, biểu mẫu khác Phần mềm đóng gói dễ dàng cài đặt mơi trường Windows TÀI LIỆU THAM KHẢO CHÍNH Hồng Thanh Tùng, Ngơ Lê An, Trịnh Quang Tồn (5-2009) Chun đề Xây dựng Chương trình Quản lý CSDL phục vụ Khai thác Nguồn nước Tỉnh Ninh Thuận, Bình Thuận Viện Tài nguyên nước Môt trường Đông Nam Á Hội đồng Tài nguyên nước Quốc gia (2004) Atlas Tài nguyên nước Việt Nam Giới thiệu phần mềm WRDB Website: http://www.wrdb.com/wrdb4.5/index.htm Summary The research “Standardizing database and developing software for analysis and management of water resources database of Vietnam” deals with outstanding difficulties and constrains in the management of water resources database of Vietnam The outstanding difficulties and constrains includes: i) data has being stored un-synchronously with different format, ii) storing type is not unified, iii) it is difficult to store data in standard type and to manage data in a system way, iv) it has not any clear assessment on the quality of data, v) it is not possible to connect with observation system and with their locations For the mentioned purposes, this research has developed a system of several modules including the data-standardizing module, software for management and analysis of water resources database of Vietnam with functions dealing with the above mentioned difficulties and constrains as well as supporting to the analysis, estimation of hydrology and connecting to the common hydrological and hydraulic models  ... Đề tài nghiên cứu lập trình xây dựng phần mềm MAWRD, phần mềm quản lý, phân tích sở liệu cho lĩnh vực ? ?Tài Nguyên Nước Việt Nam? ??, phần mềm xây dựng nhằm mục đích tạo tính kết nối với phần mềm. .. lập trình xây dựng phần mềm đặt tên MAWRD MAWRD phần mềm quản lý, phân tích sở liệu cho lĩnh vực ? ?Tài Nguyên Nước Việt Nam? ??, phần mềm xây dựng nhằm mục đích tạo tính kết nối với phần mềm “Water...Để xây dựng hệ thống môdun bao gồm mơdun chuẩn hóa liệu kết hợp với phần mềm quản lý, phân tích sở liệu cho lĩnh vực ? ?Tài Nguyên Nước Việt Nam? ??, tiến hành thực cơng việc sau: 1)