3.3.1 Thu thập dữ liệu
Các dữ liệu thủy văn thu thập từ các trạm quan trắc thủy văn của tỉnh Sóc Trăng (Hình 3.1). Các yếu tố thủy văn bao gồm: lƣợng mƣa, mực nƣớc và độ mặn đƣợc thể hiện chi tiết trong Bảng 3.1.
Bảng 3.1: Bảng các yếu tố của dữ liệu thủy văn
Yếu tố Đơn vị đo
Bƣớc nhảy
số liệu Thời đoạn
Lƣợng mƣa mm Ngày 2009, 2010, 2011, 2012 Mực nƣớc cm Giờ 2009, 2010, 2011, 2012 Độ mặn g/L Giờ 2009, 2010, 2011, 2012
Chương 3 – Phương Tiện và Phương Pháp Nghiên Cứu Trang 21
3.3.2 Quản lý dữ liệu thủy văn
Xử lý dữ liệu
Nhập dữ liệu bằng phần mềm Excel đối với các loại dữ liệu đƣợc lƣu trữ ở dạng giấy theo đúng định dạng đƣa vào cơ sở dữ liệu. Đối với các dữ liệu đƣợc lƣu trữ bằng file Excel, chuyển đổi từ dữ liệu thô (lƣu trữ của các Sở, Ban, Ngành) sang định dạng chuẩn (định dạng dùng trong dữ liệu thủy văn) của hệ thống thông tin CUAHSI thành năm file nhƣ sau: Source, Datavalue, Site, Method, Variable.
Lƣu năm file đã tạo dƣới dạng Comma Delimited (*.CSV) để đƣa vào cơ sở dữ liệu ODM.
Nhập cơ sở dữ liệu ODM trống (Blank) vào SQL Server.
Đƣa dữ liệu thủy văn vào cơ sở dữ liệu ODM trong SQL Server bằng công cụ ODM Data Loader.
Quản lý dữ liệu
Tổng hợp lại các dữ liệu bằng cách thực hiện liên kết các dữ liệu đã chuyển đổi (Data Source, Network, Sites, Observation Series, Value) thông qua việc áp dụng công cụ ODM Tools.
Thực hiện các phƣơng pháp quản lý dữ liệu thông qua công cụ ODM Tool bao gồm:
- Truy vấn dữ liệu thủy văn đã đƣợc nhập vào cơ sở dữ liệu. - Chỉnh sửa, bổ sung và xuất dữ liệu thủy văn khi cần thiết.
3.3.3 Chia sẻ dữ liệu thủy văn
Dữ liệu đƣợc chia sẻ bằng cách sử dụng phần mềm Hydro Desktop và Hydro Excel.
Xây dựng dữ liệu web Water One Flow thông qua ngôn ngữ web Water ML dùng trong thủy văn của CUAHSI HIS.
Ứng dụng phần mềm Hamachi để chia sẻ dữ liệu thủy văn trong nội bộ. Ứng dụng Hydro Desktop và Hydro Excel tong quản lý và chia sẻ dữ liệu. Phƣơng pháp thực hiện quản lý và chia sẻ dữ liệu thủy văn đƣợc tóm tắt nhƣ Hình 3.2.
Chương 3 – Phương Tiện và Phương Pháp Nghiên Cứu Trang 22
Chương 5 – Kết Luận và Kiến Nghị Trang 23
CHƢƠNG 4
KẾT QUẢ VÀ THẢO LUẬN
4.1 XÂY DỰNG CƠ SỞ DỮ LIỆU 4.1.1 Xây dựng cơ sở dữ liệu 4.1.1 Xây dựng cơ sở dữ liệu
Cấu trúc các bảng dữ liệu
Các dữ liệu thuộc tính sau khi đƣợc thu thập cần đƣợc định dạng theo các cấu trúc dữ liệu để đƣa vào cơ sở dữ liệu ODM trong SQL Server. Định dạng cấu trúc dữ liệu đƣợc thể hiện bằng các Bảng tên trạm (Site), nguồn dữ liệu (Source), dữ liệu
(Data Value), biến gia trị (Variable), phƣơng pháp (Method). Dữ liệu thủy văn đƣợc định dạng theo năm bảng là do hệ thống thông tin thủy văn CUAHSI đã xây dựng trƣớc phục vụ việc quản lý và chia sẻ dữ liệu. Định dạng theo cấu trúc năm bảng giúp việc truy vấn đƣợc dễ dàng. Các dữ liệu đƣợc sắp xếp trong các bảng theo một trật tự.
Bảng tên trạm (Site) dùng để lƣu trữ các thông tin về vị trí của các trạm quan trắc thủy văn. Trong đó bao gồm tọa độ địa lý của các trạm. Mỗi trạm sẽ đƣợc gán mã số ID riêng. Các mã số ID đƣợc dùng để liên kết với các bảng khác trong cơ sở dữ liệu. Bảng tên trạm (Site) là bản cơ sở nền cho các bảng khác. Cấu trúc chi tiết của bảng đƣợc thể hiện trong Bảng 4.1. (adsbygoogle = window.adsbygoogle || []).push({});
Bảng 4.1: Cấu trúc bảng tên trạm (Site)
Tên trƣờng Kiểu dữ liệu Giải thích
SiteID Int ID Site
SiteCode Nvarchar(500) Mã trạm Site Name Nvarchar(255) Tên trạm
Latitude Float Vĩ độ
Longitude Float Kinh độ
LocalX Float Vĩ độ
LocalY Float Kinh độ
LocalProjectionID Int Loại tọa độ
State Nvarchar(255) Tỉnh
County Nvarchar(255) Huyện Comments Nvarchar(max) Nhận xét Site Type Nvarchar(255) Loại giá trị
Bảng nguồn dữ liệu (Source) đƣợc sử dụng để lƣu trữ các thông tin về cơ quan, tổ chức thực hiện việc quản lý và chia sẻ dữ liệu bằng Hydro Desktop. Các thông tin trong bảng bao gồm tên tổ chức, cơ quan, ngƣời đại diện cơ quan xây dựng cơ sở dữ liệu và các thông tin cá nhân của ngƣời đại diện. Bảng nguồn dữ liệu (Source) cung
Chương 5 – Kết Luận và Kiến Nghị Trang 24
cấp cho ngƣời sử dụng biết đƣợc cơ quan, tổ chức thu thập dữ liệu và có thể liên hệ nếu có vấn đề còn thắc mắc về dữ liệu. Chi tiết các thuộc tính đƣợc thể hiện trong Bảng 4.2.
Bảng 4.2: Cấu trúc bảng nguồn dữ liệu (Source)
Tên trƣờng Kiểu dữ liệu Giải thích
SourceID Int ID nguồn
Organization Nvarchar(255) Tổ chức
SourceDescription Nvarchar(max) Mô tả nguồn
ContactName Nvarchar(255) Tên liên lạc
Phone Nvarchar(255) Điện thoại
Email Nvarchar(255) Email
Address Nvarchar(255) Địa chỉ
City Nvarchar(255) Thành Phố
State Nvarchar(255) Nƣớc
ZipCode Nvarchar(255) Mã zip
Citation Nvarchar(max) Trích dẫn
MetadataID Int Mã dữ liệu tổng hợp
Bảng biến giá trị (Variable) đƣợc mô tả trong Bảng 4.3 dùng để lƣu trữ các thông tin về biến (mực nƣớc, lƣợng mƣa) nhƣ là tên biến, mã ID của biến và các thông tin liên quan nhƣ tính liên tục của biến, đơn vị, loại giá trị của biến giúp nhà quản lý nắm bắt đƣợc cơ sở dữ liệu đã và đang quản lý.
Bảng 4.3: Cấu trúc bảng biến giá trị (Variable) (adsbygoogle = window.adsbygoogle || []).push({});
Tên trƣờng Kiểu dữ liệu Giải thích
VariableID Int ID biến
VariableCode nvarchar(50) Mã biến VariableName nvarchar(255) Tên biến Speciation nvarchar(255) Đặc tả
VariableUnitsID Int Tên đơn vị biến SampleMedium nvarchar(255) Loại chất lƣợng ValueType nvarchar(255) Loại giá trị IsRegular Bit Tính liên tục
TimeUnitsID Int Đơn vị
DataType Nvarchar(255) Loại giá trị
GeneralCategory Nvarchar(255) Loại chung chung NoDataValue Float Không có giá trị
Bảng giá trị dữ liệu (DataValue) là bảng quan trọng trong năm bảng cấu trúc đƣợc mô tả. Bảng biến giá trị (DataValue) dùng để lƣu trữ tất cả các giá trị của biến
Chương 5 – Kết Luận và Kiến Nghị Trang 25
và thời gian để đo đạc giá trị. Các giá trị sau khi truy vấn để đƣợc trích dẫn từ bảng giá trị dữ liệu (DataValue).
Bảng 4.4: Cấu trúc bảng giá trị dữ liệu (DataValue)
Tên trƣờng Kiểu dữ liệu Giải thích
ValueID Int ID giá trị
DataValue Float Giá trị
LocalDateTime Datetime Giờ, ngày, tháng, năm
UTCOffset Float Múi giờ
DateTimeOTC Datetime Ngày theo múi giờ 1
SiteID Int ID site
VariableID Int ID biến
Method ID Int ID phƣơng pháp
SourceID Int ID nguồn
Bảng phƣơng pháp (Method) dùng để lƣu trữ các phƣơng pháp thu thập dữ liệu cho các biến. Chẳng hạn nhƣ việc thu thập dữ liệu đƣợc thực hiện bằng cách đo trực tiếp ngoài hiện trƣờng với các loại thiết bị hoặc thu thập từ các trạm quan trắc. Dữ liệu dùng trong đề tài chủ yếu đƣợc thu thập từ các trạm quan trắc. Cấu trúc bảng phƣơng pháp (Method) đƣợc mô tả nhƣ trong Bảng 4.5.
Bảng 4.5: Cấu trúc bảng phƣơng pháp (Method)
Tên trƣờng Kiểu dữ liệu Giải thích
MethodID Int ID phƣơng pháp
MethodDecription Nvarchar(max) Mô tả phƣơng pháp
Liên kết dữ liệu thuộc tính
Để các bảng trong cơ sở dữ liệu có thể kết nối đƣợc với nhau cần các mã ID của các bảng. Hình 4.1 cho thấy mối liên kết dữ liệu của rất nhiều bảng thuộc tính. Do cơ sở dữ liệu của hệ thống CUHSI đƣợc hình thành từ rất nhiều bảng nhƣng trong đó chỉ có năm bảng giữ vai trò chủ chốt là Bảng tên trạm (Site), nguồn dữ liệu (Source), giá trị dữ liệu (Data Value), biến gia trị (Variable), phƣơng pháp (Method).Các bảng còn lại giữ vai trò phụ trợ cho các bảng chính. Ví dụ nhƣ, Bảng đơn vị (Units) chứa các thông tin về đơn vị của các biến giá trị để hỗ trợ các biến này trong Bảng biến giá trị
(Variable). Bảng đơn vị (Units) hỗ trợ bằng cách liên kết dữ liệu với Bảng biến giá trị
(Variable) thông qua trƣờng ID của bảng. Việc xây dựng sẵn các bảng hỗ trợ cho năm bảng chính giúp ích cho nhà quản lý. Các bảng này sắp xếp theo cùng loại với nhau giúp việc tìm kiếm đƣợc nhanh hơn. Ví dụ nhƣ, Bảng tên biến giá trị (VariableName) (adsbygoogle = window.adsbygoogle || []).push({});
Chương 5 – Kết Luận và Kiến Nghị Trang 26
cần xem mã ID của bảng để điền vào bảng biến giá trị (Variable). Tuy nhiên, các bảng phụ trợ cũng gây một vài trở ngại cho nhà quản lý. Một vài loại biến giá trị đặc biệt nhƣ lƣợng mƣa cao nhất hoặc lƣợng mƣa thấp nhất thì không có trong danh sách các bảng phụ trợ. Do đó, các biến giá trị đặc biệt này không thể đƣa đƣợc vào cơ sở dữ liệu mà cần chuyển về dạng trung bình hoặc thêm ghi chú cho bảng.
Chương 5 – Kết Luận và Kiến Nghị Trang 27
4.1.2 Cơ sở dữ liệu trong SQL Server
Để đƣa dữ liệu thủy văn vào cơ sở dữ liệu sau khi định dạng cần sử dụng công cụ ODM Data Loader. Hộp thoại ODM Data Loader cho phép chuyển tải năm file đã định dạng (Site, Source, Method, Variable, DataValue) và quản lý dữ liệu. Việc tải dữ liệu vào cơ sở dữ liệu phải đƣợc thực hiện theo đúng trình tự từng file. Trình tự thực hiện tải dữ liệu các file bắt đầu từ file Sites, rồi đến file Sources, kế đó là file Variables, tiếp theo là file Method và cuối cùng là file Datavalue. Nếu không tải dữ liệu theo đúng trình tự, các dữ liệu không thể thực hiện các liên kết với nhau. Dữ liệu không thể truy xuất sau khi hoàn tất việc tải dữ liệu vào cơ sở dữ liệu. Sau khi tải dữ liệu bằng hộp thoại ODM Data Loader, dữ liệu sẽ hiển thị trong SQL Server giống nhƣ Hình 4.2.
Hình 4.2: Cơ sở dữ liệu trong SQL Server
Trong Hình 4.2, cơ sở dữ liệu ODM soctrang1 có chứa Bảng giá trị dữ liệu
(Datavalue) và các giá trị trong bảng này chứng tỏ việc cập nhật dữ liệu vào SQL Server thành công. Dữ liêu đƣợc lƣu trong Tables của thƣ mục Soctrang1. Ngoài Bảng giá trị dữ liệu (Datavalue), các bảng khác nhƣ Bảng tên trạm (Site), Bảng nguồn dữ liệu (Source) cũng đƣợc lƣu trong Tables.
Trong quá trình xây dựng cơ sở dữ liệu gặp một số trở ngại. Các dữ liệu thu thập chủ yếu đƣợc lƣu trữ ở hai dạng chính là file Excel hoặc lƣu bằng sổ sách. Hai kiểu lƣu dữ liệu này phải đƣợc định dạng lại trƣớc khi chuyển vào cơ sở dữ liệu ODM. Ngoài ra, việc định dạng lại dữ liệu còn phụ thuộc vào trình độ hiểu biết công nghệ thông tin của nhà quản lý và tốn nhiều thời gian để chỉnh sửa lại dữ liệu thô. Do đó, cần có kiến thức về hệ quản trị cơ sở dữ liệu nói chung và cơ sở dữ liệu ODM nói
Chương 5 – Kết Luận và Kiến Nghị Trang 28
riêng. Tuy nhiên, bên cạnh đó cũng có một số thuận lợi. Hệ thống quản lý cơ sở dữ liệu của CUAHSI đƣợc thiết kế phục vụ cho nhà quản lý. Ngoài ra hệ thống thông tin CUAHSI còn hỗ trợ công cụ ODM Loader để tải dữ liệu vào cơ sở dữ liệu. Các công cụ của hệ thống thông tin thủy văn CUAHSI đều đƣợc xây dựng và yêu cầu nhà quản lý thực hiện đúng theo định dạng để đƣa vào cơ sở dữ liệu.
4.2 QUẢN LÝ DỮ LIỆU
Quản lý dữ liệu đƣợc thực hiện thông qua công cụ ODM Tools. Công cụ này hỗ trợ nhà quản lý có thể truy vấn, chỉnh sửa dữ liệu thủy văn và đặc biệt là xuất dữ liệu sau khi truy vấn.
4.2.1 Truy vấn dữ liệu
Việc truy vấn dữ liệu thủy văn giúp ngƣời quản lý tìm kiếm dữ liệu mong muốn với tốc độ cao thông qua một số phƣơng pháp truy vấn khác nhau. Một trong những phƣơng pháp là truy vấn thông qua vị trí trạm quan trắc thủy văn.
a. Truy vấn thông qua vị trí các trạm quan trắc thủy văn (Site)
Thẻ truy vấn (Query) thông qua vị trí các trạm quan trắc (Site) cung cấp ngƣời quản lý công cụ truy vấn thông qua các trạm có trong danh sách (choose site from the list). Ngoài ra, nhà quản lý có thể truy vấn thông qua tên trạm (Site Name) hoặc mã trạm (Site Code) bằng cách nhập trực tiếp các tên, mã vào khung truy vấn để tăng tốc độ tìm kiếm (Hình 4.3). Sau khi truy vấn kết thúc, ngƣời quản lý có thể xuất dữ liệu đƣợc truy vấn. Dữ liệu truy xuất có thể đƣợc sử dụng vào việc chạy mô hình toán giúp các nhà khoa học có thể đánh giá đƣợc chất lƣợng môi trƣờng hiện tại và có phƣơng hƣớng cho việc phát triển của địa phƣơng vùng nghiên cứu trong tƣơng lai.
Chương 5 – Kết Luận và Kiến Nghị Trang 29
Bên cạnh việc truy vấn dữ liệu thông qua vị trí các trạm quan trắc thủy văn
(Site), nhà quản lý còn có thể truy vấn thông qua biến giá trị (Variable).
b. Truy vấn bằng bảng biến giá trị (Variable)
Công cụ truy vấn dữ liệu thủy văn thông qua biến giá trị (Variable) hỗ trợ ngƣời quản lý truy vấn thông tin các biến giá trị nhƣ lƣợng mƣa (Rainfall), mực nƣớc
(Water level). Truy vấn thông qua biến giá trị (Variable) đƣợc xây dựng tƣơng tự nhƣ truy vấn thông qua tên trạm (Site). Ngƣời quản lý cũng có thể truy vấn thông qua tên biến trong danh sách các biến (Choose Variable from the list), hoặc truy vấn thông qua nhập trực tiếp tên biến (Variable Name), mã biến (Variable code)(Hình 4.4). Tuy nhiên, mỗi công cụ có thế mạnh riêng. Công cụ truy vấn thông qua tên trạm (Site) hỗ trợ ngƣời quản lý truy vấn dữ liệu thông quan vị trí của trạm quan trắc (Site), tên trạm
(Site Name), hoặc mã trạm (Site Code) còn công cụ truy vấn thông qua biến giá trị
(Variable) hỗ trợ truy vấn thông qua biến giá trị (Variable), tên biến (Variable Name), hoặc mã biến (Variable Code). Việc truy vấn dữ liệu thông qua tên trạm (site) và thông qua biến giá trị (Variable) có thể hỗ trợ lẫn nhau. Sau khi chọn truy vấn thông qua tên trạm (Site), ngƣời quản lý có thể chọn tiếp truy vấn thông qua biến giá trị
(Variable). Tuy nhiên, truy vấn thông qua biến giá trị (Variable) thì không thể quay lại truy vấn thông qua tên trạm (Site). Do Bảng tên trạm (Site) là bảng chính, chịu trách nhiệm lên kết tất cả các bảng trong cơ sở dữ liệu lại với nhau thông qua mã IP của các bảng.
Chương 5 – Kết Luận và Kiến Nghị Trang 30
Bên cạnh việc truy vấn thông qua vị trí trạm quan trắc (Site) và thông qua biến giá trị (Variable), ngƣời quản lý còn có thể truy vấn thông qua nguồn cung cấp dữ liệu
(Source) và truy vấn thông qua các tùy chọn khác (Other Query Option).
c. Truy vấn bằng nguồn cung cấp dữ liệu (Source) (adsbygoogle = window.adsbygoogle || []).push({});
Công cụ truy vấn thông qua nguồn cung cấp dữ liệu giúp ngƣời quản lý có thể nhập truy vấn trực tiếp tên cơ quan, tổ chức cung cấp dữ liệu (Organization) hoặc mô tả nguồn cung cấp dữ liệu (Source Description) (Hình 4.5). Tuy nhiên, việc truy vấn thông qua nguồn cung cấp dữ liệu chỉ có thể thực hiện đƣợc với dữ liệu có nhiều nguồn khác nhau. Truy vấn thông qua nguồn cung cấp dữ liệu (Source) nhằm hỗ trợ cho ngƣời quản lý có thể tìm kiếm dữ liệu thủy văn theo các cơ quan tổ chức cung cấp dữ liệu.
Hình 4.5: Lƣu đồ truy vấn dữ liệu thông qua nguồn dữ liệu
d. Truy vấn bằng tùy chọn khác (Other Query Option)
Truy vấn thông qua các tùy chọn khác (Other Query Option) hỗ trợ thêm cho ngƣời quản lý các công cụ truy vấn trong trƣờng hợp có quá nhiều loại dữ liệu và nhiều loại giá trị. Truy vấn thông qua các tùy chọn khác (Other Query Option) bao gồm dữ liệu chung chung (General Category), môi trƣờng dữ liệu (Sample Medium), loại giá trị (Data Value), loại dữ liệu (Type Value)(Hình 4.6). Truy vấn thông qua các tùy chọn khác (Other Query Option) giúp ngƣời quản lý giới hạn đƣợc các loại dữ liệu
Chương 5 – Kết Luận và Kiến Nghị Trang 31
không cần thiết và giúp quá trình truy vấn đƣợc nhanh hơn. Đặc biệt, truy vấn thông qua các công cụ khác có thể kết hợp với truy vấn thông qua tên trạm (Site), truy vấn thông qua biến giá trị (Variable) và kể cả truy vấn thông qua nguồn cung cấp dữ liệu
(Source). Việc kết hợp truy vấn tạo điều kiện cho nhà quản lý có thể đƣa ra nhiều yêu cầu đối với loại dữ liệu đƣợc truy vấn nhằm hạn chế các loại dữ liệu không cần thiết trong quá trình truy vấn.
Hình 4.6: Truy vấn thông qua các tùy chọn khác (Other Query Option) trong thẻ truy vấn
Nhìn chung, việc truy vấn dữ liệu giúp ngƣời quản lý có thể tìm kiếm nhanh đƣợc loại dữ liệu muốn truy vấn. Tốc độ truy vấn tƣơng đƣơng với tốc độ tìm kiếm dữ liệu đƣợc tổ chức trong Excel. Tuy nhiên các công cụ truy vấn giúp ngƣời quản lý có thể tìm kiếm đƣợc dữ liệu đã đƣợc định dạng theo một khuôn khổ chung. Đặc biệt, ngƣời quản lý có thể xuất dữ liệu sau truy vấn.
Chương 5 – Kết Luận và Kiến Nghị Trang 32