Số liệu thứ cấp sau khi đƣợc thu thập về sẽ đƣợc xử lý bằng các phần mềm Microsoft Excel, ODM Tools, Microsoft SQL Server… Các bƣớc thực hiện xử lý số liệu về nguồn tài nguyên nƣớc mặt đƣợc thể hiện qua Hình 3. 2.
Hình 3. 2: Các bƣớc xử lý số liệu về nguồn tài nguyên nƣớc mặt
3.2.2.1 Đồng bộ hóa cơ sở dữ liệu về nguồn tài nguyên nước mặt
a) Sử dụng phần mềm Microsoft Excel
Số liệu về lƣu lƣợng, lƣợng mƣa, mực nƣớc tại các trạm của tỉnh An Giang, đƣợc thống kê theo từng năm 2010 – 2012. Các số liệu đƣợc lập thành 5 bảng biểu
PHẠM NGỌC KHANH QLMT K36 21
khác nhau, mỗi trƣờng phân cách với nhau bởi dấu phẩy (Comma Separated Values - .csv) bằng phần mềm Microsoft Excel.
b) Sử dụng phần mềm công cụ ODM Tools và ODMDL
ODM Tools (Observations Data Model Tools) là phần mềm công cụ mô hình quan sát dữ liệu dùng để quản lý, chỉnh sửa, truy xuất dữ liệu đã đƣợc lƣu trữ trong SQL Server. Sử dụng phần mềm ODM Tools để đồng nhất các dữ liệu thủy văn thô.
ODM Tools lƣu trữ dữ liệu về nguồn tài nguyên nƣớc trong một hệ thống đƣợc thiết kế để tối ƣu hóa việc phân tích tổng hợp các thông tin thu thập bởi nhiều nhà điều tra. Phần mềm ODM Tools so sánh từ ngữ dạng địa phƣơng với kho lƣu trữ chủ, có thể tải dữ liệu theo một ngôn ngữ chung về để cập nhật hoặc bổ sung cho cơ sở dữ liệu. Công cụ ODM nhận các từ ngữ từ cơ sở dữ liệu địa phƣơng, truy cập vào các dịch vụ web, ODM controlled vocabulary sẽ tự động phân tích, và các thông báo XML đƣợc trả về, sau đó trình bày một bảng, so sánh từng khía cạnh của từ ngữ địa phƣơng và tổng thể. Theo Jeffery S. Horsburgh (2012), mô hình đồng nhất dữ liệu đƣợc thể hiện nhƣ Hình 3. 3.
Hình 3. 3: Mô hình đồng nhất dữ liệu
ODMDL – ODM Data Loader là phần mềm công cụ hỗ trợ ODM Tools giúp tải về các dữ liệu về nguồn tài nguyên nƣớc mặt đã đƣợc xử lý trong các bảng Excel và lƣu trữ trong SQL.
c) Sử dụng phần mềm Microsoft SQL Server
Microsoft SQL Server là một hệ thống quản lý cơ sở dữ liệu quan hệ đƣợc phát triển bởi Microsoft . Nhƣ một cơ sở dữ liệu, Microsoft SQL Server là một sản phẩm phần mềm có chức năng chính là để lƣu trữ và lấy dữ liệu theo yêu cầu của ứng dụng phần mềm khác (ODM Tools) nhờ sự hỗ trợ tải dữ liệu về của ODMDL. Số liệu sau khi đã đƣợc định dạng lại ở dạng bảng biểu trong Excel sẽ đƣợc lƣu trữ trong hệ thống quản lý cơ sở dữ liệu của phần mềm Microsoft SQL Server.
Các nhà điều tra Tên biến
PHẠM NGỌC KHANH QLMT K36 22
3.2.2.2 Quản lý dữ liệu về nguồn tài nguyên nước mặt
Sử dụng phần mềm ODM Tools để quản lý dữ liệu: hiển thị, quản lý, chỉnh sửa, và xuất dữ liệu địa phƣơng đã đƣợc nhập về ODM. Ứng dụng công cụ ODM đƣợc tổ chức thành ba khu vực chung:
(1) Truy vấn và xuất khẩu các dữ liệu về nguồn tài nguyên nƣớc: cho phép ngƣời dùng tìm thấy những dữ liệu quan tâm và xuất khẩu dữ liệu sang một định dạng đơn giản có thể đƣợc sử dụng với nhiều phần mềm phân tích.
(2) Hiển thị và tổng hợp các dữ liệu về nguồn tài nguyên nƣớc.
(3) Chỉnh sửa và bổ sung các dữ liệu về nguồn tài nguyên nƣớc: cung cấp một thiết lập đơn giản để chỉnh sửa chuỗi dữ liệu hiện có và tạo ra chuỗi dữ liệu mới từ chuỗi dữ liệu hiện có.
3.2.2.3 Chia sẻ dữ liệu về nguồn tài nguyên nước mặt
- Đăng kí dịch vụ chia sẻ dữ liệu về nguồn tài nguyên với trang web WaterOneFlow của hệ thống CUASHI HIS.
- Kiểm tra việc chia sẻ dữ liệu về nguồn tài nguyên nƣớc bằng phần mềm HydroExcel.
- Chia sẻ dữ liệu về nguồn tài nguyên nƣớc mặt qua việc tìm kiếm dữ liệu bằng phần mềm HydroDesktop: tìm kiếm, hiển thị, phân tích dữ liệu về nguồn tài nguyên nƣớc từ các trang web dịch vụ.
PHẠM NGỌC KHANH QLMT K36 23
CHƢƠNG 4: KẾT QUẢ VÀ THẢO LUẬN 4.1 Đồng bộ hóa cơ sở dữ liệu về nguồn tài nguyên nƣớc mặt
Sau khi thu thập đƣợc các số liệu về nguồn tài nguyên nƣớc mặt của các Sở Ban Ngành tỉnh An Giang, dữ liệu cần đƣợc định dạng lại theo một dạng chuẩn nhƣ cơ sở dữ liệu ODM đƣợc lƣu trữ trong phần mềm Microsoft SQL Server 2005 để tƣơng thích với phần mềm ODM Tools. Cơ sở dữ liệu đƣợc xây dựng lại trong phần mềm Microsoft SQL Server 2005 Express vì phần mềm có tính năng bảo mật dữ liệu với ngƣời dùng cao. Dung lƣợng lƣu trữ thông tin lớn, đồng thời phần mềm có một số tính năng ƣu việt giúp cho việc tƣơng thích với việc quản lý dữ liệu trong phần mềm ODM Tools dể dàng hơn. Các bƣớc đồng bộ hóa dữ liệu về nguồn tài nguyên nƣớc mặt đƣợc thể hiện qua Hình 4. 1.
Hình 4. 1: Các bƣớc đồng bộ hóa dữ liệu về nguồn tài nguyên nƣớc mặt 4.1.1 Định dạng dữ liệu theo một định dạng chuẩn bằng phần mềm ODM Tools
Các số liệu về nguồn tài nguyên nƣớc mặt đƣợc phân tích và định dạng theo một khuôn mẫu thống nhất – các tệp tin sẽ đƣợc trình bày dạng biểu bảng Excel, đƣợc phân chia bởi các dấu phẩy (Comma Separated Values - .csv). Các bảng dữ liệu đã đƣợc định dạng lại đƣợc thể hiện bao gồm : Sources (Nguồn), Methods (Phƣơng pháp), Sites (Trạm), Variables (Biến), Datavalues (Giá trị dữ liệu). Mỗi bảng chứa các dữ liệu thuộc về một lĩnh vực cụ thể đƣợc tổ chức thành hàng, cột giúp cho việc liên kết các dữ liệu có liên quan với nhau dễ dàng. Trong mỗi bảng sẽ có một khóa chính (chủ đề của một bảng), và các trƣờng không đƣợc trùng với nhau nên cần chia ra 5 bảng nhỏ để phân loại dữ liệu. Trong đó, các bảng phải có mối quan hệ với nhau để dễ dàng truy xuất dữ liệu có liên kết, kiểm tra tính toàn vẹn, hay đồng bộ khi cập nhật, sữa chữa dữ liệu. Mối quan hệ giữa các bảng là sự kết hợp dữ liệu trong cột chủ chốt (khóa chính), thƣờng các cột có cùng tên trong cả hai hay nhiều bảng. Trong hầu hết các trƣờng hợp, các mối quan hệ đều liên quan với các khóa chính từ một bảng, cung cấp một định danh duy nhất cho mỗi dòng, với khóa ngoại trong bảng khác. Mối quan hệ giữa các bảng đƣợc thể hiện qua Hình 4. 2.
PHẠM NGỌC KHANH QLMT K36 24
Hình 4. 2: Quan hệ giữa các bảng: Datavalues, Methods, Variables, Sites, Source
Bảng sources (Nguồn): Đƣợc trình bày trong Bảng 4. 1. Dùng để lƣu các thông tin về nguồn gốc của dữ liệu và thông tin liên hệ của ngƣời quản lý nguồn dữ liệu (có thể đƣợc tham chiếu khi ngƣời dùng xem sét nguồn dữ liệu của ngƣời quản lý).
Bảng 4. 1: Cấu trúc bảng Sources (Nguồn) Organization
(Tổ chức)
SourceDescription
(Nguồn cung cấp DL) SourceLink
ContactName (Tên ngƣời liên hệ) Address (Địa chỉ) CanTho University Community measurements of stage
www.ctu.edu.vn Pham Ngoc
Khanh College of Natural Resource Management, CanTho University
Bảng Variables (Biến): Đƣợc dùng để lƣu trữ các thông tin về các biến của dữ liệu về nguồn tài nguyên nƣớc mặt, kiểu giá trị, đơn vị đo, giá trị trung bình của mẫu đo, đặc điểm kỹ thuật nếu có. Đƣợc trình bày ở Bảng 4. 2.
Bảng 4. 2: Cấu trúc bảng Variables (Biến) Variable Code (Mã biến) Variable Name (Tên biến) Variable UnitsName (Đơn vị biến) Sample Medium (Mẫu ví dụ) TimeUnits Name (Tên đơn vị) DataType (Loại DL) General Category (Chuyên mục) WL Water level Centimeter Surface
Water minute Sporadic Hydrology
DC Discharge
Cubic meters per second
Surface
PHẠM NGỌC KHANH QLMT K36 25
Bảng Methods (Phƣơng pháp): Đƣợc dùng để mô tả các phƣơng pháp lấy mẫu và đo đạc số liệu về nguồn tài nguyên nƣớc mặt và một liên kết đến nơi phƣơng pháp đƣợc mô tả (không bắt buộc). Trình bày ở Bảng 4. 3.
Bảng 4. 3: Bảng method (Phƣơng pháp) MethodDescription
(Mô tả phƣơng pháp)
MethodLink
Water level measurement
Discharge derived from water level measurements
Bảng Sites (Trạm): Đƣợc dùng để liệt kê các vị trí đo, mã trang web, tọa độ địa lý chuẩn (địa phƣơng) và một số thông tin liên quan khác. Trình bày nhƣ Bảng 4. 4.
Bảng 4. 4: Bảng Sites (Trạm) Site Code (Mã trạm) SiteName (Tên trạm) Latitude (Vĩ độ) Longitude (Kinh độ) LatLong DatumI D Local ProjectionID County (Quận, huyện) 1 Cau 13 10.65724 9 105.287393 WGS 84 WGS 84 / UTM
zone 48N Phu Tan 2 Chau Doc 10.68184 2 105.082419 WGS 84 WGS 84 / UTM zone 48N Chau Doc 3 Cho Moi 10.54445 4 105.401605 WGS 84 WGS 84 / UTM
zone 48N Cho Moi 4 Co To 10.38331
2 105.016664 WGS 84
WGS 84 / UTM
zone 48N Tri Ton 5 Khanh An 10.94707 9 105.10543 WGS 84 WGS 84 / UTM zone 48N An Phu 6 Lo Gach 10.67516 3 105.225351 WGS 84 WGS 84 / UTM
zone 48N Phu Tan 7 Long Xuyen 10.38333 105.41667 WGS 84 WGS 84 / UTM zone 48N Long Xuyen 8 Nui Sap 10.25804 5 105.272222 WGS 84 WGS 84 / UTM zone 48N Thoai Son 9 Tan Chau 10.80268 3 105.19608 WGS 84 WGS 84 / UTM
zone 48N Tan Chau 10 Vinh Gia 10.50387
1 104.810002 WGS 84
WGS 84 / UTM
zone 48N Tri Ton 11 Vinh Hanh 10.44414 8 105.248614 WGS 84 WGS 84 / UTM zone 48N Chau Thanh 12 Vong The 10.27553 2 105.131667 WGS 84 WGS 84 / UTM zone 48N Thoai Son 13 Xuan To 10.61113 1 104.961708 WGS 84 WGS 84 / UTM zone 48N Tinh Bien
PHẠM NGỌC KHANH QLMT K36 26
Bảng Datavalues (Giá trị dữ liệu): Đƣợc dùng để thể hiện các giá trị của dữ liệu qua thời gian, giờ địa phƣơng, các trạm, biến và các thông tin bao gồm liên kết với các bảng trên. Trình bày nhƣ Bảng 4. 5.
Bảng 4. 5: Cấu trúc bảng Datavalues (Giá trị dữ liệu) Data Value (Giá trị DL) Local DateTime
(Thời gian địa phƣơng) UTC Offset Site Code (Mã trạm) Variable Code (Mã biến) Censor Code (Mã kiểm duyệt) Source ID Method Description (Mô tả phƣơng pháp) 132 10/01/2010 0:00 7 1 WL nc 1 Water level measurement 133 10/02/2010 0:00 7 1 WL nc 1 Water level measurement 137 10/03/2010 0:00 7 1 WL nc 1 Water level measurement 136 10/04/2010 0:00 7 1 WL nc 1 Water level measurement 137 10/05/2010 0:00 7 1 WL nc 1 Water level measurement 137 10/06/2010 0:00 7 1 WL nc 1 Water level measurement
4.1.2 Kết nối dữ liệu trong Microsoft SQL server 2005 Express với ODM Tools
Sử dụng phần mềm Micosoft SQL Server 2005 Express để đƣa cơ sở dữ liệu ODM vào phần mềm công cụ ODM Tools. Dữ liệu về nguồn tài nguyên nƣớc mặt đƣợc xây dựng trên hệ quản trị CSDL SQL Server 2005 Express để dễ dàng đƣa CSDL vào ODM Tools phục vụ cho công tác quản lý và truy vấn dữ liệu. Các bảng dữ liệu đã đƣợc định dạng lại ở trên có mối quan hệ với nhau qua các trƣờng liên kết. Sử dụng công cụ ODM Data Loader (ODMDL 1.1.6.) để đƣa 5 file dữ liệu vừa định dạng vào CSDL ODM qua Microsoft SQL Server 2005 Express. CSDL ODM là kết nối giữa các bảng có mối quan hệ (Relationship) trình bày ở Hình 4. 3.
PHẠM NGỌC KHANH QLMT K36 27
Hình 4. 3: Mối quan hệ giữa các bảng trong CSDL ODM
Ghi chú: Phụ lục I sẽ trình bày chi tiết làm thế nào để tải các dữ liệu từ các bảng Sources, Sites, Methods, Variables, Datavalues vào ODM Tools nhờ công cụ ODM Data Loader trong quá trình thực hiện đề tài.
Dữ liệu về nguồn tài nguyên nƣớc mặt thứ cấp đƣợc thu thập khá nhiều và lƣu trữ không theo một dạng thống nhất, nên rất khó khăn khi các nhà quản lý muốn tìm kiếm và sử dụng số liệu. Nhằm thuận tiện trong việc quản lý khối lƣợng lớn số liệu thủy văn nhƣ vậy, nên đề tài nghiên cứu này sử dụng CSDL ODM (một lƣợc đồ cơ sở dữ liệu quan hệ) đƣợc thiết kế để lƣu trữ dữ liệu chuỗi thời gian. Mục đích của các CSDL ODM là để cung cấp một khuôn khổ cho việc lƣu trữ dữ liệu, tối ƣu hóa và phục hồi dữ liệu cho phân tích tổng hợp các thông tin thu thập bởi nhiều nhà điều tra khác nhau.
Muốn cơ sở dữ liệu ODM gắn kết với phần mềm SQL Server cần phải có ODM Data Loader (ODMDL) – tải dữ liệu đã đƣợc định dạng lại nhƣ 5 bảng (Source, Method, Site, Variable, Datavalue) trên vào một CSDL ODM. Các ứng dụng ODMDL mang lại một số ƣu thế: ODMDL bảo vệ sự an toàn và tính thống nhất của một CSDL ODM vì công cụ giúp xác nhận và tải dữ liệu về nguồn nƣớc cần quản lý vào ODM Tools. Điều này giảm thiểu khả năng lỗi gây ra do thiếu sót dữ liệu trong việc tải các dữ liệu vào một cơ sở dữ liệu ODM. Các định dạng tập tin đầu vào ODMDL tƣơng tự nhƣ các cấu trúc bảng trong bộ CSDL ODM. Ngƣời dùng không cần phải thực hiện bất kỳ chƣơng trình chuyên ngành để phân tích và nạp dữ liệu; và, ODMDL đảm bảo rằng các dữ liệu có đủ điều kiện với siêu dữ liệu có giá trị khi dữ liệu đƣợc tải về.
Vì ODMDL đƣợc thiết kế để chạy trên Microsoft Windows XP, Vista, 7 và phải đƣợc thực hiện trong Microsoft SQL Server 2005 hoặc 2008 nên muốn có đƣợc dữ
PHẠM NGỌC KHANH QLMT K36 28
liệu quản lý trong ODM Tools cần phải có một số cài đặt: Microsoft SQL Server 2005 hoặc 2008.
4.2 Quản lý dữ liệu
4.2.1 Quản lý dữ liệu bằng phần mềm ODM Tools
Sau khi xây dựng CSDL ODM, với các cấu trúc lệnh của công cụ ODM Tools sẽ giúp xây dựng đƣợc chƣơng trình quản lý dữ liệu về nguồn tài nguyên nƣớc mặt của tỉnh An Giang. Chƣơng trình đƣợc thiết kế theo nguồn dữ liệu và đƣợc thống nhất định dạng theo ngƣời sử dụng hay các cấp quản lý. Chức năng truy vấn, phân tích, chỉnh sửa dữ liệu của phần mềm ODM Tools đƣợc thể hiện qua Hình 4. 4.
Hình 4. 4: Hình thức quản lý dữ liệu của phần mềm ODM Tools
4.2.1.1 Truy vấn và xuất dữ liệu về nguồn tài nguyên nước mặt
Một trong những chức năng chính của phần mềm ODM Tools là truy xuất và xuất dữ liệu về nguồn tài nguyên nƣớc. Mỗi chuỗi dữ liệu trong ODM thể hiện duy nhất một trạm, biến, phƣơng pháp, nguồn dữ liệu. ODM Tools cung cấp khả năng truy vấn cơ sở dữ liệu ODM cho chuỗi dữ liệu cụ thể dựa trên thông tin chứa trong một hoặc nhiều lĩnh vực trong bảng SeriesCatalog. Khi một chuỗi dữ liệu cụ thể đƣợc xác định, có thể xuất dữ liệu đến tập tin văn bản trong HIS – CUAHSI. Tab Query (truy vấn) cho phép truy vấn một cơ sở dữ liệu ODM để tìm chuỗi dữ liệu cụ thể và sau đó xuất khẩu các chuỗi dữ liệu hoặc gửi chúng đến các Tab Visualize (trực quan) hoặc các Tab Edit (chỉnh sửa). ODM Tools có thể tìm kiếm các chuỗi dữ liệu dựa trên các trạm quan trắc (mã trạm hoặc tên trạm quan trắc), tìm kiếm dựa trên các biến (ví dụ nhƣ lƣợng mƣa, mực nƣớc hay lƣu lƣợng), tìm kiếm dựa trên truy vấn qua nguồn, qua phƣơng pháp, qua thời gian. Các chuỗi dữ liệu có thể đƣợc xác định bằng cách sử dụng
PHẠM NGỌC KHANH QLMT K36 29
tùy chọn truy vấn trên tab Query (truy vấn) của các công cụ ứng dụng ODM Tools đƣợc thể hiện qua Hình 4. 5.
Hình 4. 5: Chức năng truy vấn dữ liệu của ODM Tools
4.2.1.2 Trực quan và tóm tắt thống kê dữ liệu về nguồn tài nguyên nước mặt
Công cụ ODM cung cấp chức năng để hình dung, mô tả chuỗi dữ liệu bằng cách sử dụng nhiều loại ô và tạo các thống kê mô tả đơn giản cho chuỗi dữ liệu. ODM Tools mô tả việc tạo chuỗi dữ liệu trực quan và tóm tắt số liệu thống kê đƣợc thể hiện qua Hình 4. 6.
Hình 4. 6: Trực quan dữ liệu mực nƣớc tại trạm Tân Châu bằng phần mềm ODM Tools
PHẠM NGỌC KHANH QLMT K36 30
Qua biểu đồ thể hiện ở Hình 4.6, cho thấy mực nƣớc của trạm Tân Châu ở tỉnh An Giang thay đổi theo từng năm. Vào mùa lũ (tháng 8 đến tháng 11) mực nƣớc tăng nhanh từ 300 – 400cm, mực nƣớc cao đỉnh điểm trong 2 năm: năm 2000 là 506cm và năm 2011 là 486cm. Từ năm 2000 đến năm 2012, các số liệu quan trắc thủy văn cho