4.2.2.1. Đối với việc tổ chức cơ sở dữ liệu
Để có cái nhìn trực quan, chúng ta sẽ so sánh với 2 phương pháp đã được mô tả trong mục 3.6.1.1
Phương pháp đánh giá:
- Về mặt lưu trữ: thực hiện việc cập nhật dữ liệu, sau đó xác định số bản ghi, dung lượng lưu trữ vào trong CSDL với 3 phương pháp nêu trên để so sánh - Về mặt hiệu năng: thực hiện các phép phân tích, thống kê dữ liệu, sau đó xác định tốc độ thực thi với 3 phương pháp nêu trên để so sánh
- Về độ chính xác dữ liệu:
o Thực hiện các phép phân tích với n lần thử, mỗi lần thử sẽ là 1 kết quả phân tích. Ví dụ trong phép phân tích lấy giá trị của dữ liệu khí tượng và chất lượng không khí tại 1 vị trí tọa độ bất kỳ trên bản đồ, thực hiện số lần thử là 100 lần, tức là tạo ngẫu nhiên 100 vị trí bất kỳ trên bản đồ trong khu vực Việt Nam, mỗi phương pháp chạy phân tích với đầu vào là 100 vị trí đó, cuối cùng lấy kết quả trả về của 3 phương pháp nêu trên, sau đó so sánh xem các tập dữ liệu đó có giống nhau không.
o Ngoài ra, để khách quan, hệ thống cũng sánh tương tự giữa phương pháp đề xuất với bộ công phần mềm ArcGIS Desktop của hãng ESRI, một sản phẩm thương mại có độ tin cậy cao
- Hệ thống giả định xét cho 1 loại dữ liệu là nồng độ bụi PM2.5, sử dụng mô hình thống kê Mixed Effect Model để ước tính từ ảnh sol khí vệ tinh, được giới hạn khu vực địa lý trong khu vực Việt Nam trong khoảng thời gian tháng 1/2020, độ phân giải không gian là 3km, đầu ra là các ảnh định dạng GeoTiff có kích cỡ 468x768 pixel, dữ liệu được thu thập trong 1 ngày và 17 ngày
- Các loại dữ liệu còn lại cũng sẽ làm tương tự
a. Về mặt lưu trữ
Trong điều kiện thu thập dữ liệu PM2.5 của 1 ngày và 17 ngày, dung lượng cần phải lưu trữ cho 3 phương pháp ở trên như sau:
Bảng 4.2 Bảng thống kê lưu trữ dữ liệu của 3 phương pháp
Chúng ta có thể thấy dung lượng lưu trữ của hệ thống WebGIS là rất nhỏ, 1 ngày sẽ mất khoảng 0.5MB, 17 ngày mất khoảng 11MB, như vậy, với cách tổ chức như đã đề xuất trong phần 3.6.1, tức là 1 bảng dữ liệu trong 1 năm sẽ chỉ mất khoảng hơn 200MB dung lượng, ít hơn nhiều so với 2 phương pháp còn lại
b. Về mặt hiệu năng
Sử dụng công cụ kiểm thử Jmeter, là một phần mềm mã nguồn mở được dùng để kiểm tra độ chịu tải (load test) và hiệu suất (measure performance). [23]
Quá trình kiểm thử sẽ được kiểm tra 10 lần, mỗi lần sẽ bao gồm 100 người dùng vào cùng 1 thời điểm, trong khoảng thời gian là 10 giây cho mỗi 1 tác vụ. Kết quả trả về sẽ là thời gian thực hiện trung bình, lớn nhất, nhỏ nhất, tỷ lệ lỗi gặp phải
b.1. Tác vụ lấy giá trị của dữ liệu khí tượng và chất lượng không khí tại một vị trí tọa độ trên bản đồ
Trường hợp 1: Giả định điều kiện thu thập dữ liệu PM2.5 trong ngày đầu tiên, tức là bảng dữ liệu chỉ chứa giá trị của 1 ngày
Trường hợp 2: Giả định điều kiện đã thu thập dữ liệu PM2.5 trong 17 ngày, tức là bảng dữ liệu chỉ chứa giá trị của 17 ngày
Bảng 4.3 Bảng thống kê tốc độ thực thi tác vụ b.1 với dữ liệu thu thập là 1 và 17 ngày
b.2. Tác vụ lấy giá trị của dữ liệu khí tượng và chất lượng không khí nằm trong 1 polygon hoặc rectangle
− Điều kiện xét phạm vi đa giác có diện tích ~ 5,000 km2 bao quanh Hà Nội
Trường hợp 1: Giả định điều kiện thu thập dữ liệu PM2.5 trong ngày đầu tiên, tức là bảng dữ liệu chỉ chứa giá trị của 1 ngày
Trường hợp 2: Giả định điều kiện đã thu thập dữ liệu PM2.5 trong 17 ngày, tức là bảng dữ liệu chỉ chứa giá trị của 17 ngày
Bảng 4.4 Bảng thống kê tốc độ thực thi tác vụ b.2 với dữ liệu thu thập là 1 và 17 ngày và diện tích đa giác khoảng 5000km2
− Điều kiện xét phạm vi đa giác có diện tích ~ 10,000 km2 bao quanh 2 đến 3 tỉnh/thành phố
Giả định điều kiện đã thu thập dữ liệu PM2.5 trong 17 ngày, tức là bảng dữ liệu chỉ chứa giá trị của 17 ngày, chúng ta có bảng thống kê về hiệu năng sau:
Bảng 4.5 Bảng thống kê tốc độ thực thi tác vụ b.2 với dữ liệu thu thập là 17 ngày và diện tích đa giác khoảng 10000km2
− b.3. Tác vụ lấy giá trị của dữ liệu khí tượng và chất lượng không khí nằm trên 1 polyline
Điều kiện xét phạm vi một polyline đơn giản chỉ có 1 đoạn thẳng có chiều dài ~ 100 km
Giả định điều kiện đã thu thập dữ liệu PM2.5 trong 17 ngày, tức là bảng dữ liệu chỉ chứa giá trị của 17 ngày, chúng ta có bảng thống kê về hiệu năng sau:
Bảng 4.6 Bảng thống kê tốc độ thực thi tác vụ b.3 với dữ liệu thu thập là 17 ngày và chiều dài của đoạn thằng khoảng 100km
Chúng ta thấy, hệ thống WebGIS đã thực thi rất nhanh, nếu dữ liệu chỉ lưu trữ trong 1 ngày thì không có sự khác biệt, thậm chí còn chậm hơn so với 2 phương pháp còn lại, tuy nhiên, về lâu dài, cụ thể trong 17 ngày đã có sự khác biệt lớn về mặt tốc độ.
c. Về tính chính xác của hệ thống
c.1. Tác vụ lấy giá trị của dữ liệu khí tượng và chất lượng không khí tại một vị trí tọa độ trên bản đồ
Chúng ta sẽ so sánh kết quả từ hệ thống WebGIS với kết quả lấy được lấy từ Phương pháp 1. Lý do chọn Phương pháp 1 là do phương pháp này lưu trữ toàn bộ các ô dữ liệu của ảnh GeoTiff nên kết quả của phương pháp này sẽ hoàn toàn chính xác 100%.
Ở đây, chúng ta xây dựng 1 công cụ nhỏ để kiểm thử, với mỗi lần kiểm thử, đầu vào là tọa độ (longtitude, latitude) được sinh ra hoàn toàn ngẫu nhiên, đầu ra là 2 kết quả dữ liệu tại vị trí (longtitude, latitude), 1 của hệ thống WebGIS và 1 của Phương pháp 1. Công cụ này sẽ test lần lượt với 1, 10, 100, 1000 lần kiểm thử, kết quả đưa ra qua thử nghiệm là hoàn toàn khớp với nhau. Điều đó chứng tỏ hệ thống WebGIS đã đảm bảo tính chính xác của tác vụ này.
Hình 4.1 Công cụ kiểm thử với số lần kiểm thử là 100 lần, độ chính xác là 100%
c.2. Tác vụ lấy giá trị của dữ liệu khí tượng và chất lượng không khí nằm trong 1 polygon hoặc rectangle
Với tác vụ này, chúng ta sẽ so sánh kết quả hệ thống WebGIS với kết quả được lấy từ phần mềm ArcMap, 1 sản phẩm thương mại trong bộ ArcGIS Desktop của hãng ESRI với độ tin cậy cao. Quá trình kiểm thử được tiến hành như sau:
- B1. Vẽ 1 đa giác lên hệ thống WebGIS và lấy kết quả trả về
- B2. Lấy thông tin tọa độ đa giác đó, để tạo thành shapefile để phân tích vào trong ArcMap
- B3. Trong ArcMap:
o Lấy thông tin ảnh GeoTiff, ví dụ ảnh PM2.5, tạo một lưới tọa độ vector - gọi là fishnet, bao gồm các ô và giá trị của ô của ảnh GeoTiff đó
o Đưa shapefile từ bước B2 vào
o Thực hiện phép phân tích không gian qua phép giao giữa lưới tọa độ với shapefile để lấy được kết quả các ô của lưới tọa độ
- B4. So sánh kết quả trả về của B1 với kết quả trả về của B4 để kiểm tra độ chính xác của dữ liệu
Ví dụ, ta xét 1 đa giác dưới đây, sau khi được đưa vào ArcMap sẽ có dạng như sau:
Hình 4.2 Đa giác overlay lên lưới tọa độ trong ArcMap
Với hệ thống WebGIS, trả về số lượng các ô là 1204 ô, với ArcMap, sẽ trả về số lượng 1212 ô, độ chính xác ở đây là 99.34%. Có sự chênh lệch như vậy là do có một số đỉnh của đa giác nằm tại vị trí giao giữa các ô nên ArcMap sẽ lấy toàn bộ 4 ô xung quanh đỉnh đó, còn hệ thống WebGIS sẽ chỉ lấy những ô nằm bên trong khu vực đa giác thôi. Như vậy trong trường hợp này, hệ thống WebGIS sẽ lấy dữ liệu chính xác hơn so với ArcMap.
Hình 4.3 Ô mà ArcMap lấy nhưng hệ thống WebGIS không lấy
Các trường hợp khác thì kết quả lấy dữ liệu của hệ thống WebGIS với ArcMap là hoàn toàn khớp với nhau, tức tỷ lệ chính xác là 100%
4.2.2.2. Đối với việc tổ chức và lưu trữ dữ liệu không gian
Đối với các dịch vụ bản đồ, áp dụng cách thức đã được mô tả trong phần 3.6.1.2, số lượng các dịch vụ bản đồ được sinh ra đảm bảo cho máy chủ ArcGIS Server không bị quá tải cả về mặt bộ nhớ và lưu trữ mà vẫn đưa được những dịch vụ bản đồ mới nhất lên hệ thống.
4.2.2.3. Kết luận
Qua các lần thử nghiệm trên, chúng ta thấy hệ thống WebGIS hiển thị tốt dữ liệu không gian do tận dụng được thế mạnh của raster dataset và mosaic dataset, việc thiết kế bảng giá trị và bảng chỉ số tiết kiệm được vấn đề lưu trữ dữ liệu, giúp giảm dung lượng lưu trữ bảng dữ liệu, từ đó sẽ làm cho hiệu năng khi phân tích dữ liệu sẽ rất nhanh mà vẫn đảm bảo được độ chính xác cao.
4.3. Kết chương
Nội dung của chương này với mục đích quan trọng là đưa ra các phương pháp thử nghiệm, đánh giá về chất lượng của hệ thống WebGIS. Từ đó, cho phép người dùng có cơ hội áp dụng các kiến thức lý thuyết trong vấn đề thực tế và nhận ra nhiều giá trị của việc nghiên cứu khí tượng và chất lượng không khí và khả năng tích hợp của chúng vào trong hệ thống thông tin địa lý GIS. Ngoài ra, các kết quả thu thập được và xây dựng biểu đồ cũng là một nguồn dữ liệu quan trọng để giúp người phát triển hệ thống hiểu được những điểu đã đạt được và những điểm chưa đạt được, cần phải thay đổi, nâng cấp tính năng của hệ thống. Điều đó đảm bảo khi hệ thống được triển khai rộng rãi trong mục đích nghiên cứu, giáo dục sẽ đạt kết quả tốt nhất với người sử dụng.
KẾT LUẬN VÀ ĐỊNH HƯỚNG
Với những tìm hiểu và nghiên cứu về chất lượng không khí, khí tượng, hệ thống thông tin địa lý GIS và công nghệ Web, học viên đã học tập được thêm nhiều kỹ năng, kiến thức về xử lý ảnh khí tượng, thiết kế giao diện người máy logic hợp lý, CSDL không gian, cũng như việc phát triển phần mềm trên nền tảng Web. Hệ thống WebGIS trực quan hóa và phân tích bản đồ chất lượng không khí và khí tượng tại Việt Nam là một công cụ hữu ích, mang tính thực tiễn và tiện dụng cho nhiều đối tượng nghiên cứu về ảnh viễn thám và GIS.
Dù trong quá trình nghiên cứu, xây dựng hệ thống WebGIS học viên đã cố gắng trau dồi, bổ sung thêm nhiều kiến thức trong các lĩnh vực mới, nhưng kết quả vẫn có phần hạn chế và cần bổ sung thêm khi có các hướng mới trong tương lai. Vì vậy, học viên có thể đưa ra những kết luận và định hướng tiếp theo của luận văn như sau:
1. Các kết quả đạt được:
- Nghiên cứu, đánh giá một số hệ thống khí tượng và chất lượng không khí trên bản đồ ở thế giới và Việt Nam
- Nghiên cứu, tìm hiểu về ảnh viễn thám, các loại dữ liệu khí tượng (độ ẩm, nhiệt đồ, áp suất,…), nồng độ bụi PM2.5 trong chất lượng không khí sau khi được tiền xử lý dữ liệu qua mô hình dự báo thời tiết WRF
- Nghiên cứu các công nghệ phục vụ cho việc nghiên cứu, triển khai ứng dụng:
o Các công nghệ về bản đồ: ArsGIS Server, ArcGIS Desktop, ArcGIS API JavaScript
o Các công nghệ về máy chủ, lưu trữ: IIS Server, FTP Server, PostgreSQL/PostGIS
o Ccác công nghệ triển khai ứng dụng: ArcPy, GDAL, .NET MVC, Web API
- Thiết kế và xây dựng thành công hệ thống WebGIS trực quan hóa và phân tích thống kê dữ liệu khí tượng và chất lượng không khí tại Việt Nam, với các đóng góp sau:
o Cài đặt thành công các phương pháp, thuật toán: chuyển đổi tọa độ của bản đồ với màn hình và ngược lại, phương pháp xác định các ô nào trên ảnh raster nằm trong 1 đa giác, thuật toán Bresenham để xác định các ô nào giao với 1 đoạn thẳng trên bản đồ, phép nội suy song tuyến để tính toán ra được các thành phần hướng và vận tốc gió
o Tổ chức cấu trúc dữ liệu theo tệp JSON, cấu trúc dữ liệu bảng giá trị và bảng chỉ số. Đây là một phương án mang tính mới của đề tài, đảm bảo khả năng lưu trữ, hiệu năng, độ chính xác của dữ liệu khi thực hiện hiển thị, phân tích, thống kê dữ liệu trên bản đồ.
o Về mặt chức năng của hệ thống, với vai trò là người dùng thông thường:
▪ Xây dựng nhóm chức năng hiển thị dữ liệu khí tượng và chất lượng không khí: biểu diễn được dữ liệu khí tượng và nồng độ bụi PM25 được cập nhật mới nhất trên bản đồ và theo chuỗi thời gian, cho phép bật/tắt các lớp dữ liệu trên bản đồ
▪ Xây dựng nhóm chức năng phân tích dữ liệu khí tượng và chất lượng không khí: lấy được thông tin dữ liệu tại 1 vị trí trên bản đồ, nằm trên 1 đường/tuyến đường, nằm trong 1 khu vực mà người dùng chọn. Đây cũng là một tính mới của đề tài, giúp mở rộng hơn về tính năng, khắc phục được những tồn tại của các hệ thống WebGIS hiện tại
▪ Xây dựng nhóm chức năng thống kê dữ liệu khí tượng và chất lượng không khí: thống kê giá trị trung bình của dữ liệu nằm trong 1 tỉnh/thành phố hay quận/huyện dưới dạng bảng dữ liệu và biểu đồ theo thời gian
o Về mặt chức năng của hệ thống, với vai trò là người quản trị:
▪ Xây dựng nhóm chức năng tự động xử lý dữ liệu: tự động xử lý và cập nhật dữ liệu thuộc tính, xuất bản dịch vụ bản đồ từ dữ liệu khí tượng và chất lượng không khí được thu thập hàng ngày, đảm bảo người sử dụng hệ thống WebGIS luôn nhận được dữ liệu mới nhất. Đây cũng là một đóng góp có giá trị giúp cho hệ thống WebGIS trở thành một hệ thống hoàn chỉnh.
▪ Xây dựng nhóm chức năng cấu hình hệ thống: có thể cấu hình được từng loại dữ liệu khí tượng và chất lượng không khí nào được hiển thị mặc định lên trên bản đồ khi người xem truy cập vào hệ thống - Đánh giá được chất lượng hệ thống WebGIS, đảm bảo được các vấn đề về mặt lưu trữ, hiệu năng và độ chính xác trong quá trình biểu diễn, phân tích và thống kê dữ liệu
2. Hạn chế
− Phạm vi dữ liệu mới chỉ có trong khu vực Việt Nam
− Các loại dữ liệu sử dụng trong luận văn chưa được phong phú, về khí tượng mới có áp suất, dộ ẩm, nhiệt độ, về chất lượng không khí mới chỉ đưa lên PM2.5
− Việc đánh giá hệ thống cơ bản dựa trên các công cụ kiểm thử, chưa có nhiều người sử dụng thật sự
− Việc phát triển hệ thống WebGIS trên nền tảng ArcGIS về cơ bản là rất tốt nhưng cũng có những vấn đề về bản quyền thwong mại nếu muốn mở rộng quy mô
3. Định hướng phát triển:
Dựa trên các kết quả đạt được của luận văn, các định hướng phát triển tiếp theo trong tương lai bao gồm:
− Tìm hiểu sâu về lĩnh vực khí tượng thủy văn, mô hình dự báo thời tiết (WRF, ECMWF, GFS,…) từ đó có thể chủ động xây dựng các mô hình để tạo ra dữ liệu ảnh