Dữ liệu mở là tập hợp các tập dữ liệu cho phép người dùng khai thác, sử dụng. Tuy nhiên, nội dung thông tin dữ liệu được chia sẻ phụ thuộc vào yêu cầu quản và nhu cầu khai thác của người sử dụng. Dữ liệu này bao gồm: Đối tượng quan trắc; Trạm quan trắc; Điểm quan trắc; Kết quả quan trắc; Siêu dữ liệu; Dữ liệu dự báo, cảnh báo; Dữ liệu thống kê, tổng hợp. (Các thành phần thuộc dữ liệu mở đã được mô tả trong các nội dung bên trên)
6.4. Kho dữ liệu về quan trắc TN&MT 6.4.1. Mục tiêu 6.4.1. Mục tiêu
Trên thực tế, các CSDL quan trắc TN&MT đang được quản lý rời rạc tại các lĩnh vực, bộ, ngành, địa phương theo mục đích sử dụng và cấp quản lý. Do vậy, việc quản lý tập trung, thống nhất là thách thức từ chủ trương, định hướng, quan niệm đến khả năng về hạ tầng kỹ thuật công nghệ. Một trong các quan điểm của Đề án là “Hệ cơ sở dữ liệu quốc gia về quan trắc TN&MT là một hệ thống
hiện đại thống nhất, thu thập, tập hợp, quản lý đầy đủ các nguồn thông tin quan trắc, liên tục được cập nhật, được kết nối và chia sẻ thông tin từ các bộ, ngành và địa phương với sự quản lý của Bộ TN&MT”.
Trong thời gian tới, tất cả dữ liệu gốc về quan trắc TN&MT sẽ được thu thập, thu nhận quản lý tập trung theo hình thức kho dữ liệu, phục vụ:
- Định hướng lâu dài về chính phủ số trên cơ sở nền tảng là thông tin, dữ liệu.
- Dữ liệu quan trắc gốc phải được đảm bảo thu thập đầy đủ, được lưu giữ lâu dài, không bị mất mát, sửa đổi; Các dữ liệu thứ phát (sao chép, dẫn xuất từ dữ liệu gốc) đều được đảm bảo khi cần thiết có thể đối sánh dữ liệu gốc;
- Bảo đảm cung cấp, chia sẻ và khai thác thông tin đầy đủ, kịp thời, thuận tiện đáp ứng yêu cầu của các bộ, ngành, địa phương phục vụ phát triển kinh tế - xã hội, an ninh, quốc phịng; kết nối, liên thơng với khu vực và quốc tế;
- Là cơ sở cho công tác phân tích, xử lý, tổng hợp tạo ra các sản phẩm, dịch vụ phục vụ quản lý nhà nước, chuyên môn, nghiên cứu khoa học phục vụ phát triển chung của ngành TN&MT.
6.4.2. Nguyên tắc đối với dữ liệu và thông tin
Nguyên tắc kiến trúc là các định nghĩa mức cao về hệ thống các giá trị cơ bản nhằm hướng dẫn quy trình ra các quyết định về CNTT, các nguyên tắc này cũng là cơ sở xây dựng kiến trúc CNTT, các chính sách phát triển CNTT và các tiêu chuẩn trong ứng dụng CNTT.
Các nguyên tắc của kiến trúc xác định các quy tắc chung để sử dụng và triển khai tất cả nguồn lực và tài sản cơng nghệ thơng tin trong tồn tổ chức. Các nguyên tắc này phản ánh sự đồng thuận của tổ chức, tạo thành cơ sở cho các quyết định về CNTT trong tương lai.
Mỗi nguyên tắc kiến trúc đều phải tập trung chủ yếu vào việc thực hiện các mục tiêu nghiệp vụ và đưa ra các định hướng triển khai kiến trúc cốt lõi.
6.4.2.1. Nguyên tắc thông tin
Nguyên tắc 1. Thông tin được coi là tài sản
Thông tin được xem là nguồn lực có giá trị của tổ chức, có giá trị thực tế và có thể đo lường được. Điều này có nghĩa là chúng ta phải trang bị nhận thức cho mọi bộ phận của tổ chức hiểu được mối quan hệ giữa giá trị, sự chia sẻ và khả năng truy cập của thông tin.
Nguyên tắc 2. Thông tin được chia sẻ
Tổ chức có rất nhiều thơng tin, nhưng được lưu trữ ở nhiều nơi, bởi nhiều bộ phận và bằng nhiều cách thức, vì vậy thơng tin cần được chia sẻ để giúp các bên hoạt động và ra quyết định tốt hơn.
Nguyên tắc 3. Thơng tin có thể truy cập
Thơng tin có thể truy cập để người dùng thực hiện các nhiệm vụ tương ứng của họ. Việc truy cập thông tin không hạn chế làm tăng hiệu lực và hiệu quả của quá trình ra quyết định, giảm thời gian phản hồi khi có các u cầu về thơng tin và cung cấp dịch vụ. Thời gian của cán bộ được tiết kiệm và tính nhất qn của thơng tin được tăng cường.
Nguyên tắc 4. Thuật ngữ và dữ liệu dùng chung phải được định nghĩa và phổ biến
Dữ liệu dùng chung phải được định nghĩa một cách nhất quán trong mơ hình tồn thể hệ thống, và các định nghĩa về các dữ liệu này phải dễ hiểu và mọi người đều có thể truy cập được. Những định nghĩa khó hiểu hoặc mơ hồ phải được thay thế bằng những định nghĩa được hiểu và chấp nhận bởi toàn bộ tổ chức.
6.4.2.2. Nguyên tắc nghiệp vụ và kỹ thuật
Nguyên tắc 5: Nguồn dữ liệu có căn cứ
Tất cả các quy trình đều lấy dữ liệu từ những nguồn có căn cứ - nền tảng chia sẻ dữ liệu được tích hợp tồn diện cho tồn tổ chức ("nguồn dữ liệu tốt nhất").
Nguyên tắc 6: Ghi nhận tại nguồn
Trong tất cả các quá trình ghi nhận và chia sẻ dữ liệu cần thiết, quy trình này cần được thực hiện đầu tiên tại nguồn. Dữ liệu được thu thập tại nguồn cần có độ chi tiết phù hợp và có các thuộc tính cho phép tính tốn và báo cáo từ dưới lên.
Nguyên tắc 7: Thay đổi tại nguồn
Mọi thay đổi bắt buộc đối với dữ liệu cần được thực hiện tại nguồn và sau đó được truyền từ trên xuống.
Nguyên tắc 8: Điều chỉnh
Các điều chỉnh bên ngoài hệ thống nguồn chỉ nên được thực hiện trong những trường hợp ngoại lệ khi các hệ thống nguồn không thể sửa chữa được trong khoảng thời gian yêu cầu. Các điều chỉnh cần được kiểm tra và được thay đổi vĩnh viễn trong các hệ thống nguồn (nếu có thể).
Nguyên tắc 9: Quy trình xuyên suốt và ngoại lệ
Cần có một quy trình xun suốt tồn diện và hiệu quả với sự can thiệp thủ công tối thiểu. Các quy trình phải được thiết kế sao cho các trường hợp ngoại lệ được nhấn mạnh.
Nguyên tắc 10: Giảm thiểu việc điều chỉnh dữ liệu
Tính tồn vẹn và chất lượng của dữ liệu cần đạt được thông qua các những điều khiển ngăn ngừa nhúng hơn là các việc điều chỉnh các ngoại lệ.
Nguyên tắc 11: Dữ liệu chủ và dữ liệu tham chiếu
Cần có sẵn các cơng cụ cho quyền truy cập đầy đủ vào các chức năng vận hành tổ chức của người dùng / người quản lý dữ liệu và những tên miền đã được xác định (ví dụ: khách hàng, thơng tin liên hệ, sản phẩm…).
Nguyên tắc 12: Hài hòa dữ liệu
Những miền Dữ liệu chủ cũng như các miền dữ liệu giao dịch cần được hài hịa (ví dụ: thanh tốn, ủy quyền) nếu dữ liệu có nguồn gốc.
Kho dữ liệu theo miền chức năng cần được phân bổ theo báo cáo, các mẫu phân tích lặp lại và theo các yêu cầu xử lý, đồng thời các thuộc tính phân bổ khác cũng cần được duy trình trong mơi trường thượng nguồn.
Ngun tắc 14: Minh bạch quyền sở hữu
Mỗi nguồn dữ liệu cần được xác định chủ sở hữu rõ ràng. Nguyên tắc 15: Tính linh hoạt
Kiến trúc nền tảng cần được thiết kế linh hoạt và có tính mở cho phép thu nhận các loại dữ liệu khác trong tương lai.
Nguyên tắc 16: Giảm thiểu tùy chỉnh
Kiến trúc nền tảng dữ liệu nên được triển khai phù hợp với xu hướng công nghệ và thông lệ quốc tế nhằm giảm thiểu sự tùy chỉnh trong tương lai.
Nguyên tắc 17: Tái sử dụng
Kiến trúc nền tảng dữ liệu nên xem xét việc tận dụng hạ tầng CNTT mà Bộ đã triển khai.
Nguyên tắc 18: Tiêu chuẩn công nghệ
Tất cả các ứng dụng cần phù hợp với các tiêu chuẩn công nghệ và an ninh. Nguyên tắc 19: Hỗ trợ thông tin tối đa cho người sử dụng cuối.
6.4.3. Phương pháp luận
Phương pháp luận áp dụng để đề xuất được mơ hình kho dữ liệu về quan trắc TN&MT gồm 3 công đoạn như sau:
- Trên cơ sở định nghĩa và yêu cầu của kho dữ liệu về quan trắc TN&MT, đối chiếu các yêu cầu đó với kết quả khảo sát hiện trạng để nhận định rõ các vấn đề cơ bản cần giải quyết.
- Tham khảo các phương án thường được áp dụng về các công nghệ Hệ thống thông tin quản lý và Thông minh nghiệp vụ (Management Information System and Business Intelligence) để có thể đề xuất mơ hình thích hợp.
- Theo kết quả tham khảo so sánh các phương án thường được sử dụng và kết quả khảo sát hiện trạng và các vấn đề cơ bản cần giải quyết, định hướng xây dựng mơ hình tổng thể kho dữ liệu về quan trắc TN&MT.
6.4.4. Phân tích hiện trạng và nhu cầu
Trên cơ sở định nghĩa và yêu cầu của kho dữ liệu về quan trắc TN&MT và đối chiếu với Báo cáo Khảo sát đánh giá hiện trạng, mơ hình dự kiến của kho dữ liệu về quan trắc TN&MT cần phải đáp ứng thỏa đáng các vấn đề cơ bản cần phải giải quyết sau đây.
a) Các yêu cầu cơ bản về điều hành và quy trình nhập dữ liệu theo một mơ thức chuẩn hóa các định nghĩa dữ liệu để lưu trữ và sử dụng.
b) Các yêu cầu cơ bản về tích hợp dữ liệu đến từ nhiều nguồn khác nhau vào một cơ sở lưu trữ tổng hợp để có thể chỉnh sửa, truy cập, và phân loại nhanh
chóng. Cơ sở tích hợp dữ liệu phải được vận hành thỏa đáng để tiếp nhận dữ liệu được thường xuyên cập nhật theo thời gian.
c) Các yêu cầu cơ bản về tổng hợp dữ liệu đến từ nhiều nguồn khác nhau thành những CSDL chuyên đề để theo đó, các u cầu về truy cập, phân tích, báo cáo sử dụng các dữ liệu đến từ nhiều nguồn khác nhau phải được đáp ứng nhanh chóng và chính xác.
d) Các u cầu cơ bản về phân tích dữ liệu và trình bầy/truy cập kết quả phân tích dữ liệu hiển thị qua các báo cáo, dashboard để người sử dụng có thể tiếp cận nhanh chóng qua đường truyền mạng Internet.
e) Các yêu cầu về nền tảng (platform) và hạ tầng để phục vụ các yêu cầu về lưu trữ dữ liệu, tích hợp dữ liệu, tổng hợp và phân tích dữ liệu, và các phương pháp hiển thị kết quả phân tích dữ liệu, báo cáo đến người sử dụng.
Như thế, các vấn đề cơ bản gộp lại gồm 3 lĩnh vực chính là:
1) Giải quyết vấn đề thu nhập dữ liệu trên cơ sở một nền tảng chung về định nghĩa dữ liệu và quy trình thu nhập dữ liệu;
2) Dữ liệu thu nhập cần được tổ chức theo các quy trình tích hợp, rồi tổng hợp trên một nền tảng CSDL cho phép việc lưu trữ, truy cập, sử dụng để phân tích và làm các báo cáo định kỳ, và các truy vấn đột xuất nhanh chóng, dễ dàng;
3) Muốn thế CSDL đó phải được triển khai trên một nền tảng cơng nghệ hiện đại cho phép lưu trữ các loại dữ liệu đa dạng, và các phương tiện tích hợp và truy cập nhanh chóng các kho dữ liệu lớn, đa chiều để phục vụ các nhóm người sử dụng khác nhau với các nhu cầu truy cập và tìm hiểu thơng tin khác nhau.
Hiện trạng và mục đích cần đạt được thể hiện tóm tắt trong hai hình vẽ sau đây.