Các thành phần của mơ hình kiến trúc dữ liệu sẽ được mô tả trong các phần tiếp theo dưới đây.
5.4.3.1. Dữ liệu chủ (Master Data)
Dữ liệu chủ của hệ thống quan trắc TN&MT là tập hợp các dữ liệu cốt lõi về quan trắc TN&MT. Là dữ liệu đại diện cho một đối tượng nghiệp vụ; và được chia sẻ và sử dụng phổ biến ở các hệ thống khác nhau.
- Đối tượng quan trắc: Các loại dữ liệu đại diện cho đối tượng quản lý là đối tượng quan trắc như: Khu công nghiệp, doanh nghiệp, cơ sở sản xuất, đối tượng địa lý, môi trường địa chất, tầng chứa nước...;
- Trạm quan trắc: Các loại dữ liệu đại diện cho đối tượng quản lý là trạm quan trắc. Trạm quan trắc bao gồm một số thơng tin chủ yếu như: Tên, vị trí, thuộc đối tượng quan trắc nào, thông số đo, thiết bị đo, camera..;
- Điểm quan trắc: Các loại dữ liệu đại diện cho đối tượng quản lý là điểm quan trắc. Điểm quan trắc phản ánh các yếu tố tự nhiên qua các thông số đo đạc, bao gồm một số thơng tin chủ yếu như: tên, vị trí, cơng trình quan trắc, thuộc đối tượng quan trắc nào..;
- Bộ thông số đo: Là các bộ thông số được quy định bởi bộ tiêu chuẩn QCVN áp dụng cho các mẫu đo quan trắc khác nhau;
- Kết quả quan trắc: Các loại dữ liệu về kết quả quan trắc như: Kết quả đo trực tiếp hay định kỳ; video, hình ảnh của Camera;
5.4.3.2. Siêu dữ liệu (Metadata)
Là thông tin để định nghĩa các thành phần của dữ liệu khác, bao gồm: - Nghiệp vụ: Là các siêu dữ liệu mơ tả các dữ liệu nghiệp vụ;
- Quy trình: Là dữ liệu định nghĩa và mơ tả đặc điểm của các phần tử hệ thống khác, ví dụ như: quy trình, quy tắc nghiệp vụ, chương trình, cơng việc, công cụ, ..;
- Kỹ thuật: Là các siêu dữ liệu được sử dụng nội bộ, bởi các nhân viên phát triển, vận hành hệ thống thông tin.
5.4.3.3. Dữ liệu tham chiếu (Reference data)
Là dữ liệu được sử dụng để tham chiếu phân loại dữ liệu khác, bao gồm: - DL tham chiếu nội bộ: Các bộ dữ liệu tham chiếu TN&MT được dùng cho nội bộ của các lĩnh vực quan trắc bao gồm: Nguồn dữ liệu; Danh mục ngôn ngữ; Danh mục lĩnh vực; Danh mục hình thức khai thác; Danh mục đơn vị/tổ chức; Danh mục trạng thái; Danh mục vùng kinh tế; Danh mục loại dữ liệu; Danh mục tham số tính AQI-WQI; các dữ liệu tham chiếu nội bộ khác.
- DL tham chiếu ngành: Các bộ dữ liệu tham chiếu dùng trong phạm vi ngành quan trắc TN&MT bao gồm: Giấy phép; Thông số đo; Đơn vị đo; Bộ thông số đo; dữ liệu tham chiếu khác;
- DL tham chiếu QG: Các bộ dữ liệu dùng tham chiếu quan trắc TN&MT dùng trong quốc gia bao gồm: QCKTQG về mơi trường; QCKTQG về khí tượng thuỷ văn, dự báo lũ; Quy chuẩn kỹ thuật quốc gia về chất lượng nước ngầm; QCVN về thăm dị địa chất, khống sản, khai thác mỏ; Nền địa lý; Ảnh viễn thám.
5.4.3.4. Dữ liệu giao dịch (Transaction data)
Transaction Data là dạng dữ liệu động, được sử dụng bởi các cơ quan cụ thể và liên quan đến các giao dịch. Mức độ liên quan của nó được giới hạn trong một khoảng thời gian nhất định. Bao gồm:
- Dữ liệu chuyên ngành: Là dữ liệu quan trắc đặc thù của các lĩnh vực quan trắc bao gồm: Đất đai; Mơi trường; Tài ngun nước; Viễn thám; Khí tượng thủy văn; Địa chất và khoáng sản; Biển và hải đảo; Biến đổi khí hậu. Các dữ liệu được sinh ra trong quá trình hoạt động quan trắc;
- Dữ liệu người dùng và cổng con: Là dữ liệu được sinh ra trong quá trình hoạt động của các nghiệp vụ quản lý bao gồm: Quản lý người dùng, quyền người dùng; Cấu hình cổng con; Tổng hợp báo cáo người dùng và cổng con. Mỗi cổng con được hiểu bao gồm cả các không gian làm việc của từng đối tượng, có thể là đơn vị Cục, vụ, sở hay phịng. Từng đối tượng tích hợp với hệ thống quản lý dữ liệu là Tích hợp hay sử dụng trực tiếp trên nền tảng dữ liệu quan trắc sẽ được cấu hình khác nhau nên sẽ tạo ra dữ liệu và phạm vi chia sẻ khác nhau;
- Dữ liệu Danh mục nguồn: Là các các dữ liệu được sinh ra trong quá trình thực hiện quản lý các nguồn dữ liệu bao gồm: thông tin nguồn dữ liệu, các bộ danh sách về nguồn dữ liệu quan trắc, các thông tin về truyền/nhận dữ liệu, các thông tin thực hiện quản lý lưu trữ dữ liệu và các dữ liệu được sinh ra sau q trình phân tích truyền nhận dữ liệu;
- Dữ liệu phân tích và xử lý: Là dữ liệu được sinh ra khi thực hiện các nghiệp vụ định nghĩa, phân loại, trích dẫn, xử lý các loại dữ liệu (Danh sách dữ liệu). các dữ liệu thành phần bao gồm: Danh sách loại dữ liệu; dữ liệu được xử lý; thông tin lưu trữ dữ liệu; Dữ liệu được phân tích, trích dẫn, trao đổi và xử lý (ETL);
- Dữ liệu giao dịch về khai thác, chia sẻ: Là dữ liệu sinh ra trong quá trình quản lý yêu cầu, quản lý dịch vụ cấu hình và chia sẻ dữ liệu. Các thành phần dữ liệu bao gồm: Dữ liệu quản lý yêu cầu dịch vụ, dữ liệu thông tin về hợp đồng thỏa thuận (thỏa thuận về cung cấp, trao đổi và chia sẻ nguồn dữ liệu) và các vấn đề phát sinh trong trao đổi dữ liệu; Các trạng thái dịch vụ dữ liệu; Dữ liệu thống kê về kết nối chia sẻ giữa các kênh/cổng/không gian làm việc;
- Dữ liệu nội dung và hoạt động: Là dữ liệu được sinh ra khi các đơn vị thực hiện quản lý các kênh thông tin bao gồm: Dữ liệu công bố thông tin trên các cổng; Dữ liệu quản lý trao đổi thông tin về nội dung công bố; Dữ liệu quản lý các hoạt động của các đơn vị. Dữ liệu về thông tin các kho lưu trữ ứng dụng (Appstore),Dữ liệu về HT quản lý dữ liệu mở (CKAN), Các thông tin quản lý các thiết bị quan trắc;
- Dữ liệu dịch vụ ứng dụng hệ thống: Là các dữ liệu cấu hình và hoạt động của các hệ thống bao gồm: Dữ liệu hệ thống LGSP; Dữ liệu hệ thống quản lý nội dung (CMS-Content Management System);Dữ liệu hệ thống Cộng tác ( CPS Collaboration and Productivity System);Dữ liệu hệ thống; Dữ liệu hệ thống thanh toán điện tử ePayment;Dữ liệu hệ thống quản lý định danh số ( ID management); Dữ liệu hệ thống Lưu trữ số (Digital Archive System);
- Dữ liệu nền tảng tích hợp ứng dụng: Là dữ liệu phục vụ cấu hình và hoạt động của các hệ thống nền tảng bao gồm: SSO và IDP; API Gateway; API Service; IDM; Nền tảng tích hợp chia sẻ LGSP;
- Dữ liệu nền tảng tích hợp: Là dữ liệu phục vụ cấu hình và hoạt động của các nền tảng tích hợp dữ liệu bao gồm: Distributed messaging system; Dữ liệu phi cấu trúc; ETL dữ liệu; Kho dữ liệu phân tích tổng hợp; Thiết kế dashboard; Dữ liệu chủ; Data lake platform;
- Dữ liệu nền tảng phát triển ứng dụng: Là dữ liệu phục vụ cấu hình và hoạt động của các nền tảng phát triển ứng dụng bao gồm: CMS; Sub-portal; Workflow; Portal.
5.4.3.5. Kho dữ liệu
Kho dữ liệu là kho dùng để lưu trữ các dữ liệu gốc được truyền về từ các hệ thống quan trắc TN&MT. Các dữ liệu được chuẩn hóa và dữ liệu chuyên đề cũng sẽ được lưu trữ tại đây.
- Dữ liệu khởi tạo: Dữ liệu sơ cấp, thứ cấp sẽ được lưu trữ ở đây để chờ xử lý. Cấu trúc của dữ liệu ở lớp này sẽ tương ứng 1-1 với cấu trúc của dữ liệu tại nguồn. Các thành phần bao gồm: Dữ liệu quan trắc lĩnh vực Môi trường khởi tạo; Dữ liệu quan trắc lĩnh vực Khí tượng thủy văn khởi tạo; Dữ liệu quan trắc lĩnh vực Tài nguyên nước khởi tạo. Dữ liệu gốc được khởi tạo từ các lĩnh vực khác;
- Dữ liệu chuẩn hóa: Dữ liệu sau khi được xử lý, chuẩn hóa sẽ được lưu trữ tại lớp này. Các dữ liệu thuộc lớp này có thể được sử dụng cho mục đích chia sẻ, khai thác, phân tích. Các dữ liệu chuẩn hóa bao gồm: Dữ liệu quan trắc lĩnh vực Môi trường đã chuẩn hóa; Dữ liệu quan trắc lĩnh vực Khí tượng thủy văn đã chuẩn hóa; Dữ liệu quan trắc lĩnh vực Tài nguyên nước đã chuẩn hóa; dữ liệu lĩnh vực quan trắc được chuẩn hóa khác;
- Dữ liệu chuyên đề: Lưu trữ dữ liệu đã được xử lý và chuẩn hóa. Được thiết kế phù hợp cho mục đích phân tích, xuất báo cáo, dashboard. Các dữ liệu bao gồm: Dữ liệu chuyên đề quan trắc lĩnh vực Môi trường; Dữ liệu chuyên đề quan trắc lĩnh vực Khí tượng thủy văn; Dữ liệu chuyên đề quan trắc lĩnh vực Tài nguyên nước, các dữ liệu chuyên đề thuộc các lĩnh vực quan trắc khác.
5.4.3.6. Kho dữ liệu mở
Là kho chứa tập hợp các tập dữ liệu (data set) mở. Dữ liệu này sẽ được chia sẻ công khai trên cổng dữ liệu mở. Các tập dữ liệu mở bao gồm: Đối tượng quan trắc; Trạm quan trắc; Điểm quan trắc; Kết quả quan trắc; Metadata; Dữ liệu tham chiếu; Dữ liệu dự báo/cảnh báo; Dữ liệu thống kê/tổng hợp; Dữ liệu chuyên đề. Các dữ liệu mở sẽ được cập nhật thường xuyên theo các quy định cả từng lĩnh vực quan trắc.
5.4.4. Danh mục dữ liệu
Bảng sau liệt kê danh sách dữ liệu chính của hệ thống:
TT Nhóm / loại Thành phần chi tiết Mô tả
1. Dữ liệu chủ (Master data)
Đây là một trong 6 CSDL của kiến trúc dữ liệu quan trắc TN&MT. CSDL "Dữ liệu chủ" sẽ chứa các "dữ liệu chủ" của hệ thống. Dữ liệu chủ của hệ thống quan trắc TN&MT là tập hợp các dữ liệu cốt lõi về quan trắc TN&MT, bao gồm các dữ liệu người dùng và các dữ liệu lĩnh vực quan trắc.
Để xác định dữ liệu chủ cần dựa theo một số đặc điểm:
- Đại diện cho một đối tượng nghiệp vụ; - Được chia sẻ và sử dụng phổ biến ở các hệ thống khác nhau.
Để dễ dàng quản lý, dữ liệu chủ sẽ được phân loại thành các nhóm dữ liệu sau:
1.1 Đối tượng
quan trắc
Các loại dữ liệu đại diện cho đối tượng quản lý là đối tượng quan trắc như: Khu công nghiệp, doanh nghiệp, cơ sở sản xuất, đối tượng địa lý...
1.2 Trạm quan
trắc
Các loại dữ liệu đại diện cho đối tượng quản lý là trạm quan trắc. Trạm quan trắc bao gồm một số thông tin chủ yếu như: Tên, vị trí, thuộc đối tượng quan trắc nào, thông số đo, thiết bị đo, camera...
1.3 Điểm quan
trắc
Các loại dữ liệu đại diện cho đối tượng quản lý là điểm quan trắc. Điểm quan trắc bao gồm một số thông tin chủ yếu như: tên, vị trí, cơng trình quan trắc, thuộc đối tượng quan trắc nào, thông số đo...
1.4 Kết quả quan
trắc
Các loại dữ liệu về kết quả quan trắc như: Kết quả đo trực tiếp hay định kỳ; video, hình ảnh của Camera
2. Siêu dữ liệu (Metadata)
Siêu dữ liệu là "dữ liệu cung cấp thơng tin về dữ liệu khác". Nó được sử dụng để tóm tắt thơng tin cơ bản về dữ liệu có thể giúp theo dõi và làm việc với dữ liệu cụ thể dễ dàng hơn.
Ví dụ: một ảnh kỹ thuật số có thể bao gồm siêu dữ liệu mơ tả kích thước của hình ảnh, độ sâu màu, độ phân giải, thời điểm nó được tạo, tốc độ cửa trập và các dữ liệu khác. Siêu dữ liệu có thể được tạo bằng tay hoặc tự động. Các siêu dữ liệu được tạo tự động thì thường chỉ là các thông tin cơ bản của một dữ liệu khác. Ví dụ như kích thước, địa điểm, ngày tạo, ...
Trong kiến trúc dữ liệu quan trắc TN&MT, chúng ta chia thành 3 loại siêu dữ liệu sau:
2.1 Nghiệp vụ Là các siêu dữ liệu mô tả các dữ liệu nghiệp vụ.
2.2 Quy trình
Là dữ liệu định nghĩa và mô tả đặc điểm của các phần tử hệ thống khác, ví dụ như: quy trình, quy tắc nghiệp vụ, chương trình, cơng việc, cơng cụ, ...
2.3 Kỹ thuật
Là các siêu dữ liệu được sử dụng nội bộ, bởi các nhân viên phát triển, vận hành hệ thống thông tin. 3. Dữ liệu tham chiếu (Reference data)
Dữ liệu tham chiếu là một tập hợp dữ liệu được phép sử dụng để phân loại hoặc chia loại. Các ví dụ của dữ liệu tham chiếu là mã quốc gia, mã đơn vị hành chính, mã bưu chính, mã các loại tiền, mã các đơn vị đo, ... Tập dữ liệu tham chiếu đôi khi được gọi cách khác là dữ liệu "từ vựng được kiểm soát" hoặc dữ liệu "tra cứu".
Trong kiến trúc dữ liệu quan trắc TN&MT, chúng ta chia dữ liệu tham chiếu thành các loại sau:
3.1 DL tham
chiếu nội bộ
Các bộ dữ liệu tham chiếu TN&MT được dùng cho nội bộ của các lĩnh vực quan trắc bao gồm: Danh mục ngôn ngữ; Danh mục lĩnh vực; Danh mục hình thức khai thác; Danh mục đơn vị/tổ chức; Danh mục trạng thái; Danh mục vùng kinh tế; Danh mục loại dữ liệu; Danh mục tham số tính AQI-WQI; các dữ liệu tham chiếu nội bộ khác
3.2 DL tham
chiếu ngành
Các bộ dữ liệu tham chiếu dùng trong phạm vi ngành quan trắc TN&MT bao gồm: Giấy phép; Thông số đo; Đơn vị đo; Bộ thông số đo; dữ liệu tham chiếu khác
3.3 DL tham
chiếu QG
Các bộ dữ liệu dùng tham chiếu quan trắc TN&MT dùng trong quốc gia bao gồm: QCKTQG về mơi trường; QCKTQG về khí tượng thuỷ văn, dự báo lũ; Quy chuẩn kỹ thuật quốc gia về chất lượng nước ngầm; QCVN về thăm dị địa chất, khống sản, khai thác mỏ; Nền địa lý; Ảnh viễn thám 4. Dữ liệu giao dịch (Transaction data)
Là dữ liệu được sinh ra trong quá trình hoạt động của các thành phần/phần mềm trong HTTT quan trắc TN&MT. Ví dự dữ liệu về một giao dịch khi người dùng thực hiện chia sẻ dữ liệu.
Mỗi một phần mềm trong hệ thống có thể có một hoặc nhiều dữ liệu giao dịch của riêng mình.
4.1
Dữ liệu chuyên ngành
Là dữ liệu quan trắc đặc thù của các lĩnh vực quan trắc bao gồm: Đất đai; Môi trường; Tài nguyên nước; Viễn thám; Khí tượng thủy văn; Địa chất và khoáng sản; Biển và hải đảo; Biến đổi khí hậu. Các dữ liệu được sinh ra trong quá trình hoạt động quan trắc
4.2
Dữ liệu người dùng và cổng con
Là dữ liệu được sinh ra trong quá trình hoạt động của các nghiệp vụ quản lý bao gồm: Quản lý người dùng, quyền người dùng; Cấu hình cổng con; Tổng hợp báo cáo người dùng và cổng con. Mỗi cổng con được hiểu bao gồm cả các không gian làm việc của từng đối tượng, có thể là đơn vị Cục, vụ, sở hay phịng. Từng đối tượng tích hợp với hệ thống quản lý dữ liệu là Tích hợp hay sử dụng trực tiếp trên nền tảng dữ liệu quan trắc sẽ được cấu hình khác nhau nên sẽ tạo ra dữ liệu và phạm vi chia sẻ khác nhau
4.3 Dữ liệu Danh
mục nguồn
Là các các dữ liệu được sinh ra trong quá trình thực hiện quản lý các nguồn dữ liệu bao gồm: thông tin nguồn dữ liệu, các bộ danh sách về nguồn dữ liệu quan trắc, các thông tin về truyền/nhận dữ liệu, các thông tin thực hiện quản lý lưu trữ dữ liệu và các dữ liệu được sinh ra sau q trình phân tích truyền nhận dữ liệu
4.4 Dữ liệu phân
tích và xử lý
Là dữ liệu được sinh ra khi thực hiện các nghiệp vụ định nghĩa, phân loại, trích dẫn, xử lý các loại dữ liệu (Danh sách dữ liệu). các dữ liệu thành phần bao gồm: Danh sách loại dữ liệu; dữ liệu được xử lý; thông tin lưu trữ dữ liệu; Dữ liệu được phân tích, trích dẫn, trao đổi và xử lý (ETL).
4.5
Dữ liệu giao dịch về khai thác, chia sẻ
Là dữ liệu sinh ra trong quá trình quản lý yêu cầu, quản lý dịch vụ cấu hình và chia sẻ dữ