Các thành phần của mơ hình kiến trúc dữ liệu sẽ được mơ tả trong các phần tiếp theo dưới đây.
5.5.3.1. Dịch vụ ứng dụng ra phía ngồi
Là thể hiện của Dịch vụ hóa cho lớp ứng dụng. Lớp Dịch vụ ứng dụng ra phía ngoại tiếp nhận các yêu cầu xử lý thông tin từ Nghiệp vụ, gửi các yêu cầu xử lý cho các ứng dụng, tiếp nhận lại kết quả Ứng dụng xử lý và trả lại thông tin cho nghiệp vụ.
Dịch vụ ứng dụng ra phía ngồi gồm các dịch vụ:
- Cổng công bố: Là dịch vụ công bố các thông tin về dữ liệu quan trắc trên các kênh thông tin;
- Đăng ký người dùng: Là dịch vụ đăng ký sử dụng tài nguyên bao gồm: Cổng dữ liệu, truy cập, trao đổi dữ liệu;
- Cổng con: Là thành phần của cổng dịch vụ, cấp phát cho một đối tượng cụ thể để sử dụng quản lý thông tin dữ liệu của chính đối tượng đó;
- QL Truyền dữ liệu sơ cấp: Là dịch vụ quản lý truyền dữ liệu chưa được làm sạch từ các đơn vị cung cấp dữ liệu;
- QL Truyền dữ liệu thứ cấp: Là dịch vụ quản lý truyền dữ liệu đã được làm sạch từ các đơn vị cung cấp dữ liệu;
- Quản lý dữ liệu: Là dịch vụ quản lý các thành phần dữ liệu chung cho các ứng dụng, dịch vụ;
- ETL dữ liệu: Là viết tắt của thuật ngữ Extract – Load – Transform, thực hiện chuyển đổi dữ liệu thô từ một nguồn trong hệ thống đến một hệ thống dữ liệu khác ;
- Xử lý dữ liệu: Là dịch vụ để người dùng thực hiện xử lý dữ liệu;
- Thiết lập mơ hình phân tích dữ liệu: Là dịch vụ thực hiện thiết lập các mơ hình phân tích dữ liệu, dự báo, cảnh báo;
- Giám sát, dự báo, cảnh báo: Là dịch vụ thực hiện giám sát quá trình thu nhận dữ liệu, hoạt động hệ thống, đưa ra các dự báo, cảnh báo dựa trên dữ liệu;
- Thiết kế thông báo, cảnh báo : Là dịch vụ thực hiện thiết kế và quản lý các thơng báo, cảnh báo và các hình thức nhận thơng báo, cảnh báo;
- Giao dịch dữ liệu: Là dịch vụ thực hiện việc trao đổi thông tin giữa người dùng/hệ thống;
- QL dữ liệu mở: Cung cấp các dịch vụ dữ liệu mở như khai báo thông tin, định nghĩa dữ liệu, quản lý phạm vi khai thác và chia sẻ dữ liệu;
- Dịch vụ cộng tác: Cung cấp các dịch vụ cộng tác, hoạt động cộng đồng cho cá nhân/tổ chức;
- Trao đổi thông tin: Là dịch vụ hỗ trợ trao đổi thông tin giữa các tổ chức/cá nhân với nhau, trao đổi giữa các tổ chức/cá nhân với quản trị hệ thống, gửi phản ánh, kiến nghị và hỏi đáp;
- Dịch vụ phân phối ứng dụng: Cung cấp dịch vụ đăng ký các ứng dụng, cung cấp tài nguyên và sử dụng ứng dụng;
- Thống kê báo cáo: Là dịch vụ thống kê báo cáo về hoạt động, dữ liệu trong hệ thống;
- Hoạt động quan trắc chuyên ngành: Là dịch vụ hỗ trợ xử lý hoạt động quan trắc đặc thù.
5.5.3.2. Các thành phần dịch vụ và ứng dụng
Là các nhóm, các module cụ thể của các ứng dụng. Tiếp nhận yêu cầu xử lý từ lớp Dịch vụ ứng dụng. Trao đổi, Yêu cầu với tàng dữ liệu để xử lý.
Các thành phần dịch vụ và ứng dụng bao gồm:
a) Quản lý người dùng và cổng con: Quản lý các ứng dụng cung cấp cho người dùng hệ thống có thể tương tác và sử dụng.
- Đăng ký tài khoản: Quản lý Danh sách các tài khoản đăng ký của người dùng;
- Phân quyền hệ thống: Phân quyền người dùng trong hệ thống; - Tra cứu thông tin: Dịch vụ tra cứu thông tin trong hệ thống;
- Quản lý hỏi đáp: Dịch vụ Quản lý Danh sách câu hỏi từ người dùng và câu trả lời từ cán bộ quản trị;
- Quản lý tài khoản: Dịch vụ Quản lý thông tin của các tài khoản người dùng trong hệ thống;
- Quản lý cổng con: Dịch vụ thực hiện quản lý không gian làm việc (workspace) riêng của cá nhân/tổ chức theo vai trò, quyền hạn được hệ thống cung cấp, bao gồm: chức năng, dữ liệu, và các tùy chọn riêng (cá nhân hoá) của mỗi người dùng.
b) Quản lý thu nhận dữ liệu quan trắc: Quản lý các thông tin chi tiết của các nguồn cung cấp dữ liệu liên kết với hệ thống.
- Quản lý thiết bị quan trắc: Quản lý các thiết bị quan trắc từ các trạm quan trắc;
- Quản lý Danh sách nguồn dữ liệu: Quản lý Danh sách các nguồn cung cấp dữ liệu đã tích hợp với hệ thống;
- Quản lý truyền / nhận dữ liệu: Quản lý quá trình truyền và nhận dữ liệu từ giữa các hệ thống với nhau;
- Báo cáo phân tích truyền nhận dữ liệu: Cung cấp bản báo cáo phân tích cho việc truyền và nhận dữ liệu giữa các hệ thống.
c) Quản lý phân tích, xử lý dữ liệu: Quản lý quy trình phân tích, xử lý các dữ liệu thu thập để phục vụ cho các mục đích khác nhau.
- Quản lý Danh sách dữ liệu: Quản lý Danh sách các dữ liệu đang có trong hệ thống;
- ETL dữ liệu: Quản lý việc trích xuất, chuyển đổi, và tải dữ liệu từ nguồn về hệ thống;;
- Cấu hình Xử lý dữ liệu: Quản lý tiêu chí làm sạch, và thực hiện làm sạch dữ liệu sau khi đã thu nhận từ các nguồn;
- Quản lý Phân tích dữ liệu: Quản lý cấu hình và phân tích dữ liệu để đưa ra dữ liệu;
- Mơ hình, cảnh báo và dự báo: Thiết lập mơ hình, dự báo, cảnh báo theo dữ liệu.
d) QL khai thác, chia sẻ dữ liệu: Quản lý quy trình trao đổi các dữ liệu (dữ liệu được chia sẻ, dữ liệu mở, dữ liệu theo yêu cầu).
- Quản lý Yêu cầu Dịch vụ: Quản lý thông tin yêu cầu và quy trình xử lý yêu cầu dữ liệu;
- Quản lý Danh sách hợp đồng, thỏa thuận: Quản lý các thỏa thuận, hợp đồng khai thác, chia sẻ dữ liệu;
- Xử lý vấn đề phát sinh: Khi việc giao dịch dữ liệu giữa các bên xảy ra các vấn đề cần giải quyết thì cán bộ quản trị sẽ tiến hành xử lý các vấn đề đó, hệ thống sẽ lưu lại thơng tin của các vấn đề và kết quả xử lý;
- Quản lý quá trình khai thác, chia sẻ dữ liệu: Quản lý thơng tin liên quan trong q trình khai thác, chia sẻ dữ liệu;
- Thống kê dữ liệu: Thống kê báo cáo về khai thác, công bố, chia sẻ dữ liệu.
e) Quản lý nội dung và hoạt động: Ứng dụng quản lý trao đổi các thông tin công bố, quản lý các hoạt động của cơ quan bộ và các đơn vị trực thuộc.
- Công bố thông tin: Ứng dụng công bố các thông tin về dữ liệu quan trắc trên các kênh thông tin;
- QL Trao đổi thông tin: Chức năng cho phép trao đổi thông tin giữa các tổ chức/cá nhân với nhau, trao đổi giữa các tổ chức/cá nhân với quản trị hệ thống, gửi phản ánh, kiến nghị và hỏi đáp;
- Quản lý hoạt động: Quản lý các hoạt động của cán bộ quản lý trong hệ thống;
- Quản lý kho ứng dụng: Quản lý các ứng dụng hệ thống sẽ cung cấp cho người sử dụng hệ thống;
- HT Quản lý dữ liệu mở: Quản trị tất cả các dữ liệu có thể cung cấp cho người sử dụng có thể khai thác trong q trình truy cập vào hệ thống mà không cần thông qua sự đồng ý của bất kỳ bên nào;
f) Các dịch vụ ứng dụng hệ thống: Quản lý các ứng dụng phục vụ Hạ tầng.
- DV tích hợp chia sẻ LGSP: Dịch vụ hỗ trợ cho các hệ thống cung cấp dữ liệu có thể chia sẻ dữ liệu với nhau thơng qua trục tích hợp, chia sẻ dữ liệu của Bộ;
- DV Quản lý Nội dung (CMS-Content Management System): Dịch vụ CMS là một nền tảng phần mềm cho phép người dùng tạo, chỉnh sửa, lưu trữ, báo cáo, xuất bản, phân phối,… nội dung trên hệ thống;
- DV Cộng tác ( CPS Collaboration and Productivity System): Là các dịch vụ ngoài hệ thống được kết nối với các dịch vụ phía bên trong của hệ thống để phục vụ cho các yêu cầu chức năng của người dùng;
- DV thanh tốn điện tử ePayment: Dịch vụ tích hợp vào hệ thống để người sử dụng trong hệ thống có thể thanh tốn số tiền tương ứng cho các giao dịch phát sinh trong hệ thống;
- DV quản lý định danh số ( ID management): Dịch vụ quản lý các thông tin định danh của từng người dùng khi đăng ký tài khoản trong hệ thống thông qua các hệ thống định danh được tích hợp;
- DV Lưu trữ số (Digital Archive System): Dịch vụ cung cấp cho người dùng hệ thống phương thức để lưu trữ các dữ liệu mà hệ thống đang không hỗ trợ được;
- Các dịch vụ khác: Dịch vụ sẽ triển khai trong tương lai.
g) Nền tảng phát triển ứng dụng: Các nền tảng có sẵn được tích hợp vào hệ thống để phát triển theo hướng yêu cầu của người quản trị.
- CMS: Phần mềm cho phép người dùng có thể tạo và chỉnh sửa các nội dung trong hệ thống;
- Sub-portal: Là nền tảng được tích hợp vào để cung cấp cho người dùng khơng gian làm việc để có thể tương tác với người dùng khác mà không phải thông qua quản trị viên;
- Workflow: nền tảng để thiết lập các quy trình xử lý trong hệ thống đối với từng đối tượng khác nhau;
- Portal: Là một dạng nền tảng phát triển mà tại đây cho phép người dùng có thể tùy chỉnh các ứng dụng khác nhau sao cho phù hợp với mong muốn. Thông thường các trang Liferay portal đều được thực hiện theo quy chuẩn chung về CSS, giúp đơn giản hóa sự phát triển giao diện hiệu quả;
h) Nền tảng tích hợp ứng dụng: Các nền tảng ứng dụng được tích hợp vào hệ thống để phục vụ người sử dụng.
- SSO và IDP: Tích hợp hệ thống đăng nhập sử dụng một tài khoản cho nhiều hệ thống khác nhau;
- API Gateway: Cổng cung cấp các API kết nối giữa hệ thống Cục với các hệ thống khác;
- API Service: Là các dịch vụ cung cấp, trao đổi thông tin giữa các hệ thống với nhau;
- IDM: Ứng dụng hỗ trợ định danh và xác thực thông tin người dùng trong hệ thống;
i) Nền tảng tích hợp dữ liệu: Các nền tảng để thu thập, lưu trữ, xử lý, phân tích dữ liệu được tích hợp vào trong hệ thống để có thể quản trị các dữ liệu.
- Distributed messaging system: Đó là hệ thống message pub/sub phân tán (distributed messaging system). Bên public dữ liệu được gọi là producer, bên subscribe nhận dữ liệu theo topic được gọi là consumer. Kafka có khả năng truyền một lượng lớn message theo thời gian thực, trong trường hợp bên nhận chưa nhận message vẫn được lưu trữ sao lưu trên một hàng đợi và cả trên ổ đĩa bảo đảm an tồn. Đồng thời nó cũng được replicate trong cluster giúp phịng tránh mất dữ liệu; - Dữ liệu phi cấu trúc: HDFS (tên viết tắt của từ Hadoop Distributed File System” là một hệ thống lưu dữ dữ dữ liệu được sử dụng bởi Hadoop. Chức năng của hệ thống này là cung cấp khả năng truy cập với hiệu suất cao đến với các dữ liệu nằm trên các cụm của Hadoop. Ứng dụng hỗ trợ lưu trữ và quản lý Dữ liệu phi cấu trúc;
- ETL dữ liệu: Ứng dụng hỗ trợ trích xuất, chuyển đổi và tải dữ liệu từ kho dữ liệu.
- Kho dữ liệu phân tích tổng hợp: Kho tập hợp dữ liệu để thực hiện phân tích.
- Thiết kế dashboard: Bộ công cụ giúp nhà phát triển có thể tổng hợp, phân tích, trình bày dữ liệu tổng hợp;
- Dữ liệu chủ: Cung cấp các phương pháp lưu trữ và quản lý dữ liệu chủ; - Data lake platform: Cung cấp một phương pháp lưu trữ dữ liệu trong một hệ thống hoặc kho, theo định dạng tự nhiên, tạo điều kiện cho việc sắp xếp dữ liệu trong các lược đồ và các dạng cấu trúc khác nhau, thường là đối tượng blobs hoặc các tập tin.
j) Quản lý hoạt động quan trắc chuyên ngành: Các ứng dụng phục vụ quản lý hoạt động chuyên ngành quan trắc bao gồm: Đất đai, Môi trường, Tài nguyên nước, Viễn thám, Khí tượng thủy văn, Địa chất và khoáng sản, Biển và hải đảo, Biến đổi khí hậu.
- Đất đai: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Đất đai;
- Môi trường: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Mơi trường;
- Tài nguyên nước: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Tài nguyên nước;
- Viễn thám: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Viễn thám;
- Khí tượng thủy văn: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Khí tượng thủy văn;
- Địa chất và khống sản: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Địa chất và khoáng sản;
- Biển và hải đảo: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Biển và hải đảo;
- Biến đổi khí hậu: Ứng dụng hỗ trợ phân tích xử lý nghiệp vụ quan trắc lĩnh vực Biến đổi khí hậu;
5.5.4. Danh sách ứng dụng TT Nhóm ứng dụng Chức năng Mơ tả TT Nhóm ứng dụng Chức năng Mô tả 1. Quản lý người dùng và cổng con Quản lý các ứng dụng cung cấp cho người dùng hệ thống có thể tương tác và sử dụng
1.1 Đăng ký tài khoản Quản lý Danh sách các tài khoản đăng ký của người dùng
1.2 Phân quyền hệ thống Phân quyền người dùng trong hệ thống
1.3 Tra cứu thông tin Dịch vụ tra cứu thông tin trong
hệ thống
1.4 Quản lý hỏi đáp Dịch vụ Quản lý Danh sách câu hỏi từ người dùng và câu trả lời
từ cán bộ quản trị
1.5 Quản lý tài khoản Dịch vụ Quản lý thông tin của các tài khoản người dùng trong
hệ thống
1.6 Quản lý cổng con
Dịch vụ thực hiện quản lý không gian làm việc (workspace) riêng của cá nhân/tổ chức theo vai trò, quyền hạn được hệ thống cung cấp, bao gồm: chức năng, dữ liệu, và các tùy chọn riêng (cá nhân hoá) của mỗi người dùng.
2. Quản lý thu nhận dữ liệu quan trắc
Quản lý các thông tin chi tiết của các nguồn cung cấp dữ liệu liên kết với hệ thống
2.1 Quản lý thiết bị
quan trắc
Quản lý các thiết bị quan trắc từ các trạm quan trắc
2.2 Quản lý Danh sách
nguồn dữ liệu
Quản lý Danh sách các nguồn cung cấp dữ liệu đã tích hợp với hệ thống
2.3 Quản lý truyền /
nhận dữ liệu
Quản lý quá trình truyền và nhận dữ liệu từ giữa các hệ thống với nhau
2.4 Báo cáo phân tích
truyền nhận dữ liệu
Cung cấp bản báo cáo phân tích cho việc truyền và nhận dữ liệu giữa các hệ thống
3. Quản lý phân
tích, xử lý dữ liệu
Quản lý quy trình phân tích, xử lý các dữ liệu thu thập để phục vụ cho các mục đích khác nhau
3.1 Quản lý Danh sách
dữ liệu
Quản lý Danh sách các dữ liệu đang có trong hệ thống
3.2 ETL dữ liệu
Quản lý việc trích xuất, chuyển đổi, và tải dữ liệu từ nguồn về hệ thống;
3.3 Cấu hình Xử lý dữ
liệu
Quản lý tiêu chí làm sạch, và thực hiện làm sạch dữ liệu sau khi đã thu nhận từ các nguồn
3.4 Quản lý Phân tích
dữ liệu
Quản lý cấu hình và phân tích dữ liệu để đưa ra dữ liệu
3.5 Mơ hình, cảnh báo
và dự báo Thiết lập mơ hình, dự báo, cảnh báo theo dữ liệu
4. QL khai thác,
chia sẻ dữ liệu
Quản lý quy trình trao đổi các dữ liệu (dữ liệu được chia sẻ, dữ