5. KIẾN TRÚC TỔNG THỂ
5.2. MÔ HÌNH TỔNG QUÁT KIẾN TRÚC
5.2.1. Mơ hình tổng qt mức khái niệm
Mơ hình tổng thể của Hệ CSDL quốc gia về quan trắc TN&MT thể hiện khung nhìn tổng quát nhất, cơ bản nhất Hệ CSDL quốc gia về quan trắc TN&MT. Xây dựng Kiến trúc tổng thể Hệ thống thông tin quan trắc TN&MT quốc gia trên cơ sở mô hình tổng thể của Hệ CSDL quốc gia về quan trắc TN&MT, cụ thể như sau:
Hình 5: Mơ hình Kiến trúc tổng thể HTTT quan trắc mức khái niệm
Trong đó:
- HTTT quan trắc TN&MT quốc gia: Là hệ thống thông tin được xây dựng và triển khai tại Bộ TN&MT phục vụ mục đích kết nối, tích hợp, quản lý, chia sẻ và khai thác dữ liệu quan trắc TN&MT quốc gia.
+ Hệ thống kết nối, tích hợp và quản lý dữ liệu: là hệ thống được xây dựng với những chức năng quản lý kết nối/tích hợp, quản lý dữ liệu trong hệ thống, và quản lý dịch vụ phục vụ việc kết nối, tích hợp với các HTTT quan trắc các lĩnh vực Bộ TN&MT quản lý, HTTT của các bộ, ngành, địa phương, HTTT của cá nhân, tổ chức, quốc tế ... để trao đổi dữ liệu thông qua nền tảng chia sẻ tích hợp của Bộ (LGSP) và nền tảng chia sẻ tích hợp quốc gia (NGSP).
+ Hệ thống chia sẻ, khai thác dữ liệu: là hệ thống được xây dựng với những chức năng, dịch vụ phục vụ việc chia sẻ, khai thác thông tin dữ liệu quan trắc TN&MT quốc gia cho cá nhân/tổ chức/doanh nghiệp.
+ CSDL quan trắc TN&MT quốc gia gồm có các thành phần sau:
Metadata – Siêu dữ liệu quan trắc TN&MT quốc gia;
Dữ liệu dùng chung – Là những dữ liệu dùng chung cho hệ thống quan trắc TN&MT quốc gia như danh mục thông số quan trắc, quy chuẩn Việt Nam,
đơn vị đo, các danh mục dùng chung có trong nền tảng chia sẻ tích của Bộ được đồng bộ về hệ thống (danh mục khu vực hành chính, danh mục người dùng), các dữ liệu dùng chung được cung cấp bởi các hệ thống CSDL quốc gia khác;
Dữ liệu quan trắc TN&MT – Là số liệu quan trắc của từng lĩnh vực, các bộ ngành khác và của cá nhân, tổ chức, quốc tế được trích chọn, tính tốn, tổng hợp gửi lên hệ thống;
Dữ liệu tổng hợp, thống kê, giám sát – là dữ liệu được tổng hợp, thống kê từ dữ liệu quan trắc tất cả lĩnh vực đã gửi lên hệ thống (bao gồm cả các dữ liệu kết quả về cảnh báo, dự báo của các lĩnh vực);
Dữ liệu mở – là dữ liệu để cho các tổ chức/cá nhân có thể khai thác, cập nhật, chia sẻ.
- Các HTTT quan trắc của các lĩnh vực Bộ TN&MT quản lý: bao gồm các hệ thống thông tin quan trắc được xây dựng, triển khai tại các lĩnh vực do Bộ TN&MT quản lý. Các HTTT này sẽ kết nối với HTTT quan trắc TN&MT quốc gia qua nền tảng chia sẻ tích hợp (LGSP) của Bộ, kết nối trực tiếp/ qua nền tảng chia sẻ, tích hợp với các HTTT quan trắc TN&MT địa phương. HTTT quan trắc của các lĩnh vực Bộ TN&MT quản lý bao gồm: HTTT quan trắc môi trường; HTTT quan trắc khí tượng thủy văn; HTTT quan trắc tài ngun mơi trường biển và hải đảo …
- Các HTTT quan trắc TN&MT địa phương: là các hệ thống thông tin quan trắc TN&MT được xây dựng, triển khai tại các tỉnh/thành phố trực thuộc trung ương. Các hệ thống này sẽ kết nối với HTTT quan trắc các lĩnh vực do Bộ TN&MT quản lý theo cách trực tiếp hoặc thơng qua nền tảng chia sẻ tích hợp quốc gia (NGSP) và nền tảng chia sẻ tích hợp (LGSP) của Bộ TN&MT.
- Các HTTT của Bộ, ngành khác: là các HTTT được xây dựng, triển khai tại các Bộ, ngành; kết nối, tích hợp, chia sẻ thơng tin dữ liệu quan trắc với HTTT quan trắc TN&MT quốc gia và các hệ thống khác thông qua nền tảng chia sẻ tích hợp quốc gia (NGSP).
- Các HTTT của cá nhân, tổ chức, quốc tế: là các HTTT do cá nhân, tổ chức, quốc tế xây dựng và triển khai; kết nối, tích hợp, chia sẻ thơng tin, dữ liệu quan trắc với HTTT quan trắc TN&MT quốc gia và các hệ thống khác thông qua nền tảng chia sẻ tích hợp của Bộ (LGSP) và internet.
- Kho dữ liệu: là nơi thu thập, lưu trữ, xử lý dữ liệu quan trắc do các trạm quan trắc gửi về, dữ liệu do các HTTT quan trắc TN&MT địa phương, lĩnh vực gửi lên … Đây là nguồn cung cấp số liệu quan trắc thô, đã xử lý, dữ liệu chuyên đề cho HTTT quan trắc TN&MT quốc gia và các HTTT quan trắc các lĩnh vực do Bộ TN&MT quản lý.
5.2.2. Mơ hình tổng qt mức logic
Mơ hình Kiến trúc tổng thể mức logic thể hiện cách sắp xếp, bố cục của toàn bộ hệ thống quan trắc TN&MT quốc gia một cách logic. Mơ hình logic chia hệ thống thành 9 lớp như hình bên dưới đây:
Hình 6: Mơ hình kiến trúc tổng thể HTTT quan trắc TN&MT quốc gia mức logic
Lưu ý: “các ký hiệu trong sơ đồ” được mô tả trong phần phụ lục.
Dưới đây là một số điểm chú ý của phương án thiết kế HTTT tổng thể theo 9 lớp này như sau:
- Sơ đồ Kiến trúc tổng thể được thiết kế theo mơ hình hướng dịch vụ; - Giữa các lớp truyền thống sẽ có lớp dịch vụ để giảm sự phụ thuộc lẫn nhau giữa các lớp. Các lớp dịch vụ này phân tách giữa các lớp Nghiệp vụ, Ứng dụng, Dữ liệu, Hạ tầng để thấy rõ sự tương tác;
- Dịch vụ gắn liền với nghiệp vụ nhằm phục vụ tốt nhất cho hoạt động, trải nghiệm của người dùng, cho hoạt động của tổ chức các cấp;
- Dữ liệu gắn liền với nghiệp vụ nhằm định hình một hệ thống siêu dữ liệu, dữ liệu mở, dữ liệu dùng chung và chia sẻ;
- Hạ tầng cũng được dịch vụ hóa nhằm rút ngắn thời gian triển khai, nâng cấp và bảo trì, giảm thiểu sự ảnh hưởng lẫn nhau giữa các hệ thống;
Mục tiêu của sơ đồ tổng thể là đưa ra một góc nhìn tổng thể của Kiến trúc. Hệ thống được chia thành 9 lớp logic như sau:
5.2.2.1. Lớp Vai trị và tác nhân phía ngồi
Là lớp đại diện cho người sử dụng và vai trò của họ trong hệ thống, thực hiện tương tác với các dịch vụ.
- Lãnh đạo, cán bộ Bộ TN&MT - Lãnh đạo, cán bộ Sở TN&MT - Lãnh đạo, cán bộ Bộ, ngành khác - Tổ chức, doanh nghiệp
- Cá nhân
- Nguồn dữ liệu sơ cấp: Là các dữ liệu được thu thập từ các nguồn cung cấp dữ liệu ban đầu chưa được xử lý làm sạch.
- Nguồn dữ liệu thứ cấp: Là các dữ liệu đã được xử lý làm sạch và lưu lại sau khi được thu thập về hệ thống.
- Người Xử lý dữ liệu (data engineer): Người sẽ có trách nhiệm xử lý, chuyển đổi các dữ liệu được thu thập về theo các mục đích, yêu cầu khác nhau.
- Người phân tích dữ liệu ( data scientist): Người sẽ có nhiệm vụ phân tích các dữ liệu đã được xử lý để đưa ra các báo cáo,tổng hợp,…
- Người giám sát:Người sẽ chịu trách nhiệm giám sát các dữ liệu mà hệ thống đã xử lý để kịp thời đưa ra các thông báo, cảnh báo,…
- Người nhận cảnh báo và ra quyết định: Người tiếp nhận các thông báo, cảnh báo từ hệ thống và đưa ra các quyết định xử lý khi cần thiết.
- Người khai thác dữ liệu: Người yêu cầu khai thác, sử dụng dữ liệu từ hệ thống để có thể sử dụng đáp ứng cho các nhu cầu khác nhau.
- Startup: Các cá nhân, cơng ty mới có nhu cầu khai thác dữ liệu hệ thống. - Khách: Các cá nhân vãng lai vào hệ thống để theo dõi, thu thập các dữ liệu được công bố trên cổng.
- Người sử dụng nội bộ: Người sử dụng, khai thác dữ liệu là các cán bộ thuộc Bộ TN&MT được phân công nhiệm vụ để quản lý sử dụng hệ thống.
- Người sử dụng bên ngoài: Người sử dụng, khai thác dữ liệu hệ thống không phải là các cán bộ thuộc Bộ TN&MT.
5.2.2.2. Lớp Các dịch vụ nghiệp vụ phía ngồi
Là lớp cung cấp các dịch vụ cho người dùng/hệ thống. Thơng qua lớp này, có thể yêu cầu, thực hiện các chức năng nghiệp vụ trong phạm vi cho phép của hệ thống.
Các thành phần bao gồm: - Đăng ký
- Cổng con
- Truyền dữ liệu sơ cấp - Truyền dữ liệu thứ cấp - ETL dữ liệu
- Xử lý dữ liệu
- Thiết lập mơ hình phân tích dữ liệu - Giám sát, dự báo, cảnh báo
- Thiết kế thông báo, cảnh báo - Giao dịch dữ liệu
- Trao đổi thông tin - Dịch vụ cộng tác
- Thống kê báo cáo
- Hoạt động quan trắc chuyên ngành - Quản lý thiết bị quan trắc
5.2.2.3. Lớp Quy trình nghiệp vụ
Là tầng xử lý các nghiệp vụ, nhận các yêu cầu tự dịch vụ nghiệp vụ phía ngồi và u cầu các ứng dụng xử lý.
Các thành phần bao gồm:
- Nhóm nghiệp vụ thu nhận dữ liệu - Nhóm nghiệp vụ phân tích xử lý dữ liệu
- Nhóm nghiệp vụ quản lý khai thác, công bố và chia sẻ dữ liệu - Nhóm nghiệp vụ quản trị hệ thống
- Nhóm nghiệp vụ quản lý cộng tác
- Nhóm nghiệp vụ xử lý dữ liệu chuyên ngành
- Nhóm nghiệp vụ giám sát và cảnh báo dựa trên dữ liệu
5.2.2.4. Lớp Các dịch vụ ứng dụng ra phía ngồi
Là các dịch vụ của Ứng dụng được chia sẻ ra phía ngồi, thực hiện tiếp nhận các yêu cầu xử lý nghiệp vụ và gửi yêu cầu xử lý tới các ứng dụng cụ thể.
Các thành phần bao gồm: - Cổng công bố
- Đăng ký người dùng - Cổng con
- QL Truyền dữ liệu sơ cấp - QL Truyền dữ liệu thứ cấp - Quản lý dữ liệu
- ETL dữ liệu - Xử lý dữ liệu
- Thiết lập mơ hình phân tích dữ liệu - Giám sát, dự báo, cảnh báo
- Thiết kế thông báo, cảnh báo - Giao dịch dữ liệu
- QL dữ liệu mở - Dịch vụ cộng tác - Trao đổi thông tin
- Dịch vụ phân phối ứng dụng - Thống kê báo cáo
- Hoạt động quan trắc chuyên ngành
5.2.2.5. Lớp Ứng dụng và dịch vụ phía trong
Lớp kiến trúc này thể hiện Các thành phần và các dịch vụ ứng dụng để hình thành nên các dịch vụ ứng dụng cho người dùng.
- Nhóm nghiệp vụ quản lý người dùng và cổng con - Nhóm nghiệp vụ thu nhận dữ liệu
- Nhóm nghiệp vụ phân tích xử lý dữ liệu
- Nhóm nghiệp vụ quản lý khai thác, cơng bố và chia sẻ dữ liệu - Nhóm nghiệp vụ quản trị hệ thống
- Nhóm nghiệp vụ quản lý cộng tác
- Nhóm nghiệp vụ xử lý dữ liệu chuyên ngành
- Nhóm nghiệp vụ giám sát và cảnh báo dựa trên dữ liệu
5.2.2.6. Lớp dịch vụ dữ liệu
Là dịch vụ dữ liệu phục vụ cho ứng dụng bao gồm dịch vụ dữ liệu chủ, dữ liệu tham chiếu, dữ liệu chuyên đề, dữ liệu mở, ….
5.2.2.7. Lớp Các dịch vụ và thành phần dữ liệu phía trong
Là các thành phần dữ liệu phục vụ cho hoạt động nghiệp vụ, trao đổi, vận hành toàn hệ thống CSDL quan trắc môi trường.
Các thành phần bao gồm:
- Dữ liệu chủ (Master data): Bao gồm các dữ liệu được sử dụng phổ biến ở các hệ thống khác nhau; và đại diện cho một đối tượng nghiệp vụ; đó là các dữ liệu cốt lõi của hệ thống dữ liệu quan trắc TN&MT.
- Siêu dữ liệu (Metadata): Siêu dữ liệu là "dữ liệu cung cấp thơng tin về dữ liệu khác". Nó được sử dụng để tóm tắt thơng tin cơ bản về dữ liệu có thể giúp theo dõi và làm việc với dữ liệu cụ thể dễ dàng hơn.
- Dữ liệu tham chiếu (Reference data): Dữ liệu tham chiếu là một tập hợp dữ liệu được phép sử dụng để phân loại hoặc chia loại…;
- Dữ liệu giao dịch (Transaction data): Là dữ liệu được sinh ra trong quá trình hoạt động của các thành phần/phần mềm trong HTTT quan trắc TN&MT;
- Kho dữ liệu: Lưu trữ các dữ liệu gốc được truyền về từ các hệ thống quan trắc TN&MT. Các dữ liệu được chuẩn hóa và dữ liệu chuyên đề cũng sẽ được lưu trữ tại đây;
- Kho dữ liệu mở: Chứa tập hợp các tập dữ liệu (data set) mở. Dữ liệu này sẽ được chia sẻ công khai trên cổng dữ liệu mở.
5.2.2.8. Lớp Dịch vụ hạ tầng bên ngoài
Dịch vụ hạ tầng bên ngoài là lớp giao tiếp bên ngoài trong kiến trúc hạ tầng, cung cấp các dịch vụ cơ sở cần thiết để chạy các ứng dụng.
Các thành phần bao gồm:
- Dịch vụ tích hợp, chia sẻ LGSP - Lấy file từ dữ liệu từ hệ thống
- Lấy, lưu các thông tin tài khoản người dùng - Quét virus cho các file được tải lên hệ thống - Đồng bộ file
- Yêu cầu kiểm tra chứng thực bảo mật - Cân bằng tải cho ứng dụng
Và các yêu cầu hạ tầng khác
5.2.2.9. Lớp hạ tầng
Trích điều 4 Luật CNTT: Cơ sở hạ tầng thông tin là hệ thống trang thiết bị phục vụ cho việc sản xuất, truyền đưa, thu thập, xử lý, lưu trữ và trao đổi thông tin số, bao gồm mạng viễn thơng, mạng Internet, mạng máy tính và cơ sở dữ liệu. Trong kiến trúc chúng ta cần hiểu Hạ tầng CNTT là tập hợp thiết bị tính tốn (máy chủ, máy trạm), thiết bị kết nối mạng, thiết bị an ninh an toàn, thiết bị ngoại vi và thiết bị phụ trợ, mạng nội bộ, mạng diện rộng.
Trong phạm vi kiến trúc chúng tơi khái qt hóa mức logic là các thành phần cơng nghệ phục vụ cho các hoạt động của hệ thống về Dữ liệu, Ứng dụng. Các thành phần bao gồm: Các thành phần bao gồm: - Thiết bị máy chủ tính tốn - Thiết bị lưu trữ - Thiết bị ANTT - Thiết bị mạng.
5.2.3. Mơ hình triển khai Hệ CSDL quốc gia về quan trắc TN&MT
Hệ CSDL quốc gia về quan trắc TN&MT, được thiết kế theo mơ hình PHÂN TÁN. Bao gồm:
- Các thành phần của hệ thống:
+ HTTT quan trắc TN&MT quốc gia; + Các HTTT quan trắc lĩnh vực; + Các HTTT quan trắc địa phương;
+ Các HTTT quan trắc cá nhân, tổ chức (trong và ngoài nước); + Các HTTT quan trắc TN&MT bộ, ngành khác.
Sơ đồ dưới đây thể hiện mơ hình triển khai 3 cấp (trung ương, lĩnh vực, địa phương), được kết nối với nhau qua hệ thống trục tích hợp quốc gia và Bộ, của hệ CSDL quốc gia về quan trắc TN&MT. Ba cấp này bao gồm:
+ Cấp quốc gia: HTTT quan trắc TN&MT quốc gia; + Cấp lĩnh vực: các HTTT quan trắc tài nguyên lĩnh vực;
Hình 7: Mơ hình triển khai Hệ CSDL quốc gia về quan trắc TN&MT
5.2.3.1. HTTT quan trắc TN&MT quốc gia
Thành phần “HTTT quan trắc TN&MT quốc gia” sẽ được triển khai tại Bộ và sẽ do cục CNTT của Bộ trực tiếp quản lý và vận hành.
Thành phần này sẽ cung cấp một số tính năng và dịch vụ dùng chung cho toàn bộ hệ CSDL quan trắc TN&MT quốc gia. Bao gồm:
- Kho dữ liệu: thu nhận, lưu trữ dữ liệu gốc, đã xử lý, chuyên đề của các lĩnh vực, địa phương;
- Dịch vụ dữ liệu: cung cấp các dữ liệu dùng chung, metadata, …
- Cổng công bố và chia sẻ dữ liệu, thông tin quan trắc TN&MT quốc gia. Người dùng và các HTTT khác có thể dễ dàng sử dụng, truy cập các tính năng dùng chung này thơng qua trục tích hợp của Bộ.
Hơn nữa, thành phần này cũng cung cấp dịch vụ dạng phần mềm như dịch vụ (SaaS) để cho các lĩnh vực và các địa phương có nhu cầu có thể sử dụng chung