5. KIẾN TRÚC TỔNG THỂ
5.6. KIẾN TRÚC CÔNG NGHỆ
5.6.4. Danh mục công nghệ
TT Khối kiến trúc/Loại công nghệ Công nghệ đề xuất I. Giao diện 1 Mobile a) Object C b) Java c) React native
React Native là một framework do công ty công nghệ nổi tiếng Facebook phát triển nhằm mục đích giải quyết bài toán hiệu năng của Hybrid và bài tốn chi phí khi mà phải viết nhiều loại ngôn ngữ native cho từng nền tảng di động.
d) Flutter
Flutter là framework của Google phát triển và hỗ trợ để tạo ra các giao diện chất lượng cao trên iOS và Android trong khoảng thời gian ngắn. Flutter hoạt động với những mã nguồn sẵn có được sử dụng bởi các lập trình viên, các tổ chức. Flutter hoàn tồn miễn phí và cũng là mã nguồn mở.
2 Web a) HTML5 b) CSS c) Javascript d) Java e) .NET Core 3 API a) SOAP
SOAP (trước đây là từ viết tắt của Simple Object Access Protocol) là một đặc tả giao thức nhắn tin để trao đổi thơng tin có cấu trúc trong việc triển khai các dịch vụ web trong mạng máy tính. Nó sử dụng Tập thơng tin XML cho định dạng thư và dựa vào các giao thức lớp ứng dụng, thường là Giao thức truyền siêu văn bản (HTTP), mặc dù một số hệ thống kế thừa giao tiếp qua Giao thức truyền thư đơn giản (SMTP), để đàm phán và truyền thông báo.
b) Rest API
REST API (còn được gọi là RESTful API) là một giao diện lập trình ứng dụng (API hoặc web API) tuân theo các ràng buộc của phong cách kiến trúc REST và cho phép tương tác với các dịch vụ web RESTful. REST là viết tắt của chuyển trạng thái đại diện và được tạo ra bởi nhà khoa học máy tính Roy Fielding.
II Ứng dụng
1 Workflow/BPM a) Apache Airflow
Với trọng tâm là tạo, giám sát và quản lý quy trình làm việc, nền tảng Airflow mã nguồn mở và miễn phí của Apache là một cơng cụ quản lý quy trình làm việc hiệu quả. Được cấu thành từ Đồ thị vịng
có hướng (DAG), nó giúp người dùng lập lịch, lập trình và tự động hóa luồng dữ liệu qua các nút.
b) Kaleo
c) Bonita BPM
Bonitasoft BPM Community là một nền tảng quy trình làm việc và ứng dụng dựa trên BPM mã nguồn mở, miễn phí được thiết kế để giúp người dùng xây dựng các ứng dụng nghiệp vụ được cá nhân hóa, hấp dẫn có thể được cập nhật liên tục trong thời gian thực.
2 Biz rules engine a) Drools
Drools là một hệ thống quản lý quy tắc nghiệp vụ (BRMS) với công cụ dựa trên quy tắc suy luận chuỗi tiến và lùi, được gọi chính xác hơn là hệ thống quy tắc sản xuất, sử dụng triển khai nâng cao của thuật toán Rete.
Drools hỗ trợ tiêu chuẩn Java Rules Engine API (Java Specification Request 94) cho công cụ quy tắc nghiệp vụ và khn khổ doanh nghiệp để xây dựng, duy trì và thực thi các chính sách nghiệp vụ trong một tổ chức, ứng dụng hoặc dịch vụ.
b) Red Hat Decision Manager
Red Hat® Decision Manager là một nền tảng để phát triển các ứng dụng và dịch vụ vi mơ được đóng gói để tự động hóa các quyết định nghiệp vụ. Decision Manager cung cấp các công cụ để lập mô hình các quyết định nghiệp vụ và hỗ trợ Mơ hình & Ký hiệu Quyết định (DMN), một tiêu chuẩn phổ biến để lập mơ hình quyết định. Nó bao gồm một công cụ quy tắc nghiệp vụ nâng cao, với hỗ trợ xử lý sự kiện phức tạp và một cơng cụ tối ưu hóa tài nguyên hỗ trợ giải quyết các vấn đề lập kế hoạch và lập kế hoạch phức tạp. Với Decision Manager, các tổ chức có thể kết hợp logic quyết định phức tạp vào các ứng dụng nghiệp vụ và nhanh chóng cập nhật các quy tắc nghiệp vụ cơ bản khi điều kiện thị trường thay đổi.
Liferay Portal là giải pháp Cổng điện tử được thiết kế phù hợp với các mơ hình ứng dụng trong các cơ quan, tổ chức và doanh nghiệp có nhu cầu phát triển hệ thống thông tin trên môi trường web nhằm thực hiện các giao dịch trực tuyến và sử dụng Intranet/Internet như một công cụ thiết yếu trong các hoạt động, cung cấp thông tin, giao tiếp, quản lý và điều hành, trao đổi và cộng tác.
b) Exo Platform
eXo Platform là một giải pháp tồn diện kết hợp các tính năng xã hội, cộng tác, trò chơi hóa và phần thưởng để nâng cao trải nghiệm làm việc, đạt được tỷ lệ tương tác cao hơn và tăng năng suất tổng thể. Các tính năng bao gồm mạng xã hội doanh nghiệp, không gian cộng tác, quản lý tài liệu, xuất bản nội dung, lịch, quản lý tác vụ, trị chuyện riêng tư hoặc nhóm, hội nghị truyền hình và chức năng tìm kiếm thống nhất giúp dễ dàng truy cập thông tin từ nhiều nguồn khác nhau.
c) Sharepoint
SharePoint là nền tảng quản lý tài liệu và cộng tác dựa trên web. Mặc dù rất linh hoạt, SharePoint chủ yếu được sử dụng để lưu trữ tài liệu và giao tiếp thông tin giữa các doanh nghiệp.
Với SharePoint, người dùng có thể tạo mạng nội bộ (hoặc hệ thống internet nội bộ) hoạt động giống như bất kỳ trang web nào khác. Các trang con có thể được tạo cho các phịng ban hoặc nhóm cụ thể. Thơng qua khơng gian tập trung, bảo mật này, người dùng có thể truy cập, chia sẻ và chỉnh sửa tài liệu.
4 Trực quan hóa dữ
liệu
a) PowerBI
Microsoft Power BI được sử dụng để tìm thơng tin chi tiết trong dữ liệu của tổ chức. Power BI có thể kết nối nhiều loại tệp, chuyển đổi và trực quan hố thành mơ hình dữ liệu. Tạo biểu đồ, đồ thị để cung cấp hình ảnh trực quan và sự tương quan của dữ liệu. Tất cả những điều này có thể được chia sẻ với những người dùng Power BI khác trong tổ chức.
b) Tableau
Tableau là phần mềm hỗ trợ phân tích (Data Analyst) và trực quan hóa dữ liệu (Data Visualization) và là công cụ của giải pháp Business Intelligence. Tableau giúp người dùng
nghiệp vụ (business users) tổng hợp các dữ liệu, chuyển những liệu này từ các dãy số thành những hình ảnh, biểu đồ trực quan, xây dựng các dashboard và các phân tích (self-services)
c) Superset
Apache Superset là một phần mềm nguồn mở ứng dụng gốc đám mây để khám phá dữ liệu và trực quan hóa dữ liệu có thể xử lý dữ liệu ở quy mơ petabyte. Ứng dụng này bắt đầu như một dự án hack-a-thon của Maxime Beauchemin khi làm việc tại Airbnb và tham gia chương trình Apache Incubator vào năm 2017.
III Dữ liệu
1 Dữ liệu cấu trúc a) MariaDB
b) PostgreSQL c) Hive
Apache Hive là 1 kho dữ liệu (data warehouse) hỗ trợ người sử dụng có thể dễ dàng hơn trong việc quản lý và truy vấn đối với các tập dữ liệu lớn được lưu trữ trên các hệ thống lưu trữ phân tán (distributed storage). Hive được xây dựng dựa trên cơ sở của Apache Hadoop.
2 Dữ liệu phi cấu trúc a) HDFS
HDFS (tên viết tắt của từ Hadoop Distributed File System” là một hệ thống lưu dữ dữ dữ liệu được sử dụng bởi Hadoop. Chức năng của hệ thống này là cung cấp khả năng truy cập với hiệu suất cao đến với các dữ liệu nằm trên các cụm của Hadoop.
b) NFS
NFS (Network File System) là một hệ thống giao thức chia sẻ file phát triển bởi Sun Microsystems từ năm 1984, cho phép một người dùng trên một máy tính khách truy cập tới hệ thống file chia sẻ thơng qua một mạng máy tính giống như truy cập trực tiếp trên ổ cứng.
3 Dữ liệu bán cấu trúc
(NoSQL)
a) MongoDB
MongoDB là một hệ quản trị cơ sở dữ liệu mã nguồn mở, là CSDL thuộc NoSql và được hàng triệu người sử dụng.
MongoDB là một database hướng tài liệu (document), các dữ liệu được lưu trữ trong
document kiểu JSON thay vì dạng bảng như CSDL quan hệ nên truy vấn sẽ rất nhanh.
b) HBase
Hbase là hệ quản trị cơ sở dữ liệu dựa trên Hadoop, đây là mã nguồn mở nằm trong dự án của Apache, phát triển và mở rộng từ dự án lưu trữ Bigdata của google. (được xây dựng dựa trên Google Big Table). Hbase được viết bằng ngơn ngữ Java, có thể lưu trữ dữ liệu cực lớn từ terabytes đến petabytes.
Hbase thực chất là một NoSQL điển hình nên vì thế các table của Hbase khơng có một schemas cố định nào và cũng khơng có mối quan hệ giữa các bảng. Hiện nay, có rất nhiều cơng ty và tập đồn công nghệ lớn trên thế giới sử dụng Hbase, có thể kể đến: Facebook, Twitter, Yahoo, Adobe….
IV Nền tảng và hạ tầng 1 Hệ điều hành a) Window b) Centos c) Ubuntu 2 Lưu trữ a) SAN b) NAS c) HDFS
HDFS (tên viết tắt của từ Hadoop Distributed File System” là một hệ thống lưu dữ dữ dữ liệu được sử dụng bởi Hadoop. Chức năng của hệ thống này là cung cấp khả năng truy cập với hiệu suất cao đến với các dữ liệu nằm trên các cụm của Hadoop.
d) MINIO
MinIO (minio) là một server lưu trữ đối tượng dạng phân tán với hiệu năng cao.
Nơm na thì MinIO là một file server giúp bạn dễ dàng upload file, download file như amazon, google drive, mediafire…
Đặc biệt là MinIO cung cấp các api làm việc giống như Amazon S3, do đó bạn có thể upload, download file, lấy link… qua api một cách đơn giản mà không phải tự cài đặt. Đồng thời cũng rất tiện cho những bạn đang làm việc với Amazon Service.
Tính tốn
V Tích hợp
1 Tích hợp ứng dụng a) WSO2
WSO2 Enterprise Integrator (WSO2 EI) là một nền tảng tích hợp kết hợp mã nguồn mở cung cấp cơng cụ đồ họa và CLI, thời gian tích hợp và giám sát với nhiều tùy chọn triển khai. Cơng cụ thời gian chạy tích hợp có khả năng đóng nhiều vai trị trong kiến trúc doanh nghiệp của bạn. Nó có thể hoạt động như một ESB, một bộ xử lý dữ liệu trực tuyến và một bộ tích hợp microservices. Các tùy chọn triển khai bao gồm tại chỗ, đám mây, kết hợp hoặc nền tảng điều phối vùng chứa mà bạn lựa chọn.
b) X-Road
X-Road là một giải pháp lớp trao đổi dữ liệu mã nguồn mở cho phép các tổ chức trao đổi thông tin qua Internet. X-Road là một lớp trao đổi dữ liệu phân tán được quản lý tập trung giữa các hệ thống thông tin, cung cấp một phương thức tiêu chuẩn hóa và an tồn để cung cấp và sử dụng dịch vụ. X- Road đảm bảo tính bảo mật, tính tồn vẹn và khả năng tương tác giữa các bên trao đổi dữ liệu.
c) Kong gateway
Kong Gateway cũng giống như các API Gateway khác, nó nhẹ, được dùng cho microservices, có độ trễ thấp, hiệu suất cao và scalability.
2 Tích hợp dữ liệu a) Hệ sinh thái Hadoop
Distributed messaging system (Kafka): là hệ thống message pub/sub phân tán (distributed messaging system). Bên public dữ liệu được gọi là producer, bên subscribe nhận dữ liệu theo topic được gọi là consumer. Kafka có khả năng truyền một lượng lớn message theo thời gian thực, trong trường hợp bên nhận chưa nhận message vẫn được lưu trữ sao lưu trên một hàng đợi và cả trên ổ đĩa bảo đảm an tồn. Đồng thời nó cũng được replicate trong cluster giúp phòng tránh mất dữ liệu.
ETL dữ liệu (NIFI): NiFi là một phần mềm mã nguồn mở để tự động hóa và quản lý luồng dữ liệu giữa các hệ thống. Nó là một hệ thống mạnh mẽ và đáng tin cậy để xử lý và phân phối dữ liệu. Nó cung
cấp Giao diện người dùng dựa trên web để tạo, giám sát và kiểm soát các luồng dữ liệu.
Apache SQOOP (SQL-to-Hadoop) là một công cụ được thiết kế để hỗ trợ xuất và nhập dữ liệu hàng loạt vào HDFS từ các kho dữ liệu có cấu trúc như cơ sở dữ liệu quan hệ, kho dữ liệu và hệ thống NoSQL. Nó là một cơng cụ di chuyển dữ liệu dựa trên kiến trúc trình kết nối hỗ trợ các plugin để cung cấp kết nối với các hệ thống bên ngoài.
b) Talend Open Studio
Với Talend Open Studio, bạn có thể bắt đầu xây dựng các data pipeline cơ bản ngay lập tức. Thực thi các tác vụ ETL và tích hợp dữ liệu đơn giản, nhận sơ đồ dữ liệu và quản lý tệp - từ môi trường mã nguồn mở, được cài đặt cục bộ mà bạn kiểm soát. VI Bảo mật và vận hành 1 Xác thực và phân quyền a) Keycloak
là một giải pháp Quản lý truy cập và nhận dạng nguồn mở nhằm vào các ứng dụng và dịch vụ hiện đại. Nó giúp dễ dàng bảo mật các ứng dụng và dịch vụ mà khơng cần lập trình sửa đổi nhiều.
b) WSO2 Identity Server
là một sản phẩm IAM mã nguồn mở chuyên quản lý truy cập, bao gồm quản lý định danh đa cấp, SSO, xác thực, kiểm soát truy cập, quản lý tài khoản và cung cấp nhận dạng, bảo mật và quy định bảo mật API và microservice.
c) Shibboleth
Shibboleth là giải pháp phần mềm cung cấp dịch vụ Đăng nhập một lần (SSO), cho phép người dùng truy cập vào các tài nguyên chỉ sau một lần đăng nhập. Shibboleth cũng cho phép chủ sở hữu trang web đưa ra quyết định ủy quyền về mức độ truy cập của một cá nhân vào các tài nguyên trực tuyến của họ. Tất cả điều này được thực hiện một cách an toàn và theo cách bảo vệ quyền riêng tư của cá nhân.
2 Firewall
4 Quản lý log
5 Sao lưu và phục hồi a) IBM Tivoli Storage Manager (TSM)
là dòng sản phẩm backup dữ liệu của IBM, đây là giải pháp sao lưu dữ liệu chun nghiệp và có tính bảo mật cao. IBM đem đến cho khách hàng sự thay đổi cách thức bảo vệ và lưu trữ dữ liệu truyền thống, sang cách bảo vệ dữ liệu mới với IBM TSM. TSM tương thích trên mọi nền tảng, phù hợp với các tổ chức doanh nghiệp từ nhỏ đến lớn. Đây là một bộ cơng cụ có tính mở, tích hợp khả năng sao lưu, phục hồi, chống trùng lặp, bảo mật, di trú, phân tầng dữ liệu một cách thông minh dựa trên thiết kế của từng loại hệ thống mà doanh nghiệp đang trang bị.
b) Acronis Backup
Acronis Backup bảo mật dữ liệu cho các hệ thống một cách dễ dàng và nhanh chóng. Khi có sự cố, sản phẩm có thể giúp nhanh chóng khơi phục các tập tin đơn lẻ hoặc toàn bộ một máy chủ chỉ với một vài cú nhấp chuột đơn giản.
Bảng 10: Bảng danh mục công nghệ 5.6.5. Ma trận Ứng dụng và Công nghệ TT Nền tảng ứng dụng Công nghệ 1 Nền tảng phát triển ứng dụng
- Portal: Liferay/ Exo Platform/ Sharepoint
- Workflow/BPM: Apache Airflow/ Kaleo/ Bonita BPM - Biz rules engine: Drools/ Red Hat Decision Manager - Web: HTML5, CSS, Javascript, Java, .NET Core - Mobile: Flutter, Java, React Native, Swift (iOS)
2 Nền tảng tích
hợp ứng dụng Tích hợp ứng dụng: WSO2/ X-Road/ Kong gateway
3 Nền tảng tích
hợp dữ liệu
- Tích hợp dữ liệu: Hệ sinh thái Hadoop/ Talend Open Studio
- Trực quan hóa dữ liệu: PowerBI/ Tableau/ Superset
4 Các dịch vụ hệ
5 Dữ liệu
- Dữ liệu cấu trúc: MariaDB/ PostgreSQL/ Hive - Dữ liệu phi cấu trúc: HDFS/ NFS /MINIO
- Dữ liệu bán cấu trúc (NoSQL): MongoDB/ Hbase
Bảng 11: Bảng Ma trận ứng dụng và Công nghệ
5.7. Kiến trúc Hạ tầng
5.7.1. Mơ hình kiến trúc hạ tầng
Hình 13: Mơ hình kiến trúc hạ tầng
Các thành phần của mơ hình kiến trúc dữ liệu sẽ được mô tả trong các phần tiếp theo dưới đây.
5.7.1.1. Dịch vụ hạ tầng
Là quá trình xử lý các yêu cầu về hạ tầng từ các tầng khác và trả ra kết quả. a) MONRE LGSP: Là trục tích hợp thực hiện chức năng chia sẻ thông tin và dữ liệu trong BTN&MT
b) DV tích hợp chia sẻ LGSP: Là một thành phần trong trục tích hợp của bộ thực hiện chia sẻ dữ liệu quan trắc
c) Lấy / lưu file từ dữ liệu từ hệ thống: Là dịch vụ kết nối tới các hệ thống thực hiện lấy file và lưu trữ về hạ tầng quan trắc
d) Lấy / lưu các thông tin tài khoản người dùng (LDAP): Là dịch vụ kết nối tới hệ thống quản lý tài khoản người dùng LDAP;
e) Quét virus cho các file được tải lên hệ thống: Là dịch vụ thực hiện việc