III NỘI DUNG NGHIÊN CỨU VÀ KẾT QUẢ ĐẠT ĐƯỢC
4. Cơ sở khoa học công nghệ về thu thập, quản lý, chia sẻ và khai thác thông tin dữ liệu
4.5 Khả năng ứng dụng của cơng nghệ Trục tích hợp ESB
4.5.2 Kiến trúc của Trục tích hợp ESB
a) Kiến trúc của ESB
ESB là một hạ tầng tích hợp ứng dụng phân tán, dựa trên thơng điệp (message) và các chuẩn mở. ESB cung cấp các dịch vụ định tuyến thông điệp (routing), triệu gọi (invocation), và điều chỉnh (mediation) để hỗ trợ cho việc tương tác giữa những ứng dụng và dịch vụ tách biệt phân tán một cách an tồn và tin cậy.
Hình : Mơ hình kiến trúc tổng qt của ESB
Hình trên mơ tả kiến trúc tổng quát của một ESB, đó là sự kết hợp giữa mơ hình của MOM và SOA. Trong đó, Message Broker đóng vai trị là Kênh (Bus) chuyển tiếp các thông điệp qua lại giữa các ứng dụng hay các dịch vụ tích hợp. ESB được xây dựng dựa trên một tập các Môi trường chứa đựng dịch vụ (ESB Service Container) được triển khai phân tán trên các máy tính trong mạng. Mỗi mơi trường chứa đựng dịch vụ cho phép triển khai các dịch vụ như Bộ định tuyến thông điệp (Routers), các Bộ chuyển đổ i thông điệp (Transformers), các Bộ điều biến ứng dụng (Application Adapter), và các tiện ích phục vụ truyền thơng khác. Các ứng dụng hay các dịch vụ kết nối với Bus nhờ vào các Adapter. Để hỗ trợ SOA, các Service Container được cài đặt bằng các công nghệ của Web Services.
Mục đích tổng qt của ESB là có thể truyền tải các thơng điệp và thực hiện việc tích hợp mà khơng cần phải viết lại mã nguồn phần mềm. Tuỳ vào mục đích sử dụng mà các thành phần tổng quát được cung cấp có thể được cấu hình lại theo các cách thức khác nhau.
Một giải pháp trục tích hợp dịch vụ cần cung cấp một bộ các tính năng cơ bản như được mơ tả phía dưới đây.
- Triệu gọi (Invocation): Nhóm tính năng này cho phép ESB gửi các u cầu, nhận các trả lời từ các dịch vụ và tài nguyên được tích hợp, hỗ trợ các giao thức truyền tải dữ liệu theo kiểu đồng bộ hoặc dị bộ
- Định tuyến (Message Mediation): Nhóm tính năng này cho phép ESB xác định đích đến của một thơng điệp trong q trình vận chuyển thơng điệp. Định tuyến là một tính năng cơ bản của một ESB bởi vì nó cho phép tách rời giữa nguồn gửi thông điệp với các nơi nhận thơng điệp. ESB có những khả năng định tuyến như: chuyển tiếp thông điệp đến địa chỉ nhận căn cứ vào nội dung của thông điệp, chuyển cùng một thông điệp đến nhiều đích đến, chia nhỏ thơng điệp ra các phần nhỏ và gửi mỗi phần đến các đích đến khác nhau, tổng hợp thơng điệp từ nhiều nguồn và gửi cho đích đến.
- Điều chỉnh (Message Mediation): Nhóm tính năng này tham khảo đến tất cả các loại chuyển đổi hay dịch giữa các nguồn khác biệt, bao gồm việc chuyển đổi giao thức truyền tải, chuyển đổi định dạng thông điệp và chuyển đổi nội dung của các thơng điệp. Đây là tính năng rất quan trọng và cần thiết trong việc thực hiện tích hợp các ứng dụng lên trục.
- Bộ điều biến (Adaptor): Nhóm tính năng này giúp một ESB có thể tích hợp, liên thơng nhiều loại ứng dụng khác nhau. Bản chất của các Adapter là các gói phần mềm thực hiện nhiệm vụ nối kết đến các giao diện xử lý các giao dịch riêng rẽ, các API, các cấu trúc dữ liệu mà các ứng dụng đã công bố và thể hiện thông qua một giao diện chuẩn.
- Chứng thực và bảo mật (Authentication and Security): Nhóm tính năng này cho phép một ESB kiểm soát các ứng dụng được cấp phép tích hợp lên trục, được cấp phép truyền tải dữ liệu đến một đích đến cho trước thơng qua cơ chế chứng thực và bộ lọc dữ liệu. Ngoài ra, ESB cũng cho phép tuỳ chọn mở rộng các mức độ bảo mật cho dữ liệu của các dịch vụ tham gia tích hợp.
4.5.3 Khả năng ứng dụng cơng nghệ Trục tích hợp ESB trong lĩnh vực Mơi trường
Theo kiến trúc hướng dịch vụ được áp dụng trong hệ thống cơ sở dữ liệu quốc gia về tài nguyên và mơi trường thì lĩnh vực mơi trường sẽ cung cấp các dịch vụ web sau:
- Dịch vụ cung cấp dữ liệu quan trắc môi trường. - Dịch vụ cung cấp mạng lưới quan trắc môi trường.
- Dịch vụ cung cấp vùng sinh thái, bảo tồn đa dạng sinh học. - Dịch vụ cung cấp mạng lưới xử lý chất thải rắn.
- Dịch vụ cung cấp vùng ô nhiễm môi trường nước. - Dịch vụ cung cấp vùng ơ nhiễm mơi trường khơng khí. - …
Chúng ta có thể thấy được số lượng dịch vụ là rất nhiều (chưa tính đến các dịch vụ Web từ các CSDL thành phần tại lĩnh vực môi trường). Căn cứ vào nguyên lý của dịch vụ Web trong kiến trúc hướng dịch vụ thì số lượng dịch vụ Web có thể được sinh ra trên cơ sở các dịch vụ Web (cơ sở) khác là rất nhiều và phong phú nhằm đáp ứng nhu cầu của thực tế trong thế giới thực.
Với các phân tích nêu trên và ở các chuyên đề trước chúng ta nhận thấy việc sử dụng các dịch vụ Web trong hệ thống cơ sở dữ liệu môi trường sẽ vô cùng khó khăn bởi khối lượng dịch vụ, đa dạng về dữ liệu, rất nhiều kiểu định dạng, giao thức và địa chỉ các máy chủ cung cấp các dịch vụ cũng rất nhiều và phân bố khắp nơi về mặt địa lý, tần suất sử dụng thường xuyên,…. Để giải quyết các vấn đề này nhằm nâng cao hiệu quả sử dụng dữ liệu về mơi trường, cần phải có giải pháp làm “trong suốt” các vấn đề nằm phía dưới, giảm thiểu những sự cố xảy ra do sự đa đạng nói trên gây ra.
Với bối cảnh như vậy, vai trị của trục tích hợp mới được nhìn nhận một cách nghiêm túc và có giá trị sử dụng cao nhằm nâng cao hiệu quả trao đổi, chia sẻ và khai thác dữ liệu về môi trường.
Qua các phân tích nêu trên, nếu để cung cấp và quản lý một khối lượng dịch vụ Web như vậy thì thực sự là rất khó khăn trong thực tế. Để đơn giản hóa tính phức tạp của hệ thống, rất cần thiết phải xây dựng trục tích hợp ESB.
Trục tích hợp ESB sẽ là một thành phần nằm trung gian giữa các hệ thống thu thập, phân tích chia sẻ dữ liệu mơi trường. Dữ liệu từ hệ thống này đi sang hệ thống khác qua các dịch vụ Web đều phải qua trục tích hợp. Mọi ứng dụng của các hệ thống trước kia phải liên hệ với rất nhiều máy chủ của các hệ thống khác nhau, với mơ hình mới thì đầu mối cung cấp dịch vụ Web và địa điểm khai thác dữ liệu qua dịch vụ Web sẽ chỉ là trục tích hợp ESB.
Vai trị của trục tích hợp được thể hiện cụ thể như sau:
- Trục tích hợp hoạt động như một trung tâm điều khiển các thơng tin: Trục tích hợp có nhiệm vụ kết nối tất cả các dịch vụ Web từ các hệ thống và truyền tải thông tin theo yêu cầu từ các ứng dụng hay midle-ware của các hệ thống khác nhau cho đúng địa chỉ. Chính vì thế, vấn đề nhiều hệ thống tham gia với nhiều dịch vụ Web khác nhau sẽ được giải quyết. Các ứng dụng và các midle-ware chỉ cần biết trục tích hợp là nơi cần kết nối và sử dụng các dịch vụ. Cịn các nhà cung cấp dịch vụ thì cần trục tích hợp để gắn kết và
cơng bố các dịch vụ Web của mình. Nếu xét ở khía cạnh tích hợp thì trục tích hợp như thể là nhà mơi giới (Broker) để các thông tin (message) lưu thông đúng yêu cầu và đúng địa chỉ cần đến.
- Trục tích hợp cịn đóng vai trị đảm bảo cho các thơng tin (message) đi từ các yêu cầu đến các dịch vụ hoặc từ các dịch vụ đến người yêu cầu dịch vụ bằng các giao thức khác nhau. Một ứng dụng của hệ thống khi truy cập và yêu cầu dịch vụ bằng giao thức GET, trục tích hợp sẽ tiếp nhận yêu cầu và truyền tải thơng tin u cấu đó đến dịch vụ Web của hệ thống cung cấp dịch vụ bằng giao thức POST nhưng kết quả trả về hoàn toàn đáp ứng được yêu cầu của người yêu cầu dịch vụ. Đây chỉ là ví dụ đơn giản về giao thức, khía cạnh giao thức cịn đề cập đến nhiều khái niệm khác trong cơng nghệ Web và
Internet như SOAP, HTTPS, REST,…
- Trục tích hợp cịn có vai trị chuyển định dạng hay chuyển mã hóa dữ liệu và định tuyến giữa người yêu cầu và dịch vụ Web. Vai trò này rất quan trọng trong q trình thực thi. Có rất nhiều định dạng dữ liệu (mã hóa dữ liệu) trong thế giới dịch vụ Web như Json, GeoJson, GML. CityML, WaterML,… rõ ràng trong thực tế nếu chỉ sử dụng duy nhất một chuẩn thì mọi chuyện đơn giản rất nhiều nhưng công nghệ hiện nay phụ thuộc khách quan rất nhiều đến các nhà cung cấp cơng nghệ nên các dịch vụ Web thường có những dịnh dạng mã hóa dữ liệu khơng thống nhất với nhau. Trong khi đó, nhu cầu số đơng là sử dụng duy nhất một chuẩn để giao tiếp với nhau. Trục tích hợp sẽ chuyển đổi định dạng mã hóa dữ liệu riêng của cơng nghệ chun ngành sang dạng chuẩn mà đã được quy định trong các hệ thống với nhau.
- Trục tích hợp cịn đảm nhiệm vai trò chuyển đổi hoặc bổ sung các tham số cho phù hợp giữa yêu cầu và thơng số cần có của dịch vụ Web đã cơng bố. Trong thực tế nhu cầu này cũng rất hay xảy ra. Trục tích hợp sẽ đảm nhiệm vai trị phân tích và chuyển thơng tin yêu cầu của các ứng dụng cho phù hợp với các thông số mới của dịch vụ Web mới.
- Trục tích hợp cịn đảm nhiệm vai trị: nhận biết và tách, phân phối các yêu cầu đến các dịch vụ Web khác nhau theo một trình tự nhất định. Đây là vai trò rất quan trọng và giá trị cao khi sử dụng trục tích hợp. Vai trị này thể hiện tính chất của dịch vụ Web trong Kiến trúc hướng dịch vụ, đó là: một dịch vụ Web có thể được tạo ra bởi nhiều dịch vụ Web khác nhau. Ở góc nhìn của người khai thác dịch vụ thì mọi giao dịch của trục tích hợp sẽ được che kín, kết quả được trả về mà người (ứng dụng) khai thác khơng cần biết để xử lý u cầu đó cần phải có bao nhiêu giao dịch. Với vai trị này, tự thân trục tích hợp có thể sản sinh ra rất nhiều dịch vụ khác mà tại chính các nhà cung cấp dịch vụ Web khơng làm được. Hình thức này giống như là các sản phẩm có tính “giá trị gia tăng” trong hoạt động kinh tế, xã hội vậy.
- Trục tích hợp đóng vai trị như một nhà cung cấp cơ chế liên lạc an toàn và vững bền (robust) giữa các ứng dụng với nhau bất chấp ứng dụng đó là loại gì: Web, Mobile hay Desktop.
- Một điểm nữa thể hiện vai trị của trục tích hợp trong kiến trúc hướng dịch vụ mà hệ thống cơ sở dữ liệu mơi trường là tính linh hoạt mở rộng (extensible) dựa vào cơ chế “plug and play” – gắn là chạy giữa các thành phần. Có nghĩa từng thành phần của hệ thống có thể hoạt động độc lập – độc lập mang nghĩa về cơng nghệ, quy trình và nghiệp vụ - nhưng khi cần thì có thể gắn vào trục tích hợp để hiệu quả hơn và có thể tách ra khỏi trục tích hợp mà vẫn khơng ảnh hưởng gì nhiều đến các thành phần khác với kinh phí tối thiểu nhất. Thực ra vai trị này của trục tích hợp muốn thực hiện tốt và hiệu quả hơn đều phải dựa trên hiệu quả của việc thực hiện tốt các vai trò nêu trên. Hơn nữa, bản thân kiến trúc hướng dịch vụ khi khơng có trục tích hợp cũng đã đảm nhiệm được vai trị này, vấn đề ở chỗ: có trục tích tích hợp thì việc triển khai kiến trúc với cơ chế gắn kết các thành phần sẽ trở nên đơn giản hơn về khía cạnh quản lý và thực thi.
- Trục tích hợp cịn có khả năng tích hợp tất cả dạng giao thức (mạng và dữ liệu) bao gồm các dịch vụ theo một chuẩn mực đã xác định bất chấp các giao thức gốc được sinh ra là gì. Vấn đề này liên quan đến việc mà chúng ta hay dùng từ “chuẩn hóa”. Để thực hiện được vai trị này, hay khai thác được tính năng này của các sản phẩm trục tích hợp địi hỏi cần có nguồn nhân lực mạnh và cách tổ chức xây dựng các dịch vụ Web mang tính chuyên nghiệp và yêu cầu về chuẩn hóa cao. Hầu hết việc chuẩn hóa từ dạng A sang dạng B đều được định nghĩa qua các lược đồ chuẩn về dữ liệu hoặc các pattern xử lý dữ liệu, dựa vào đó trục tích hợp sẽ đọc dữ liệu, kiểm tra và so sánh với lược đồ, sắp đặt và xử lý dữ liệu theo đúng lược đồ mẫu…và cuối cùng là đóng gói xuất bản dịch vụ theo đúng chuẩn đã quy định. Việc xây dựng lược đồ chuẩn cho các mơ hình dữ liệu khác nhau chưa được thực sự quan tâm đúng nghĩa trong giai đoạn này ở Việt Nam.
- Một chức năng quan trọng nữa mà không thể thiếu được trong kiến trúc hướng dịch vụ đó là: Trục tích hợp có vai trị quản lý tất cả các mơ tả về dịch vụ và các định thức giao dịch cũng như mô tả các định dạng liên quan đến dịch vụ. Người sử dụng và các ứng dụng có thể tìm kiếm, khám phá thông qua cái mà chúng ta hay gọi là metadata.
4.6 Khả năng ứng dụng của công nghệ BI
4.6.1 Tổng quan về công nghệ BI
BI (Business Intelligence) được hiểu như ngày nay được cho là đã được phát triển từ hệ thống hỗ trợ quyết định - DSS, bắt đầu vào những năm 1960 và phát triển trong suốt giữa những năm 1980. DSS có nguồn gốc từ các mơ hình hỗ trợ máy tính được tạo ra để hỗ trợ việc ra quyết định và lập kế hoạch. Từ DSS, kho dữ liệu, hệ thống thông tin điều
hành, OLAP và các giải pháp BI (Business Intelligence) bắt đầu được tập trung quan tâm vào cuối những năm 80.
Với sự phát triển ngày nay, các doanh nghiệp và tổ chức đòi hỏi trả chi phí thấp và có thể truy cập sử dụng BI một cách nhanh chóng, thuận tiện trong q trình hoạt động. Một cách để đạt được cả hai mục tiêu trên là sử dụng Cloud BI với nền tảng điện toán đám mây, sử dụng phần mềm qua internet, giảm chi phí thuê hạ tầng CNTT và cho phép truy cập hệ thống nhanh hơn, thuận tiện hơn. Tiếp nối nền tảng điện toán đám mây là sự trỗi dậy của các nền tảng được hỗ trợ bởi điện thoại di động, cho phép người dùng làm việc với BI đang di chuyển với điện thoại thơng minh, máy tính bảng và các thiết bị khác, mà khơng cần phải có mặt tại trụ sở cơ quan, tổ chức. Khi các cơng cụ được hồn thiện và cải tiến, chúng cũng đang được thực hiện đơn giản và thuận tiện hơn, khuyến khích sự thích ứng rộng rãi hơn.
Các giải pháp BI (Business Intelligence)là tập hợp các chiến lược, quy trình, ứng dụng, dữ liệu, cơng nghệ và kiến trúc phục vụ cơng tác thu thập, quản lý, xử lý, phân tích, chia sẻ và trình bày dữ liệu. BI (Business Intelligence) cung cấp lịch sử, hiện tại và hỗ trợ dự đốn đối với các thơng tin, dữ liệu chun ngành. Các chức năng chính của Giải pháp BI (Business Intelligence) bao gồm: báo cáo số liệu (reporting), xử lý phân tích trực tuyến (online analytical processing), phân tích (analytics), khai phá dữ liệu (data mining), khai thác quy trình (process mining), xử lý sự kiện phức tạp (complex event processing), quản lý hiệu năng nghiệp vụ (business performance management), khai thác văn bản (text mining), phân tích dự báo (predictive analytics), phân tích theo quy định (prescriptive analytics). Thông qua khả năng xử lý một lượng lớn dữ liệu có cấu trúc hoặc phi cấu trúc, từ nhiều nguồn khác nhau, nhiều định dạng khác nhau và khả năng báo cáo, trình bày số liệu theo nhiều chiều, có sự tương quan, đối sánh nhiều yếu tố và trực quan hóa báo cáo số liệu, Giải pháp BI (Business Intelligence) giúp cho các cơ quan chuyên môn nâng cao hiệu quả công tác quản lý lĩnh vực, giúp cho ngành TNMT tăng cường công tác quản lý ngành trên cơ sở nâng cao hiệu quả quản lý từng lĩnh vực và sự quản lý dự trên sự gắn