Tính cấp thiết của đề tài
Hiện nay, việc tích hợp công nghệ thông tin vào hoạt động doanh nghiệp là rất quan trọng Nhiều doanh nghiệp Việt Nam đã áp dụng các hệ thống phần mềm như Quản lý quan hệ khách hàng, Quản lý tài chính, và Quản lý kho bãi để nâng cao hiệu quả công việc Sự chuyển đổi này giúp doanh nghiệp đáp ứng nhanh chóng với những thay đổi của xã hội.
Sự gia tăng số lượng phần mềm trong doanh nghiệp, với các nền tảng và ngôn ngữ lập trình khác nhau, đã gây khó khăn trong việc phối hợp và cập nhật dữ liệu Phương pháp cập nhật thủ công tốn thời gian và chi phí, đồng thời không đảm bảo tính thống nhất và toàn vẹn của dữ liệu Việc xử lý một lượng lớn dữ liệu từ nhiều phần mềm khác nhau đòi hỏi công sức lớn Mặc dù các kiến trúc như CORBA, RMI, EJB đã được áp dụng, nhưng vẫn còn nhiều hạn chế Kiến trúc SOA đã khắc phục những vấn đề này, trong khi trục tích hợp dữ liệu mang lại giải pháp hiệu quả cho việc sử dụng và cập nhật dữ liệu, giúp doanh nghiệp linh hoạt, đồng nhất và tiết kiệm chi phí.
Mục đích của đề tài
Thứ nhất là tìm hiểu hướng dịch vụ của doanh nghiệp, Trục tích hợp dữ liệu và các giải pháp cho các bài toán Trục tích hợp dữ liệu
Đánh giá tình trạng phát triển phần mềm tại Việt Nam, đặc biệt là ở các doanh nghiệp vừa và nhỏ, là rất quan trọng để hiểu rõ quy trình phát triển hiện tại.
Thứ ba là chỉ rõ tính ứng dụng, cách thực hành tạo ra các dịch vụ dữ liệu và cách quản lý chúng trên trục dịch vụ.
Kết cấu của đề tài
Đề tài được chia làm 3 phần với nội dung như sau:
Chương 1: Tổng quan về Kiến trúc Hướng dịch vụ, Trục tích hợp dữ liệu và các giải pháp cho Trục tích hợp dữ liệu
Chương 1 sẽ giới thiệu tổng quan về Kiến trúc Hướng dịch vụ, làm rõ Trục tích hợp dữ liệu và nêu ra một số giải pháp phổ biến cho việc tích hợp dữ liệu trong doanh nghiệp.
Chương 2: Hiện trạng phát triển và ứng dụng Trục tích hợp dữ liệu tại các tổ chức doanh nghiệp tại Việt Nam
Chương 2 tập trung vào hai nội dung chính: thực trạng áp dụng Trục tích hợp dữ liệu trong doanh nghiệp tại Việt Nam và quy trình phát triển Trục tích hợp dữ liệu.
Chương 3: Phát triển Trục tích hợp dữ liệu doanh nghiệp dựa trên WSO2 Enterprise Intergrator
Nội dung chương 3 nêu rõ việc triển khai, thiết kế hệ thống trục tích hợp ESB cho hệ thống phần mềm tại Học viện Ngân hàng.
TỔNG QUAN VỀ KIẾN TRÚC HƯỚNG DỊCH VỤ VÀ TRỤC TÍCH HỢP DỮ LIỆU
Giới thiệu về Kiến trúc Hướng dịch vụ (SOA)
Ngày nay, doanh nghiệp phải đối mặt với nhiều áp lực, bao gồm việc giảm chi phí đầu tư cơ sở hạ tầng và tối ưu hóa công nghệ hiện có Họ cần phục vụ nhu cầu khách hàng ngày càng đa dạng và phức tạp, đồng thời đáp ứng các yêu cầu thay đổi nghiệp vụ và tích hợp với hệ thống bên ngoài Việc phát triển một hệ thống toàn diện để giải quyết những yêu cầu này là thách thức lớn Do đó, giải pháp hiệu quả cho các công ty là tìm kiếm các ứng dụng sẵn có hoặc ứng dụng có khả năng tích hợp với các giải pháp hiện tại nhằm đáp ứng nhu cầu của doanh nghiệp.
Trong quá trình triển khai giải pháp, doanh nghiệp gặp phải nhiều trở ngại như quản lý quy trình nghiệp vụ, chi phí tích hợp, định dạng dữ liệu và đáp ứng nhu cầu thay đổi nhanh chóng của khách hàng, cùng với các vấn đề an ninh bảo mật Những khó khăn này phát sinh từ sự phức tạp của hệ thống, bao gồm nhiều phần mềm và ứng dụng trên các nền tảng khác nhau trong cùng một doanh nghiệp Để xây dựng và quản lý các ứng dụng này, nhiều công ty phần mềm phải thuê đội ngũ nhân viên giàu kinh nghiệm Bên cạnh đó, tính không linh hoạt của các ứng dụng hiện có và sự phức tạp trong chiến lược phát triển cũng gây khó khăn cho việc mở rộng cơ sở hạ tầng Nhiều doanh nghiệp sở hữu các ứng dụng thiết yếu nhưng khó nâng cấp và tích hợp, dẫn đến việc tích hợp hệ thống mới trở nên tốn kém Thêm vào đó, tính không bền vững của hệ thống và phương pháp phát triển truyền thống thường dẫn đến việc tích hợp chắp vá, không đồng bộ Mặc dù nhiều kiến trúc phát triển phần mềm đã được đề xuất để giải quyết vấn đề này, độ phức tạp vẫn gia tăng, vượt qua khả năng của các kiến trúc truyền thống như CORBA, DCOM hay EJB, vốn có nhiều ưu điểm nhưng cũng tồn tại nhiều nhược điểm như giới hạn nền tảng và ngôn ngữ lập trình lỗi thời.
Để giải quyết những khó khăn trong doanh nghiệp, Kiến trúc Hướng dịch vụ (SOA) và giải pháp Trục tích hợp dữ liệu đã được phát triển và triển khai thực tế, giúp doanh nghiệp tiếp cận và xây dựng hệ thống công nghệ thông tin một cách hiệu quả.
1.1.2 Khái niệm về Kiến trúc Hướng dịch vụ
Kiến trúc Hướng dịch vụ (SOA) khuyến khích doanh nghiệp phát triển các dịch vụ nghiệp vụ kết nối lỏng, cho phép tương tác mà không cần phụ thuộc vào công nghệ hay chi tiết kỹ thuật Chia sẻ dữ liệu giữa các dịch vụ là yếu tố cốt lõi, giúp tích hợp quy trình kinh doanh cả trong và ngoài doanh nghiệp SOA bao gồm một tập hợp dịch vụ nghiệp vụ phân tán, có thể truy cập qua mạng, và hỗ trợ quy trình linh hoạt, tự động thông qua thông tin mô tả Phương thức giao tiếp chuẩn trong SOA giúp giảm bớt sự phức tạp kỹ thuật, tập trung vào quy trình nghiệp vụ, nâng cao hiệu quả phát triển ứng dụng.
SOA (Kiến trúc Dịch vụ) được xem như một phương pháp luận để xây dựng hệ thống công nghệ thông tin doanh nghiệp, khác với các phương pháp cũ thường gắn chặt vào môi trường triển khai cụ thể SOA tập trung vào các dịch vụ tương tác, tự trị và có khả năng phục vụ nhiều đối tượng khách hàng, cho phép tái sử dụng và mở rộng dễ dàng Nhờ vào SOA, các tổ chức có thể linh hoạt thay đổi quy trình nghiệp vụ, đáp ứng nhanh chóng với nhu cầu phức tạp của doanh nghiệp, đồng thời giảm thiểu chi phí quản lý và phát triển.
Ngày nay, cộng đồng CNTT đã chuyển từ phát triển hệ thống lớn sang tạo ra các dịch vụ nhỏ hơn, phản ánh chính xác quy trình nghiệp vụ của doanh nghiệp Điều này đã làm tăng mối quan tâm đối với Kiến trúc Hướng dịch vụ (SOA) như một nguyên tắc hướng dẫn trong phát triển hệ thống phần mềm Sự gắn kết giữa lĩnh vực kinh doanh và công nghệ thông tin ngày càng chặt chẽ, nhưng việc tích hợp công nghệ thông tin với hoạt động kinh doanh vẫn là một thách thức lớn cho các tổ chức SOA, với những khác biệt so với các kiến trúc trước đó, giúp doanh nghiệp vượt qua khó khăn trong việc xây dựng hệ thống phần mềm, từ đó nâng cao sự liên kết giữa kinh doanh và công nghệ.
1.1.3 Các thành phần trong Kiến trúc Hướng dịch vụ
Kiến trúc Hướng dịch vụ gồm ba thành phần chính: nhà cung cấp dịch vụ, thành phần sử dụng dịch vụ và nơi đăng ký cùng lưu trữ các dịch vụ.
Hình 1.1: Mô hình Kiến trúc Hướng dịch vụ
Mối tương tác giữa ba thành phần chính bao gồm hoạt động khai báo, tìm kiếm và gọi dịch vụ, với vai trò quan trọng trong việc xuất bản và truy xuất thông tin mô tả dịch vụ Thành phần cung cấp dịch vụ tạo ra các giải pháp nhằm giải quyết vấn đề hoặc quy trình cụ thể, và dịch vụ này có thể được truy cập qua mạng Thông tin về dịch vụ sẽ được khai báo cho thành phần đăng ký dịch vụ, nơi khách hàng có thể tìm kiếm các dịch vụ phù hợp với nhu cầu của mình Sau khi tìm thấy dịch vụ mong muốn, khách hàng sẽ lấy thông tin chi tiết và sử dụng chúng để liên kết với thành phần cung cấp dịch vụ, từ đó yêu cầu dịch vụ nhằm mục đích tương tác và sử dụng hiệu quả.
Các nhà cung cấp dịch vụ chịu trách nhiệm chấp nhận và thực hiện yêu cầu từ người sử dụng, đồng thời khai báo thông tin mô tả và chi tiết triển khai dịch vụ Họ quyết định tính bảo mật của dịch vụ, tính toán chi phí và lưu lượng sử dụng, và cung cấp giao diện để người dùng truy cập Ngoài ra, nhà cung cấp cũng xác định thông tin cần đăng ký và các thỏa thuận cần thiết với người sử dụng Tất cả thông tin này sẽ được đăng ký và lưu trữ bởi nhà cung cấp Nhà cung cấp dịch vụ có thể là một hệ thống máy tính lớn, một thành phần trong hệ thống hoặc bất kỳ loại hệ thống nào có khả năng thực thi yêu cầu từ người dùng.
Thành phần đăng ký và lưu trữ dịch vụ là một thư mục trực tuyến chứa địa chỉ và thông tin mô tả tất cả các dịch vụ có sẵn, nhằm tạo giao diện cho người dùng truy cập dịch vụ Khi người dùng gửi yêu cầu, thành phần này cung cấp thông tin cần thiết về dịch vụ Bên cạnh chức năng tìm kiếm, nó còn xếp hạng các nhà cung cấp dịch vụ dựa trên tiêu chí chất lượng Phạm vi của thành phần đăng ký do người triển khai quyết định, với các thành phần công khai có sẵn trên Internet và các thành phần riêng tư chỉ dành cho một nhóm người dùng hạn chế Quyết định về lượng thông tin cung cấp cũng rất quan trọng, và tùy thuộc vào mô hình kinh doanh, thành phần đăng ký có thể tối đa hóa yêu cầu tìm kiếm, số lượng danh sách hoặc độ chính xác của danh sách Đặc tả Mô tả chung, Khám phá và Tích hợp (UDDI) hướng dẫn cách cung cấp và tìm kiếm thông tin về dịch vụ web.
Thành phần sử dụng dịch vụ bao gồm các ứng dụng, dịch vụ hoặc module phần mềm cần truy cập dịch vụ từ nhà cung cấp Để thực hiện điều này, thành phần phải xác định vị trí dịch vụ trong kho lưu trữ và đăng ký, kết nối với nhà cung cấp, gửi yêu cầu và tuân thủ các điều khoản của họ, sau đó nhận phản hồi từ nhà cung cấp dịch vụ.
1.1.4 Các tính chất của Kiến trúc Hướng dịch vụ
Các kiến trúc phần mềm cần tuân thủ những đặc điểm và nguyên tắc cụ thể để phát huy tối đa khả năng của chúng Kiến trúc Hướng dịch vụ sở hữu những đặc điểm nổi bật sau đây.
Việc ràng buộc lỏng lẻo giữa thành phần yêu cầu dịch vụ và nhà cung cấp dịch vụ cho phép sự linh hoạt trong việc thay đổi phần mềm mà không làm ảnh hưởng đến nhau Các thành phần yêu cầu dịch vụ không cần hiểu biết chi tiết kỹ thuật của nhà cung cấp, mà chỉ cần gửi thông điệp yêu cầu và nhận phản hồi theo các mẫu đã được quy định Điều này có nghĩa là nhà cung cấp có thể thay thế cấu trúc bên trong dịch vụ mà không ảnh hưởng đến ứng dụng của thành phần yêu cầu, miễn là mã mới vẫn hỗ trợ cùng một lược đồ thông điệp đã định trước.
Các giao diện được xác định rõ
Giao diện các dịch vụ cần được xác định rõ ràng, và ngôn ngữ mô tả dịch vụ Web (WSDL) là phương pháp phổ biến để mô tả các chi tiết cần thiết cho việc kết nối với nhà cung cấp dịch vụ WSDL tập trung vào các hoạt động tương tác với dịch vụ, bao gồm thông điệp gọi dịch vụ, cách tạo lập thông điệp, và thông tin về nơi gửi thông điệp để xử lý WSDL không đề cập đến công nghệ triển khai dịch vụ, vì vậy người yêu cầu dịch vụ không cần biết dịch vụ được viết bằng ngôn ngữ nào Nó có thể mô tả lời gọi dịch vụ SOAP qua HTTP và hỗ trợ các kiểu tương tác khác như nội dung XML qua JMS hoặc các phương thức gọi trực tiếp Định nghĩa chung của WSDL cho phép các công cụ phát triển tạo ra giao diện chung cho nhiều kiểu tương tác khác nhau, trong khi ẩn đi các chi tiết về cách thức gọi dịch vụ.
Mức độ chi tiết của các dịch vụ
Mức độ chi tiết của các hoạt động là yếu tố thiết kế quan trọng, trong đó giao diện thô (coarse-grained) được khuyến khích cho các thành phần bên ngoài, trong khi giao diện hạt mịn (fine-grained) thích hợp cho sử dụng nội bộ Giao diện hạt thô xử lý hoàn chỉnh dịch vụ, trong khi giao diện hạt mịn cung cấp các hoạt động riêng biệt với thông tin đầy đủ trong thông điệp gọi dịch vụ Mặc dù giao diện hạt mịn mang lại sự linh hoạt cho các thành phần yêu cầu dịch vụ, nhưng cũng có thể dẫn đến sự khác biệt trong mẫu tương tác giữa các yêu cầu khác nhau Ví dụ, giao diện hạt thô phù hợp cho dịch vụ thanh toán đơn hàng với thông tin cố định, trong khi giao diện hạt mịn phù hợp cho dịch vụ có thông tin thay đổi thường xuyên Do đó, giao diện hạt mịn có thể gây khó khăn cho nhà cung cấp dịch vụ trong việc hỗ trợ Giao diện hạt thô đảm bảo sự nhất quán trong việc sử dụng dịch vụ, và mặc dù SOA không yêu cầu giao diện thô, nhưng khuyến cáo sử dụng chúng để tích hợp bên ngoài hiệu quả hơn Công cụ biên đạo dịch vụ có thể được áp dụng để tạo ra giao diện hạt.
Tự động tìm và ràng buộc động
Giới thiệu về Trục tích hợp dữ liệu
1.2.1 Khái niệm về Trục tích hợp dữ liệu
Các hệ thống trong doanh nghiệp thường sử dụng nhiều ứng dụng, nền tảng và quy trình nghiệp vụ khác nhau, dẫn đến nhu cầu thiết yếu về việc liên kết và trao đổi thông tin giữa chúng Tuy nhiên, một vấn đề phổ biến là sự thiếu hụt định dạng dữ liệu chung và chuẩn giao tiếp thống nhất Khi doanh nghiệp cần giao tiếp với các hệ thống bên ngoài, vấn đề tích hợp trở nên phức tạp hơn, ảnh hưởng đến các quy trình nghiệp vụ của nhiều doanh nghiệp khác nhau.
ESB (Enterprise Service Bus) là một hệ thống giao tiếp giữa các ứng dụng và phần mềm trong kiến trúc hướng dịch vụ (SOA), hoạt động như một bus truyền tải thông tin và dịch vụ đến mọi ngóc ngách trong hệ thống thông tin của doanh nghiệp Nó đảm bảo rằng những thông tin quan trọng được truyền đạt đến đúng đối tượng, đồng thời cho phép các dịch vụ được sử dụng rộng rãi, định tuyến và sắp xếp việc chia sẻ thông tin giữa các dịch vụ và ứng dụng khác nhau trong hệ thống.
Trong mô hình ESB, các bên tham gia tương tác dịch vụ không giao tiếp trực tiếp mà thông qua một kênh tích hợp, hay còn gọi là trục ESB.
- cơ sở hạ tầng có tính quyết định trong việc liên kết các ứng dụng lại với nhau như thể hiện ở hình 1.2:
Hình 1.2: Mô hình Trục tích hợp dữ liệu
(Nguồn: Sử dụng công nghệ trục tích hợp ESB trong việc kiểm soát thông tin của ngân hàng [7] )
Vai trò của ESB trong mô hình Kiến trúc Hướng dịch vụ: Địa điểm và nhân dạng
Các phần mềm trong trục tích hợp hoạt động độc lập với địa điểm và danh tính của các bên liên quan Dịch vụ được cung cấp và sử dụng bởi các đối tượng mà không cần biết nguồn gốc của dịch vụ đó Các thành phần cung cấp dịch vụ có khả năng gỡ bỏ dịch vụ mà không ảnh hưởng đến toàn bộ hệ thống.
Các thành phần trong trục tích hợp không cần lo lắng về các giao thức, vì trục tích hợp đã tích hợp sẵn và có khả năng chuyển đổi một cách linh hoạt.
Các bên sử dụng và cung cấp dịch vụ không cần thống nhất giao diện chung, vì ESB sẽ điều hợp sự khác biệt bằng cách chuyển đổi các thông báo yêu cầu thành định dạng mà nhà cung cấp mong đợi.
Chất lượng (Tương tác), Dịch vụ (QoS)
Các bên tham gia cần khai báo yêu cầu dịch vụ, bao gồm hiệu năng, độ tin cậy và quyền hạn của các yêu cầu Họ cũng phải chú ý đến việc mã hóa và giải mã nội dung thông báo, kiểm tra tự động các tương tác dịch vụ, cùng với cách định tuyến các yêu cầu đó.
Mô hình ESB giúp bên sử dụng dịch vụ không cần hiểu rõ quy trình thực hiện của bên cung cấp dịch vụ, từ cả góc độ nhà phát triển và nhà triển khai ứng dụng ESB chịu trách nhiệm phân phối yêu cầu tới các bên cung cấp dịch vụ, cho phép họ đáp ứng mà không biết nguồn gốc thông báo Đồng thời, ESB cũng tạo sự minh bạch cho các bên yêu cầu và cung cấp dịch vụ Logic ứng dụng có thể gọi hoặc phân phối dịch vụ thông qua nhiều mô hình và kỹ thuật lập trình mà không cần quan tâm đến kết nối trực tiếp hay việc đi qua ESB Kết nối đến ESB là một quyết định triển khai mà không làm thay đổi mã nguồn ứng dụng.
1.2.2 Các đặc tính của Trục tích hợp dữ liệu
ESB đóng vai trò quan trọng trong việc tích hợp các nguồn tài nguyên khác nhau trong doanh nghiệp, hỗ trợ trao đổi và liên kết giữa chúng Mục tiêu của Trục tích hợp dữ liệu là phục vụ cho việc triển khai Kiến trúc Hướng dịch vụ, do đó ESB cung cấp các cơ chế kết nối tổng quát, giúp xây dựng giải pháp cho doanh nghiệp mà không ảnh hưởng đến độ tin cậy, tính an toàn, hiệu suất và khả năng mở rộng của hệ thống.
ESB có khả năng gửi yêu cầu và nhận phản hồi từ các dịch vụ và tài nguyên tích hợp, hỗ trợ các tiêu chuẩn truyền thông phổ biến như SOAP, WSDL và WS Để tích hợp với các hệ thống ứng dụng, ESB cần triển khai các dịch vụ API và kiến trúc như JMS, J2EE Ngoài ra, ESB cũng phải xử lý các giao thức cơ bản như TCP, HTTP, SSL và các cơ chế truyền thông bổ sung như SMTP, POP3 và FTP Nhờ đó, ESB có thể triệu gọi các dịch vụ khác nhau với các tiêu chuẩn đầu vào và đầu ra đa dạng.
Khả năng định tuyến trong hệ thống ESB cho phép xác định đích đến của thông điệp trong quá trình truyền tải giữa các dịch vụ Đây là một tính năng quan trọng, giúp tách biệt nguồn gốc của thông điệp từ nơi gửi đến đích cuối cùng Để thực hiện định tuyến, các đích đến của thông điệp cần được tham chiếu theo tiêu chuẩn, và quyết định về đích đến được đưa ra dựa trên nhiều điều kiện khác nhau Điều này cho phép người gửi gửi thông điệp mà không cần chỉ định đích đến chính xác Ví dụ, với thông điệp XML, bộ định tuyến dựa trên nội dung có thể sử dụng XPath để nhận diện các phần cần thiết cho việc định tuyến Trong các kịch bản tích hợp, thông điệp có thể được gửi đến nhiều nơi nhận thông qua bộ định tuyến danh sách nơi nhận hoặc cấu hình tĩnh Các bộ định tuyến có khả năng kết hợp để tạo ra luồng thông điệp phức tạp và có thể cấu hình lại các quy tắc định tuyến dựa trên các thuộc tính của tin nhắn được gửi đi.
Khả năng này bao gồm tất cả các biến đổi giữa các nguồn tài nguyên khác nhau, như giao thức truyền tin, định dạng thông điệp và nội dung Quá trình chuyển đổi này rất quan trọng cho việc tích hợp, vì dữ liệu trong ứng dụng thường không tuân theo các chuẩn dữ liệu chung Các bộ chuyển đổi phức tạp có thể truy cập nhiều nguồn dữ liệu khác nhau để kết nối với trục tích hợp.
Message Transformation là khả năng chuyển đổi cấu trúc và định dạng của yêu cầu dịch vụ thành kiểu cấu trúc và định dạng phù hợp với dịch vụ cung cấp.
Protocol Transformation là khả năng tiếp nhận một loại giao thức đầu vào và chuyển tiếp tới dịch vụ cung cấp qua các giao thức khác nhau, chẳng hạn như chuyển đổi từ SOAP/JMS sang SOAP/HTTP.
Service Mapping: là khả năng chuyển đổi một dịch vụ nghiệp vụ thành các thông tin dịch vụ tương ứng
Nhiều giải pháp ESB cung cấp bộ điều hợp ứng dụng cho các gói phổ biến như Quản lý nguồn lực doanh nghiệp và Quản lý quan hệ khách hàng Những bộ điều hợp này kết nối các giao thức, API và cấu trúc dữ liệu của các ứng dụng, trình bày chúng theo một giao thức thống nhất Điều này giúp giảm thiểu kỹ năng cần thiết để sử dụng từng hệ thống kết nối Việc sử dụng bộ điều hợp có sẵn sẽ giảm bớt công việc tích hợp ứng dụng vào hệ thống SOA.
HIỆN TRẠNG PHÁT TRIỂN VÀ ỨNG DỤNG TRỤC TÍCH HỢP DỮ LIỆU TẠI CÁC TỔ CHỨC DOANH NGHIỆP TẠI VIỆT NAM
Thực trạng về áp dụng Trục tích hợp dữ liệu tại Việt Nam
Tính đến đầu năm 2017, Việt Nam có hơn 518.000 doanh nghiệp hoạt động, trong đó hơn 95% là doanh nghiệp vừa và nhỏ Ứng dụng công nghệ thông tin tại các doanh nghiệp này chủ yếu ở mức cơ bản và thiếu tính tổng thể Việc xây dựng hệ thống phần mềm không được chú trọng, dẫn đến hạn chế trong an toàn, bảo mật, chính sách và đào tạo nguồn nhân lực Đầu tư cho công nghệ thông tin chỉ chiếm khoảng 0,15% đến 0,3% tổng doanh thu hàng năm của doanh nghiệp Nhiều tổ chức sử dụng thiết bị lưu trữ dữ liệu nhưng chưa có hệ thống tập trung, dẫn đến việc lưu trữ phân tán trên máy tính cá nhân Hầu hết doanh nghiệp chỉ áp dụng công nghệ thông tin ở mức cơ bản như mua sắm máy tính và cài đặt phần mềm văn phòng, chưa xây dựng được hệ thống công nghệ thông tin có tổ chức.
Trong xã hội hiện đại, công nghệ thông tin đóng vai trò quan trọng trong đời sống và kinh tế, giúp doanh nghiệp phát triển bền vững thông qua việc áp dụng khoa học kỹ thuật vào quản lý và sản xuất Mặc dù nhiều doanh nghiệp đã đầu tư vào hệ thống phần mềm, nhưng các phần mềm này thường thiếu tính đồng bộ và rời rạc Doanh nghiệp đang chuyển từ mô hình phòng ban theo chiều dọc sang cấu trúc quy trình theo chiều ngang, dẫn đến nhu cầu tích hợp giữa các ứng dụng và cơ sở dữ liệu, không chỉ trong nội bộ mà còn với khách hàng và đối tác bên ngoài Tuy nhiên, việc tích hợp hiện tại chủ yếu dừng lại ở mức tích hợp dữ liệu và sử dụng các phương pháp truyền thống như tích hợp điểm-nối-điểm và tích hợp tĩnh, gây khó khăn cho việc chỉnh sửa trong tương lai Đặc biệt, nhiều công ty đối tác sử dụng nhiều hệ thống phần mềm khác nhau với cơ sở dữ liệu và ngôn ngữ lập trình khác nhau, khiến việc cập nhật thay đổi trở nên thủ công và phức tạp Các tập đoàn lớn thường phải điều chỉnh nhiều hệ thống phần mềm như ERP, CRM, và quản lý tài chính khi có sự thay đổi dữ liệu, dẫn đến sự phụ thuộc lẫn nhau giữa các hệ thống.
Việc đầu tư công nghệ thông tin tại Việt Nam hiện chưa đạt yêu cầu bài bản, dẫn đến tình trạng thiếu tính đồng bộ và kết nối giữa các hệ thống trong doanh nghiệp Để khắc phục điều này, các doanh nghiệp cần đảm bảo thông tin được đồng nhất và quy trình nghiệp vụ giữa các phòng ban được kết nối, vận hành linh hoạt Giải pháp Trục tích hợp dữ liệu, đã được nêu trong chương 1, là một trong những phương án hiệu quả mà nhiều công ty lớn tại Việt Nam đang áp dụng nhằm giải quyết vấn đề dư thừa và không đồng nhất dữ liệu, đồng thời hỗ trợ tối ưu cho các quy trình nghiệp vụ của doanh nghiệp.
Nhiều ngân hàng tại Việt Nam đã áp dụng công nghệ trục tích hợp dữ liệu vào quy trình nghiệp vụ và hệ thống ngân hàng lõi Đồng thời, nhiều cơ quan nhà nước cấp tỉnh, thành phố cũng sử dụng trục tích hợp để phát triển kiến trúc chính phủ điện tử.
Hiện nay, các ngân hàng lớn như Vietcombank đang áp dụng hệ thống Trục tích hợp dữ liệu của TIBCO, một công ty chuyên cung cấp giải pháp tích hợp doanh nghiệp, với 25% khách hàng trong lĩnh vực ngân hàng TIBCO ưu tiên ngành tài chính – ngân hàng tại Việt Nam và toàn cầu Ngân hàng TMCP Kỹ thương đã triển khai ESB và chuyển dịch sang Kiến trúc Hướng dịch vụ SOA, mở rộng tích hợp dịch vụ trong tương lai Ngân hàng TMCP Quốc tế VIB, nổi bật với hệ thống công nghệ ngân hàng tiên tiến, cũng đã áp dụng nền tảng công nghệ ESB, giúp giảm thiểu sự phụ thuộc giữa các thành phần hệ thống, tích hợp dịch vụ mới nhanh chóng, tiết kiệm chi phí và ít ảnh hưởng đến hệ thống hiện tại.
Vào ngày 15/5/2014, Ngân hàng Nhà nước Việt Nam và Công ty Hệ thống Thông tin FPT (FPT IS) đã ký hợp đồng gói thầu SG 3.1, đánh dấu bước tiến quan trọng trong việc áp dụng Trục tích hợp dữ liệu trong ngành tài chính - ngân hàng Gói thầu này nhằm cung cấp hệ thống ngân hàng lõi (Core Banking) và tích hợp hệ thống theo chuẩn quốc tế, giúp nâng cao hiệu quả quản lý và giảm chi phí bảo trì Đến ngày 11/7/2017, hệ thống SG3.1 chính thức đi vào vận hành, tạo nền tảng cho việc đổi mới tổ chức nghiệp vụ và quản lý của Ngân hàng Nhà nước Ngoài ra, một số tỉnh như Hải Dương và An Giang cũng đã triển khai Trục tích hợp dữ liệu ESB, nhằm kết nối các dịch vụ chính quyền điện tử và tối ưu hóa việc chia sẻ thông tin giữa các cơ quan nhà nước.
Theo anh Nguyễn Thanh Tùng – Giám đốc công ty ISEAS, khoảng 90% doanh nghiệp đối tác không sử dụng ESB cho hệ thống phần mềm của mình, ngoại trừ công ty tài chính ngân hàng Mcredit Mcredit, một công ty tài chính tiêu dùng, cung cấp sản phẩm dịch vụ đa dạng, đáp ứng nhu cầu của khách hàng qua quy trình thu thập thông tin để lập hồ sơ vay vốn Nhân viên kinh doanh sử dụng ứng dụng di động để thu thập thông tin khách hàng, sau đó dữ liệu được tích hợp vào hệ thống Quản lý hồ sơ vay vốn, giúp đồng nhất dữ liệu và tăng tính tiện lợi cho khách hàng Điều này giảm thiểu thủ tục và mở rộng mạng lưới, giúp Mcredit nhanh chóng tiếp cận đông đảo khách hàng trong thời gian ngắn.
Nhiều tổ chức và doanh nghiệp đang bắt đầu tiếp cận Kiến trúc Tích hợp thông qua hai hướng chính: nâng cao năng suất làm việc bằng cách tích hợp con người và mở rộng kênh truy cập vào hệ thống ứng dụng thông qua việc xây dựng cổng làm việc điện tử và cổng giao dịch điện tử Đồng thời, họ cũng tăng cường khả năng kết nối linh hoạt giữa các ứng dụng hiện có thông qua việc xây dựng ESB Ngoài hai hướng này, các phương pháp tiếp cận khác của SOA bao gồm tự động hóa quy trình nghiệp vụ, tích hợp thông tin và xây dựng kho tài nguyên dịch vụ có khả năng tái sử dụng cho các ứng dụng mới.
Thách thức của việc áp dụng Trục tích hợp dữ liệu tại Việt Nam
Các hệ thống mạng doanh nghiệp thường triển khai nhiều ứng dụng và quy trình nghiệp vụ khác nhau, yêu cầu liên kết và trao đổi thông tin giữa chúng Tuy nhiên, vấn đề phổ biến là thiếu định dạng dữ liệu chung và chuẩn giao tiếp, dẫn đến khó khăn trong việc tích hợp với các hệ thống bên ngoài Giải pháp ESB ra đời để hỗ trợ doanh nghiệp sử dụng nhiều phần mềm khác nhau, nhưng vẫn gặp nhiều thách thức trong thực tế, đặc biệt đối với các doanh nghiệp, ngân hàng và cơ quan.
Quá trình áp dụng Trục tích hợp dữ liệu tại các ngân hàng, đặc biệt là Ngân Hàng Nhà Nước, đã thay đổi đáng kể quy trình và công nghệ so với hệ thống cũ, yêu cầu rà soát và ban hành nhiều văn bản quy phạm về kế toán và quy trình nghiệp vụ trong thời gian ngắn Hệ thống mới yêu cầu xử lý nghiệp vụ tức thời và khóa sổ hàng ngày, khiến mỗi trục trặc kỹ thuật tại một chi nhánh có thể ảnh hưởng đến toàn bộ ngân hàng Do đó, ngân hàng đã tiến hành đào tạo hàng ngàn cán bộ nghiệp vụ và kỹ thuật trước khi chính thức vận hành, đồng thời triển khai hệ thống hỗ trợ trực tuyến để xử lý nhanh các sai sót Về công nghệ, toàn bộ nghiệp vụ tài chính và kế toán được tích hợp vào một hệ thống duy nhất, làm tăng độ phức tạp và rủi ro sai sót, ảnh hưởng đến hoạt động của ngân hàng và hệ thống thanh toán điện tử liên ngân hàng quốc gia Việc xây dựng trục tích hợp ESB là chiến lược lâu dài nhằm nâng cao hiệu quả và năng suất hoạt động, giảm chi phí và tự động hóa quy trình tuân thủ Tuy nhiên, chi phí ban đầu cho việc xây dựng này rất cao, có thể chiếm tới 20% vốn ngân hàng, nên cần thời gian để phát triển Đối với các cơ quan nhà nước, chính quyền điện tử đang được triển khai mạnh mẽ, nhưng việc áp dụng ESB gặp nhiều khó khăn do khung kiến trúc hiện tại còn thiếu rõ ràng và quá trình triển khai ở địa phương chưa hiệu quả.
Giới thiệu về doanh nghiệp thực tập
- Tên công ty viết bằng tiếng Việt: Công ty TNHH Giải pháp Hệ thống thông tin và Kiến trúc doanh nghiệp
- Tên công ty viết bằng tiếng nước ngoài: iSEAS
- Địa chỉ trụ sở: 21/62 Nguyễn Chí Thanh, Hà Nội, Việt Nam
Công ty TNHH Giải pháp Hệ thống thông tin và Kiến trúc doanh nghiệp chuyên cung cấp các dịch vụ và giải pháp như:
- Tư vấn và triển khai hệ thống phần mềm
- Triển khai giải pháp nguồn nhận lực tổng thể (ERP)
- Triển khai dự án về Quản lý nhân sự (HRM)
- Triển khai các dự án về BPM cho các quy trình khởi tạo khoản vay, chấm điểm tín dụng cho các Ngân hàng TMCP
- Giải pháp tích hợp thanh toán tự động, marketing online, Quản lý khách hàng
iSEAS được thành lập nhằm đáp ứng nhu cầu cao về chất lượng hệ thống thông tin trong doanh nghiệp, cung cấp giải pháp và dịch vụ công nghệ hoàn hảo cho ngân hàng và các doanh nghiệp trên thị trường Với hơn 3 năm kinh nghiệm trong lĩnh vực CNTT, cùng với kiến thức sâu sắc và công nghệ tiên tiến, iSEAS cam kết điều chỉnh giải pháp theo yêu cầu riêng của khách hàng, giúp tối ưu hóa nguồn lực công nghệ cho hoạt động kinh doanh và vận hành của doanh nghiệp.
iSEAS kiên trì với sứ mệnh và tầm nhìn, luôn hoàn thành xuất sắc các mục tiêu đề ra, mang đến cho khách hàng trải nghiệm tuyệt vời từ hệ thống công nghệ thông tin tiên tiến Đặt con người làm trung tâm, iSEAS đã xây dựng đội ngũ chuyên gia bản lĩnh, nhiệt huyết và tạo ra môi trường làm việc chuyên nghiệp cho hơn 10 cán bộ nhân viên Chiến lược phát triển của iSEAS trong thời gian tới là mở rộng các dịch vụ cung cấp và phát triển hoạt động trong nước, nhằm trở thành đơn vị hàng đầu trong lĩnh vực giải pháp Hệ thống thông tin và Kiến trúc doanh nghiệp, với năng lực cạnh tranh trên thị trường khu vực và quốc tế.
Mô hình phát triển phần mềm theo hướng truyền thống
Tại đơn vị thực tập là công ty TNHH ISEAS, việc phát triển một dự án phần mềm được thực hiện qua 5 giai đoạn chính:
- Chuẩn bị trước dự án
- Lập kế hoạch phát triển dự án
- Chuyển giao phần mềm, đi vào hoạt động
Chuẩn bị trước dự án
Trong giai đoạn này, nhân viên phân tích nghiệp vụ và lập trình sẽ nghiên cứu đầu bài và phạm vi dự án, đồng thời tìm hiểu về nghiệp vụ và công nghệ áp dụng Tiếp theo, họ sẽ xác định nguồn lực công ty và lập kế hoạch nháp cho việc thực thi dự án Nhóm phát triển có thể tạo ra một phần nhỏ của dự án để giới thiệu cho khách hàng.
Lập kế hoạch phát triển dự án
Trong giai đoạn này, cần xác định các hạng mục công việc cụ thể, phân công nhiệm vụ cho từng người thực hiện và ước lượng thời gian hoàn thành Dựa trên những thông tin này, sẽ xây dựng một bản kế hoạch sơ thảo nhằm đảm bảo tiến độ thực hiện dự án.
Việc lập kế hoạch phát triển dự án sẽ đi theo mô hình Scrum
Scrum là một quy trình quản lý dự án hiệu quả trong phát triển phần mềm, giúp đơn giản hóa các công đoạn và tập trung vào những yếu tố cần thiết để đáp ứng nhu cầu của khách hàng.
Hình 2.1: Mô hình quy trình Scrum
(Nguồn: Agile Development: Lessons learned from the first Scrum [26] )
Nguyên tắc chính trong phát triển phần mềm là chia nhỏ sản phẩm thành các phần độc lập, gọi là Sprint Mỗi Sprint cần được phát triển và hoàn thiện để lấy ý kiến từ khách hàng (Product Owner), từ đó điều chỉnh và cải tiến sản phẩm ngay trong quá trình phát triển, nhằm đảm bảo sản phẩm cuối cùng đáp ứng đúng nhu cầu và mong đợi của khách hàng.
Sau khi phân tích và lấy ý kiến từ khách hàng, nhân viên công ty sẽ xây dựng một kế hoạch phát triển dự án cùng với các quy trình sơ bộ để gửi cho đối tác phê duyệt Tuy nhiên, trong giai đoạn này, kế hoạch thường xuyên thay đổi, dẫn đến sự không đồng nhất giữa các bộ phận phát triển của công ty và đối tác Thêm vào đó, do hạn chế về thời gian, việc triển khai không thể chờ đợi cho đến khi tất cả các bộ phận hoàn tất.
Bảng 2.1: Bảng kế hoạch triển khai dự án trong phát triển các HTTT doanh nghiệp
Trong quá trình phân tích nghiệp vụ, nhân viên sẽ đến doanh nghiệp đối tác để trao đổi với lãnh đạo, khảo sát quy trình và thu thập thông tin cần thiết Dựa trên thông tin này, họ sẽ xây dựng lộ trình phân tích và đánh giá các yêu cầu để tránh hiểu nhầm quy trình của doanh nghiệp Nhân viên phân tích sẽ tiến hành phân tích hệ thống từ tổng quan đến chi tiết, thiết kế luồng quy trình làm việc với giao diện riêng cho từng bước Cuối cùng, họ sẽ biên soạn tài liệu đặc tả yêu cầu người dùng cho hệ thống.
Giai đoạn phát triển phần mềm chủ yếu phụ thuộc vào công nghệ sử dụng và khả năng của đội ngũ lập trình viên Các lập trình viên sẽ xác định các chức năng khả thi dựa trên kinh nghiệm của họ Đối với hệ thống phức tạp, cần có thời gian để hiểu rõ và thiết lập thời hạn hoàn thành Lập trình viên cần nghi ngờ và kiểm tra các chức năng để phát hiện điểm bất hợp lý, đồng thời quản lý thời gian hiệu quả để tránh dồn deadline Đối với các hệ thống lớn, việc xây dựng kênh giao tiếp giữa các hệ thống là rất quan trọng.
Mục đích của giai đoạn kiểm thử là đảm bảo hệ thống đưa vào vận hành đạt dược các yêu cầu về chất lượng của dự án
Trong giai đoạn kiểm thử, nhân viên tester sẽ tiến hành kiểm tra các hệ thống và chức năng được tích hợp vào phần mềm Quá trình kiểm thử này bao gồm hai giai đoạn chính.
Giai đoạn 1 là quá trình kiểm thử nội bộ, trong đó nhân viên kiểm thử sẽ đánh giá hoạt động của hệ thống và phát hiện các lỗi tiềm ẩn Họ cũng kiểm tra tính hợp lệ của các trường dữ liệu trong giao diện Ngoài ra, nhân viên phân tích nghiệp vụ (BA) sẽ tham gia vào quá trình này để thực hiện kiểm thử và hoàn thiện bản hướng dẫn sử dụng.
Giai đoạn 2 của quá trình kiểm thử nghiệp vụ diễn ra sau khi hệ thống đã hoàn thành kiểm thử nội bộ và chuyển giao mã nguồn cho đối tác Tại đây, nhân viên nghiệp vụ của công ty đối tác sẽ thực hiện kiểm tra để đảm bảo hệ thống đáp ứng đầy đủ các yêu cầu nghiệp vụ, đồng thời xác nhận rằng luồng dữ liệu và quy trình làm việc hoạt động theo đúng mong đợi.
Trong quá trình kiểm thử, các vấn đề hệ thống như lỗi phần mềm (bug) sẽ được phát hiện, đòi hỏi đội phát triển hỗ trợ sửa chữa, xác định nguyên nhân và điều chỉnh hệ thống Bên cạnh đó, các vấn đề cũng có thể phát sinh từ sự thay đổi yêu cầu của đối tác, yêu cầu nhóm phát triển và đối tác xác định xem các thay đổi này có nằm ngoài phạm vi dự án hay không, và cần có sự trao đổi lại trong giai đoạn phát triển tiếp theo.
Giai đoạn chuyển giao là bước cuối cùng trong quy trình phát triển hệ thống, nơi nhóm phát triển sẽ bàn giao các phần của hệ thống đã được kiểm thử và chỉnh sửa cho đối tác Cần xây dựng danh mục các thành phần hệ thống có thể đưa vào hoạt động, đồng thời đào tạo nhân sự của đối tác về cách vận hành hệ thống mới Trong giai đoạn này, mọi lỗi phát sinh phải được xử lý kịp thời Sau khi chuyển giao thành công, dự án sẽ kết thúc và thực hiện bảo trì nếu cần thiết.
Nâng cao năng lực triển khai phần mềm thông qua xây dựng và ứng dụng trục tích hợp dữ liệu
Trong quá trình thực tập tại công ty, các dự án chủ yếu tập trung vào việc phát triển phần mềm riêng lẻ mà chưa tích hợp trục dữ liệu và dịch vụ với các hệ thống phần mềm của đối tác Qua nghiên cứu về phát triển hệ thống Trục tích hợp dữ liệu, có một số điểm quan trọng cần lưu ý, đặc biệt là trong quy trình phát triển hệ thống ESB, nơi bước phân tích nghiệp vụ và lập trình đóng vai trò then chốt.
Trong quá trình phân tích nghiệp vụ, nhân viên BA cần nắm vững nghiệp vụ để xác định thông tin cần thiết cho việc tích hợp ứng dụng và phần mềm Họ sẽ mô hình hóa lại quy trình, đề xuất phương thức cải tiến và lựa chọn giải pháp phù hợp với doanh nghiệp, cân nhắc cả lợi ích hữu hình như tiết kiệm chi phí và tự động hóa, cũng như lợi ích vô hình như tạo sự thoải mái và linh hoạt trong công việc Tiếp theo, nhân viên BA sẽ xác định rõ phạm vi tích hợp, áp dụng giải pháp ESB trong tổ chức, xác định các ứng dụng cần tích hợp và lập kế hoạch cho từng giai đoạn, nhằm xây dựng dự án một cách có trọng tâm hơn.
Sau giai đoạn đầu, nhân viên BA và lập trình viên cần nghiên cứu kỹ lưỡng các ứng dụng sẽ được tích hợp vào trục, nhằm tránh sai sót trong mục đích và luồng hoạt động Đầu tiên, nhóm phát triển phải lập danh sách các ứng dụng, hệ thống và cơ sở dữ liệu cần tích hợp, đồng thời tìm hiểu định dạng dữ liệu và vị trí của chúng trong quy trình nghiệp vụ để đảm bảo không xảy ra xung đột thông tin Việc này có thể gặp khó khăn do một số hệ thống cũ hoặc độc quyền Mấu chốt của ESB là các dịch vụ dữ liệu, vì vậy đội phát triển cần nắm rõ vị trí, mục đích và các ràng buộc của các dịch vụ Có hai phương pháp để thực hiện việc tìm hiểu này: xem mã nguồn của các dịch vụ tích hợp, mặc dù phương pháp này ít được sử dụng vì lý do bảo mật, hoặc doanh nghiệp cung cấp bản đặc tả về dịch vụ cùng các trường dữ liệu đầu vào và đầu ra Việc này giúp nhóm phát triển xác định tất cả các điểm tích hợp trong hệ thống dự án.
Endpoint URL http://dev- esb.mcredit.com.vn:8280/api/v1.0/processmaker/csapprove/update
Dịch vụ chèn thông tin vào bảng CS_data_entry được thực hiện một lần duy nhất khi hoàn thành bước phê duyệt yêu cầu.
Có thể check trường httpCode = 200
"faultcode": "axis2ns7337:DATABASE_ERROR",
"faultstring": "DS Fault Message: Error in DS non result invoke
DS Code: DATABASE_ERROR Nested Exception:- javax.xml.stream.XMLStreamException: DS Fault Message:
Error in 'SQLQuery.processPreNormalQuery': Incorrect integer value: '' for column 'approve' at row 1 DS Code:
The DATABASE_ERROR from the Source Data Service indicates an issue with the process_maker located at \process_maker.dbs The default namespace is set to http://ws.wso2.org/dataservice, and the current request is named _postupdatecsapprove with parameters including note, approve, and appIdt98474125818611f9819b5079007823 A nested exception has occurred: java.sql.SQLException, which reports an incorrect integer value for the 'approve' column at row 1.
Example Endpoint: http://dev- esb.mcredit.com.vn:8280/api/v1.0/processmaker/csapprove/update
Bảng 2.2: Bảng mô tả một dịch vụ dữ liệu ESB
Bảng 2.3: Bảng mô tả thông tin đầu vào một dịch vụ dữ liệu ESB
Thông Tin Đầu Ra Thành Công
Mô tả Quy tắc xác nhận dữ liệu
REQUEST_STATUS Text Có Giá trị là:
Bảng 2.4: Bảng mô tả thông tin đầu ra một dịch vụ dữ liệu ESB
Thông Tin Đầu Ra Lỗi
Mô tả Quy tắc xác nhận dữ liệu
Mô tả Quy tắc xác nhận dữ liệu appId String Có Chuỗi 32 ký tự, được lấy từ biến hệ thống:
@@APPLICATION lastUpdatedBy String Có Lấy từ biến hệ thống: @@
USR_USERNAME Các trường còn lại là các thông tin nhập liệu trên màn hình
Nhóm phát triển cần xác định rõ các đích đến và đầu vào thông tin trong dự án tích hợp, đồng thời lập danh sách các hoạt động quy trình nghiệp vụ liên quan Việc nắm rõ đầu ra và đầu vào của các dịch vụ hiện có là rất quan trọng để xác định cơ chế tương tác giữa các dịch vụ, bao gồm việc gọi dịch vụ nào trong quy trình, dữ liệu được tạo ra và cung cấp, cũng như cách điều tuyến thông tin đến các dịch vụ và ứng dụng trong hệ thống Tất cả thông tin này phải được đội phát triển nắm rõ và liên kết chặt chẽ với các quy trình và dịch vụ tích hợp.
Sau khi xác định liên kết giữa các quy trình nghiệp vụ và dịch vụ, nhà phát triển cần xác định tất cả các giao diện bên ngoài mà hệ thống tương tác để tối đa hóa giá trị Việc sử dụng nhiều ứng dụng nội bộ và các ứng dụng của đối tác yêu cầu phải đảm bảo tất cả giao diện cần thiết được xác định Điều này bao gồm khả năng trình bày dịch vụ của miền cho các đối tác và khả năng nhận biết, thúc đẩy dịch vụ của họ Hệ thống của doanh nghiệp và đối tác cần phối hợp chặt chẽ để hỗ trợ quy trình chia sẻ chung.
Dựa trên thông tin tri thức đã thu thập, nhóm phát triển sẽ chọn lựa công nghệ phù hợp để xây dựng hệ thống, bao gồm máy chủ ứng dụng và máy chủ tích hợp Quy trình này yêu cầu thời gian và công sức đáng kể, vì cần hiểu rõ các giải pháp và kết nối chúng một cách hoàn chỉnh để đáp ứng tiêu chuẩn hệ thống Giai đoạn này có thể kéo dài hơn dự kiến ban đầu của nhóm phát triển.
Sau khi hoàn tất các giai đoạn trước, nhóm phát triển tiến hành xây dựng trục ESB cho doanh nghiệp bằng công nghệ phù hợp, triển khai hệ thống và thực hiện kiểm thử Kiểm thử là bước quan trọng để xác minh rằng các quy trình và dịch vụ hoạt động đúng như mong đợi, đồng thời phát hiện những dịch vụ trở nên thừa trong thực tế Sau giai đoạn kiểm thử, doanh nghiệp có thể chuyển đổi thành công và trang bị các công cụ cần thiết để mở rộng hệ thống ESB của mình.
CHƯƠNG 3: PHÁT TRIỂN TRỤC TÍCH HỢP DỮ LIỆU DOANH
NGHIỆP DỰA TRÊN WSO2 ENTERPRISE INTERGRATOR
Giới thiệu WSO2 ESB
WSO2 ESB là giải pháp mã nguồn mở hàng đầu cho trục dịch vụ doanh nghiệp, được phát triển bởi WSO2 trong hơn mười năm Nền tảng phần mềm trung gian này, xây dựng trên JAVA, giúp các nhà phát triển dễ dàng và hiệu quả tích hợp dịch vụ và ứng dụng Bên cạnh đó, WSO2 ESB cũng hỗ trợ kết nối các ứng dụng đám mây thông qua nhiều kết nối sẵn có.
WSO2 ESB cho phép kết nối và tái sử dụng các hệ thống công nghệ thông tin hiện có thông qua nhiều công nghệ khác nhau như Web Services, Micro Services, HTTP, JMS, và JDBC Với một loạt các mô hình tích hợp doanh nghiệp có sẵn, ESB hỗ trợ các mô hình liên kết dịch vụ, lưu trữ và chuyển tiếp, giúp kết nối nhiều dịch vụ và tạo ra các dịch vụ giá trị gia tăng một cách nhanh chóng.
WSO2 có thể triển khai linh hoạt trên mọi cơ sở hạ tầng điện toán đám mây, bao gồm cả đám mây cá nhân và hệ thống lưu trữ Ngoài ra, ESB cũng được cung cấp trên các đám mây công cộng dưới dạng dịch vụ WSO2 ESB tích hợp khả năng giám sát và phân tích, hỗ trợ cả phân tích theo thời gian thực và phân tích theo lô.
3.1.2 Các tính năng của WSO2 ESB
Các thông tin tại chương này được tham khảo từ nguồn tài liệu do chính WSO2 cung cấp [27]
WSO2 ESB là công cụ lý tưởng cho tích hợp ứng dụng doanh nghiệp (EAI) nhờ kiến trúc tuyến giúp giao tiếp giữa các ứng dụng Nó kết nối các hệ thống phần mềm với các định dạng dữ liệu khác nhau vào một kiến trúc tích hợp thống nhất Khi triển khai trong môi trường doanh nghiệp, WSO2 ESB đóng vai trò hệ thống vận chuyển chính, hoạt động như một trung gian truyền tải dữ liệu giữa các hệ thống thông qua cơ chế truyền thông theo định hướng Một số tính năng nổi bật của WSO2 ESB bao gồm khả năng xử lý dữ liệu linh hoạt và tích hợp dễ dàng với các hệ thống khác.
Hệ thống hỗ trợ các dịch vụ và giao thức tầm cỡ thế giới với hơn 160 loại kết nối ESB, phục vụ cho nhiều lĩnh vực như thanh toán, quản lý quan hệ khách hàng, hoạch định tài nguyên doanh nghiệp và mạng xã hội Nó hỗ trợ các giao thức như HTTP, HTTPS, WebSocket, POP, IMAP, SMTP cùng nhiều hình thức vận chuyển khác Bên cạnh đó, ESB còn có khả năng kết nối với các hệ thống COTS, bao gồm SAP BAPI và Idoc, IBM WebSphere MQ, Oracle AQ và MSMQ.
ESB cho phép kết nối và cung cấp bất kỳ kho dữ liệu nào dưới dạng dịch vụ, hỗ trợ nhiều định dạng như RDBMS, CSV, Excel, ODS, Cassandra, Google Spreadsheets, RDF và các trang web Nó tương thích với giao thức OData v4 cho các nguồn dữ liệu RDBMS và Cassandra, đồng thời hỗ trợ nhiều hệ quản trị cơ sở dữ liệu như MSSQL, DB2, Oracle, OpenEdge, TerraData, MySQL, PostgreSQL/EnterpriseDB, H2, Derby và bất kỳ cơ sở dữ liệu nào với trình điều khiển JDBC ESB cũng cho phép thực hiện các truy vấn lồng nhau trên các nguồn dữ liệu khác nhau, cung cấp một mô hình lập trình rõ ràng để xác định dịch vụ và tài nguyên, sử dụng ngôn ngữ cụ thể dựa trên XML mà không cần viết mã Java.
Định tuyến trong ESB hỗ trợ nhiều phương thức như dựa trên tiêu đề, nội dung, quy tắc và mức độ ưu tiên Các tính năng hòa giải trong ESB cung cấp hỗ trợ cho tất cả các mẫu tích hợp doanh nghiệp (EIP), tích hợp cơ sở dữ liệu, xuất bản sự kiện, đăng nhập, kiểm toán và xác nhận Chuyển đổi tin nhắn trong ESB sử dụng các công nghệ như XSLT 1.0/2.0, XPath, XQuery và Smooks Ngoài ra, ESB còn cho phép lập bản đồ dữ liệu đầu vào và đầu ra một cách trực quan.
Sử dụng cho các hành động với thông điệp và dịch vụ như một cổng an ninh, hệ thống hỗ trợ giao thức AMQP v0.9 và MQTT, đảm bảo tất cả các cấp QoS và khả năng lưu giữ tin nhắn Nó cũng hỗ trợ cơ sở dữ liệu quan hệ làm kho lưu trữ tin nhắn phụ trợ có thể mở rộng, cùng với khả năng quản lý hàng đợi tin nhắn phân tán Bên cạnh đó, hệ thống thực thi và quản lý bảo mật tập trung, bao gồm xác thực, ủy quyền và quyền lợi với ESB.
ESB đạt được hiệu suất cao, khả năng sẵn sàng và mở rộng tốt, cùng với tính ổn định vượt trội Nó cung cấp độ trễ chỉ trong mili giây cho các trường hợp có thông lượng cao và hỗ trợ tới 1000 kết nối đồng thời không chặn HTTP(S) trên mỗi máy chủ Hệ thống cho phép thanh toán trực tuyến và thu thập dữ liệu theo yêu cầu, đồng thời hỗ trợ triển khai có sẵn cao Với kiến trúc máy chủ không trạng thái, ESB cho phép mở rộng theo chiều ngang thông qua việc phân cụm, đảm bảo hoạt động ổn định lâu dài với mức sử dụng tài nguyên thấp.
Để đảm bảo triển khai linh hoạt và dễ dàng, cần theo dõi và gỡ lỗi cho việc chỉnh sửa thông điệp trong ESB, đồng thời đưa ra các phát triển rõ ràng cùng với cấu hình thay vì mã code phức tạp Việc cấu hình và sửa lỗi cũng phải dễ dàng, với sự hỗ trợ xử lý lỗi hiệu quả Hơn nữa, cần đảm bảo tùy biến máy chủ thông qua khả năng giám sát các tính năng trung gian WSO2 Việc mở rộng ngôn ngữ cấu hình ESB bằng cách sử dụng DSL tùy chỉnh thông qua các mẫu cũng rất quan trọng, cùng với việc phát triển và triển khai thông qua các công cụ chuẩn có sẵn với ESB.
Quản lý và giám sát hiệu quả với giao diện điều khiển web bảo mật cấp doanh nghiệp, tích hợp các tiêu chuẩn và theo dõi truy cập, hiệu suất cùng thống kê cho mọi thao tác Hệ thống cho phép theo dõi các luồng hòa giải tin nhắn, xác định các nút thắt cổ chai, và xuất bản dữ liệu lên bảng điều khiển trực quan hoặc tạo dữ liệu tùy chỉnh Ngoài ra, nó hỗ trợ tích hợp vào hệ thống logging của doanh nghiệp, đồng thời thiết lập quản lý giám sát KPI và SLA.
3.1.3 Lợi ích của WSO2 ESB
WSO2 ESB là giải pháp mã nguồn mở giúp doanh nghiệp tránh phụ thuộc vào nhà cung cấp, nổi bật với khả năng tương thích tính năng vượt trội so với các sản phẩm thương mại trên thị trường Nhờ vào quy trình cải tiến và bảo trì nghiêm ngặt, WSO2 ESB không ngừng nâng cao chất lượng sản phẩm, cả về hiệu suất lẫn tính năng, thông qua nhiều triển khai trong các ngành khác nhau Hiện nay, WSO2 ESB đang xử lý hàng tỷ giao dịch mỗi ngày tại các doanh nghiệp hàng đầu.
- Thiết kế có thể mở rộng phù hợp cho việc triển khai rộng khắp doanh nghiệp
Thiết kế hướng cấu hình, khác với thiết kế hướng mã, mang lại khả năng phát triển giải pháp nhanh chóng, triển khai sớm và thường xuyên, đồng thời hỗ trợ quản lý thay đổi liên tục.
- Đảm bảo giải pháp lỏng lẻo kết hợp với dễ quản lý plug-in và plug-out của các
- Kích hoạt tính năng tái tạo doanh nghiệp với vá lỗi chủ động và cập nhật bảo mật thông thường
3.1.4 Lợi thế của WSO2 so với các đối thủ
WSO2 ESB cho phép tích hợp dễ dàng với các framework và thành phần khác nhau Nó hỗ trợ các mở rộng dựa trên Java cùng nhiều tùy chọn kịch bản Đặc biệt, người dùng không cần mã code WSO2 cụ thể để thực hiện việc tích hợp với WSO2 ESB.
Nhiều chương trình điều chỉnh và điều hợp sẵn, cùng với các mẫu giải pháp và kết nối với hệ thống đám mây bên thứ ba, giúp giảm thiểu nỗ lực kỹ thuật dư thừa và cho phép tái sử dụng các thành phần quan trọng.
Áp dụng WSO2 vào bài toán thực tế
Học viện Ngân hàng hiện đang sử dụng một cơ sở dữ liệu lưu trữ thông tin nhân sự, bao gồm các trường thông tin như tỉnh thành, chức vụ, quốc gia, và thông tin về giáo viên cùng bảo hiểm y tế, xã hội Tuy nhiên, khi áp dụng các hệ thống mới như Quản lý y tế và bảo hiểm xã hội, hoặc khi công ty ISEAS phát triển hệ thống Quản lý tạp chí, có nguy cơ xảy ra sai lệch thông tin giữa các ứng dụng, gây khó khăn trong quản lý dữ liệu Sự thay đổi lớn trong một ứng dụng có thể ảnh hưởng đến tính toàn vẹn và đồng nhất dữ liệu của các ứng dụng khác Do đó, mục tiêu là khắc phục tình trạng lưu trữ trùng lặp thông tin, tích hợp các hệ thống thành một hệ thống thống nhất, giảm thiểu công đoạn nhập liệu, nâng cao tính chính xác, và tiết kiệm thời gian cũng như công sức cho người dùng Giải pháp tích hợp các hệ thống này sẽ được trình bày qua ứng dụng ESB do WSO2 cung cấp.
Hình 3.3: Mô hình Trục tích hợp dữ liệu cho HVNH
Các hệ thống Quản lý tạp chí, Quản lý nhân sự và các hệ thống tích hợp trong tương lai sẽ kết nối với ESB qua HTTP Webservice, cho phép truy cập vào cơ sở dữ liệu dùng chung Phần mềm Quản lý tạp chí cần thông tin về danh mục tỉnh thành, quốc gia, học hàm học vị, và thông tin giáo viên từ cơ sở dữ liệu Quản lý nhân sự để bổ sung vào bài viết Đối với các hệ thống tương lai, việc thực hiện thao tác trên các hệ thống hiện tại sẽ trở nên dễ dàng và an toàn thông qua Trục tích hợp dữ liệu mà không cần can thiệp trực tiếp vào cơ sở dữ liệu.
Thiết kế hệ thống
3.3.1 Hệ thống cơ sở dữ liệu Quản lý nhân sự a) Chức năng
Lưu trữ thông tin nhân sự bao gồm hồ sơ cá nhân, bảo hiểm y tế, bảo hiểm xã hội, và các khen thưởng Ngoài ra, cần quản lý các danh mục liên quan như chức vụ, quốc gia, tỉnh thành và dân tộc Cơ sở dữ liệu này giúp tổ chức dễ dàng theo dõi và quản lý thông tin nhân sự hiệu quả.
Sử dụng hệ quản trị cơ sở dữ liệu MySQL
3.3.2 Hệ thống Quản lý tạp chí a) Chức năng
Quản lý bài viết và phản biện, thông tin người dùng như giáo viên và nhà khoa học, cùng với thiết kế tạp chí khoa học là những yếu tố quan trọng trong cơ sở dữ liệu.
Sử dụng hệ quản trị cơ sở dữ liệu MySQL
3.3.3 Trục tích hợp WSO2 ESB
The ESB integration axis will utilize WSO2 Enterprise Integration 6.1.1 alongside WSO2 Enterprise Integration Analytics for analysis, and Eclipse Mars with WSO2-provided tooling for designing data flows It operates on the Windows 10 operating system and uses Java version 1.8.
Sử dụng WSO2 để xây dựng trục tích hợp
3.4.1 Xây dựng các dịch vụ dữ liệu Đối với các dịch vụ dữ liệu, trong WSO2 hỗ trợ 2 cách tạo dịch vụ dữ liệu đó là người dùng tự viết các câu truy vấn theo ý bản thân và cách thứ hai đó là bản thân WSO2 sẽ tự tạo ra các dịch vụ dữ liệu dựa trên cơ sở dữ liệu người dùng cung cấp Tuy nhiên thực tế sử dụng cho thấy cách thứ nhất còn xảy ra nhiều lỗi và không được như ý muốn của người dùng
Dưới đây là cách xây dựng một số dịch vụ dữ liệu cơ bản:
- Lấy ra các danh mục trong cơ sở dữ liệu về Quản lý nhân sự như: danh mục tỉnh, chức vụ, dân tộc, quốc gia, thông tin nhân sự
- Xây dựng một số hàm cập nhật, thêm mới dữ liệu cơ bản cho hệ thống Quản lý tạp chí
Bước 1: Thiết lập các thông tin cơ bản cho dịch vụ dữ liệu
Hình 3.4: Thông tin cho dịch vụ dữ liệu
Trong bước này, người dùng cần đặt tên cho dịch vụ dữ liệu của mình và cung cấp các mô tả chi tiết Đồng thời, họ cũng sẽ thiết lập một số thông tin quan trọng, bao gồm việc cho phép yêu cầu dịch vụ theo lô và cấu hình giao thức vận chuyển thông tin.
Bước 2: Thêm vào các nguồn dữ liệu cần kết nối
Người dùng có thể tích hợp nhiều nguồn dữ liệu vào WSO2 ESB, bao gồm tệp CSV, tệp Excel và các cơ sở dữ liệu như MySQL, SQLServer, H2, Oracle, PostgreSQL Để thực hiện, người dùng chỉ cần tải driver và lưu vào thư viện của WSO2 ESB, sau đó cung cấp thông tin cần thiết như mã nguồn dữ liệu, đường dẫn đến cơ sở dữ liệu, cùng tên người dùng và mật khẩu nếu có.
Hình 3.5: Thông tin cho nguồn dữ liệu
Người dùng có khả năng điều chỉnh các thông số nâng cao cho cơ sở dữ liệu, bao gồm số lượng kết nối ban đầu khi khởi động, số lượng kết nối tối đa hoạt động đồng thời, thời gian chờ tối đa để nhận phản hồi từ cơ sở dữ liệu trước khi thông báo lỗi, và truy vấn SQL để xác thực các kết nối trước khi trả về cho dịch vụ.
Bước 3: Xây dựng các câu truy vấn đến cơ sở dữ liệu
Người dùng sẽ lựa chọn cơ sở dữ liệu cần truy vấn và nhập câu lệnh SQL tương ứng Tùy thuộc vào loại truy vấn, WSO2 sẽ tự động tạo ra các biến đầu vào và đầu ra cho dữ liệu.
Dữ liệu trả về có thể ở định dạng JSON hoặc XML, tùy thuộc vào sự lựa chọn của người dùng; tuy nhiên, khi cài đặt JSON, định dạng trả về vẫn thường là XML Đối với các câu truy vấn UPDATE hoặc DELETE, kết quả trả về sẽ là số dòng dữ liệu đã được thay đổi hoặc xóa.
Người dùng có thể kết nối dữ liệu giữa nhiều bảng thông qua phần mapping output Bên cạnh đó, họ cũng có khả năng thêm các sự kiện thực hiện trước và sau khi thực thi câu truy vấn, chẳng hạn như gửi email thông báo đến địa chỉ cụ thể khi có dữ liệu được thực thi.
Hình 3.6: Thiết lập các câu truy vấn
Bước 4: Đưa các câu truy vấn thành các dịch vụ REST (REpresentational State
RESTful Web Service là dịch vụ web dựa trên kiến trúc REST, đã thay thế các dịch vụ web SOAP và WSDL Với tính chất nhẹ, dễ mở rộng và bảo trì, REST cung cấp quy tắc kiến trúc cho việc thiết kế dịch vụ web, tập trung vào tài nguyên hệ thống Các trạng thái tài nguyên được định dạng và truyền tải qua HTTP, có thể được viết bằng nhiều ngôn ngữ khác nhau.
Tại bước này, người dùng nhập đường dẫn để truy cập dịch vụ web, chọn phương thức gọi như GET, POST, PUT, DELETE và xác định câu truy vấn đã được thêm ở bước trước.
Hình 3.7: Thiết lập dịch vụ REST
Sau khi hoàn thành các bước trên, điền đường dẫn kèm theo id cần tìm để trả ra kết quả
Để lấy thông tin về chức vụ chính quyền trong cơ sở dữ liệu nhân sự, bạn hãy nhập đường dẫn sau vào trình duyệt Chrome: http://hrm.iseas.vn/services/MySQL_HRM/GET_CVCQ?idV1.
Tương tự như vậy, tạo các dịch vụ dữ liệu sau và nhận được các kết quả như sau:
- Lấy thông tin về tỉnh thành: http://hrm.iseas.vn/services/MySQL_HRM/Get_Tinh?id'2
- Lấy thông tin về quốc gia: http://hrm.iseas.vn/services/MySQL_HRM/Get_Quoc_Gia?id1
- Lấy thông tin về học hàm học vị http://hrm.iseas.vn/services/MySQL_HRM/Get_Quoc_Gia?id1
Tiến sĩ khoa học
- Lấy thông tin về giáo viên http://hrm.iseas.vn/services/MySQL_HRM/Get_CBCNV?ma_can_bo08
CB208
Vũ Thị Bích
false
305
327
Đối với cơ sở dữ liệu về Quản lý tạp chí:
Cập nhật thông tin bài viết tại địa chỉ http://tapchi.iseas.vn/services/MySQL_QLTC/Update_Bai_Viet yêu cầu sử dụng dịch vụ web theo phương thức POST, vì vậy cần cung cấp thông tin POST đầy đủ.
Nguyễn Minh Trí
Trục tích hợp dữ liệu
2
Khoa Luan
2
Đã sửa thông tin bài viết có mã là 2 trong bảng bài viết
Để sử dụng dịch vụ web theo phương thức POST tại địa chỉ http://tapchi.iseas.vn/services/MySQL_QLTC/Insert_Chu_De, bạn cần cung cấp thông tin POST đầy đủ.
test
Test
Đã thêm một chủ đề vào bảng chủ đề
- Lấy chủ đề http://tapchi.iseas.vn/services/MySQL_QLTC/Get_Chu_De?chu_de_id=1
1
cong_nghe_thong_tin
Công nghệ thông tin
3.4.2 Xây dựng các hàm API
WSO2 ESB cho phép tích hợp các dịch vụ dữ liệu và tạo ra API từ các dịch vụ nội bộ hoặc bên ngoài Mỗi dịch vụ được coi là một Endpoint, hoạt động độc lập Để quản lý và định tuyến các yêu cầu đến các endpoint phù hợp, WSO2 cung cấp công cụ hỗ trợ người dùng trong việc phối hợp và quản lý các dịch vụ này.
Với công cụ do WSO2 phát triển, người dùng có thể tạo ra các hàm API và kết hợp nhiều endpoint thành một API duy nhất Khi gửi yêu cầu dữ liệu, WSO2 sẽ tự động định tuyến đến đúng endpoint dựa trên nội dung dữ liệu Hơn nữa, WSO2 API hỗ trợ việc mapping dữ liệu gửi đến theo yêu cầu của từng endpoint, giúp Trục tích hợp dữ liệu xử lý theo đúng quy trình nghiệp vụ chỉ qua một API duy nhất.
Việc phát triển và áp dụng các hàm API mang lại cái nhìn tổng quan về Trục tích hợp dữ liệu trong doanh nghiệp Dưới đây là một số ví dụ về cách tạo ra các API từ các dịch vụ dữ liệu đã đề cập ở trên.