Công nghệ EAI với ESB

Một phần của tài liệu (LUẬN VĂN THẠC SĨ) Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan 04 (Trang 38 - 40)

Về khía cạnh tích hợp dữ liệu, EAI có thể được sử dụng để truyền dữ liệu giữa các ứng dụng, hoặc có tạo ra các sự kiện thời gian thực để kích hoạt các xử lý ETL của các ứng dụng tích hợp dữ liệu khác. Việc truy cập đến ứng dụng nguồn và ứng dụng

JMS… EAI được thiết kế để cho phép lan truyền dữ liệu có kích thước nhỏ từ ứng dụng này sang ứng dụng khác. Ngoài ra, việc chuyển đổi dữ liệu và các metadata trong EAI chỉ được thiết kế để làm việc với những tác vụ đơn giản, các thông điệp có cấu trúc vì thế chúng không được sử dụng cho các dữ liệu phức tạp vốn thường được xử lý bởi các ứng dụng ETL.

2.2.4 Công nghệ EDR

EDR là một trong những công nghệ tích hợp dữ liệu quan trọng thường hay được sử dụng để tích hợp dữ liệu trong các hệ quản trị cơ sở dữ liệu. EDR hỗ trợ kỹ thuật lan truyền dữ liệu và tất nhiên sẽ hỗ trợ cả kỹ thuật CDC. EDR được sử dụng rộng rãi, không chỉ dành trong lĩnh vực tích hợp dữ liệu mà còn được sử dụng cho các hoạt động sao lưu và phục hồi, cân bằng tải. Chính vì thế đây là công nghệ rất quan trọng và thường được tích hợp thành các gói sản phẩm đi kèm với các hệ quản trị cơ sở dữ liệu.

Các công cụ EDR thường sử dụng các trigger trong database hoặc các recovery logs để ghi nhận những thay đổi trên cơ sở dữ liệu nguồn, từ đó lan truyền dữ liệu này đến các cơ sở dữ liệu đích. Các công cụ sử dụng recovery logs sẽ có ít ảnh hưởng đến cơ sở dữ liệu nguồn hơn. Hầu hết các công cụ EDR đều sử dụng cơ chế lan truyền dữ liệu không đồng bộ, ngoài ra một số công cụ EDR cũng cho phép chúng ta chuyển đổi các dữ liệu trước khi được đưa vào cơ sở dữ liệu nguồn.

Trong một số trường hợp, chúng ta có thể cân nhắc việc sử dụng EDR để thay thế cho ETL vì EDR có thể xử lý một số lượng lớn dữ liệu bị thay đổi trong thời gian thực mà ETL có thể không xử lý được. Công nghệ Microsoft SQL Server Replication là một trong những sản phẩm hỗ trợ công nghệ EDR mà chúng ta sẽ thảo luận chi tiết trong chương III.

2.2.5 Công nghệ ECM

Hầu hết các sản phẩm công nghệ tích hợp dữ liệu đều tập chung vào việc xử lý các dữ liệu có cấu trúc. Một số sản phẩm EII và ETL hiện nay cũng bắt đầu cho phép việc xử lý các dữ liệu phi cấu trúc, chúng thường được sử dụng để tích hợp hoặc liên kết kết quả với những dữ liệu có cấu trúc. Một trong những công nghệ cho phép xử lý dữ liệu phi cấu trúc khác là công nghệ ECM. Công nghệ ECM tập trung vào việc hợp nhất các văn bản, các thông tin trên Web, các dữ liệu media. Công nghệ ECM nhắm vào việc chia sẻ và quản lý một số lượng lớn các dữ liệu phi cấu trúc cho một lượng lớn người sử dụng. Tầng quản lý nội trung trong ứng dung ECM sẽ cung cấp các thông tin metadata, phiên bản, các template, các workflow để chia sẻ cho các ứng dụng khác. Ứng dụng ECM có thể được sử dụng như là đầu vào cho các ứng dụng ETL, EII nơi mà các ứng dụng không chỉ truy cập đến các dữ liệu phi cấu trúc mà còn có thể đọc được các thông tin metadata mô tả về cấu trúc, nôi dung, ý nghĩa của nghiệp vụ của dữ liệu.

2.3Nhận xét đánh giá

2.3.1 Bức tranh tổng thể

Chúng ta có thể thấy bức tranh tổng thể của các kỹ thuật và các công nghệ được sử dụng trong vấn đề tích hợp dữ liệu qua hình ảnh sau :

Một phần của tài liệu (LUẬN VĂN THẠC SĨ) Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan 04 (Trang 38 - 40)