Kỹ thuật hợp nhất dữ liệu

Một phần của tài liệu (LUẬN VĂN THẠC SĨ) Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan 04 (Trang 31 - 32)

Do phải kết hợp dữ liệu từ nhiều nguồn khác nhau thành vào một cơ sở dữ liệu mới nên thường có độ trễ (latency) khi cập nhật dữ liệu ở cơ sở dữ liệu gốc nếu dữ liệu nguồn bị thay đổi. Tùy thuộc vào từng yêu cầu nghiệp vụ mà độ trễ này có thể chỉ là vài giây, hoặc vài giờ hoặc thậm chí là vài ngày. Thuật ngữ "gần thời gian thực" được sử dụng nếu như độ trễ của việc cập nhật dữ liệu thấp. Nếu độ trễ việc cập nhật dữ liệu từ nguồn đến đích là bằng không, chúng ta có hệ thống thời gian thực, tuy nhiên rất khó để đạt được điều này.

Có hai cơ chế của việc lấy dữ liệu từ cơ sở dữ liệu nguồn sang cơ sở dữ liệu đích là Pull (kéo) và Push (đẩy).

Đối với những hệ thống có độ trễ cao (không yêu cầu cần phải cập nhật ngay) thì cơ chế pull được sử dụng, thông thường việc thực hiện sẽ được xử lý trong các ứng dụng tích hợp chạy ngầm xử lý theo lô (batch services). Cứ đến khoảng thời gian nhất

địch hoặc sau những khoảng thời gian nhất định, ứng dụng này sẽ thực hiện việc lấy dữ liệu từ các cơ sở dữ liệu nguồn về xử lý và đưa nó vào cơ sở dữ liệu gốc.

Đối với những hệ thống yêu cầu thời gian cập nhật thay đổi ở mức thấp (gần thời gian thực) thì cơ chế push thường được sử dụng. Việc cập nhật dữ liệu sẽ được diễn ra một cách liên tục bởi các ứng dụng tích hợp. Để đáp ứng được yêu cầu này thì các ứng dựng tích hợp cần phải có cơ chế phát hiện ra những thay đổi ở dữ liệu nguồn và ngay lập tức lấy được dữ liệu thay đổi này để đưa vào cơ sở dữ liệu đích. Kỹ thuật CDC (change data capture) thường được sử dụng để lấy được những dữ liệu bị thay đổi trong các ứng dụng tích hợp mà hỗ trợ kỹ thuật hợp nhất dữ liệu .

Ngoài ra, chúng ta có thể kết hợp cơ chế pull và push trong một số trường hợp thực tế. Dưới đây là một mô hình kết hợp pull và push:

Một phần của tài liệu (LUẬN VĂN THẠC SĨ) Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan 04 (Trang 31 - 32)