Để tối ưu hóa dòng dữ liệu của Real time ETL, hệ thống tạo cấp duy nhất có tên là CTFState lưu trữ trạng thái hiện tại của công cụ này - tức là các thiết bị, vị trí và thời gian hiện tại cũng như lần xác định cuối của chúng được xác nhận cùng với các ghi chép theo dõi sẵn sàng cho quá trình chuyển đổi và quá trình chèn vào trong kho dữ liệu thời gian thực. Điều này cho phép CTFState thu nhận, máy chuyển đổi và các bộ phận hoạt động một cách tối ưu hóa theo trạng thái hiện tại. Tất cả các đối tượng trong CTFState đều được đồng bộ hóa để ngăn chặn lối vào dữ liệu tại cùng một thời điểm. Thiết kế này chứa hai nghi vấn được đồng bộ hóa, cả hai đều được lưu trữ trên một CTFState giữa CDC và máy chuyển đổi, thiết kế còn lại nằm giữa máy chuyển đổi và mô đun dòng dữ liệu.
Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/
Hình 3.3.1 : Thiết kế mức độ cao của Real time ETL
Quá trình này có thể được hỗ trợ bằng quá trình thiết kế nghi vấn cho từng chuỗi biến thế và từng chuỗi dòng chảy. Các đường biên chuỗi trong trường hợp của chúng tôi là các thiết bị Bluetooth,Wlan. Mỗi chuỗi CDC ( Change Data Capture ) nên thực hiện một mô đun x trên Bluetooth,Wlan có địa chỉ ID - BTID mod NumThreads – và đẩy ghi chép theo dõi được trích vào hàng biến thể tương ứng. Theo cách này tải trọng cuối cùng sẽ được phân bổ đi và từng chuỗi biến thế sẽ đảm nhận một phạm vi các thiết bị Bluetooth,Wlan cụ thể. Trong trường hợp có nhiều chuỗi dòng chảy hơn, một
Ứng dụng
Truy vấn RTDW
Thay đổi thu nhận dữ liệu Ra dữ liệu Làm sạch dữ liệu
Nhập dữ liệu Bảng thực tế MySQL
Nghi vấn
Chuyển đổi dữ liệu
Nhập dữ liệu
Kiểm tra chuyển động hiệu quả
Phát hiện TR trở lại Loại bỏ TR trở lại Xuất dữ liệu Nghi vấn Dòng dữ liệu Nhập dữ liêu Xuất dữliệu RTDWW AP OLTP
Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/
hàng trên một chuỗi thì mỗi chuỗi điều khiển phạm vi các thiết bị Bluetooth,Wlan khác nhau phải được chỉ định để tránh việc chèn chồng chéo. Đề xuất Giải pháp triển khai thiết kế với chuỗi đơn chính, chuỗi thu nhận, chuỗi biến thế và chuỗi dòng chảy. Phần dưới đây chúng tôi tập trung chi tiết vào cách thức hoạt động của CDC, quá trình chuyển đổi và các bộ phận dòng chảy.