Thực chất của quá trình này là loại những dữ liệu không hợp lệ trước khi ghi vào table T_ATOMIC_DATA.
- Nếu nguồn dữ liệu từ T_NUMERIC_DATA:
Lấy dữ liệu trong bảng T_Numeric_Data, được loại bỏ giá trị bằng 0 (ghi vào log các dữ liệu có giá trị 0).
Kiểm tra tính hợp lệ của dữ liệu kiểu số ví dụ như số chữ số thập phân, không phải kiểu số,…Dữ liệu thỏa mãn được ghi vào table T_ATOMIC_DATA, nếu không thảo mãn ghi vào log.
- Nếu nguồn dữ liệu từ T_TEXT_DATA:
Dữ liệu trong table T_Text_Data được tách thành các trường hợp riêng, vì dữ liệu không phải kiểu số có rất nhiều trường hợp đặc biệt mà để kiểm tra được dữ liệu đó có hợp lệ không đòi hỏi phải tách ra thành nhiều phần nhỏ mới kiểm tra được.
Tạo các bảng dữ liệu trung gian bằng cách tách chỉ tiêu thành nhiều phần căn cứ vào đặc thù mã chỉ tiêu.
Đưa dữ liệu vào bảng trung gian cho phù hợp
Kiểm tra tính hợp lệ của dữ liệu kiểu số ví dụ như số chữ số thập phân, không phải kiểu số,…Dữ liệu thỏa mãn được ghi vào table T_ATOMIC_DATA, nếu không thảo mãn ghi vào log.
d. Quá trình tải dữ liệu từ bảng T_ATOMIC_DATA sang các bảng fact
Lọc dữ liệu cần chuyển đổi từ bảng T_ATOMIC_DATA
Đọc METADATA để lấy các thông tin
(Fact_name, Dimention,…) Phân tách chỉ tiêu thành chỉ tiêu gốc, mã số thống kê Lookup vào các bảng Dimention để lấy khóa
thay thế
Kiểm tra tính hợp lệ của thông tin
Kiểm tra dữ liệu liên quan đến tiền tệ cần
qui đổi ra VND
Qui đổi dữ liệu ra VND
Ghi dữ liệu vào Facts
Ghi dữ liệu vào Facts
ERROR LOG
Dữ liệu không hợp lệ
Dữ liệu hợp lệ
Dữ liệu không qui đổi
Dữ liệu gốc + qui đổi