Thông thường với các dạng bảng sẽ được thiết kế tương ứng với từng type table tương ứng:
Master: Snapshot - Lưu lại toàn bộ dữ liệu mới nhất hiện tại của các đối tượng đang được lưu trữ tại ngày.
Sub Master: Snapshot - Lưu lại toàn bộ dữ liệu mới nhất hiện tại của các đối tượng đang được lưu trữ tại ngày.
Relationshop: SCD - type 2 Các bảng lưu thông tin lịch sử. Ví dụ, với một bảng khách hàng có lưu thơng tin của khách hàng tại lần đầu tiên mở khoản vay:
Một thời gian sau, vẫn khách hàng đấy nhưng muốn thay đổi số điện thoại:
Vậy cơ chế lưu theo SCD - type 2: ghi thêm một bản ghi mới và đóng bản ghi cũ chứ khơng xóa hay chỉnh sửa vào bản ghi cũ, vì thế các mơ tả của bản ghi cũ vẫn sẽ được lưu trữ lại.
PDDIM,...
Các loại bảng Fact: Bảng Fact lưu các số liệu thế hiện tiêu chí, chỉ tiêu về hoạt
động sản suất kinh doanh của doanh nghiệp. Bảng Fact gồm một tập khóa ngoại đế kết nối đến các bảng Dimension. Ví dụ : AR_ANL_FACT,..
Transactional (Giao dịch) : Bảng Fact loại này lưu trữ dữ liệu phát sinh giao dịch.
Snapshot : Lưu lại toàn bộ dữ liệu mới nhất hiện tại của các đối tượng đang được lưu trữ tại ngày.
Accumulative (Lũy kế) : Một bảng dữ liệu lũy kế sẽ tổng hợp dữ liệu cho một hay nhiều thuộc tính, và khơng dựa trên thời gian. Ví dụ, đế có được số lượng bán hàng cộng dồn đế bán của một sản phẩm cụ thế, các dòng dữ liệu sẽ được tính cho loại mặt hàng này mỗi ngày - đưa ra một lũy kế giá trị.
Việc kiếm thử dữ liệu ETL cần xác định từng loại bảng đế đưa ra số lượng Testcase và phương pháp phù hợp.
3.1.1 Cách kiểm tra dữ liệu ETL a. Yêu cầu
Tổng số bản ghi hợp lệ được đưa vào bảng đích.
Mỗi thuộc tính của bảng đích từ mỗi bảng nguồn riêng lẻ cần được kiếm tra ít nhất lần. Khơng có bản ghi bị trùng lặp thơng tin.
b. Phương thức kiểm tra
Thuộc tính: Xác định toàn bộ thuộc tính trong bảng dữ liệu đích được Load
chính xác từ bảng dữ liệu nguồn.
Duplication: Xác nhận rằng khơng có bản ghi trùng lặp cho các cột được yêu
cầu tính duy nhất.
Original check Key: Xác nhận rằng với các cột yêu cầu NOT NULL khơng có
bất cứ giá trị Null nào trong đó.
Reconciliation check: Xác nhận rằng số lượng ban ghi trong bang đích va sơ
lượng ban ghi trong bang nguôn đều giống nhau.
Relationship Check: Kiếm tra mối quan hệ nghĩa là kiếm tra rằng mỗi giá trị
khóa chính trong bảng con có mặt trong bảng cha.
c. Cách viết câu lệnh
❖ Attribute check (Kiểm tra thuộc tính)
Thứ tự kiếm thử: CV -> IP, AR master + sub master -> Relationship, Transaction Master -> Sub Master -> Relationship.
Trong tầng Data Mart có các dạng bảng:
Các loại bảng Dimension: Đây là các bảng cung cấp thơng tin, ngữ cảnh cho
bảng Fact. Dù có quy mơ nhỏ nhỏ hơn Fact nhiều lần nhưng Dimension là trọng tâm
Except
Select thuộc_tinh_tứơng_ứng From bảngđich
Where điề u_kiên) )
Kềt quả. mong đợi: Count=O
Mục đích: Kiềm tra toản bơ thuộc tính tư bảng nguồn được map vảo trong bảng đinh sau đo Ioai bo tất cả cảc thuộc tính được đưả rả trong bảng đích.
❖ Duplicate check (Kiểm tra tính trùng lặp)
Select count(1) From( Select thuộc_tinh From bảng Where DS_Điê ukiên Group by thuộc ti.nh Having count(1)>1 ) alias
Kềt quả mong đợi: Count=O
Mục đích: Trong truy vấn trên chung tả đềm sô lượng bản ghi mả xuất hiện > 1 lấn vơi nhưng thuộc tính co tính duy nhất
❖ Original Key check (Kiểm tra khóa gốc)
Select count(1) From table Where list of conditions
And (any of NOT NULL values are NULL) Kềt quả mong đợi: Count=O
Mục đích: Truy vấn trên tím ra sơ bản ghi mả nhưng thuộc tính yêu cấu not null đảng co giả tri lả null.
❖ Reconciliation check (Kiểm tra tính đầy đủ)
Select count(*) From bảngnguôn Where Điều kiên
Select count(*) From bảng_đich Where Điêu kiên
Muc đích: Kiem tra số lượng bảng nguồn vả đích xem liêu toản bơ cảc bản ghi tư nguồn co vảo được bảng đích hay khơng.
❖ Relationship check (Kiểm tra mối quan hệ)
Select count(child_id) From
( Select thuốc tính chả được_check parent_id, thuốc tính conclưcợc_check child_id
From ( Select distinct thuốc _tính from Bảng con Left outer join
Select distinct thuồc_tính from Bảngcha On Đieu_Kiện
) ) Where parent_id IS NULL Ket quả mong đợi: Count=0
Trong Truy vấn trên chung ta tím cảc bản ghi con mả khơng tím thấy bản ghi cha.
3.2Thực hành viết Testcase và thực hiện kiểm thử theo bản phân tích đặc tả yêu cầu (SRS)
Phần này nội dung bảo gồm: giới thiệu về bộ dữ liệu đế thực hiện kiếm thử, viết testcảse và thực hiện kiếm thử dựả trên bản phấn tích đặc tả yêu cầu (SRS).
3.2.1 Bộ dữ liệu để thực hiện kiểm thử
bên tham gia.
PPN_DT DATE Ngày mà phiên bản của thực thế được
cập nhật lần cuôi. SRC_STM_ID
NUMBER
Sô nhận dạng duy nhất của hệ thông nguồn cho bên tham gia.
UNQ_ID_IN_SRC_STM VARCHAR2(20 BYTE)
Mã định danh duy nhất của bên tham gia trong hệ thông nguồn.
IP_TP_ID NUMBER
Sô nhận dạng duy nhất của thế loại bên tham gia.
IP_NM VARCHAR2(255 BYTE) Tên bên tham gia
EFF_DT DATE Ngày bắt đầu có hiệu lực
END_DT DATE Ngày chấm dứt hiệu lực
ISRT_DT DATE Ngày Insert dữ liệu
Tên cột Kiểu dữ liệu Mô tả
IDV_ID NUMBER
Sô nhận dạng duy nhất được gán cho một khách hàng cá nhân.