Nghiên cứu quy trình xây dựng datawarehouse và thực hiện test datawarehouse lưu trữ dữ liệu hợp đồng giao dịch trong NH khoá luận tốt nghiệp 328

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC NGHIÊN CỨU QUY TRÌNH XÂY DỰNG DATAWAREHOUSE VÀ THỰC HỆN TEST DATA WAREHOUSE LƯU TRỮ DỮ LIỆU HỢP ĐỒNG GIAO DỊCH TRONG NGÂN HÀNG LÊ NGỌC DIỄM HÀ NỘI, NĂM 2017 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC •••• NGHIÊN CỨU QUY TRÌNH XÂY DỰNG DATAWAREHOUSE VÀ THỰC HIỆN TEST DATAWAREHOUSE LƯU TRỮ DỮ LIỆU HỢP ĐỒNG GIAO DỊCH TRONG NGÂN HÀNG Giáo viên hướng dẫn: ThS.Nguyễn Thị Th ùy Anh Sinh viên thực hiện: Lê Ngọc Diễm Mã sinh viên: 16A4040027 Lớp: K16HTTTB Khóa: K16 Hệ: Đại học quy Hà Nội, tháng 6/2017 LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành tới ThS Nguyễn Thị Thùy Anh - Giảng viên khoa Hệ thống thông tin Quản lý, Học Viện Ngân Hàng Cơ ln tận tình hướng dẫn tạo điều kiện tốt cho em hồn thành đề tài khóa luận Trong thời gian làm việc với cô em không tiếp thu thêm nhiều kiến thức bổ ích mà cịn học tập tinh thần làm việc, thái độ học tập hiệu quả, điều vô cần thiết cho em q trình học tập, cơng tác sau Em xin gửi lời cảm ơn chân thành tới Quý công ty cổ phần giải pháp phần mềm tài chính, đặc biệt cán quản lý Phạm Phương Thủy luôn tạo điều kiện, dạy hướng dẫn tận tình cho em suốt thời gian thực tập vừa qua Chị cung cấp cho em nhiều kiến thức kinh nghiệm hữu ích, giúp em có thêm hiểu biết, trải nghiệm môi trường làm việc thực tế Từ đó, em có định hướng đắn, kỹ nghiệp vụ vô cần thiết để hồn thiện thân bổ sung kiến thức cịn thiếu Em cố gắng hồn thiện đề tài khóa luận với tất nỗ lực thân Tuy nhiên thiếu kinh nghiệm, chắn nghiên cứu không tránh khỏi thiếu sót Vì vậy, em mong nhận quan tâm, ý kiến đóng góp thầy để khóa luận hồn thiện Em xin chân thành cảm ơn! Lê Ngọc Diễm LỜI CAM KẾT Em xin cam đoan kết đạt đề tài khóa luận sản phẩm, xây dựng cơng sức tìm hiểu em Trong tồn nội dung đề tài, điều trình bày em tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Em xin chịu hoàn toàn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan SINH VIÊN THỰC HIỆN Lê Ngọc Diễm NHẬN XÉT (Của quan thực tập) mặt: Ý thức chấp hành nội quy, thái độ làm việc sinh viên nơi thực tập; Tiến độ, kết thực cơng việc giao; Tính thực tiễn ứng dụng đề tài Hà Nội, ngày tháng năm 2017 Người nhận xét (Ký tên, đóng dấu) NHẬN XÉT (Của giáo viên hướng dẫn) mặt: Mục đích đề tài; Tính thời ứng dụng đề tài; Bố cục hình thức trình bầy đề tài; Ket thực đề tài; Ý thức, thái độ sinh viên trình thực đề tài Kết luận : Hà Nội, ngày tháng năm 2017 Giáo viên hướng dẫn (Ký tên) MỤC LỤC MỤC LỤC i DANH MỤC CÁC CHỮ VIẾT TẮT iv DANH MỤC BẢNG BIỂU v DANH MỤC HÌNH VẼ vi MỞ ĐẦU .1 CHƯƠNG 1: TỔNG QUAN VỀ DATA WAREHOUSE VÀ KỸ THUẬT KIỂM THỬ DỮ LIỆU 1.1 Giới thiệu toán 1.1.1 Hoàn cảnh đời 1.1.2 Ý nghĩa thực tiễn 1.2 Tổng quan data warehouse 1.2.1 Giới thiệu data warehouse (DW) 1.2.2 Kiến trúc hệ thống data warehouse 1.3 Kỹ thuật kiểm thử liệu 1.3.1 Khái niệm kiểm thử liệu 1.3.2 Phân loại kiểm thử liệu 1.4.2.1 Kiểm thử cấu trúc sở liệu 1.4.2.2 Kiểm thử chức 1.4.2.3 Kiểm thử phi chức 1.3.3 Yêu cầu kiểm tra sở liệu 10 1.3.4 Phương thức kiểm tra 10 1.3.5 Cách viết câu lệnh kiểm tra 10 CHƯƠNG 2: QUY TRÌNH XÂY DỰNG DATA WAREHOUSE LƯU TRỮ DỮ LIỆU HỢP ĐỒNG GIAO DỊCH TRONG NGÂN HÀNG .13 2.1 Quy trình xây dựng data warehouse 13 2.1.1 Phân tích yêu cầu 14 2.1.2 Thiết kế 17 2.1.2.1 Thiết kế mơ hình liệu 19 i 2.1.2.2 Thiết kế ETL 20 2.1.2.3 Quy trình thiết kế báo cáo 21 2.1.3 Xây dựng 22 2.1.3.1 Trích xuất liệu giao dịch 24 2.1.3.2 Xây dựng tầng STAGING 24 2.1.3.3 Xây dựng tầng SOR 25 2.1.3.4 Xây dựng tầng Data Mart 25 2.1.4 Triển khai hệ thống 25 2.2 Đánh giá quy trình xây dựng data warehouse 26 2.2.1 Điểm mạnh 26 2.2.2 Hạn chế 26 CHƯƠNG 3: XÂY DỰNG TESTCASE THỰC HIỆN KIỂM THỬ DATA WAREHOUSE LƯU TRỮ DỮ LIỆU VỀ HỢP ĐỒNG GIAO DỊCH TRONG NGÂN HÀNG 27 3.1 Giới thiệu liệu hợp đồng giao dịch data warehouse .27 3.1.1 Nhóm Classification (CL) 27 3.1.2 Nhóm Involved party (IP) 28 3.1.3 Nhóm Arrangement (AR) 30 3.1.4 Nhóm Event 31 3.1.5 Nhóm Associatives 32 3.1.6 Nhóm Sumary 32 3.1.7 Nhóm Dim 33 3.1.8 Nhóm fact 33 3.2 Xây dựng tescase kiểm thử data warehouse lưu trữ liệu hợp đồng giao dịch ngân hàng 33 3.2.1 Test tầng SOR 35 3.2.1.1 Bảng IP .35 3.2.1.2 Bảng AR 37 3.2.1.3 Bảng TXN 42 ii 3.2.1.4 Các bảng quan hệ 47 3.2.1.5 Bảng AR_TVR_SMY .52 3.2.2 MỤC CÁC CHỮ VIẾT TẮT Test tầngDANH data mart 56 3.2.2.1 Bảng AR_DIM 56 3.2.2.2 Bảng AR_ANL_FCT 59 KẾT LUẬN 61 PHỤ LỤC TÀI LIỆU THAM KHẢO STT Chữ viết tắt Chữ đầy đủ Ý nghĩa BA Business Analyst Phân tích nghiệp vụ BI Business Intelligence Kinh doanh thông minh Code DB Database Cơ cở liệu DEV Develop Phát triển DW Data Warehouse Kho liệu ETL Extract -Transformation - Loading Giải nén - Chuyển đổi - Tải FSSC Financial Software Solutions Company Công ty Cổ phần Giải pháp phần mềm Tài MA Manual Adjustment Điều chỉnh thủ công 10 Mapping 11 PM Project Manager Quản trị dự án 12 SOR System of record Hệ thống lưu trữ 13 UAT User acceptance testing Kiểm thử chấp nhận người dùng 14 UC Use case Trường hợp sử dụng Lập trình Ánh xạ / Nối iii Count Sô ghi bảng AR SOR Sô ghi bảng AR_DIM Data Mart Duplication Tổng sô ghi có nguồn tổng sơ ghhi đích (AR_DIM) Mỗi giá trị ANCHOR_ID ứng với giá trị AR_DIM_ID Khơng có ghi trùng lặp gom nhóm AR_DIM_ID theo ANCHOR_ID Cột AR_DIM_ID khóa tự tăng Khơng có trùng lặp cột ARDlM ID Check key Khóa ANCHOR_ID truyền thẳng từ AR_ID bảng AR tầng SOR Khơng có ghi mà ANCHOR_ID khác AR_ID trả Check thuộc tính Thuộc tính AR_NBR truyền thẳng từ cột UNQ_ID_IN_SRC_STM bảng AR SOR Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_NM truyền thẳng từ trường AR_NM bảng AR tầng SOR Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính CCY_CODE truyền thẳng từ trường CCY_CODE bảng Các giá trị thuộc tính nguồn khớp với thuộc tính CCY tầng SOR Khóa luận tơt nghiệp code Quy trình xây dựng kiêm thử data warehouse Thuộc tính EFF_DT truyền thẳng từ trường EFF_DT bảng AR tầng SOR Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính MAT_DT truyền thẳng từ trường EST_END_DT bảng AR tầng SOR Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính OD_ALLOWED_IND truyền thẳng từ trường OD_ALLOWED_IND bảng AR tầng SOR Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_LC_ST_CODE truyền thẳng từ AR_LCS_ST_TP.CL_CODE Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_LC_ST_NM truyền thẳng từ trường AR_LCS_ST_TP.CL_NM Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_TP_CODE truyền thẳng từ trường AR_TP.CL_CODE Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_TP_NM truyền thẳng từ trường AR_TP.CL_NM Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_TERM_TP_CODE truyền thẳng từ trường AR_TERM_TP.CL_CODE Các giá trị thuộc tính nguồn khớp với thuộc tính code Thuộc tính AR_TERM_TP_NM truyền thẳng từ trường AR_TERM_TP.CL_NM Các giá trị thuộc tính nguồn khớp với thuộc tính code LÊ NGỌC DIỄM - K16HTTTB Page | 56 Bảng 3.16: Bảng kịch kiểm thử bảng AR DIM ❖ Kiêm tra tổng sơ ghi nguồn (AR) đích (AR_DIM) - - Nguồn Select count (*) FROM fsstraining_sor.ar Đích LÊ NGỌC DIỄM - K16HTTTB Page | 57 Khóa luận tốt nghiệp Quy trình xây dựng kiểm thử data warehouse Select count (*) From ar_dim; Ket quả: Nguồn trùng đích (=1390189 ghi) ❖ Kiểm tra trùng lặp liệu trường khóa (AR_DIM_ID) Select count (1) from ( Select AR_DIM_ID from cst_dim Group by AR_DIM_ID Having count (1) > 1) Kết quả: Khơng có ghi bị trùng lặp theo đối tượng AR_DIM_ID ❖ Check null Select count (1) From fsstraining_sor.ip Where unq_id_in_src_stm is null Kết quả: Trường khóa unq khơng bị để trống ❖ Check key Select count (1) From (Select TO_CHAR (NVL (UNQ_ID_IN_SRC_STM,'99999') From fsstraining_sor.ip Where src_stm_id = '60001' and Not exists (Select TO_CHAR (NVL (CFCIFN,'99999')) from STAGING.SI_DAT_CFMAST)) Kết quả: Các giá trị IP sor có nguồn ❖ Kiểm tra thuộc tính ANCHOR_ID - - Kiểm tra thuộc tính ANCHOR_ID đích Select * from (Select ANCHOR_ID From ar_dim) MINUS (Select AR_ID From fsstraining_sor.AR); Kiểm tra thuộc tính ANCHOR_ID nguồn Select * from (Select AR_ID From fsstraining_sor.AR) LÊ NGỌC DIỄM - K16HTTTB Page | 58 Khóa luận tốt nghiệp Quy trình xây dựng kiểm thử data warehouse MINUS (Select ANCHOR_ID From ar_dim) Ket quả: Các giá trị thuộc tính ANCHOR_ID khớp với thuộc tính code ❖ Kiểm tra tất thuộc tính bảng AR_DIM với yêu cầu load lên tầng nguồn xác 3.2.2.2Bảng ARANLFCT ❖ Kiểm tra thuộc tính bảng AR_ANL_FCT theo tiêu Select count(*) From ( Select CDR_DT_DIM_ID ,AR_DIM_ID, SRC_STM_DIM_ID ,PD_DIM_ID , CCY_DIM_ID , CST_DIM_ID ,LOB_DIM_ID, OU_DIM_ID, CLS_BAL_AMT_TODAY_FCY From FSSTRAINING_DMT.AR_ANL_FCT Minus Select CDR_DT_DIM_ID, AR_DIM_ID, SRC_STM_DIM_ID, PD_DIM_ID , CCY_DIM_ID, CST_DIM_ID, LOB_DIM_ID, OU_DIM_ID, CLS_BAL_AMT_TODAY_FCY From FSSTRAINING_SOR.AR_TVR_SMY A Left join CDR_DT_DIM On A.MRS_PRD_ID = CDT_DT_DIM.CDT_DT_DIM_ID Left join AR_DIM on A.ar_id = AR_DIM.ANCHOR_ID Left join (select SRC_STM_ID, AR_ID from fsstraining_sor.AR AR where SRC_STM_ID = (select CL_ID from fsstraining_sor.CV where CL_SCM_CODE = 'SRC_STM' and CL_CODE = 'SIBS_SI_DAT_DDMAST')) AR on A.ar_id = AR.AR_ID Left join SRC_STM_DIM on SRC_STM_DIM.ANCHOR_ID = AR.SRC_STM_ID Left join fsstraining_sor.AR_X_PD_rltnp AR_X_PD on A.Ar_id = AR_X_PD.AR_ID Left join PD_DIM on AR_X_PD.PD_ID = PD_DIM.ANCHOR_ID Left join CCY_DIM on A.UOM_ID = CCY_DIM.ANCHOR_ID Left join fsstraining_sor.AR_X_IP_rltnp AR_X_IP on A.Ar_id = AR_X_IP.AR_ID Left join CST_DIM on AR_X_IP.IP_ID = CST_DIM.ANCHOR_ID LÊ NGỌC DIỄM - K16HTTTB Page | 59 Khóa luận tốt nghiệp Quy trình xây dựng kiểm thử data warehouse Left join OU_DIM on AR_X_IP.IP_ID = OU_DIM.ANCHOR_ID Left join fsstraining_sor.CL_X_IP_rltnp CL_X_IP on AR_X_IP.IP_ID = CL_X_IP.IP_ID Left join LOB_DIM on CL_X_IP.CL_ID = LOB_DIM.ANCHOR_ID); ❖ Kiểm tra tất trường bảng AR_ANL_FCT load lên xác LÊ NGỌC DIỄM - K16HTTTB Page | 60 Khóa luận tốt nghiệp Khóa luận tơt nghiệp Quy trình xây dựng kiêm thử data warehouse Quy trình xây dựng kiêm thử data warehouse PHỤLUẬN LỤC KẾT Mapping bảng AR Việc triên khai thành công dự án DW tốn nhiều thời gian, cơng sức tiền bạc, địi hỏi đơn vị triên khai doanh nghiệp phải có kế hoạch thực rõ ràng phối hợp chặt chẽ đội dự án Ket đạt ❖ Nghiên cứu tổng quan data warehouse bao gồm định nghĩa, đặc điêm cấu trúc data warehouse ❖ Nghiên cứu quy trình xây dựng data warehouse Công ty cổ phần giải pháp phần mềm tài áp dụng thực cho đối tượng ngân hàng ❖ Nghiên cứu kỹ thuật kiêm thử sử dụng việc kiêm thử data warehouse ❖ Xâybảng dựng Testcase ARbộ testcase kiêm thử cho data warehouse lưu trữ liệu hợp đồng giao dịch phân hệ tiền gửi không kỳ hạn ngân hàng Hạn chế ❖ Quy trình xây dựng nghiên cứu mức tổng quát chưa chi tiết hóa hết độ phức tạp việc xây dựng data warehouse ❖ Data warehouse xây dựng tập trung đề cập tới phân hệ tiền gửi không kỳ hạn Trong tốn data warehouse thường có số lượng liệu lớn ❖ Trong testcase kiêm thử data warehouse xây dựng có số trường hợp kiêm thử đưa chưa hoàn toàn tối ưu cách thức test chưa tối ưu mặt thời gian, cụ thê số câu lệnh có tốc độ truy vấn cịn chậm Phạm vi ứng dụng ❖ Quy trình xây dựng data warehouse đưa áp dụng việc triên khai thực dự án data warehouse ngân hàng có thê dễ dàng mở rộng cải thiện đê có thê áp dụng cho tất doanh nghiệp cần xây dựng data warehouse ❖ Testcase kiêm thử xây dựng cho công việc kiêm thử data warehouse lưu trữ liệu hợp đồng giao dịch ngân hàng có thê áp dụng cách thức kiêm thử tất chủ đề khác Hướng phát triển tương lai ❖ Đưa giải pháp tối ưu hóa có thê quy trình xây dựng data warehouse đê cải thiện chất lượng dự án data warehouse ' ID ~ Chwc nàng Count ❖ Phát triên quy trình xây dựng data warehouse không đê áp dụng lĩnh vực Mục đích/ Pigu kiện test Sõ !irons họp đông σ SOf phái băng tổng sô lưọnghọrp đong DD DupEcation UMQ_ID_IN_SRC_ S TM DupEcation ARID Check null Dur L iệu Test Mwc độ Dỡ liệu nguõn đích High Tong so lirợng nguon (1390189) bang v