Xây dựng quy trình tích hợp dữ liệu etl và xuất báo cáo cho hệ thống e banking tại ngân hàng tmcp công thương việt nam

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP XÂY DỰNG QUY TRÌNH TÍCH HỢP DỮ LIỆU ETL VÀ XUẤT BÁO CÁO CHO HỆ THỐNG E-BANKING TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN CÔNG THƯƠNG VIỆT NAM Sinh viên thực hiện: Trương Thị Mai Quỳnh Lớp: HTTTTA Khóa học: K20 Mã sinh viên: 20A4040125 Hệ: Đại học quy Giảng viên hưỡng dẫn: ThS.Ngơ Thùy Linh Hà Nội, tháng năm 2021 Tai ngay!!! Ban co the xoa dong chu nay!!! 17014129431561000000 XÁC NHẬN CỦA ĐƠN VỊ THỰC TẬP Trương Thị Mai Quỳnh - K20HTTTA i NGÂN HÀNG NHÀ NƯỚC VIỆT NAM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM HỌC VIỆN NGÂN HÀNG Độc lập - Tự - Hạnh phúc BẢN GIẢI TRÌNH CHỈNH SỬA KHĨA LUẬN TỐT NGHIỆP Họ tên sinh viên: Trương Thị Mai Quỳnh Mã sinh viên: 20A4040125 Lớp: K20HTTTA Ngành: Hệ thống thông tin quản lý Tên đề tài: Xây dựng quy trình tích hợp liệu ETL xuất báo cáo cho hệ thống E-banking Ngân hàng TMCP Công Thương Việt Nam Các nội dung hoàn thiện theo kết luận Hội đồng: Nội dung yêu cầu chỉnh sửa Hội đồng Xem lại tên đề tài Nội dung chỉnh sửa sinh viên Ghi (ghi rõ vị trí chỉnh sửa: dịng, mục, trang) Chỉnh sửa lại tên đề tài thay từ Tên đề tài trang bìa, “Q trình” thành quy trình Dịng 2, mục lời cam đoan, mở đầu, chương 1, trang iii, xiv, trang Bổ sung từ viết Bổ sung từ viết tắt ETL, STT từ 14-20, Danh mục tắt (ETL, ERP, CRM, ERP, SCM, HRM,KDL, ) CRM, SCM, viết tắt, trang ix HRM,KDL Kiến nghị khác (nếu có): Gi (Ký ghi rõ h ản g v iê n h ọ tê n) Hà Nội, ngày 06 tháng 03 năm 2021 Sinh viên (Ký ghi rõ h ọ tê n) Trương Thị Mai Quỳnh Trương Thị Mai Quỳnh - K20HTTTA ii LỜI CẢM ƠN Để hoàn thành đề tài này, em xin gửi lời cảm ơn chân thành đến toàn giảng viên Học viện Ngân hàng, đặc biệt thầy cô khoa Hệ thống thông tin quản lý dạy dỗ, truyền đạt kiến thức quý báu cho em suốt bốn năm học tập trường tạo điều kiện thuận lợi cho chúng em suốt thời gian học tập trường thời gian hoàn thành báo cáo thực tập Đặc biệt, em xin bày tỏ lòng biết ơn chân thành tới ThS Ngô Thùy Linh – Giảng viên Khoa Hệ thống Thông tin Quản lý – Học viện Ngân hàng trực tiếp định hướng, tận tâm hướng dẫn giúp đỡ em nhiều suốt q trình hồn thành khóa luận Em xin chân thành cảm ơn ban lãnh đạo Công ty cổ phần hệ thống công nghệ ETC cho phép tạo điều kiện thuận lợi giúp em hồn thành tốt công việc thực tập công ty Đặc biệt em xin gửi lời cảm ơn tới chị Hoàng Thị Lan anh chị đội ETL phòng DWH tận tình bảo cho em kiến thức thực tế giúp em hoàn thành viết khố luận cách tốt Khóa luận q trình cố gắng khơng ngừng nghỉ giúp đỡ tận tình, động viên khích lệ thầy cơ, bạn bè người thân Qua đây, Em xin gửi lời cảm ơn chân thành đến người giúp đỡ em, bên động viên, khích lệ em lúc khó khăn Tuy nhiên, cịn nhiều thiếu sót kinh nghiệm hạn chế kiến thức nên khóa luận khơng tránh khỏi thiếu sót Vì vậy, em mong nhận quan tâm, ý kiến đóng góp thầy bạn để khóa luận em hồn thiện Em xin chân thành cảm ơn! Sinh viên thực Trương Thị Mai Quỳnh Trương Thị Mai Quỳnh - K20HTTTA iii LỜI CAM ĐOAN Em xin cam đoan: Khóa luận tốt nghiệp với đề tài “Xây dựng quy trình tích hợp liệu ETL xuất báo cáo cho hệ thống E-banking Ngân hàng TMCP Công Thương Việt Nam” Trong toàn nội dung đề tài, điều em trình bày có tham khảo từ nhiều tài liệu trích dẫn rõ ràng Em xin chịu trách nhiệm nghiên cứu mình! Hà Nội, ngày tháng năm 2021 Người cam đoan Trương Thị Mai Quỳnh Trương Thị Mai Quỳnh - K20HTTTA iv NHẬN XÉT (Của quan thực tập) Về mặt: Ý thức chấp hành nội quy, thái độ làm việc sinh viên nơi thực tập; Tiến độ, kết thực cơng việc giao; Tính thực tiễn ứng dụng đề tài Hà Nội, ngày tháng năm 2021 Người nhận xét (Ký tên, đóng dấu) Trương Thị Mai Quỳnh - K20HTTTA iii NHẬN XÉT (Của giáo viên hướng dẫn) Về mặt: Mục đích đề tài; Tính thời ứng dụng đề tài; Bố cục hình thức trình bầy đề tài; Kết thực đề tài; Ý thức, thái độ sinh viên trình thực đề tài Hà Nội, ngày tháng năm 2021 Giáo viên hướng dẫn (Ký tên) Trương Thị Mai Quỳnh - K20HTTTA iv MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN iv NHẬN XÉT iii MỤC LỤC v DANH MỤC VIẾT TẮT viii DANH MỤC BẢNG BIỂU VÀ HÌNH ẢNH viii LỜI MỞ ĐẦU xiii CHƯƠNG I: KHÁI QUÁT VỀ NGÂN HÀNG VIETINBANK 1.1 Giới thiệu ngân hàng Vietinbank 1.2 Giá trị cốt lõi triết lý kinh doanh 1.3 Lịch sử hình thành phát triển 1.4 Sơ đồ máy tổ chức 1.5 Tổng quan toán 1.5.1 Giới thiệu toán 1.5.2 Thực trạng công tác quản lý liệu hệ thống E-banking ngân hàng VietinBank 1.5.3 Lý lựa chọn toán 1.5.4 Ý nghĩa thực tế toán 1.6 Kết luận chương CHƯƠNG II: TỔNG QUAN VỀ KHO DỮ LIỆU 10 2.1 Định nghĩa kho liệu 10 2.2 Đặc điểm kho liệu 10 2.3 Kiến trúc Kho liệu 14 2.3.1 Kiến trúc kho liệu 14 2.3.2 Kiến trúc kho liệu với staging area 15 2.3.3 Kiến trúc kho liệu với staging area data marts 16 2.3.4 Cách tiếp cận kho liệu 17 Trương Thị Mai Quỳnh - K20HTTTA v 2.4 Thành phần kho liệu 19 2.5 Tổ chức liệu logic DWH 21 2.5.1 Lược đồ kho liệu 21 2.5.1.1 Lược đồ hình 21 2.5.1.2 Lược đồ hình bơng tuyết 22 2.5.1.3 Lược đồ chòm 23 2.5.2 Mơ hình liệu đa chiều 23 2.5.3 Cấu trúc bảng fact 28 2.5.4 Cấu trúc bảng dimension 29 2.6 ETL TRONG DATAWAREHOUSE 29 2.6.1 Khái niệm ETL 29 2.6.2 Cách thức hoạt động ETL 30 2.6.2.1 Giai đoạn trích xuất liệu 30 2.6.2.2 Giai đoạn chuyển đổi liệu 31 2.6.2.3 Giai đoạn tải liệu 32 2.7 Kết luận chương 33 CHƯƠNG III: XÂY DỰNG QUÁ TRÌNH ETL PHỤC VỤ CHO HỆ THỐNG E-BANKING 34 3.1 Kiến trúc ETL tổng thể hệ thống E-banking 34 3.1.1 Quá trình tải liệu từ Source system tới Staging and ODS 34 3.1.2 Quá trình tải liệu từ ODS tới DWH 35 3.1.3 Quá trình tải liệu từ DWH tới DM 35 3.1.4 Q trình chạy job thơng báo lỗi 36 3.1.5 Các kiểu xử lý load liệu 38 3.1.5.1 Quá trình xử lý SCD type 38 3.1.5.2 Quá trình xử lý SCD type 39 3.2 Nền tảng sử dụng 41 3.2.1 Hệ quản trị sở liệu Oracle 41 Trương Thị Mai Quỳnh - K20HTTTA vi 3.2.2 IBM InfoSphere DataStage 41 3.3 Thiết kế Kho liệu 42 3.3.1 Cấu trúc bảng tầng STG 42 3.3.2 Cấu trúc bảng tầng ODS 44 3.3.3 Cấu trúc bảng tầng DWH 46 3.3.4 Cấu trúc bảng tầng DM 46 3.4 Xây dựng trình ETL cho phân hệ E-banking 47 3.4.1 Xây dựng ETL tầng STG 47 3.4.2 Xây dựng ETL tầng ODS 50 3.4.3 Xây dựng ETL tầng DWH 52 3.4.4 Xây dựng ETL tầng DWH-DTM 55 3.4.4.1 Quá trình ETL bảng LGN TYP DIM, IB VTGE DIM, IB TRNS TIER DIM 56 3.4.4.2 Quá trình ETL bảng IB_USER_ DIMENSION 59 3.4.4.3 Quá trình ETL bảng IB_TRNS_DTL_FACT 63 3.5 Thiết kế sequence job 63 3.6 Demo liệu tầng 65 3.6.1 Dữ liệu tầng STG 65 3.6.2 Dữ liệu tầng ODS 66 3.6.3 Dữ liệu tầng DWH 67 3.6.4 Dữ liệu tầng DM 68 3.7 Kết luận chương 69 CHƯƠNG IV: XÂY DỰNG BÁO CÁO CHO HỆ THỐNG E-BANKING 70 KẾT LUẬN 73 TÀI LIỆU THAM KHẢO 74 Trương Thị Mai Quỳnh - K20HTTTA vii