Xây dựng quy trình tích hợp dữ liệu etl từ hệ thống corebanking t24 về hệ thống ods tại ngân hàng tmcp quân đội việt nam

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ - - KHÓA LUẬN TỐT NGHIỆP QUY TRÌNH TÍCH HỢP DỮ LIỆU ETL TỪ HỆ THỐNG COREBANKING T24 VỀ HỆ THỐNG ODS TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN QUÂN ĐỘI VIỆT NAM Sinh viên thực hiện: Nguyễn Hồng Phong Lớp: K21HTTTB Mã sinh viên: 21A4040086 Hệ : Đại học quy Giảng viên hướng dẫn: ThS Ngô Thùy Linh Hà Nội, tháng năm 2022 Tai ngay!!! Ban co the xoa dong chu nay!!! 17014129436291000000 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ - - KHÓA LUẬN TỐT NGHIỆP QUY TRÌNH TÍCH HỢP DỮ LIỆU ETL TỪ HỆ THỐNG COREBANKING T24 VỀ HỆ THỐNG ODS TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN QUÂN ĐỘI VIỆT NAM Sinh viên thực hiện: Nguyễn Hồng Phong Lớp: K21HTTTB Mã sinh viên: 21A4040086 Hệ : Đại học quy Giảng viên hướng dẫn: ThS Ngô Thùy Linh Hà Nội, tháng năm 2022 LỜI CẢM ƠN Để hoàn thành đề tài này, em xin gửi lời cảm ơn chân thành đến toàn giảng viên Học viện Ngân hàng, đặc biệt thầy cô khoa Hệ thống thông tin quản lý dạy dỗ, truyền đạt kiến thức quý báu cho em suốt bốn năm học tập rèn luyện trường tạo điều kiện thuận lợi cho chúng em suốt thời gian học tập trường thời gian hồn khóa luận Đặc biệt, em xin tỏ lịng biết ơn chân thành tới ThS Ngơ Thùy Linh – Giảng viên khoa Hệ thống thông tin quản lý Học viện Ngân hàng trực tiếp định hướng, hướng dẫn giúp đỡ em nhiều trình hồn thành khóa luận Em xin cảm ơn lãnh đạo Ngân hàng Thương mại cổ phần Quân Đội Việt Nam MBBank cho phép tạo điều kiện thuận lợi giúp em hồn thành tốt cơng việc thực tập ngân hàng Đặc biệt em xin gửi lời cảm ơn đến tập thể anh chị phịng BigData tận tình dạy em kiến thức thực tế giúp em hồn thành khóa luận cách tốt Khóa luận q trình phấn đấu thân em giúp đỡ tận tình, động viên khích lệ thầy cô, bạn bè người thân Qua đây, em xin gửi lời cảm ơn chân thành đến người giúp đỡ, động viên, khích lệ em lúc khó khăn Do cịn nhiều thiếu sót kinh nghiệm hạn chế vể kiến thức nên khóa luận khơng tránh khỏi thiếu sót Vì vậy, em mong nhận quan tâm, ý kiến đóng góp thầy bạn đề khóa luận em có thê hồn thiện Em xin chân thành cảm ơn! Người thực LỜI CAM ĐOAN Em xin cam đoan: Khóa luận tốt nghiệp với đề tài: “Xây dựng quy trình tích hợp liệu ETL từ hệ thống CoreBanking T24 hệ thống ODS ngân hàng TMCP Quân Đội Việt Nam” Trong toàn nội dung đề tài, điều em trình bày có tham khảo từ nhiều tài liệu có trích dẫn rõ ràng Em xin chịu trách nhiệm nghiên cứu mình! Hà Nội, ngày 25 tháng năm 2022 Người cam đoan MỤC LỤC LỜI MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU VỀ BÀI TOÁN 1.1 Giới thiệu ngân hàng MB Bank 1.1.1 Giá trị cốt lõi sứ mệnh MB Bank 1.1.2 Lịch sử hình thành phát triển 1.2 Tổng quan toán 1.2.1 Giới thiệu toán 1.2.2 Mơ hình quản lý liệu MB Bank 1.2.3 Lý chọn toán 10 1.2.4 Ý nghĩa toán 10 1.3 Kết luận 10 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 11 2.1 Tổng quan hệ thống ODS 11 2.1.1 Khái niệm 11 2.1.2 Các loại hệ thống ODS 13 2.1.3 Đặc trưng hệ thống ODS 14 2.1.4 Lợi ích hệ thống ODS 16 2.1.5 Hệ thống ODS kiến trúc BI 16 2.1.6 Yêu cầu với hệ thống ODS 18 2.2 ETL 20 2.2.1 Khái niệm ,thành phần ETL 20 2.2.2 Cách hoạt động trình ETL 21 2.2.3 Vai trò ETL 24 2.2.4 Khó khăn việc xây dựng ETL 25 2.3 Hệ thống CoreBanking T24 25 2.3.1 Định nghĩa đặc điểm 25 2.3.2 Lợi ích hệ thống T24 26 2.4 Công cụ sử dụng 27 2.4.1 Oracle PL/SQL Developer 27 2.4.2 Oracle Data Integrator 34 2.5 Kết luận 36 CHƯƠNG 3: XÂY DỰNG QUY TRÌNH ETL TÍCH HỢP DỮ LIỆU TỪ HỆ THỐNG T24 VỀ HỆ THỐNG ODS 37 3.1 Tổng quan kiến trúc liệu hệ thống ODS 37 3.2 Nguyên tắc xây dựng quy trình ETL 41 3.2.1 Phạm vi nguồn 41 3.2.2 Phạm vi đích 42 3.2.3 Nguyên tắc xây dựng job ETL 45 3.3 Kiến trúc ETL 46 3.4 Xây dựng ETL 51 3.4.1 Kết nối ODI đến sở liệu 51 3.4.2 Chuyển đổi liệu T24 53 3.4.3 Xây dựng danh mục Package 55 3.4.4 Tạo Mapping 68 3.4.5 Đặt lịch chạy cho job ETL 70 3.5 Kết thực quy trình ETL 72 KẾT LUẬN 76 DANH MỤC HÌNH ẢNH Hình 1.Sơ đồ cấu tổ chức MB Bank Hình 2.Sơ đồ quy trình xử lý liệu Hình Hệ thống ODS 11 Hình 4.Luồng liệu loại hệ thống ODS 13 Hình 5.Sơ đồ kiến trúc BI doanh nghiệp 17 Hình 6.Quá trình ETL .22 Hình 7.Trình soạn thảo PL/SQL 28 Hình 8.Debugger .29 Hình PL/SQL Beautifier .30 Hình 10.SQL Window 31 Hình 11.Command Window .32 Hình 12.Mẫu báo cáo 33 Hình 13 Lưu đồ quan hệ Diagram 34 Hình 14.ODI sử dụng cho Big Data 35 Hình 15.Kiến trúc tổng quan hệ thống ODS .37 Hình 16.Bốn phân vùng liệu hệ thống ODS .38 Hình 17.Luồng liệu từ hệ thống T24 đổ ODS .39 Hình 18.Luồng liệu hệ thống khác đổ ODS 40 Hình 19.Sơ đồ quan hệ liệu hệ thống ODS 42 Hình 20.Nguyên tắc xây dựng job ETL 45 Hình 21.Cấu trúc thư mục ETL .46 Hình 22 Mơ hình tích hợp liệu realtime từ hệ thống nguồn T24 47 Hình 23.Mơ hình tích hợp liệu theo batch từ hệ thống nguồn T24 .47 Hình 24.Mơ hình ETL xử lý lỗi 48 Hình 25.Phương thức Parse XML chung 54 Hình 26.Package Party Online 56 Hình 27 Branch REF 58 Hình 28.Currency REF 59 Hình 29.SECTOR REF .60 Hình 30.COUNTRY REF 61 Hình 31.LOCATION REF 62 Hình 32.CHANNEL REF 63 Hình 33.RLTNP MANAGEMENT 64 Hình 34.INDUSTRY_REF .65 Hình 35.Package xử lí lỗi 66 Hình 36.Bảng ODS.PARTY_PHONE trước chuyển đổi liệu 72 Hình 37.Dữ liệu bảng nguồn T24_CUSTOMER 73 Hình 38 Bảng PARTY_PHONE sau đổ liệu 74 Hình 39 Mẫu báo cáo bảng Oracle BI Publisher 75 DANH MỤC BẢNG Bảng So sánh hệ thống ODS DWH 12 Bảng Các loại hệ thống ODS 14 Bảng Yêu cầu với hệ thống ODS 18 Bảng Phân vùng liệu 20 Bảng Các thành phần hệ thống ODS 38 Bảng Các vùng liệu hệ thống ODS 39 Bảng Danh sách bảng nguồn 42 Bảng Danh sách bảng đích 44 Bảng Quy trình xử lý lỗi ETL .49 Bảng 10 Danh mục Package 50 Bảng 11 Kết nối ODI đến sở liệu 53 Bảng 12 Cấu hình bảng T24_PARSING_THREAD .54 Bảng 13 Quy trình Parsing XML từ bảng nguồn T24_CUSTOMER .55 Bảng 14 Quy trình chạy Package Party Online 57 Bảng 15 Quy trình chạy Package Branch REF 58 Bảng 16 Quy trình chạy Package Currency REF .59 Bảng 17 Quy trình chạy Package SECTOR REF 60 Bảng 18 Quy trình chạy Package COUNTRY REF 61 Bảng 19 Quy trình chạy Package LOCATION REF 62 Bảng 20 Quy trình chạy Package CHANNEL REF 63 Bảng 21 Quy trình chạy Package RLTNP MANAGEMENT 64 Bảng 22 Quy trình chạy Package INDUSTRY_REF 65 Bảng 23 Quy trình xử lý lỗi .66 Bảng 24 Các loại cảnh báo lỗi 67 Bảng 25 Quy trình kéo mapping 70 Bảng 26 Đặt lịch chạy cho job ETL 71 Bảng 27 Cấu hình bảng PARTY_PHONE 73 Bảng 28 Cấu hình bảng T24_CUSTOMER .74 DANH MỤC VIẾT TẮT STT Chữ viết tắt Ý nghĩa TMCP Thương mại cổ phần CSDL Cơ sở liệu ERP Enterprise resource planning ETL Extract tranform load CRM Customer relationship management ODS Operational Data Store ORS Operational Reference Store KHDN Khách hàng doanh nghiệp KHCN Khách hàng cá nhân 10 DWH DataWarehouse 11 RDBMS Relational Database Management System 12 ODI Oracle Data Integrator LỜI MỞ ĐẦU Ngày nay, phát triển nhanh chóng cơng nghệ thơng tin, đặc biệt xuất công nghệ mới, đại hệ thống thông tin mới, doanh nghiệp nói chung ngân hàng nói riêng áp dụng công nghệ thông tin vào việc kinh doanh để đem lại hiệu tốt Trước biến đổi liên tục không ngừng thị trường, việc áp dụng công nghệ thông tin lợi lớn doanh nghiệp ứng dụng thành công công nghệ thơng tin, từ cải thiện, đa dạng sản phẩm dịch vụ đáp ứng nhu cầu khách hàng Tuy nhiên, khơng phải doanh nghiệp thể xây dựng CSDL phục vụ cho hoạt động Các doanh nghiệp thường sử dụng nhiều hệ thống thông tin, phần mềm để xử lý hoạt động nghiệp vụ ERP, CRM… dẫn đến liệu bị phân tán, gây khó khăn việc sử dụng liệu doanh nghiệp Đồng thời với việc liệu doanh nghiệp ngày lớn, đặc biệt liệu ngân hàng với hàng triệu giao dịch ngày việc xây dựng CSDL tích hợp liệu doanh nghiệp điều cần thiết Hơn nữa, nhà quản trị doanh nghiệp cần đưa định nhanh chóng, xác để định hướng phát triển cho doanh nghiệp Để làm vậy, liệu cần doanh nghiệp khai thác tối đa lợi ích mà chúng mang lại Từ thực tiễn trên, xu hướng tất yếu doanh nghiệp xây dựng hệ thống quản lý liệu giúp bao qt tồn doanh nghiệp, tích hợp liệu từ nhiều nguồn, thuận tiện cho phân tích liệu Ngân hàng MBBank có mong muốn giải bất cập liên quan đến sở liệu để có hệ thống trung gian vừa lưu trữ liệu từ hệ thống CoreBanking T24 vừa cung cấp liệu cho hệ thống thụ hưởng lập báo cáo Chính đề tài “Xây dựng quy trình tích hợp liệu ETL từ hệ thống CoreBanking T24 hệ thống ODS ngân hàng TMCP Quân Đội Việt Nam” chọn NGUYỄN HỒNG PHONG – K21HTTTB