Xây dựng hệ thống quản lý siêu dữ liệu ngân hàng thương mại cổ phần quân đội

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ - - KHÓA LUẬN TỐT NGHIỆP NĂM HỌC 2021 – 2022 ĐỀ TÀI XÂY DỰNG HỆ THỐNG QUẢN LÝ SIÊU DỮ LIỆU NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN QUÂN ĐỘI Sinh viên thực hiện: Nguyễn Tuấn Chung Lớp: K21HTTTB Mã sinh viên: 21A4040010 Giảng viên hướng dẫn: Ths Ngô Thùy Linh Hà nội, tháng năm 202 Tai ngay!!! Ban co the xoa dong chu nay!!! 17014129434841000000 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ - - KHÓA LUẬN TỐT NGHIỆP NĂM HỌC 2021 – 2022 ĐỀ TÀI XÂY DỰNG HỆ THỐNG QUẢN LÝ SIÊU DỮ LIỆU NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN QUÂN ĐỘI Sinh viên thực hiện: Nguyễn Tuấn Chung Lớp: K21HTTTB Mã sinh viên: 21A4040010 Giảng viên hướng dẫn: Ths Ngô Thùy Linh Hà nội, tháng năm 2022 Khóa luận tốt nghiệp LỜI CAM ĐOAN Em xin cam đoan: Khóa luận tốt nghiệp với đề tài “Xây dựng hệ thống quản lý siêu liệu Ngân hàng Thương mại Cổ phần Quân đội” Trong toàn nội dung đề tài, điều em trình bày có tham khảo từ nhiều tài liệu trích dẫn rõ ràng Em xin chịu trách nhiệm nghiên cứu mình! Hà Nội, ngày tháng năm 2022 Người cam đoan Nguyễn Tuấn Chung i Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp LỜI CẢM ƠN Để hoàn thành đề tài này, em xin gửi lời cảm ơn chân thành đến toàn giảng viên Học viện Ngân hàng, đặc biệt thầy cô khoa Hệ thống thông tin quản lý dạy dỗ, truyền đạt kiến thức quý báu cho em suốt trình học tập trường tạo điều kiện thuận lợi cho chúng em thời gian hoàn thành báo cáo thực tập Đặc biệt, em xin gửi lời cảm ơn sâu sắc tới ThS Ngô Thùy Linh - Giảng viên Khoa Hệ thống Thông tin Quản lý - Học viện Ngân hàng trực tiếp định hướng, tận tâm hướng dẫn giúp đỡ em nhiều suốt q trình hồn thành khóa luận Em xin chân thành cảm ơn anh chị đồng nghiệp Khối Dữ liệu đặc biệt anh chị Phịng Tích hợp Phát triển liệu, Ngân hàng Thương Mại Cổ phần Quân đội tạo điều kiện thuận lợi giúp em tiếp cận nguồn tài liệu nội liệu Ngân hàng Đồng thời, tận tình bảo cho em kiến thức thực tế giúp em hoàn thành viết khố luận cách tốt Khóa luận q trình cố gắng khơng ngừng nghỉ giúp đỡ tận tình, động viên khích lệ thầy cô, bạn bè người thân Tuy nhiên, cịn nhiều thiếu sót kinh nghiệm hạn chế kiến thức nên khóa luận khơng tránh khỏi thiếu sót Vì vậy, em mong nhận quan tâm, ý kiến đóng góp thầy bạn để khóa luận em hồn thiện Hà Nội, ngày tháng năm 2022 Sinh viên thực Nguyễn Tuấn Chung ii Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii NHẬN XÉT Error! Bookmark not defined MỤC LỤC iii DANH MỤC VIẾT TẮT v DANH MỤC BẢNG vi DANH MỤC HÌNH vii LỜI MỞ ĐẦU .1 CHƯƠNG I: KHÁI QUÁT VỀ NGÂN HÀNG QUÂN ĐỘI MB BANK 1.1 Giới thiệu Ngân hàng Quân đội .3 1.2 Tầm nhìn, sứ mệnh giá trị cốt lõi 1.3 Lịch sử hình thành phát triển 1.4 Lĩnh vực hoạt động sản phẩm bật 10 1.6 Sơ đồ máy tổ chức 11 1.7 Tổng quan toán 12 1.7.1 Giới thiệu toán 12 1.7.2 Thực trạng hệ thống quản lý báo cáo Operational Reports System (ORS) Ngân hàng Quân đội 14 1.7.3 Lý chọn toán 14 1.7.4 Ý nghĩa thực tế toán 14 1.8 Kết luận chương I 15 CHƯƠNG II: TỔNG QUAN LÝ THUYẾT VỀ SIÊU DỮ LIỆU 16 2.1 Lý thuyết chung quản lý liệu .16 2.1.1 Khái niệm quản lý liệu 16 2.1.2 Tầm quan trọng quản lý liệu .16 2.1.3 Mối quan hệ quản lý liệu siêu liệu .17 2.2 Khung quản lý liệu DAMA 17 2.3 Lý thuyết siêu liệu .19 2.3.1 Định nghĩa siêu liệu 19 iii Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp 2.3.2 Vai trị quản lý siêu liệu 21 2.3.3 Mục tiêu quản lý siêu liệu 22 2.3.4 Nguyên tắc quản lý siêu liệu 22 2.3.5 Siêu liệu liệu 23 2.3.6 Các loại siêu liệu 24 2.3.7 Các dạng kiến trúc siêu liệu .26 2.3.8 Nguồn siêu liệu (DAMA International, 2017) 29 2.4 Các công cụ sử dụng 34 2.4.1 IBM Infosphere Information Server .34 2.4.2 BI Tableau .35 2.4.3 Pentaho Data Integration 36 2.5 Kết luận chương II .38 CHƯƠNG III: XÂY DỰNG HỆ THỐNG METADATA NGÂN HÀNG QUÂN ĐỘI 39 3.1 Thiết kế kiến trúc hệ thống 39 3.1.1 Yêu cầu nghiệp vụ 39 3.1.2 Kiến trúc giải pháp 46 3.1.3 Thiết kế phi chức 52 3.2 Thiết kế chi tiết hệ thống .54 3.2.1 Thiết kế chức 54 3.2.2 Báo cáo truy vấn 59 3.3 Vận hành hệ thống .66 3.3.1 Tích hợp Metadata hệ thống nguồn 66 3.3.2 Tạo mối quan hệ đối tượng Technical Metadata 72 3.3.3 Tạo Business Metadata 79 3.3.4 Tạo mối quan hệ Technical Business Metadata .82 3.3.5 Tích hợp metadata báo cáo .83 KẾT LUẬN .86 TÀI LIỆU THAM KHẢO 88 iv Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp DANH MỤC VIẾT TẮT TỪ VIẾT TẮT Ý NGHĨA TMCP Thương mại cổ phần ODS Operational Data Store ORS Operational Reports System ETL Extract-Transform-Load HA High Availability v Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp DANH MỤC BẢNG Bảng Yêu cầu – chức củ hệ thống Metadata 42 Bảng Danh sách Actor .44 Bảng Danh sách chức 46 Bảng Bảng mô tả thành phần hệ thống 48 Bảng Nền tảng công nghệ hệ thống 50 Bảng Kiến trúc hạ tầng .52 Bảng Bảng MTDT.MB_COLUMN_DESCRIPTION .54 Bảng Bảng MTDT.MB_TABLE_DESCRIPTION 55 Bảng Bảng MTDT.MB_SCHEMA_DESCRIPTION 55 Bảng 10 Báo cáo tổng hợp Metadata 66 vi Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp DANH MỤC HÌNH Hình 1.Các cơng ty thành viên MB Bank Hình Sơ đồ máy tổ chức MB Bank 11 Hình Mơ hình hệ thống ODS Metadata MB Bank .15 Hình Khung quản lý liệu DAMA 18 Hình Kiến trúc siêu liệu tập trung .27 Hình Kiến trúc siêu liệu phân tán 27 Hình Kiến trúc siêu liệu hai hướng .28 Hình Các chức InfoSphere Information Server .35 Hình Giao diện BI Tableau .36 Hình 10 Giao diện Pentaho Data Integration 37 Hình 11 Sơ đồ ngữ cảnh (System Context Diagram) 40 Hình 12 Mơ hình Usecase 43 Hình 13 Sơ đị kiến trúc Logical 47 Hình 14 Khả đáp ứng kiến trúc nghiệp vụ 48 Hình 15 Khả đáp ứng kiến trúc ứng dụng 49 Hình 16 Mơ hình triển khai 50 Hình 17 Kiến trúc hạ tầng 51 Hình 18 Kiến trúc mạng 52 Hình 19 Luồng ETL cập nhật description cho trường bảng .56 Hình 20 Code check syn_log liệu bảng asclmodel_datafield 57 Hình 21 Luồng ETL cập nhật description cho bảng .57 Hình 22 Code check syn_log liệu bảng asclmodedatacollectin .58 Hình 23 Luồng ETL cập nhật description cho schema 58 Hình 24 Code check syn_log liệu bảng asclmodel_dataschema 59 Hình 25 Định dạng báo cáo Metadata 60 Hình 26 IBM InfoSphere Information Server .67 Hình 27 Metadata Asset Manager .67 Hình 28 Inport Asset Manager 68 Hình 29 Create New Import Area .68 vii Nguyễn Tuấn Chung - K21HTTTB Khóa luận tốt nghiệp Hình 30 Chọn thông tin Create New Import Area 69 Hình 31 Chọn kết nối có sẵn .69 Hình 32 New Data Connection 70 Hình 33 Indentity Parameters 70 Hình 34 Import Data 71 Hình 35 Kết sau tích hợp 71 Hình 36 Information Governance Catalog 72 Hình 37 Information Assets 72 Hình 38 Database Schema 73 Hình 39 Browse Database Schemas 73 Hình 40 Manage Tab Information Assets 74 Hình 41 Create Extension Mapping Document 74 Hình 42 Edit Mappings of Test 75 Hình 43 Manage Information Assets 75 Hình 44 Select Files (Import Extension Mapping Documents) 76 Hình 45 Set Default Properties (Import Extension Mapping Documents) 76 Hình 46 Extension Mapping Documents 77 Hình 47 Import Exrension Mapping 77 Hình 48 Extension Mapping Details 78 Hình 49 Database Column Details 78 Hình 50 Data Lineage 78 Hình 51 Administration Home 79 Hình 52 Select Merge Option .79 Hình 53 Import File .80 Hình 54 Glossary 80 Hình 55 Create Term 81 Hình 56 Edit Term 81 Hình 57 Edit Term Details 82 Hình 58 Assigned Assets 82 Hình 59 View Relationship 83 Hình 60 Metadata Asset Manager .83 viii Nguyễn Tuấn Chung - K21HTTTB