Nghiên cứu giải pháp quản lý chất lượng dữ liệu trong quản trị dữ liệu ngân hàng

NGÂN HÀNG NHÀ NƯỚC VIỆT NAM HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ CHẤT LƯỢNG DỮ LIỆU TRONG QUẢN TRỊ DỮ LIỆU NGÂN HÀNG GIẢNG VIÊN HƯỚNG DẪN: TS PHAN THANH ĐỨC SINH VIÊN THỰC HIỆN: CAO HỮU PHƯỚC MÃ SINH VIÊN: 21A4040088 HÀ NỘI - 2022 Tai ngay!!! Ban co the xoa dong chu nay!!! 17014127867181000000 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ CHẤT LƯỢNG DỮ LIỆU TRONG QUẢN TRỊ DỮ LIỆU NGÂN HÀNG Giảng viên hướng dẫn: TS Phan Thanh Đức Sinh viên thực hiện: Cao Hữu Phước Mã sinh viên: 21A4040088 Lớp: K21HTTTB Khóa: 21 Hệ: Chính quy HÀ NỘI - 2022 Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB LỜI CAM ĐOAN Em xin cam đoan kết đạt đề tài sản phẩm nghiên cứu, tìm hiểu cá nhân em trình học tập học viện tham gia tìm hiểu ngồi thực tế Ngồi kiến thức thân, phần trình bày tham khảo từ số nguồn tài liệu cơng khai Tất tài liệu để có xuất xứ rõ ràng trích dẫn cách hợp pháp Với lời cam đoan em xin chịu tồn trách nhiệm hình thức kỷ luật theo nội quy học viện quy định pháp luật Sinh viên thực Cao Hữu Phước i Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB LỜI CẢM ƠN Để hoàn thành tốt đề tài trước hết em xin gửi lời cảm ơn tới thầy Phan Thanh Đức tận tình hướng dẫn, giúp đỡ đưa lời góp ý bổ ích suốt q trình thực đề tài Đồng thời em muốn gửi lời cảm ơn sâu sắc tới thầy cô giảng viên khoa Hệ thống thông tin quản lý tạo điều kiện tốt để em có hội tiếp cận với tốn ngồi thực tế để áp dụng kiến thức học trường để giải tốn cách hợp lý Bên cạnh em muốn gửi lời cảm ơn tới đơn vị thực tập Công ty Cổ phần Phát triển Công nghệ Viễn thông Tin học Sun Việt ln giúp đỡ, cung cấp tư liệu cần thiết giải đáp thắc mắc liên quan đến nghiệp vụ toán cách kịp thời Ngoài em gửi lời cảm ơn tới người thân, bạn bè giúp đỡ em q trình tìm kiếm tài liệu, thơng tin liên quan đến đề tài Do thời gian lực cịn hạn chế nên khơng thể tránh thiếu sót q trình thực đề tài Vì em mong nhận thơng cảm ý kiến đóng góp, bổ sung thầy để đề tài em hồn thiện Em xin chân thành cảm ơn! ii Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB MỤC LỤC LỜI MỞ ĐẦU CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ CHẤT LƯỢNG DỮ LIỆU .3 1.1 Tổng quan quản lý liệu, quản trị liệu chất lượng liệu 1.1.1 Quản lý liệu quản trị liệu 1.1.2 Quản lý chất lượng liệu quản trị liệu 1.1.3 Tác động chất lượng liệu đến trình kinh doanh 1.1.4 Mục tiêu nguyên tắc quản lý chất lượng liệu 1.2 Một số khái niệm chất lượng liệu .8 1.2.1 Dữ liệu chất lượng cao 1.2.2 Dữ liệu quan trọng 1.2.3 Thứ nguyên chất lượng liệu .9 1.2.4 Chất lượng liệu siêu liệu .13 1.2.5 Vòng đời cải thiện chất lượng liệu 14 1.2.6 Các loại quy tắc chất lượng liệu nghiệp vụ 16 1.2.7 Nguyên nhân phổ biến vấn đề chất lượng liệu 18 1.2.8 Lập hồ sơ liệu (Data profiling) .18 1.2.9 Chất lượng liệu xử lý liệu .19 1.3 Các hoạt động quản lý chất lượng liệu 20 1.3.1 Xác định liệu chất lượng cao 20 1.3.2 Xác định chiến lược chất lượng liệu 21 1.3.3 Xác định Dữ liệu quan trọng Quy tắc nghiệp vụ 22 1.3.4 Thực đánh giá chất lượng liệu ban đầu 23 1.3.5 Xác định ưu tiên cải tiến tiềm 24 1.3.6 Xác định mục tiêu để cải thiện chất lượng liệu .25 1.3.7 Phát triển triển khai hoạt động chất lượng liệu 26 1.3.8 Quản lý quy tắc chất lượng liệu .26 1.3.9 Đo lường giám sát chất lượng liệu 27 1.3.10 Xây dựng quy trình hoạt động để quản lý vấn đề liệu 30 1.3.11 Thiết lập thỏa thuận mức dịch vụ chất lượng liệu 31 1.3.12 Phát triển báo cáo chất lượng liệu 32 iii Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB 1.4 Các công cụ quản lý chất lượng liệu 33 1.4.1 Công cụ lập hồ sơ liệu 33 1.4.2 Công cụ truy vấn liệu .33 1.4.3 Cơng cụ lập mơ hình ETL 33 1.4.4 Mẫu quy tắc chất lượng liệu 34 1.4.5 Kho lưu trữ siêu liệu .34 CHƯƠNG 2: GIẢI PHÁP QUẢN LÝ CHẤT LƯỢNG DỮ LIỆU THEO YÊU CẦU CỦA NGÂN HÀNG 35 2.1 Thực trạng yêu cầu Ngân hàng X .35 2.1.1 Tính xác thực yêu cầu bảo mật 35 2.1.2 Thực trạng 35 2.1.3 Mong muốn ngân hàng 37 2.1.4 Sự cấp thiết giải pháp 38 2.1.5 Lợi ích dự kiến mà giải pháp mang lại 38 2.2 Kiến trúc giải pháp .39 2.2.1 Kiến trúc hỗ trợ Data-to-Value 39 2.2.2 Các khả bật cấu phần giải pháp 41 2.2.3 Phạm vi ngân hàng X cấu phần: 42 2.3 Trung tâm siêu liệu 42 2.3.1 Tổng quan 42 2.3.2 Chức Quản lý liệu (Data stewardships) 44 2.4 Quản lý chất lượng liệu giải pháp 48 2.4.1 Khả chung: Đo lường Quản lý .48 2.4.2 Quy tắc chất lượng liệu 49 2.4.3 Thông tin chất lượng liệu Metadata Hub 51 2.4.4 Kiểm soát .54 2.4.5 Quản lý vấn đề .56 2.4.6 Ưu tiên lỗi theo tính trọng yếu (tác động tài chính) 57 CHƯƠNG 3: XÂY DỰNG TÀI LIỆU MÔ TẢ GIẢI PHÁP .59 3.1 Xác định đối tượng tham gia quản lý chất lượng liệu 59 3.1.1 Chủ sở hữu liệu 59 3.1.2 Hội đồng quản lý liệu .59 iv Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB 3.1.3 Bộ phận quản lý liệu .59 3.1.4 Cán quản lý liệu nghiệp vụ 60 3.1.5 Chủ sở hữu hệ thống 60 3.1.6 Cán quản lý liệu kỹ thuật 60 3.2 Xác định thành tố liệu quan trọng (CDE) .61 3.2.1 Sơ đồ quy trình xác định CDE 61 3.2.2 Các thành tố liệu cho mô tả giải pháp 61 3.3 Xây dựng từ điển thuật ngữ nghiệp vụ .62 3.3.1 Sơ đồ quy trình xây dựng từ điển thuật ngữ nghiệp vụ .62 3.3.2 Từ điển thuật ngữ nghiệp vụ cho mô tả giải pháp .62 3.4 Xác định quy tắc ngưỡng chất lượng liệu .72 3.4.1 Sơ đồ quy trình xác định quy tắc ngưỡng chất lượng liệu 72 3.4.2 Các số chất lượng liệu cho mô tả giải pháp 72 3.4.3 Các quy tắc chất lượng liệu nghiệp vụ cho mô tả giải pháp 73 3.4.4 Các quy tắc chất lượng liệu kỹ thuật cho mô tả giải pháp .80 3.5 Xây dựng báo cáo chất lượng liệu cho mô tả giải pháp 108 3.5.1 Báo cáo chất lượng liệu thành tố liệu nguồn chuẩn hóa 108 3.5.2 Báo cáo chi tiết thơng tin cần cải thiện (theo đơn vị) 108 KẾT LUẬN 109 v Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB DANH MỤC CHỮ VIẾT TẮT Chữ viết tắt Cụm từ tiếng Anh Cụm từ tiếng Việt CLDL Data Quality Chất lượng liệu CDE Critical Data Element Thành tố liệu quan trọng ROI Return on Investment Tỉ lệ hoàn vốn đầu tư SLA Service Level Agreement Thỏa thuận mức dịch vụ ETL Extract – Transform - Load Trích xuất – Biến đổi – Tải CNTT Information Technology Công nghệ thông tin QTDL Data Governance Quản trị liệu MIS MPA Management Information System Multi-Dimensional Profitability Analysis Hệ thống thông tin quản lý Phân tích lợi nhuận đa chiều CIF Customer Information File Tệp thông tin khách hàng SOR System of Record Hệ thống hồ sơ FTP Funds Transfer Pricing Giá chuyển nhượng NHTM Commercial Bank Ngân hàng Thương mại RFID Radio-frequency identification Nhận dạng qua tần số vơ tuyến vi Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB DANH MỤC BẢNG BIỂU Bảng Tập hợp thứ nguyên chất lượng liệu chung mô tả 13 Bảng Ví dụ phép đo chất lượng liệu theo quy tắc nghiệp vụ 29 Bảng Kỹ thuật xây dựng phép đo chất lượng liệu 30 Bảng Danh sách DE CDE cho tài liệu mô tả giải pháp 61 Bảng Từ điển thuật ngữ nghiệp vụ cho tài liệu mô tả giải pháp 71 Bảng Danh sách số CLDL cho tài liệu mô tả giải pháp 73 Bảng Các quy tắc chất lượng liệu nghiệp vụ cho tài liệu mô tả giải pháp 79 Bảng Các quy tắc chất lượng liệu kỹ thuật cho tài liệu mô tả giải pháp .107 Bảng Báo cáo chất lượng liệu cho DE nguồn chuẩn hóa 108 Bảng 10 Báo cáo chi tiết thông tin cần cải thiện (theo đơn vị) 108 vii Khóa luận tốt nghiệp Cao Hữu Phước - K21HTTTB DANH MỤC HÌNH ẢNH Hình Mối quan hệ quản lý liệu quản trị liệu Hình Bánh xe DAMA bánh xe DAMA phát triển .4 Hình Chu trình PDCA Shewhart/Deming 15 Hình Cơ cấu tổ chức quản trị liệu toàn hàng 36 Hình Sơ đồ luồng liệu kiến trúc giải pháp Ab Initio .40 Hình Các phần mềm tảng Ab Initio 40 Hình Các cấu phần triển khai giải pháp Ngân hàng X 42 Hình Sơ đồ quản lý siêu liệu giải pháp 43 Hình Một thuật ngữ nghiệp vụ giao diện Metadata Hub 44 Hình 10 Lưu đồ mối quan hệ thuật ngữ nghiệp vụ 44 Hình 11 Sơ đồ minh họa luồng công việc nhập phê duyệt CDE .45 Hình 12 Luồng cơng việc nhập lên Metadata Hub .45 Hình 13 Lineage nghiệp vụ 46 Hình 14 Lineage kỹ thuật .46 Hình 15 Lineage đám mây hỗn hợp .47 Hình 16 Báo cáo siêu liệu: Thành tố liệu khơng có thuật ngữ nghiệp vụ 47 Hình 17 Luồng hoạt động chất lượng liệu giải pháp 48 Hình 18 Luồng tác vụ DQA 49 Hình 19 Người dùng đề xuất quy tắc CLDL .49 Hình 20 Tạo quy tắc kiểm tra CLDL chế độ trang tính đơn giản .50 Hình 21 Tạo quy tắc kiểm tra CLDL chế độ biểu quy tắc nâng cao 51 Hình 22 Chú thích hiển thị lineage 51 Hình 23 Đồ thị xu hướng CLDL theo thời gian 52 Hình 24 Thơng tin quy tắc CLDL hiển thị Metadata Hub 53 Hình 25 Thẻ điểm CLDL hiển thị theo tài sản nghiệp vụ 53 Hình 26 Các kiểm sốt CLDL hiển thị lineage nghiệp vụ 54 Hình 27 Quy tắc CLDL gán cho CDE “Business Unit Code” .54 Hình 28 Giao diện quy tắc CLDL 55 Hình 29 Các điểm kiểm sốt quy tắc .55 Hình 30 Lịch sử điểm CLDL theo thời gian điểm kiểm soát 56 viii