Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng bidv và thử nghiệm với hệ thống báo cáo phân tích khách hàng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo cáo phân tích khách hàng LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà nội - 2015 HÀ NỘI 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo cáo phân tích khách hàng Ngành : CƠNG NGHỆ THƠNG TIN Chun ngành : KỸ THUẬT PHẦN MỀM Mã số : 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS TS TRƯƠNG ANH HOÀNG Hà nội - 2015 HÀ NỘI 2015 LỜI CẢM ƠN Trước tiên xin bày tỏ trân trọng lịng biết ơn PGS TS Trương Anh Hồng, Giảng viên Khoa Công nghệ thông tin - Trường Đại học Công nghệ ĐHQGHN Trong thời gian học tập làm luận văn tốt nghiệp, thầy dành nhiều thời gian quý báu, tận tình bảo hướng dẫn việc nghiên cứu, thực luận văn Tôi xin cảm ơn GS, TS, thầy cô giáo giảng dạy tơi q trình học tập làm luận văn Các thầy cô giúp hiểu sâu sắc thấu đáo lĩnh vực mà nghiên cứu để vận dụng kiến thức cách hiệu vào cơng tác Xin cảm ơn bạn bè, đồng nghiệp thành viên gia đình tạo điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ cổ vũ suốt trình học tập nghiên cứu để hồn thành tốt luận văn tốt nghiệp Tác giả Nguyễn Văn Đức LỜI CAM ĐOAN Tôi xin cam đoan rằng, cơng trình nghiên cứu tơi có giúp đỡ lớn thầy hướng dẫn đồng nghiệp quan Các nội dung nghiên cứu kết đề tài hồn tồn trung thực Trong luận văn, tơi có tham khảo đến số tài liệu số tác giả liệt kê phần Tài liệu tham khảo cuối luận văn Hà Nội, ngày……tháng……năm 2015 Tác giả Nguyễn Văn Đức MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU 10 Chương HỆ THỐNG KHO DỮ LIỆU 12 1.1 Tổng quan kho liệu 12 1.2 Kiến trúc chung kho liệu 13 1.3 Mơ hình logic kho liệu 14 1.4 Mơ hình liệu đa chiều 14 1.5 Hiện trạng hệ thống kho liệu ngân hàng 15 1.5.1 Tổng quan hệ thống báo cáo ngân hàng 15 1.5.2 Kiến trúc kho liệu ngân hàng 15 1.5.3 Đánh giá mặt hạn chế hệ thống kho liệu 17 1.5.3.1 Cơ sở liệu dùng cho toán kho liệu 17 1.5.3.2 Cơng cụ trích lọc liệu 17 1.5.3.3 Công cụ phân phối báo cáo 18 1.5.3.4 Mơ hình thiết kế kho liệu 18 Chương XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG 20 2.1 Mục tiêu 20 2.2 Một số giải pháp công nghệ kho liệu 20 2.3 Thiết kế, xây dựng mô hình hệ thống kho liệu 21 2.4 Các thành phần cần nâng cấp, bổ sung 22 2.4.1 Hệ thống sở liệu chuyên dụng cho toán kho liệu 22 2.4.2 Hệ thống cơng cụ trích lọc liệu 24 2.4.2.1 Tầm quan trọng q trình trích lọc liệu 24 2.4.2.2 Hệ thống trích lọc liệu IBM DataStage 26 2.4.3 Hệ thống phân phối báo cáo tập trung 29 2.4.3.1 Các cơng cụ IBM Cognos 30 2.4.3.2 Một số đặc trưng IBM Cognos 33 2.4.4 Mơ hình thiết kế tổng thể cho kho liệu 34 2.4.4.1 Kiến trúc tổng quan IBM Banking Data Model 35 2.4.4.2 Những điểm bật IBM Banking Model 39 2.5 Kết thử nghiệm 40 2.5.1 Thực nghiệm so sánh tốc độ sở liệu 40 2.5.2 Thực nghiệm với hệ thống cơng cụ trích lọc liệu 43 2.5.3 Nhận xét thực nghiệm 44 2.6 Kết luận 45 Chương THỬ NGHIỆM VỚI BÀI TỐN PHÂN TÍCH KHÁCH HÀNG 46 3.1 Mục tiêu 46 3.2 Yêu cầu chức 46 3.3 Thiết kế tổng thể 46 3.3.1 Mơ hình logic 46 3.3.2 Thiết kế bảo mật 48 3.4 Thiết kế liệu chuyên đề Phân tích khách hàng 48 3.4.1 Thiết kế liệu tiêu 48 3.4.2 Thiết kế mơ hình liệu đa chiều với công cụ IBM Cognos Framework Manager 49 3.4.3 Thiết kế job trích xuất liệu từ kho liệu vào kho liệu chuyên đề Phân tích khách hàng 50 3.4.4 Thiết kế lớp bảo mật phân quyền theo người dùng 53 3.4.5 Triển khai liệu đa chiều lên máy chủ Cognos 53 3.4.6 Khai thác liệu đa chiều 53 3.4.7 Kết thử nghiệm 55 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 58 PHỤC LỤC 59 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt AS400 ASTs BDW BI BIDV Core Banking DataMart DTS DWH EDM Engine ETL FSDM ODBC OLAP OLTP STG Ý nghĩa Hệ thống máy chủ IBM triển khai Core Banking cho ngân hàng The Application Solution Templates Model IBM Banking Data Warehouse Business Intelligence Ngân hàng TMCP Đầu tư Phát triển Việt Nam Hệ thống ngân hàng lõi Dữ liệu chuyên đề Data Transformation Services Data Warehosuse Enterprise Data Model Phần mở rộng thêm vào để biến hệ thống xử lý thành hệ thống tính tốn lớn Extract Transform Load Financial Services Data Model Microsoft Open Database Connectivity Online Analytical Processing Online Transaction Processing Staging Area DANH MỤC BẢNG BIỂU Bảng 2.14 Bảng kết thực nghiệm 41 Bảng 2.15 Bảng kết thực nghiệm 41 Bảng 2.16 Bảng kết thực nghiệm 42 Bảng 2.18 Bảng kết thực nghiệm mơ hình ET-L E-T-L 43 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Kiến trúc kho liệu 14 Hình 1.2 Mơ hình liệu đa chiều 15 Hình 1.3 Kiến trúc kho liệu ngân hàng 16 Hình 2.1 Mơ hình tổng thể kho liệu 22 Hình 2.2 Mơ hình xử lý theo ET-L 26 Hình 2.3 Mơ hình xử lý theo EL-T 26 Hình 2.4 Mơ hình xử lý theo E-T-L 27 Hình 2.5 E-T-L thiết kế theo công cụ IBM DataStage 28 Hình 2.6 Hệ thống DataStage mở rộng cấu phần Engine 29 Hình 2.7 Các công cụ hệ thống phân phối báo cáo tập trung 30 Hình 2.8 Công cụ Framework Manager 33 Hình 2.9 Mơ hình mở rộng hệ thống IBM Cognos 34 Hình 2.10 Kiến trúc tổng quát IBM Banking Data Model 35 Hình 2.11 Kiến trúc tổng quát FSDM 36 Hình 2.12 Khu vực mẫu theo mảng nghiệp vụ ngân hàng 38 Hình 2.13 Khu vực mẫu theo mảng báo cáo tuân thủ 39 Đồ thị 2.17 Kết lần thực nghiệm thời gian truy vấn liệu 42 Đồ thị 2.19 Kết lần thực nghiệm theo mô hình E-T-L ET-L thời gian ảnh hưởng tới máy chủ nguồn 44 Hình 3.1 Nhóm chun đề lợi nhuận mơ hình kho liệu 47 Hình 3.2 Bài tốn phân tích khách hàng mơ hình kho liệu 47 Hình 3.3 Mơ hình thực thể thiết kế liệu đa chiều 49 Hình 3.4 Thiết kế liệu đa chiều 50 50 Hình 3.4 Thiết kế liệu đa chiều Khi kết nối IBM Cognos Framework Manager tới sở liệu kho liệu phần mềm tự phân chia thành mơ hình nhiều lớp: Lớp Physical Model lớp kết nối trực tiếp tới sở liệu Lớp Logical Model lớp ánh xạ lớp Physical Lớp Subject Area tự tạo để quản lý lớp liên quan tới bảng chiều (dim table) bảng liệu (fact table) Tầng Dimension Layer: Là tầng thiết kế mơ hình liệu đa chiều cho phép thiết lập quan hệ để tạo mơ hình liệu tương ứng tuyết, sao, v.v… 3.4.3 Thiết kế job trích xuất liệu từ kho liệu vào kho liệu chuyên đề Phân tích khách hàng Do việc quy hoạch toàn kho liệu tổng thể, thống tồn ngân hàng bảng liệu thông tin chiều liệu (Dim table) dùng chung toàn hệ thống điều có nghĩa việc đẩy liệu vào bảng chiều khơng cần thiết xử lý bảng liệu giá trị (Fact table) triết xuất từ kho liệu điều giảm công sức nhiều vấn đề phát triển tốn phân tích, khai thác liệu tận dụng liệu dùng chung cho tồn ngân hàng mà khơng phải phát triển lại cấu phần Điều hệ thống kho liệu cũ khơng thể làm vấn đề lưu trữ liệu đa chiều hệ thống cũ đóng băng tốn chun đề 51 liệu đa chiều mà dùng chung cho toán khác liệu thông tin chiều Luồng xử lý chạy jobs liệu: Sau hệ thống triết xuất liệu đầu ngày kho liệu tập kết xong vào khu vực SoR chạy tiếp toán chuyên đề theo mảng nghiệp vụ theo nhu cầu khai thác người dùng Sau số luồng tổng hợp liệu hệ thống kho liệu có phần luồng tốn “Phân tích khách hàng” Hình 3.5 Luồng jobs DWH_MASTER Hình 3.5 luồng jobs tổng toàn kho liệu đó: Load_Source_to_STG: Luồng jobs tập kết liệu từ nguồn khu vự staging kho liệu STG_TO_SoR: Luồng jobs xử lý liệu từ khu vực tập kế liệu nguồn vào kho liệu theo mơ hình IBM Banking Data Model DataMart: Luồng jobs liệu chuyên đề Finish_DWH: Luồng jobs kết thúc kho liệu Hình 3.6 Luồng jobs Load_Source_to_STG 52 Hình 3.7 Luồng jobs liệu chuyên đề Hình 3.8 Luồng jobs xử lý chi tiết liệu liên quan tới tiền gửi có kỳ hạn 53 3.4.4 Thiết kế lớp bảo mật phân quyền theo người dùng Dữ liệu chuyên đề “Phân tích khách hàng” dùng cho tồn hệ thống, chi nhánh xem liệu chi nhánh đó, Hội sở có quyền xem tồn liệu thiết lập chế độ bảo mật liệu bảng liệu giá trị (Fact table) theo chiều chi nhánh Hệ thống Cognos kết nối với hệ thống AD người dùng đăng nhập có mã thuộc vào đơn vị chi nhánh Hội sở chính, liệu phân quyền theo chi nhánh bảng liệu giá trị đảm bảo người dùng xem xem liệu thẩm quyền quy đinh 3.4.5 Triển khai liệu đa chiều lên máy chủ Cognos Sử dụng IBM Cognos Framework Manager để public package lên máy chủ Cognos Hình 3.9 Triển khai liệu đa chiều lên máy chủ Cognos 3.4.6 Khai thác liệu đa chiều Với thiết kế liệu đa chiều cho phép người dùng tùy biến yêu cầu khai thác liệu, chủ dộng phân tích thiết lập báo cáo theo mong muốn mà không cần can thiệp cán cơng nghệ 54 Hình 3.10 Mành hình khai thác liệu đa chiều Bên phải Hình 3.10 danh sách chiều giá trị liệu đa chiều “Phân tích khách hàng” người dùng tùy biến kéo thả chiều tiêu để tạo báo cáo theo ý muốn Ví dụ muốn khai thác thông sau: Tổng số dư huy động cuối kỳ quy đổi, Tổng số dư huy động bình quân kỳ quy đổi, Tổng số dư tín dụng cuối kỳ quy đổi, Tổng số dư tín dụng bình quân kỳ quy đổi phân theo giới tính ngày liệu 08/09/2015 Hình 3.10 sau thực kéo thả chiều, tiêu tương ứng cho ta kết tương ứng Hình 3.11 Kết khai thác liệu 55 3.4.7 Kết thử nghiệm Với thử nghiệm với tốn “Phân tích khách hàng” thiết kế hồn tồn theo mơ hình kho liệu chứng minh số ưu điểm sau: Việc thiết kế liệu chuyên đề tái sử dụng liệu dùng chung cho toàn hệ thống mà công thiết kế lại cấu phần Rút gắn thời gian việc phát triển toán liệu chuyên đề tận dụng mơ hình có sẵn IBM Banking Data Model mà chỉnh sửa IBM Banking Data Model cung cấp khoảng 80% toán liệu chuyên đề thường hay sử dụng tổ chức tài ngân hàng việc nghiên cứu tìm hiểu tiếp cận với kiến thức nghiệp vụ khai thác liệu đơn giản Triển khai phần phân phối khai thác báo cáo tập trung cho toàn ngân hàng, người dùng cần vào địa để khai thác toàn hệ thống báo cáo ngân hàng Dễ dàng phát triển, triển khai, khai thác sử dụng liệu đa chiều với sản phẩn IBM Cognos 56 KẾT LUẬN Luận văn tiến hành nghiên cứu, xây dựng, thử nghiệm kiểm chứng với toán cụ thể hiệu kho liệu đạt kết khả quan, mang lại hiệu thiết thực cho ngân hàng, giảm tải hệ thống Core Banking, xây dựng kiến trúc tổng thể kho liệu cho ngân hàng, mở hướng phát triển toán phân tích phân phối liệu ngân hàng Tác giả nghiên cứu làm chủ công nghệ, sản phẩm hàng đầu kho liệu tiên tiến giới IBM Netezza, IBM Datastage, IBM Cognos, IBM Banking Data Model Một số công việc tác giả thực kết luận văn tóm tắt sau: Cơng việc thực hiện: o Nghiên cứu đánh giá trạng, hạn chế hệ thống kho liệu ngân hàng o Đề xuất mơ hình kiến trúc hệ thống kho liệu nhằm giải hạn chế hệ thống kho liệu cũ bao gồm thành phần bổ sung sau:  Hạ tầng kho liệu bao gồm: Cơ sở liệu chuyên dụng cho toán kho liệu, kiến trúc cho phép mở rộng mô hình cơng cụ trích lọc liệu, cơng cụ phân tích khai thác báo cáo, đáp ứng liệu ngày tăng trưởng ngân hàng  Mơ hình kho liệu: Nghiên cứu áp dụng mơ hình kho liệu tiên tiến IBM o Thiết kế thử nghiệm với hệ thống báo cáo phân tích khách hàng nhằm đánh giá hiệu xử lý kho liệu Kết đạt được: Xây dựng hệ thống kho liệu áp dụng cho toàn ngân hàng, thay hệ thống cũ hệ thống kho liệu đáp ứng hiệu xử lý, giải hạn chế hệ thống cũ Hướng nghiên cứu phát triển tiếp theo: o Tiếp tục nghiên cứu chuyên sâu liệu chuyên đề mảng như: Quản lý rủi ro, toán báo cáo tuân thủ Basel II, FATCA, v.v… 57 o Nghiên cứu phát triển tiếp thành phần bổ sung cho kho liệu để hồn thiện mơ hình mở rộng cho kho liệu như: Quản lý liệu (Data Governance), quản lý từ điển thuật ngữ (Business Glossary), v.v… o Tiếp tục nghiên cứu bước phát triển kho liệu ngân hàng tiến tới BigData 58 TÀI LIỆU THAM KHẢO [1] W H .Inmon, Building the Data Warehouse 1st Edition, 1992 [2] SilverLake, Technical Document Data Warehouse., 2004 [3] Đ T Tuấn, Cơ sở liệu quan hệ, NXB Giáo dục, 1998 [4] Microsoft, "Introduction to New Data Warehouse," [Online] Available: https://technet.microsoft.com/en-us/library [Accessed 2015] [5] Oracle, "Oracle Data Warehouse," [Online] Available: https://www.oracle.com/database/data-warehouse/index.html [Accessed 2015] [6] IBM, "IBM Banking Data Warehouse," [Online] Available: http://www-03.ibm.com/software/products/en/banking [Accessed 2015] [7] IBM, "Data warehousing," [Online] Available: http://www-03.ibm.com/software/products/en/category/SWM00 [Accessed 2015] [8] IBM, "IBM InfoSphere Information Server Deployment Architectures," [Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg248028.pdf [Accessed 2015] [9] IBM, "IBM Cognos Business Intelligence V10.1" [Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg247912.pdf [Accessed 10 2015] [10] IBM, "IBM Banking and Financial Markets Data Warehouse," [Online] Available: http://www-03.ibm.com/software/products/en/ibm-banking-financialmarkets-dw [Accessed 2015] 59 PHỤC LỤC Danh sách phân cấp chiều liệu toán phân tích khách hàng o Thời gian: Phân cấp theo năm, quý, tháng, ngày o Khách hàng: Phân cấp theo Dân tộc, Quốc tịch, Trình độ học vấn, Khách hàng 60 o Trạng thái khách hàng o Xếp hạng tín dụng 61 o Nơi cư o Giới tính 62 o Ngành nghề kinh doanh o Tình trạng nhân 63 o Nghề nghiệp o Nhóm nợ 64 o Độ tuổi Danh sách phân cấp chiều giá trị liệu tốn phân tích khách hàng ... chế hệ thống kho liệu cũ đưa giải pháp để giải hạn chế hệ thống kho liệu cũ Để hướng tới xây dựng hệ thống kho liệu có hiệu xử lý cao đề tài ? ?Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử. .. hình kho liệu tiên tiến IBM Thiết kế thử nghiệm với hệ thống báo cáo phân tích khách hàng nhằm đánh giá hiệu xử lý kho liệu Kết đạt được: Xây dựng hệ thống kho liệu áp dụng cho toàn ngân hàng, ... HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo cáo phân tích khách hàng Ngành : CÔNG NGHỆ THÔNG TIN Chuyên ngành :