Xây dựng kho dữ liệu đảm bảo hiệu năng cho ngân hàng BIDV và thử nghiệm với hệ thống báo cáo phân tích khách hàng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo cáo phân tích khách hàng LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo cáo phân tích khách hàng Ngành : CÔNG NGHỆ THÔNG TIN Chuyên ngành : KỸ THUẬT PHẦN MỀM Mã số LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS TS TRƯƠNG ANH HOÀNG Hà nội - 2015 LỜI CẢM ƠN Trước tiên xin bày tỏ trân trọng lòng biết ơn PGS TS Trương Anh Hồng, Giảng viên Khoa Cơng nghệ thơng tin - Trường Đại học Công nghệ ĐHQGHN Trong thời gian học tập làm luận văn tốt nghiệp, thầy dành nhiều thời gian quý báu, tận tình bảo hướng dẫn việc nghiên cứu, thực luận văn Tôi xin cảm ơn GS, TS, thầy giáo giảng dạy tơi q trình học tập làm luận văn Các thầy cô giúp hiểu sâu sắc thấu đáo lĩnh vực mà nghiên cứu để vận dụng kiến thức cách hiệu vào cơng tác Xin cảm ơn bạn bè, đồng nghiệp thành viên gia đình tạo điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ cổ vũ suốt q trình học tập nghiên cứu để hồn thành tốt luận văn tốt nghiệp Tác giả Nguyễn Văn Đức LỜI CAM ĐOAN Tôi xin cam đoan rằng, cơng trình nghiên cứu tơi có giúp đỡ lớn thầy hướng dẫn đồng nghiệp quan Các nội dung nghiên cứu kết đề tài hồn tồn trung thực Trong luận văn, tơi có tham khảo đến số tài liệu số tác giả liệt kê phần Tài liệu tham khảo cuối luận văn Hà Nội, ngày……tháng……năm 2015 Tác giả Nguyễn Văn Đức MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ, ĐỒ THỊ MỞ ĐẦU 10 Chương HỆ THỐNG KHO DỮ LIỆU 12 1.1 Tổng quan kho liệu 12 1.2 Kiến trúc chung kho liệu 13 1.3 Mơ hình logic kho liệu 14 1.4 Mơ hình liệu đa chiều 14 1.5 Hiện trạng hệ thống kho liệu ngân hàng 15 1.5.1 Tổng quan hệ thống báo cáo ngân hàng 15 1.5.2 Kiến trúc kho liệu ngân hàng 15 1.5.3 Đánh giá mặt hạn chế hệ thống kho liệu 17 1.5.3.1 Cơ sở liệu dùng cho toán kho liệu 17 1.5.3.2 Cơng cụ trích lọc liệu 17 1.5.3.3 Công cụ phân phối báo cáo 18 1.5.3.4 Mơ hình thiết kế kho liệu 18 Chương XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG 20 2.1 Mục tiêu 20 2.2 Một số giải pháp công nghệ kho liệu 20 2.3 Thiết kế, xây dựng mơ hình hệ thống kho liệu .21 2.4Các thành phần cần nâng cấp, bổ sung 2.4.1Hệ thống sở liệu 2.4.2Hệ thống cơng cụ trích 2.4.2.1 Tầm quan trọng q trình trích lọc liệu 2.4.2.2 Hệ thống trích lọc liệu IBM DataStage 2.4.3Hệ thống phân phối bá 2.4.3.1 Các cơng cụ IBM Cognos 2.4.3.2 Một số đặc trưng IBM Cognos 2.4.4Mô hình thiết kế tổng 2.4.4.1 Kiến trúc tổng quan IBM Banking Data M 2.4.4.2 Những điểm bật IBM Banking Mode 2.5Kết thử nghiệm 2.5.1Thực nghiệm so sánh t 2.5.2Thực nghiệm với hệ th 2.5.3Nhận xét thực nghiệm 2.6Kết luận Chương THỬ NGHIỆM VỚI BÀI TỐN PHÂN TÍCH KHÁCH HÀNG 3.1Mục tiêu 3.2Yêu cầu chức 3.3Thiết kế tổng thể 3.3.1Mơ hình logic 3.3.2Thiết kế bảo mật 3.4Thiết kế liệu chuyên đề Phân tích khách hàng 3.4.1Thiết kế liệu tiê 3.4.2 Thiết kế mơ hình liệu đa chiều với công cụ IBM Cognos Framework Manager 3.4.3 Thiết kế job trích xuất liệu từ kho liệu vào kho liệu chuyên đề Phân tích khách hàng 3.4.4 Thiết 3.4.5 Triển 3.4.6 Khai t 3.4.7 Kết qu KẾT LUẬN TÀI LIỆU THAM KHẢO PHỤC LỤC Từ viết tắt AS400 ASTs BDW BI BIDV Core Banking DataMart DTS DWH EDM Engine ETL FSDM ODBC OLAP OLTP STG DANH MỤC BẢNG BIỂU Bảng 2.14 Bảng kết thực nghiệm 41 Bảng 2.15 Bảng kết thực nghiệm 41 Bảng 2.16 Bảng kết thực nghiệm 42 Bảng 2.18 Bảng kết thực nghiệm mơ hình ET-L E-T-L 43 DANH MỤC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Kiến trúc kho liệu Hình 1.2 Mơ hình liệu đa chiều Hình 1.3 Kiến trúc kho liệu ngân hàng Hình 2.1 Mơ hình tổng thể kho liệu Hình 2.2 Mơ hình xử lý theo ET-L Hình 2.3 Mơ hình xử lý theo EL-T Hình 2.4 Mơ hình xử lý theo E-T-L Hình 2.5 E-T-L thiết kế theo công cụ IBM DataStage Hình 2.6 Hệ thống DataStage mở rộng cấu phần Engine Hình 2.7 Các công cụ hệ thống phân phối báo cáo tập trung Hình 2.8 Cơng cụ Framework Manager Hình 2.9 Mơ hình mở rộng hệ thống IBM Cognos Hình 2.10 Kiến trúc tổng quát IBM Banking Data Model Hình 2.11 Kiến trúc tổng quát FSDM Hình 2.12 Khu vực mẫu theo mảng nghiệp vụ ngân hàng Hình 2.13 Khu vực mẫu theo mảng báo cáo tuân thủ Đồ thị 2.17 Kết lần thực nghiệm thời gian truy vấn liệu Đồ thị 2.19 Kết lần thực nghiệm theo mô hình E-T-L ET-L thời gian ảnh hưởng tới máy chủ nguồn Hình 3.1 Nhóm chun đề lợi nhuận mơ hình kho liệu Hình 3.2 Bài tốn phân tích khách hàng mơ hình kho liệu Hình 3.3 Mơ hình thực thể thiết kế liệu đa chiều Hình 3.4 Thiết kế liệu đa chiều 50 Hình 3.4 Thiết kế liệu đa chiều Khi kết nối IBM Cognos Framework Manager tới sở liệu kho liệu phần mềm tự phân chia thành mơ hình nhiều lớp: Lớp Physical Model lớp kết nối trực tiếp tới sở liệu Lớp Logical Model lớp ánh xạ lớp Physical Lớp Subject Area tự tạo để quản lý lớp liên quan tới bảng chiều (dim table) bảng liệu (fact table) Tầng Dimension Layer: Là tầng thiết kế mơ hình liệu đa chiều cho phép thiết lập quan hệ để tạo mơ hình liệu tương ứng bơng tuyết, ngơi sao, v.v… 3.4.3 Thiết kế job trích xuất liệu từ kho liệu vào kho liệu chuyên đề Phân tích khách hàng Do việc quy hoạch toàn kho liệu tổng thể, thống tồn ngân hàng bảng liệu thông tin chiều liệu (Dim table) dùng chung tồn hệ thống điều có nghĩa việc đẩy liệu vào bảng chiều khơng cần thiết xử lý bảng liệu giá trị (Fact table) triết xuất từ kho liệu điều giảm công sức nhiều vấn đề phát triển tốn phân tích, khai thác liệu tận dụng liệu dùng chung cho toàn ngân hàng mà khơng phải phát triển lại cấu phần Điều hệ thống kho liệu cũ khơng thể làm vấn đề lưu trữ liệu đa chiều hệ thống cũ đóng băng toán chuyên đề 51 liệu đa chiều mà khơng thể dùng chung cho tốn khác liệu thông tin chiều Luồng xử lý chạy jobs liệu: Sau hệ thống triết xuất liệu đầu ngày kho liệu tập kết xong vào khu vực SoR chạy tiếp tốn chun đề theo mảng nghiệp vụ theo nhu cầu khai thác người dùng Sau số luồng tổng hợp liệu hệ thống kho liệu có phần luồng tốn “Phân tích khách hàng” Hình 3.5 Luồng jobs DWH_MASTER Hình 3.5 luồng jobs tổng tồn kho liệu đó: Load_Source_to_STG: Luồng jobs tập kết liệu từ nguồn khu vự staging kho liệu STG_TO_SoR: Luồng jobs xử lý liệu từ khu vực tập kế liệu nguồn vào kho liệu theo mơ hình IBM Banking Data Model DataMart: Luồng jobs liệu chuyên đề Finish_DWH: Luồng jobs kết thúc kho liệu Hình 3.6 Luồng jobs Load_Source_to_STG 52 Hình 3.7 Luồng jobs liệu chuyên đề Hình 3.8 Luồng jobs xử lý chi tiết liệu liên quan tới tiền gửi có kỳ hạn 53 3.4.4 Thiết kế lớp bảo mật phân quyền theo người dùng Dữ liệu chuyên đề “Phân tích khách hàng” dùng cho toàn hệ thống, chi nhánh xem liệu chi nhánh đó, Hội sở có quyền xem tồn liệu thiết lập chế độ bảo mật liệu bảng liệu giá trị (Fact table) theo chiều chi nhánh Hệ thống Cognos kết nối với hệ thống AD người dùng đăng nhập có mã thuộc vào đơn vị chi nhánh Hội sở chính, liệu phân quyền theo chi nhánh bảng liệu giá trị đảm bảo người dùng xem xem liệu thẩm quyền quy đinh 3.4.5 Triển khai liệu đa chiều lên máy chủ Cognos Sử dụng IBM Cognos Framework Manager để public package lên máy chủ Cognos Hình 3.9 Triển khai liệu đa chiều lên máy chủ Cognos 3.4.6 Khai thác liệu đa chiều Với thiết kế liệu đa chiều cho phép người dùng tùy biến yêu cầu khai thác liệu, chủ dộng phân tích thiết lập báo cáo theo mong muốn mà không cần can thiệp cán công nghệ 54 Hình 3.10 Mành hình khai thác liệu đa chiều Bên phải Hình 3.10 danh sách chiều giá trị liệu đa chiều “Phân tích khách hàng” người dùng tùy biến kéo thả chiều tiêu để tạo báo cáo theo ý muốn Ví dụ muốn khai thác thơng sau: Tổng số dư huy động cuối kỳ quy đổi, Tổng số dư huy động bình quân kỳ quy đổi, Tổng số dư tín dụng cuối kỳ quy đổi, Tổng số dư tín dụng bình qn kỳ quy đổi phân theo giới tính ngày liệu 08/09/2015 Hình 3.10 sau thực kéo thả chiều, tiêu tương ứng cho ta kết tương ứng Hình 3.11 Kết khai thác liệu 55 3.4.7 Kết thử nghiệm Với thử nghiệm với toán “Phân tích khách hàng” thiết kế hồn tồn theo mơ hình kho liệu chứng minh số ưu điểm sau: Việc thiết kế liệu chuyên đề tái sử dụng liệu dùng chung cho tồn hệ thống mà khơng phải cơng thiết kế lại cấu phần Rút gắn thời gian việc phát triển toán liệu chun đề tận dụng mơ hình có sẵn IBM Banking Data Model mà chỉnh sửa IBM Banking Data Model cung cấp khoảng 80% toán liệu chuyên đề thường hay sử dụng tổ chức tài ngân hàng việc nghiên cứu tìm hiểu tiếp cận với kiến thức nghiệp vụ khai thác liệu đơn giản Triển khai phần phân phối khai thác báo cáo tập trung cho toàn ngân hàng, người dùng cần vào địa để khai thác toàn hệ thống báo cáo ngân hàng Dễ dàng phát triển, triển khai, khai thác sử dụng liệu đa chiều với sản phẩn IBM Cognos 56 KẾT LUẬN Luận văn tiến hành nghiên cứu, xây dựng, thử nghiệm kiểm chứng với toán cụ thể hiệu kho liệu đạt kết khả quan, mang lại hiệu thiết thực cho ngân hàng, giảm tải hệ thống Core Banking, xây dựng kiến trúc tổng thể kho liệu cho ngân hàng, mở hướng phát triển tốn phân tích phân phối liệu ngân hàng Tác giả nghiên cứu làm chủ công nghệ, sản phẩm hàng đầu kho liệu tiên tiến giới IBM Netezza, IBM Datastage, IBM Cognos, IBM Banking Data Model Một số công việc tác giả thực kết luận văn tóm tắt sau: Cơng việc thực hiện: o Nghiên cứu đánh giá trạng, hạn chế hệ thống kho liệu ngân hàng o Đề xuất mơ hình kiến trúc hệ thống kho liệu nhằm giải hạn chế hệ thống kho liệu cũ bao gồm thành phần bổ sung sau:  Hạ tầng kho liệu bao gồm: Cơ sở liệu chuyên dụng cho toán kho liệu, kiến trúc cho phép mở rộng mơ hình cơng cụ trích lọc liệu, cơng cụ phân tích khai thác báo cáo, đáp ứng liệu ngày tăng trưởng ngân hàng  Mơ hình kho liệu: Nghiên cứu áp dụng mơ hình kho liệu tiên tiến IBM o Thiết kế thử nghiệm với hệ thống báo cáo phân tích khách hàng nhằm đánh giá hiệu xử lý kho liệu Kết đạt được: Xây dựng hệ thống kho liệu áp dụng cho toàn ngân hàng, thay hệ thống cũ hệ thống kho liệu đáp ứng hiệu xử lý, giải hạn chế hệ thống cũ Hướng nghiên cứu phát triển tiếp theo: o Tiếp tục nghiên cứu chuyên sâu liệu chuyên đề mảng như: Quản lý rủi ro, toán báo cáo tuân thủ Basel II, FATCA, v.v… 57 o Nghiên cứu phát triển tiếp thành phần bổ sung cho kho liệu để hồn thiện mơ hình mở rộng cho kho liệu như: Quản lý liệu (Data Governance), quản lý từ điển thuật ngữ (Business Glossary), v.v… o Tiếp tục nghiên cứu bước phát triển kho liệu ngân hàng tiến tới BigData 58 TÀI LIỆU THAM KHẢO [1] W H .Inmon, Building the Data Warehouse 1st Edition, 1992 [2] SilverLake, Technical Document Data Warehouse., 2004 [3] Đ T Tuấn, Cơ sở liệu quan hệ, NXB Giáo dục, 1998 [4] Microsoft, "Introduction to New Data Warehouse," [Online] Available: https://technet.microsoft.com/en-us/library [Accessed 2015] [5] Oracle, "Oracle Data Warehouse," [Online] Available: https://www.oracle.com/database/data-warehouse/index.html [Accessed 2015] [6] IBM, "IBM Banking Data Warehouse," [Online] Available: http://www-03.ibm.com/software/products/en/banking [Accessed 2015] [7] IBM, "Data warehousing," [Online] Available: http://www-03.ibm.com/software/products/en/category/SWM00 [Accessed 2015] [8] IBM, "IBM InfoSphere Information Server Deployment Architectures," [Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg248028.pdf [Accessed 2015] [9] IBM, "IBM Cognos Business Intelligence V10.1" [Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg247912.pdf [Accessed 10 2015] [10] IBM, "IBM Banking and Financial Markets Data Warehouse," [Online] Available: http://www-03.ibm.com/software/products/en/ibm-banking-financialmarkets-dw [Accessed 2015] 59 PHỤC LỤC Danh sách phân cấp chiều liệu tốn phân tích khách hàng o Thời gian: Phân cấp theo năm, quý, tháng, ngày o Khách hàng: Phân cấp theo Dân tộc, Quốc tịch, Trình độ học vấn, Khách hàng 60 o Trạng thái khách hàng o Xếp hạng tín dụng 61 o Nơi cư o Giới tính 62 o Ngành nghề kinh doanh o Tình trạng nhân 63 o Nghề nghiệp o Nhóm nợ 64 o Độ tuổi Danh sách phân cấp chiều giá trị liệu toán phân tích khách hàng ... liệu cũ đưa giải pháp để giải hạn chế hệ thống kho liệu cũ Để hướng tới xây dựng hệ thống kho liệu có hiệu xử lý cao đề tài ? ?Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ. .. hình kho liệu tiên tiến IBM Thiết kế thử nghiệm với hệ thống báo cáo phân tích khách hàng nhằm đánh giá hiệu xử lý kho liệu Kết đạt được: Xây dựng hệ thống kho liệu áp dụng cho toàn ngân hàng, ... HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN ĐỨC Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo cáo phân tích khách hàng Ngành : CÔNG NGHỆ THÔNG TIN Chuyên ngành :