Xin cảm ơn các bạn bè, đồng nghiệp và nhất là các thành viên trong gia đình đã tạo mọi điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ và cổ vũ tôi trong suốt quá trình học tập và nghiê[r]
(1)ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN VĂN ĐỨC
Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo
cáo phân tích khách hàng
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
(2)ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN VĂN ĐỨC
Xây dựng kho liệu đảm bảo hiệu cho ngân hàng BIDV thử nghiệm với hệ thống báo
cáo phân tích khách hàng
Ngành : CÔNG NGHỆ THÔNG TIN
Chuyên ngành : KỸ THUẬT PHẦN MỀM
Mã số : 60480103
LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
Người hướng dẫn khoa học:
PGS TS TRƯƠNG ANH HOÀNG
Hà nội - 2015
(3)LỜI CẢM ƠN
Trước tiên xin bày tỏ trân trọng lòng biết ơn PGS TS Trương Anh Hoàng, Giảng viên Khoa Công nghệ thông tin - Trường Đại học Công nghệ - ĐHQGHN Trong thời gian học tập làm luận văn tốt nghiệp, thầy dành nhiều thời gian quý báu, tận tình bảo hướng dẫn tơi việc nghiên cứu, thực luận văn
Tôi xin cảm ơn GS, TS, thầy cô giáo giảng dạy tơi q trình học tập làm luận văn Các thầy cô giúp hiểu sâu sắc thấu đáo lĩnh vực mà nghiên cứu để vận dụng kiến thức cách hiệu vào cơng tác
Xin cảm ơn bạn bè, đồng nghiệp thành viên gia đình tạo điều kiện tốt nhất, giúp đỡ, động viên, ủng hộ cổ vũ suốt trình học tập nghiên cứu để hồn thành tốt luận văn tốt nghiệp
Tác giả
(4)2
LỜI CAM ĐOAN
Tơi xin cam đoan rằng, cơng trình nghiên cứu tơi có giúp đỡ lớn thầy hướng dẫn đồng nghiệp quan Các nội dung nghiên cứu kết đề tài hoàn toàn trung thực
Trong luận văn, tơi có tham khảo đến số tài liệu số tác giả liệt kê phần Tài liệu tham khảo cuối luận văn
Hà Nội, ngày……tháng……năm 2015
Tác giả
(5)MỤC LỤC
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
DANH MỤC BẢNG BIỂU
DANH MỤC HÌNH VẼ, ĐỒ THỊ
MỞ ĐẦU 10
Chương HỆ THỐNG KHO DỮ LIỆU 12
1.1 Tổng quan kho liệu 12
1.2 Kiến trúc chung kho liệu 13
1.3 Mơ hình logic kho liệu 14
1.4 Mơ hình liệu đa chiều 14
1.5 Hiện trạng hệ thống kho liệu ngân hàng 15
1.5.1 Tổng quan hệ thống báo cáo ngân hàng 15
1.5.2 Kiến trúc kho liệu ngân hàng 15
1.5.3 Đánh giá mặt hạn chế hệ thống kho liệu 17
1.5.3.1 Cơ sở liệu dùng cho tốn kho liệu 17
1.5.3.2 Cơng cụ trích lọc liệu 17
1.5.3.3 Cơng cụ phân phối báo cáo 18
1.5.3.4 Mơ hình thiết kế kho liệu 18
Chương XÂY DỰNG HỆ THỐNG KHO DỮ LIỆU ĐÁP ỨNG HIỆU NĂNG XỬ LÝ CHO NGÂN HÀNG 20
2.1 Mục tiêu 20
2.2 Một số giải pháp công nghệ kho liệu 20
(6)4
2.4 Các thành phần cần nâng cấp, bổ sung 22
2.4.1 Hệ thống sở liệu chuyên dụng cho toán kho liệu 22
2.4.2 Hệ thống cơng cụ trích lọc liệu 24
2.4.2.1 Tầm quan trọng q trình trích lọc liệu 24
2.4.2.2 Hệ thống trích lọc liệu IBM DataStage 26
2.4.3 Hệ thống phân phối báo cáo tập trung 29
2.4.3.1 Các cơng cụ IBM Cognos 30
2.4.3.2 Một số đặc trưng IBM Cognos 33
2.4.4 Mô hình thiết kế tổng thể cho kho liệu 34
2.4.4.1 Kiến trúc tổng quan IBM Banking Data Model 35
2.4.4.2 Những điểm bật IBM Banking Model 39
2.5 Kết thử nghiệm 40
2.5.1 Thực nghiệm so sánh tốc độ sở liệu 40
2.5.2 Thực nghiệm với hệ thống cơng cụ trích lọc liệu 43
2.5.3 Nhận xét thực nghiệm 44
2.6 Kết luận 45
Chương THỬ NGHIỆM VỚI BÀI TỐN PHÂN TÍCH KHÁCH HÀNG 46
3.1 Mục tiêu 46
3.2 Yêu cầu chức 46
3.3 Thiết kế tổng thể 46
3.3.1 Mơ hình logic 46
3.3.2 Thiết kế bảo mật 48
3.4 Thiết kế liệu chuyên đề Phân tích khách hàng 48
(7)3.4.2 Thiết kế mơ hình liệu đa chiều với cơng cụ IBM Cognos Framework
Manager 49
3.4.3 Thiết kế job trích xuất liệu từ kho liệu vào kho liệu chuyên đề Phân tích khách hàng 50
3.4.4 Thiết kế lớp bảo mật phân quyền theo người dùng 53
3.4.5 Triển khai liệu đa chiều lên máy chủ Cognos 53
3.4.6 Khai thác liệu đa chiều 53
3.4.7 Kết thử nghiệm 55
KẾT LUẬN 56
TÀI LIỆU THAM KHẢO 58
(8)6
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
Từ viết tắt Ý nghĩa
AS400
Hệ thống máy chủ IBM triển khai Core Banking cho ngân hàng
ASTs The Application Solution Templates Model BDW IBM Banking Data Warehouse
BI Business Intelligence
BIDV Ngân hàng TMCP Đầu tư Phát triển Việt Nam Core Banking Hệ thống ngân hàng lõi
DataMart Dữ liệu chuyên đề
DTS Data Transformation Services DWH Data Warehosuse
EDM Enterprise Data Model Engine
Phần mở rộng thêm vào để biến hệ thống xử lý thành hệ thống tính tốn lớn
ETL Extract Transform Load
FSDM Financial Services Data Model
ODBC Microsoft Open Database Connectivity OLAP Online Analytical Processing
(9)DANH MỤC BẢNG BIỂU
Bảng 2.14 Bảng kết thực nghiệm 41
Bảng 2.15 Bảng kết thực nghiệm 41
Bảng 2.16 Bảng kết thực nghiệm 42
(10)8
DANH MỤC HÌNH VẼ, ĐỒ THỊ
Hình 1.1 Kiến trúc kho liệu 14
Hình 1.2 Mơ hình liệu đa chiều 15
Hình 1.3 Kiến trúc kho liệu ngân hàng 16
Hình 2.1 Mơ hình tổng thể kho liệu 22
Hình 2.2 Mơ hình xử lý theo ET-L 26
Hình 2.3 Mơ hình xử lý theo EL-T 26
Hình 2.4 Mơ hình xử lý theo E-T-L 27
Hình 2.5 E-T-L thiết kế theo công cụ IBM DataStage 28
Hình 2.6 Hệ thống DataStage mở rộng cấu phần Engine 29
Hình 2.7 Các cơng cụ hệ thống phân phối báo cáo tập trung 30
Hình 2.8 Cơng cụ Framework Manager 33
Hình 2.9 Mơ hình mở rộng hệ thống IBM Cognos 34
Hình 2.10 Kiến trúc tổng quát IBM Banking Data Model 35
Hình 2.11 Kiến trúc tổng quát FSDM 36
Hình 2.12 Khu vực mẫu theo mảng nghiệp vụ ngân hàng 38
Hình 2.13 Khu vực mẫu theo mảng báo cáo tuân thủ 39
Đồ thị 2.17 Kết lần thực nghiệm thời gian truy vấn liệu 42
Đồ thị 2.19 Kết lần thực nghiệm theo mơ hình E-T-L ET-L thời gian ảnh hưởng tới máy chủ nguồn 44
Hình 3.1 Nhóm chun đề lợi nhuận mơ hình kho liệu 47
Hình 3.2 Bài tốn phân tích khách hàng mơ hình kho liệu 47
Hình 3.3 Mơ hình thực thể thiết kế liệu đa chiều 49
(11)TÀI LIỆU THAM KHẢO
[1] W H .Inmon, Building the Data Warehouse 1st Edition, 1992 [2] SilverLake, Technical Document Data Warehouse., 2004 [3] Đ T Tuấn, Cơ sở liệu quan hệ, NXB Giáo dục, 1998
[4] Microsoft, "Introduction to New Data Warehouse," [Online] Available: https://technet.microsoft.com/en-us/library [Accessed 2015]
[5] Oracle, "Oracle Data Warehouse," [Online] Available:
https://www.oracle.com/database/data-warehouse/index.html [Accessed 2015] [6] IBM, "IBM Banking Data Warehouse," [Online] Available:
http://www-03.ibm.com/software/products/en/banking [Accessed 2015] [7] IBM, "Data warehousing," [Online] Available:
http://www-03.ibm.com/software/products/en/category/SWM00 [Accessed 2015] [8] IBM, "IBM InfoSphere Information Server Deployment Architectures,"
[Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg248028.pdf [Accessed 2015]
[9] IBM, "IBM Cognos Business Intelligence V10.1" [Online] Available: http://www.redbooks.ibm.com/redbooks/pdfs/sg247912.pdf [Accessed 10 2015] [10] IBM, "IBM Banking and Financial Markets Data Warehouse," [Online]