Nghiên cứu giải pháp kho dữ liệu trong Oracle data warehouse 10g và áp dụng trong bài toán xây dựng kho dữ liệu khách hàng, ngân hàng TMCP Tiên Phong

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRỊNH HỒNG NAM NGHIÊN CỨU GIẢI PHÁP KHO DỮ LIỆU TRONG ORACLE DATA WAREHOUSE 10g VÀ ÁP DỤNG TRONG BÀI TOÁN XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG, NGÂN HÀNG TMCP TIÊN PHONG LUẬN VĂN THẠC SĨ Hà Nội – 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRỊNH HỒNG NAM NGHIÊN CỨU GIẢI PHÁP KHO DỮ LIỆU TRONG ORACLE DATA WAREHOUSE 10g VÀ ÁP DỤNG TRONG BÀI TOÁN XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG, NGÂN HÀNG TMCP TIÊN PHONG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60 48 05 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Đỗ Trung Tuấn Hà Nội – 2011 MỤC LỤC LỜI CÁM ƠN Danh mục ký hiệu, chữ viết tắt Danh mục bảng, hình vẽ đồ thị PHẦN MỞ ĐẦU U ĐẶT VẤN ĐỀ MỤC ĐÍCH NGHIÊN CỨU 10 U KẾT CẤU ĐỀ TÀI 10 CHƯƠNG HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU 11 U 1.1 Khái niệm 11 1.2 Mục tiêu hệ quản trị sở liệu 11 1.3 Quá trình phát triển 11 1.4 Cấu trúc thành phần hệ quản trị sở liệu 13 1.5 Hệ quản trị sở liệu Oracle 15 CHƯƠNG LÝ THUYẾT VỀ KHO DỮ LIỆU 17 U 2.1 Định nghĩa 17 2.2 Đặc trưng kho liệu 17 2.2.1 Hướng chủ thể 17 2.2.2 Tích hợp 18 2.2.3 Biến thời gian 18 2.2.4 Tính bền vững 19 2.3 Đặc tính hệ quản trị sở liệu Oracle 20 2.3.1 Sự khác kho liệu OLTP 20 2.3.2 Ưu, nhược điểm hệ thống kho liệu 20 2.4 Kiến trúc kho liệu 21 2.4.1 Kiến trúc kho liệu sở 21 2.4.2 Kiến trúc kho liệu với vùng trung gian 21 2.4.3 Kiến trúc kho liệu với vùng trung gian kho liệu cục 22 2.5 Thiết kế logic 22 2.5.1 Thiết kế logic mức vật lý 22 2.5.2 Tạo thiết kế logic 23 2.5.3 Lược đồ kho liệu 24 2.5.4 Các đối tượng kho liệu 25 2.5.5 Các bảng kiện 25 2.5.6 Các bảng chiều 25 2.5.7 Định danh 27 2.5.8 Mối quan hệ 27 2.5.9 Minh họa đối tượng kho liệu mối quan hệ 27 2.6 Thiết kế vật lý 28 2.6.1 Chuyển thiết kế logic thành thiết kế vật lý 28 2.6.2 Thiết kế vật lý 28 2.6.3 Cấu trúc thiết kế vật lý 29 2.6.4 Không gian lưu trữ liệu 29 2.6.5 Bảng phân hoạch bảng 29 2.6.6 Nén bảng 30 2.6.7 Khung nhìn 30 2.6.8 Ràng buộc toàn vẹn 30 2.6.9 Chỉ mục mục phân cụm 30 2.6.10 Khung nhìn vật lí 31 2.6.11 Chiều 31 2.7 Công cụ tích hợp liệu, quản lý mơi trường kho liệu 31 2.7.1 Tổng quan ETL 31 2.7.2 Trích xuất liệu 33 2.7.3 Trao đổi liệu 34 2.7.4 Tải liệu 34 2.8 Bảo trì 35 2.9 Thực thi song song 35 CHƯƠNG GIẢI PHÁP VÀ ĐỀ XUẤT XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG 40 3.1 Giới thiệu ngân hàng Tiên Phong 40 3.2 Mục đích kho liệu 45 3.2 Đặc tính kho liệu 45 3.3 Hỗ trợ tích hợp liệu 46 3.4 Nội dung giải pháp kho liệu, Ngân hàng Tiên Phong 46 3.4.1 Hiện trạng hệ thống Core Banking 48 3.4.2 Hệ thống tác nghiệp 50 3.4.3 Nhu cầu cho hệ thống tác nghiệp đa chiều 51 3.4.4 Nguồn liệu 53 3.4.5 Vùng đệm liệu 54 3.4.6 Kho liệu tác nghiệp tổng hợp 54 3.4.7 Kho liệu tích hợp từ CSDL chủ đề 54 3.4.8 Các ứng dụng cơng cụ khai thác, phân tích liệu phục vụ người sử dụng 56 3.4.9 Kho liệu từ điển 57 3.5 Phân tích, thiết kế xây dựng kho liệu, kho liệu chuyên đề 57 3.5.1 Mục đích yêu cầu 57 3.5.2 Mơ hình liệu lược đồ 58 CHƯƠNG4 CÀI ĐẶT, THỬ NGHIỆM, KẾT QUẢ 67 4.1 Môi trường cài đặt 67 4.2 Dữ liệu thử nghiệm 68 4.3 Kết 68 4.3.1 Công cụ xây dựng kho liệu 68 4.3.2 Xây dựng bảng chiều thông tin 69 4.3.3 Xây dựng khối thông tin xoay theo bảng chiều liệu 69 4.3.4 Luồng tiến trình thực thi 70 4.3.5 Hệ quản trị kinh doanh thông minh 70 KẾT LUẬN 76 TÀI LIỆU THAM KHẢO 77 Tài liệu Tiếng Việt 77 Tài liệu Tiếng Anh 77 Thank you for evaluating AnyBizSoft PDF Splitter A watermark is added at the end of each output PDF file To remove the watermark, you need to purchase the software from http://www.anypdftools.com/buy/buy-pdf-splitter.html Danh mục ký hiệu, chữ viết tắt Ký hiệu Chuỗi văn gốc Mô tả 3NF Third Normal Form Chuẩn hóa 3NF Client/Server OLAP Client/Server Online Analytical Processing Xử lý phân tích trực tuyến khách/chủ CDC Change Data Capture Sao/chụp thông tin liệu thay đổi CNTT Information Technology Công nghệ thông tin CPU Central Processing Unit Đơn vị xử lý trung tâm CSDL Database Cơ sở liệu DDL Data Define Language Ngôn ngữ định nghĩa liệu DRM Database Resource Manager Quản lý nguồn tài nguyên liệu DBMS Database Management System Hệ quản trị sở liệu DF Datafile Tệp liệu DML Data Manipulation Language Ngôn ngữ thao tác liệu DWH Data Warehouse Kho liệu DSS Decision Support System Hỗ trợ định DOLAP Database Online Analytical Processing Xử lý phân tích trực tuyến CSDL ETL Extraction, Transportation, Loading Trích suất, Trao đổi, Tải EIS Executive Information System Hệ thống thông tin điều hành GB Giga byte Đơn vị đo lưu trữ liệu HOLAP Hybric Online Analytical Processing Xử lý phân tích trực tuyến kết hợp ID ID Định danh NN NOT NULL Khác rỗng MOLAP Multi dimensional Online Analytical Processing Xử lý phân tích trực tuyến đa chiều OD Oracle Designer Sản phẩm ODS Operational Data Store Kho liệu tác nghiệp tổng hợp OLAP On Line Analytical Processing Xử lý phân tích trực tuyến OLTP On Line Transaction Processing Xử lý tác nghiệp trực tuyến ORA ORACLE Tập đồn cơng nghệ OWB Oracle Warehouse Builder Cơng cụ xây dựng kho liệu Oracle RAC Real Application Cluster ROLAP Relational Online Analytical Processing Xử lý phân tích trực tuyến quan hệ SQL Structured Query Language Ngôn ngữ truy vấn cấu trúc TBS Tablespace Không gian bảng lưu trữ TMCP Thương mại cổ phần TB Terabyte (1TB=109 KB) Đơn vị đo lưu trữ liệu PQ Parallel Query Truy vấn song song Danh mục bảng, hình vẽ đồ thị Trang Hình 1-1: Kiến trúc hệ quản trị sở liệu DBMS 13 Hình 2-1: Mơ tả liệu tổ chức theo hướng chủ thể 17 Hình 2-2: Mơ tả liệu tích hợp từ nhiều nguồn 17 Hình 2-3: Mơ tả liệu theo thời gian 18 Hình 2-4: Mơ tả thơng tin liệu ln bền vững, an tồn 18 Hình 2-5: Sự tương phản OLTP môi trường kho liệu 19 Hình 2-6: Kiến trúc kho liệu 20 Hình 2-7: Kiến trúc kho liệu với vùng trung gian 21 Hình 2-8: Kiến trúc kho liệu với vùng lưu trữ kho liệu cục 21 Hình 2-9: Lược đồ hình 23 Hình 2-10: Các mức đặc trưng hệ thống phân cấp chiều 26 Hình 2-11: Các đối tượng kho liệu điển hình 27 Hình 2-12: Thiết kế logic so với thiết kế vật lý 28 Hình 2-13: Ví dụ chiều 31 Hình 2-14: Cơng cụ Oracle Warehouse Builder 31 Hình 2-15: Cơng cụ Extract, Tranform, Loading Oracle Warehouse Builder 32 Hình 2-16: Minh họa buffer tin điện kết nối servers thực thi song song 38 Hình 3-1: Thơng tin ngân hàng thương mại cổ phần Tiên Phong 40 Hình 3-2: Phần mềm lõi, giải pháp iFlex 42 Hình 3-3: Dịch vụ tốn qua điện thoại 43 Hình 3-4: Dịch vụ tốn qua Internet 43 Hình 3-5: Dịnh vụ tốn qua thẻ ATM 43 Hình 3-6: Các dịch vụ tốn khác 44 Hình 3-7: Kiến trúc tổng thể kho liệu 47 Hình 3-8: Mối quan hệ CNTT Nghiệp vụ 48 Hình 3-9: Mơ hình trạng hạ tầng Ngân hàng TMCP Tiên Phong 49 Hình 3-10: Các phân hệ - hệ thống Core Banking 50 Hình 3-11: Hệ thống tác nghiệp 51 Hình 3-12: Mơ hình hệ thống chun đề, khai thác thơng tin 53 Hình 3-13: Mơ hình kiến trúc, giải pháp đề xuất kho liệu 54 Hình 3-14: Mơ hình kho liệu khách hàng 59 Hình 4-1: Cơng cụ xây dựng kho liệu 68 Hình 4-2: Chiều thơng tin 69 Hình 4-3: Khối liệu xoay theo chiều thơng tin 69 Hình 4-4: Luồng tiến trình thực thi 70 Hình 4-5: Quản trị doanh nghiệp 71 Hình 4-6: Kinh doanh thơng minh qua trình duyệt Web 71 Hình 4-7: Báo cáo chi phí 10/2010 72 Hình 4-8: Báo cáo doanh thu 10/2010 73 Hình 4-9: Báo cáo sản phẩm vay 10/2010 74 Hình 4-10: Báo cáo tăng trưởng khách hàng 10/2010 75 65 MID_RATE BUY_RATE SELL_RATE RATE_DATE RATE_DT_STAMP NUMBER(24,12) NUMBER(24,12) NUMBER(24,12) DATE DATE CASH: TM LCCHARGE: Áp dụng thu charge LC: LMREVRAT: áp dụng đánh giá lại(revaluation) OFFICIAL: hạch toán TRANSFER: chuyển khoản STANDARD: chuẩn Tỉ giá bình quân Tỉ giá mua Tỉ giá bán Ngày áp dụng Ngày/giờ áp dụng Y Y Y Y Y • Bảng cập nhật tài khoản (GL_ACCOUNT) Name AC_NO OLD_AC_NO CCY_CODE BRID TXDATE AC_NAME OBAL_DR OBAL_CR OBAL_DR_BCY OBAL_CR_BCY DDR DCR DDR_BCY DCR_BCY MDR MCR MDR_BCY MCR_BCY QDR QCR QDR_BCY QCR_BCY YDR YCR YDR_BCY YCR_BCY CBAL_DR CBAL_CR Type VARCHAR2(20) VARCHAR2(20) CHAR(3) CHAR(3) DATE VARCHAR2(150) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) NUMBER(20,3) Nullable N N Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Comments Số tài khoản GL Loại tiền Mã chi nhánh Ngày backup Tên tài khoản Phát sinh nợ ngày Phát sinh có ngày Phát sinh nợ ngày quy VND Phát sinh có ngày quy VND Phát sinh nợ tháng Phát sinh có tháng Phát sinh nợ tháng quy VND Phát sinh có tháng quy VND Phát sinh nợ quý Phát sinh có quý Phát sinh nợ quý quy VND Phát sinh có quý quy VND Phát sinh nợ năm Phát sinh có năm Phát sinh nợ năm quy VND Phát sinh có năm quy VND Số dự nợ Số dự có 66 CBAL_DR_BCY CBAL_CR_BCY CATEGORY LEAF NUMBER(20,3) NUMBER(20,3) CHAR(1) CHAR(1) Y Y Y Y Số dư nợ quy VND Số dư có quy VND Loại tk GL TK cha/con • Bảng cập nhật mã danh sách cán huy động (GL_MIS_CODE) Name UNIT_REF_NO COMP_MIS MIS_CLASS MIS_CODE CODE_DESC ACTIVE Type VARCHAR2(20) VARCHAR2(9) VARCHAR2(9) VARCHAR2(9) VARCHAR2(200) CHAR(1) Nullable N Y Y Y Y Y Comments Default ‘A’ • Bảng cập nhật danh sách ngành nghề kinh tế (INDUSTRY) Name ID INDUSTRY_VALUE Type NUMBER VARCHAR2(150) Nullable Comments N Mã ngành nghề kinh tế Y Tên loại hình ngành nghề kinh tế • Bảng cập nhật khách hàng với ngành nghề kinh tế (INDUSTRY_CUSTOMER) Name CUST_ID Type VARCHAR2(9) Nullable Y INDUSTRY_VALUE ID VARCHAR2(2000) NUMBER Y Y Comments Mã khách hàng Tên loại hình ngành nghề kinh tế Mã ngành nghề kinh tế • Bảng tham số (PARAMETER) Name PARA_NAME PARA_VALUE PARA_DESC APP_TYPE Type CHAR(15) CHAR(20) NVARCHAR2(100) CHAR(3) Nullable N Y Y Y Comments Tên tham số Giá trị tham số Mơ tả tham số Loại hình CHƯƠNG4 CÀI ĐẶT, THỬ NGHIỆM, KẾT QUẢ “Xây dựng Kho liệu thông tin khách hàng - Ngân hàng TMCP Tiên Phong” Q trình phân tích thiết kế kho liệu khách hàng xây dựng mối liên kết đối tượng thực thể, xác định thông tin liệu lấy từ hệ thống liệu nguồn, qua phép ánh xạ trường thông tin, liệu tải hệ thống liệu đích (kho liệu) Một vài minh họa cho tác nghiệp, trích xuất, trao đổi tải liệu vào hệ thống kho liệu 4.1 Môi trường cài đặt • Hệ thống liệu nguồn cài đặt cấu hình mơi trường: Hệ điều hành IBM AIX, version 5.3 Ứng dụng Oracle Database Enterprise 10g, Release2 System Model: IBM,9131-52A Processor Type: PowerPC_POWER5 Number Of Processors: Processor Clock Speed: 2097 MHz CPU Type: 64-bit Kernel Type: 64-bit Memory Size: 3920 MB Firmware Version: IBM,SF240_338 • Hệ thống liệu trung gian liệu đích cài đặt cấu hình mơi trường: Hệ điều hành Ứng dụng Windows 2003 server Enterprise Edition Oracle Database Enterprise 10g, Release2 Intel(R) Core(TM)2 Duo CPU E7500 @ 2.93GHz, 2936 Mhz, Core(s), Logical Processor(s) Oracle Warehouse Builder 10g System Model: HP Pro 2000 Microtower PC Total Physical Memory: GB Oracle WorkFlow 10g Oracle Bussiness Intelligent 10g 68 4.2 Dữ liệu thử nghiệm Nguồn liệu xây dựng hệ thống kho liệu khách hàng sử dụng từ nguồn liệu thực tế Ngân hàng thương mại cổ phần Tiên Phong (dữ liệu năm 2010) 4.3 Kết 4.3.1 Công cụ xây dựng kho liệu Hình 4-1: Cơng cụ xây dựng kho liệu 69 4.3.2 Xây dựng bảng chiều thông tin Hình 4-2: Chiều thơng tin 4.3.3 Xây dựng khối thông tin xoay theo bảng chiều liệu Hình 4-3: Khối liệu xoay theo chiều thơng tin 70 4.3.4 Luồng tiến trình thực thi Hình 4-4: Luồng tiến trình thực thi 4.3.5 Hệ quản trị kinh doanh thông minh Quản trị kinh doanh với hệ thống thống minh vừa đầu cuối cùng, vừa sản phẩm "nhìn thấy" hệ thống vừa đầu vào cho hệ thống Một hệ thống báo cáo cho phép tổ chức/doanh nghiệp khai thác liệu từ nhiều nguồn khác khách hàng, thị trường, nhà cung cấp, đối tác, nhân phân tích, sử dụng liệu thành nguồn thơng tin có ý nghĩa nhằm hỗ trợ việc định Tuy nhiên, nhiều tổ chức doanh nghiệp, việc khai thác liệu chưa trọng nên dừng yêu cầu kết xuất báo cáo nghiệp vụ đơn phòng ban Khá nhiều thông tin quan trọng cho người định lập kế hoạch chiến lược bị bỏ qua thiếu cơng cụ tổng hợp, phân tích, “móc nối” liệu này, người lãnh đạo khơng nhìn nhận khả nên khơng đặt yêu cầu với hệ thống công nghệ thông tin 4.3.5.1 Phần mềm quản trị doanh nghiệp với Oracle BI 71 Hình 4-5: Quản trị doanh nghiệp 4.3.5.2 Kinh doanh thơng minh với trình duyệt Web Hình 4-6: Kinh doanh thơng minh qua trình duyệt Web 72 4.3.5.3 Xây dựng hệ thống báo cáo A Báo cáo chi phí Hình 4-7: Báo cáo chi phí B Báo cáo doanh thu Hình 4-8: Báo cáo doanh thu 10/2010 C Báo cáo cho vay theo sản phẩm Hình 4-9: Báo cáo cho vay theo sản phẩm 10/2010 D Báo cáo tăng trưởng khách hàng Hình 4-10: Báo cáo tăng trưởng khách hàng 10/2010 KẾT LUẬN Giải pháp xây dựng kho liệu thông tin khách hàng phần nhỏ mơ hình hoạt động tác nghiệp ngành tài ngân hàng giải pháp kho liệu tổng hợp đem lại phần tính thuận tiện, hiệu ứng dụng thực tiễn, hệ thống báo cáo, tiêu quản lý hiệu (Key Perfomance Indicators – KPIs), dự báo phân tích giả lập cho phép tổ chức/doanh nghiệp khai thác liệu từ nhiều nguồn khác khách hàng, thị trường, nhà cung cấp, đối tác, nhân phân tích, sử dụng liệu thành nguồn thơng tin có ý nghĩa nhằm hỗ trợ nhà lãnh đạo có đầy đủ thơng tin thể tình hình hoạt động tổ chức mà đưa định, định hướng, chiến lược hợp lý, kịp thời Trong trình tìm hiểu hoàn thành luận văn tốt nghiệp, dù dành nhiều thời gian nghiên cứu, tìm hiểu nhận nhiều đóng góp, chia sẻ quý báu “Giải pháp xây dựng kho liệu thông tin khách hàng – Ngân hàng TMCP Tiên Phong” hạn chế kinh nghiệm thời gian thực nên thể phần cho vấn đề khai phá thông tin khách hàng Đề tài cố gắng tập trung tìm hiểu, nghiên cứu trình bày số kỹ thuật sử dụng số sản phẩm Oracle phục vụ công việc xây dựng kho liệu, trình bày nội dung giải pháp đưa đề xuất, cài đặt thử nghiệm Trong thời gian tới tơi hồn thiện mở rộng hướng tiếp cận với tốn khai phá thơng tin từ kho liệu với nguồn liệu tổng quát kết hợp song song ứng dụng vào toán thực tế hy vọng đạt kết mong muốn • Đầy đủ nhóm báo cáo, phục vụ tốt nhu cầu tổng hợp TienPhongBank • Nội dung báo cáo phân tích nhiều chiều: Chi nhánh, khối kinh doanh, khách hàng, sản phẩm, chuyên viên, nhóm nợ, kỳ hạn… • Báo cáo trích xuất liệu động, dựa lựa chọn chiều phân tích người dùng: khối kinh doanh, địa lý, thời gian, nhóm khách hàng, loại tiền tệ • Báo cáo tổng hợp theo nhiều cấp từ tổng quan đến chi tiết, truy dẫn liệu theo cấp Báo cáo tổng hợp doanh thu từ cấp Tồn hàng Ỉ Chi nhánh Ỉ Khối kinh doanh Ỉ Sản phẩm 77 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Tạ Thu Phượng, Hệ quản trị sở liệu, Đại học Đà Lạt, 2008 [2] Huỳnh Tuấn Anh, Bài giảng Datawarehouse and data mining, Trường Đại Học Nha Trang, 2008 [3] Nguyễn Thanh Bình, Kho liệu hệ hỗ trợ định, Trung tâm CNTT, Trường Đại học Huế, 2009 Tài liệu Tiếng Anh [4] Oracle Warehouse Builder 10g Release 2, An overview, 2006 [5] Oracle Warehouse Builder Installation and Configuration Guide, 10g Release for Windows and UNIX, Part No B28224-01, 2006 [6] Oracle Warehouse Builder 10g Release Data Modeling, 2006 [7] Climbing to the OLAP Summit with Oracle Warehouse Builder 10gR2, An Oracle White Paper, 2006 [8] Oracle Warehouse Builder 10g Helping you save time and money anytime you move data An Oracle White Paper, 2004 [9] Oracle Database Utilities 10g Release 2, Part No B14215-01, 2005 [10] Oracle Database Data Warehousing Guide 10g Release 2, Part No B1422301, 2005 [11] Oracle BI Strategic Roadmap Overview, 2010 [12] Real-Time Data Integration for Data Warehousing and Operational Business Intelligence An Oracle White Paper, 2010 [13] Oracle Database Performance Tuning Guide 10g Release 2, Part No B14211-01, June, 2005 Thank you for evaluating AnyBizSoft PDF Splitter A watermark is added at the end of each output PDF file To remove the watermark, you need to purchase the software from http://www.anypdftools.com/buy/buy-pdf-splitter.html Thank you for evaluating AnyBizSoft PDF Merger! To remove this page, please register your program! Go to Purchase Now>> AnyBizSoft PDF Merger  Merge multiple PDF files into one  Select page range of PDF to merge  Select specific page(s) to merge  Extract page(s) from different PDF files and merge into one