Nghiên cứu giải pháp kho dữ liệu trong oracle data warehouse 10g và áp dụng trong bài toán xây dựng kho dữ liệu khách hàng, ngân hàng TMCP tiên phong

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRỊNH HỒNG NAM NGHIÊN CỨU GIẢI PHÁP KHO DỮ LIỆU TRONG ORACLE DATA WAREHOUSE 10g VÀ ÁP DỤNG TRONG BÀI TOÁN XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG, NGÂN HÀNG TMCP TIÊN PHONG LUẬN VĂN THẠC SĨ Hà Nội – 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRỊNH HỒNG NAM NGHIÊN CỨU GIẢI PHÁP KHO DỮ LIỆU TRONG ORACLE DATA WAREHOUSE 10g VÀ ÁP DỤNG TRONG BÀI TOÁN XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG, NGÂN HÀNG TMCP TIÊN PHONG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60 48 05 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Đỗ Trung Tuấn Hà Nội – 2011 MỤC LỤC LỜI CÁM ƠN Danh mục ký hiệu, chữ viết tắt Danh mục bảng, hình vẽ đồ thị PHẦN MỞ ĐẦU U ĐẶT VẤN ĐỀ MỤC ĐÍCH NGHIÊN CỨU 10 U KẾT CẤU ĐỀ TÀI 10 CHƯƠNG HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU 11 U 1.1 Khái niệm 11 1.2 Mục tiêu hệ quản trị sở liệu 11 1.3 Quá trình phát triển 11 1.4 Cấu trúc thành phần hệ quản trị sở liệu 13 1.5 Hệ quản trị sở liệu Oracle 15 CHƯƠNG LÝ THUYẾT VỀ KHO DỮ LIỆU 17 U 2.1 Định nghĩa 17 2.2 Đặc trưng kho liệu 17 2.2.1 Hướng chủ thể 17 2.2.2 Tích hợp 18 2.2.3 Biến thời gian 18 2.2.4 Tính bền vững 19 2.3 Đặc tính hệ quản trị sở liệu Oracle 20 2.3.1 Sự khác kho liệu OLTP 20 2.3.2 Ưu, nhược điểm hệ thống kho liệu 20 2.4 Kiến trúc kho liệu 21 2.4.1 Kiến trúc kho liệu sở 21 2.4.2 Kiến trúc kho liệu với vùng trung gian 21 2.4.3 Kiến trúc kho liệu với vùng trung gian kho liệu cục 22 2.5 Thiết kế logic 22 2.5.1 Thiết kế logic mức vật lý 22 2.5.2 Tạo thiết kế logic 23 2.5.3 Lược đồ kho liệu 24 2.5.4 Các đối tượng kho liệu 25 2.5.5 Các bảng kiện 25 2.5.6 Các bảng chiều 25 2.5.7 Định danh 27 2.5.8 Mối quan hệ 2.5.9 Minh họa đối tượng kho liệu mối quan hệ 2.6.Thiết kế vật lý 2.6.1 Chuyển thiết kế logic thành thiết kế vật lý 2.6.2 Thiết kế vật lý 2.6.3 Cấu trúc thiết kế vật lý 2.6.4 Không gian lưu trữ liệu 2.6.5 Bảng phân hoạch bảng 2.6.6 Nén bảng 2.6.7 Khung nhìn 2.6.8 Ràng buộc toàn vẹn 2.6.9 Chỉ mục mục phân cụm 2.6.10 Khung nhìn vật lí 2.6.11 Chiều 2.7.Cơng cụ tích hợp liệu, quản lý mơi trường kho liệ 2.7.1 Tổng quan ETL 2.7.2 Trích xuất liệu 2.7.3 Trao đổi liệu 2.7.4 Tải liệu 2.8.Bảo trì 2.9.Thực thi song song CHƯƠNG GIẢI PHÁP VÀ ĐỀ XUẤT XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG 3.1.Giới thiệu ngân hàng Tiên Phong 3.2.Mục đích kho liệu 3.2.Đặc tính kho liệu 3.3.Hỗ trợ tích hợp liệu 3.4.Nội dung giải pháp kho liệu, Ngân hàng Tiên Phong 3.4.1 Hiện trạng hệ thống Core Banking 3.4.2 Hệ thống tác nghiệp 3.4.3 Nhu cầu cho hệ thống tác nghiệp đa chiều 3.4.4 Nguồn liệu 3.4.5 Vùng đệm liệu 3.4.6 Kho liệu tác nghiệp tổng hợp 3.4.7 Kho liệu tích hợp từ CSDL chủ đề 3.4.8 Các ứng dụng cơng cụ khai thác, phân tích 3.4.9 Kho liệu từ điển 3.5.Phân tích, thiết kế xây dựng kho liệu, kho liệu chu 3.5.1 Mục đích yêu cầu 3.5.2 Mơ hình liệu lược đồ CHƯƠNG4 CÀI ĐẶT, THỬ NGHIỆM, KẾT QUẢ 4.1 Môi trường cài đặt 4.2 Dữ liệu thử nghiệm 4.3 Kết 4.3.1 Công cụ xây dựng kho liệu 4.3.2 Xây dựng bảng chiều thông tin 4.3.3 Xây dựng khối thông tin xoay theo bảng chiều liệu 4.3.4 Luồng tiến trình thực thi 4.3.5 Hệ quản trị kinh doanh thông minh KẾT LUẬN TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt Tài liệu Tiếng Anh Thank you for evaluating AnyBizSoft PDF Splitter A watermark is added at the end of each output PDF file To remove the watermark, you need to purchase the software from http://www.anypdftools.com/buy/buy-pdf-splitter.html Danh mục ký hiệu, chữ viết tắt Ký hiệu 3NF Client/Server OLAP CDC CNTT CPU CSDL DDL DRM DBMS DF DML DWH DSS DOLAP ETL EIS GB HOLAP ID NN MOLAP OD ODS OLAP OLTP ORA OWB RAC ROLAP SQL TBS TMCP TB PQ Danh mục bảng, hình vẽ đồ thị Hình 1-1: Kiến trúc hệ quản trị sở liệu DBMS Hình 2-1: Mô tả liệu tổ chức theo hướng chủ thể Hình 2-2: Mơ tả liệu tích hợp từ nhiều nguồn Hình 2-3: Mơ tả liệu theo thời gian Hình 2-4: Mơ tả thơng tin liệu ln bền vững, an tồn Hình 2-5: Sự tương phản OLTP mơi trường kho liệu Hình 2-6: Kiến trúc kho liệu Hình 2-7: Kiến trúc kho liệu với vùng trung gian Hình 2-8: Kiến trúc kho liệu với vùng lưu trữ kho liệu cục Hình 2-9: Lược đồ hình Hình 2-10: Các mức đặc trưng hệ thống phân cấp chiều Hình 2-11: Các đối tượng kho liệu điển hình Hình 2-12: Thiết kế logic so với thiết kế vật lý Hình 2-13: Ví dụ chiều Hình 2-14: Cơng cụ Oracle Warehouse Builder Hình 2-15: Cơng cụ Extract, Tranform, Loading Oracle Warehouse Builder Hình 2-16: Minh họa buffer tin điện kết nối servers thực thi song song Hình 3-1: Thơng tin ngân hàng thương mại cổ phần Tiên Phong Hình 3-2: Phần mềm lõi, giải pháp iFlex Hình 3-3: Dịch vụ tốn qua điện thoại Hình 3-4: Dịch vụ tốn qua Internet Hình 3-5: Dịnh vụ tốn qua thẻ ATM Hình 3-6: Các dịch vụ tốn khác Hình 3-7: Kiến trúc tổng thể kho liệu Hình 3-8: Mối quan hệ CNTT Nghiệp vụ Hình 3-9: Mơ hình trạng hạ tầng Ngân hàng TMCP Tiên Phong Hình 3-10: Các phân hệ - hệ thống Core Banking Hình 3-11: Hệ thống tác nghiệp Hình 3-12: Mơ hình hệ thống chun đề, khai thác thơng tin Hình 3-13: Mơ hình kiến trúc, giải pháp đề xuất kho liệu Hình 3-14: Mơ hình kho liệu khách hàng Hình 4-1: Cơng cụ xây dựng kho liệu CBAL_DR_BCY CBAL_CR_BCY CATEGORY LEAF • Bảng cập nhật mã danh sách cán huy động (GL_MIS_CODE) Name UNIT_REF_NO COMP_MIS MIS_CLASS MIS_CODE CODE_DESC ACTIVE • Bảng cập nhật danh sách ngành nghề kinh tế (INDUSTRY) Name ID INDUSTRY_VALUE • Bảng cập nhật khách hàng với ngành nghề kinh tế (INDUSTRY_CUSTOMER) Name CUST_ID INDUSTRY_VALUE ID • Bảng tham số (PARAMETER) Name PARA_NAME PARA_VALUE PARA_DESC APP_TYPE CHƯƠNG4 CÀI ĐẶT, THỬ NGHIỆM, KẾT QUẢ “Xây dựng Kho liệu thông tin khách hàng - Ngân hàng TMCP Tiên Phong” Q trình phân tích thiết kế kho liệu khách hàng xây dựng mối liên kết đối tượng thực thể, xác định thông tin liệu lấy từ hệ thống liệu nguồn, qua phép ánh xạ trường thông tin, liệu tải hệ thống liệu đích (kho liệu) Một vài minh họa cho tác nghiệp, trích xuất, trao đổi tải liệu vào hệ thống kho liệu 4.1 Môi trường cài đặt • Hệ thống liệu nguồn cài đặt cấu hình mơi trường: Hệ điều hành IBM AIX, version 5.3 System Model: IBM,9131-52A Processor Type: PowerPC_POWER5 Number Of Processors: Processor Clock Speed: 2097 MHz CPU Type: 64-bit Kernel Type: 64-bit Memory Size: 3920 MB Firmware Version: IBM,SF240_338 • Hệ thống liệu trung gian liệu đích cài đặt cấu hình môi trường: Hệ điều hành Windows 2003 server Enterprise Edition Intel(R) Core(TM)2 Duo CPU E7500 @ 2.93GHz, 2936 Mhz, Core(s), Logical Processor(s) System Model: HP Pro 2000 Microtower PC Total Physical Memory: GB 68 4.2 Dữ liệu thử nghiệm Nguồn liệu xây dựng hệ thống kho liệu khách hàng sử dụng từ nguồn liệu thực tế Ngân hàng thương mại cổ phần Tiên Phong (dữ liệu năm 2010) 4.3 Kết 4.3.1 Cơng cụ xây dựng kho liệu Hình 4-1: Cơng cụ xây dựng kho liệu 69 4.3.2 Xây dựng bảng chiều thơng tin Hình 4-2: Chiều thơng tin 4.3.3 Xây dựng khối thông tin xoay theo bảng chiều liệu Hình 4-3: Khối liệu xoay theo chiều thông tin 70 4.3.4 Luồng tiến trình thực thi Hình 4-4: Luồng tiến trình thực thi 4.3.5 Hệ quản trị kinh doanh thơng minh Quản trị kinh doanh với hệ thống thống minh vừa đầu cuối cùng, vừa sản phẩm "nhìn thấy" hệ thống vừa đầu vào cho hệ thống Một hệ thống báo cáo cho phép tổ chức/doanh nghiệp khai thác liệu từ nhiều nguồn khác khách hàng, thị trường, nhà cung cấp, đối tác, nhân phân tích, sử dụng liệu thành nguồn thơng tin có ý nghĩa nhằm hỗ trợ việc định Tuy nhiên, nhiều tổ chức doanh nghiệp, việc khai thác liệu chưa trọng nên dừng yêu cầu kết xuất báo cáo nghiệp vụ đơn phịng ban Khá nhiều thơng tin quan trọng cho người định lập kế hoạch chiến lược bị bỏ qua thiếu công cụ tổng hợp, phân tích, “móc nối” liệu này, người lãnh đạo khơng nhìn nhận khả nên không đặt yêu cầu với hệ thống công nghệ thông tin 4.3.5.1 Phần mềm quản trị doanh nghiệp với Oracle BI 71 Hình 4-5: Quản trị doanh nghiệp 4.3.5.2 Kinh doanh thơng minh với trình duyệt Web Hình 4-6: Kinh doanh thơng minh qua trình duyệt Web 72 4.3.5.3 Xây dựng hệ thống báo cáo A Báo cáo chi phí Hình 4-7: Báo cáo chi phí B Báo cáo doanh thu Hình 4-8: Báo cáo doanh thu 10/2010 C Báo cáo cho vay theo sản phẩm Hình 4-9: Báo cáo cho vay theo sản phẩm 10/2010 D Báo cáo tăng trưởng khách hàng Hình 4-10: Báo cáo tăng trưởng khách hàng 10/2010 KẾT LUẬN Giải pháp xây dựng kho liệu thông tin khách hàng phần nhỏ mơ hình hoạt động tác nghiệp ngành tài ngân hàng giải pháp kho liệu tổng hợp đem lại phần tính thuận tiện, hiệu ứng dụng thực tiễn, hệ thống báo cáo, tiêu quản lý hiệu (Key Perfomance Indicators – KPIs), dự báo phân tích giả lập cho phép tổ chức/doanh nghiệp khai thác liệu từ nhiều nguồn khác khách hàng, thị trường, nhà cung cấp, đối tác, nhân phân tích, sử dụng liệu thành nguồn thơng tin có ý nghĩa nhằm hỗ trợ nhà lãnh đạo có đầy đủ thơng tin thể tình hình hoạt động tổ chức mà đưa định, định hướng, chiến lược hợp lý, kịp thời Trong q trình tìm hiểu hồn thành luận văn tốt nghiệp, dù dành nhiều thời gian nghiên cứu, tìm hiểu nhận nhiều đóng góp, chia sẻ quý báu “Giải pháp xây dựng kho liệu thông tin khách hàng – Ngân hàng TMCP Tiên Phong” hạn chế kinh nghiệm thời gian thực nên thể phần cho vấn đề khai phá thông tin khách hàng Đề tài cố gắng tập trung tìm hiểu, nghiên cứu trình bày số kỹ thuật sử dụng số sản phẩm Oracle phục vụ cơng việc xây dựng kho liệu, trình bày nội dung giải pháp đưa đề xuất, cài đặt thử nghiệm Trong thời gian tới hoàn thiện mở rộng hướng tiếp cận với tốn khai phá thơng tin từ kho liệu với nguồn liệu tổng quát kết hợp song song ứng dụng vào toán thực tế hy vọng đạt kết mong muốn • Đầy đủ nhóm báo cáo, phục vụ tốt nhu cầu tổng hợp TienPhongBank • Nội dung báo cáo phân tích nhiều chiều: Chi nhánh, khối kinh doanh, khách hàng, sản phẩm, chun viên, nhóm nợ, kỳ hạn… • Báo cáo trích xuất liệu động, dựa lựa chọn chiều phân tích người dùng: khối kinh doanh, địa lý, thời gian, nhóm khách hàng, loại tiền tệ • Báo cáo tổng hợp theo nhiều cấp từ tổng quan đến chi tiết, truy dẫn liệu theo cấp Báo cáo tổng hợp doanh thu từ cấp Tồn hàng Ỉ Chi nhánh Ỉ Khối kinh doanh Ỉ Sản phẩm 77 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Tạ Thu Phượng, Hệ quản trị sở liệu, Đại học Đà Lạt, 2008 [2] Huỳnh Tuấn Anh, Bài giảng Datawarehouse and data mining, Trường Đại Học Nha Trang, 2008 [3] Nguyễn Thanh Bình, Kho liệu hệ hỗ trợ định, Trung tâm CNTT, Trường Đại học Huế, 2009 Tài liệu Tiếng Anh [4] Oracle Warehouse Builder 10g Release 2, An overview, 2006 [5] Oracle Warehouse Builder Installation and Configuration Guide, 10g Release for Windows and UNIX, Part No B28224-01, 2006 [6] Oracle Warehouse Builder 10g Release Data Modeling, 2006 [7] Climbing to the OLAP Summit with Oracle Warehouse Builder 10gR2, An Oracle White Paper, 2006 [8] Oracle Warehouse Builder 10g Helping you save time and money anytime you move data An Oracle White Paper, 2004 [9] Oracle Database Utilities 10g Release 2, Part No B14215-01, 2005 [10] Oracle Database Data Warehousing Guide 10g Release 2, Part No B1422301, 2005 [11] Oracle BI Strategic Roadmap Overview, 2010 [12] Real-Time Data Integration for Data Warehousing and Operational Business Intelligence An Oracle White Paper, 2010 [13] Oracle Database Performance Tuning Guide 10g Release 2, Part No B14211-01, June, 2005 Thank you for evaluating AnyBizSoft PDF Splitter A watermark is added at the end of each output PDF file To remove the watermark, you need to purchase the software from http://www.anypdftools.com/buy/buy-pdf-splitter.html Thank you for evaluating AnyBizSoft PDF Merger! To remove this page, please register your program! Go to Purchase Now>> AnyBizSoft PDF Merger  Merge multiple PDF files into one   Select page range of PDF to merge Select specific page(s) to merge Extract page(s) from different PDF files and merge into one  ... CÔNG NGHỆ TRỊNH HỒNG NAM NGHIÊN CỨU GIẢI PHÁP KHO DỮ LIỆU TRONG ORACLE DATA WAREHOUSE 10g VÀ ÁP DỤNG TRONG BÀI TOÁN XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG, NGÂN HÀNG TMCP TIÊN PHONG Ngành: Công nghệ thông... MỤC ĐÍCH NGHIÊN CỨU Luận văn thực với mục đích nghiên cứu, xây dựng giải pháp đề xuất áp dụng thực tiễn cho toán ? ?Xây dựng hệ thống kho liệu khách hàng, Ngân hàng thương mại cổ phần Tiên Phong? ??... CHƯƠNG GIẢI PHÁP VÀ ĐỀ XUẤT XÂY DỰNG KHO DỮ LIỆU KHÁCH HÀNG 3.1.Giới thiệu ngân hàng Tiên Phong 3.2.Mục đích kho liệu 3.2.Đặc tính kho liệu 3.3.Hỗ trợ tích hợp liệu