OLAP và ứng dụng OLAP và ứng dụng

Giới thiệu Công nghệ Olap. Olap trong Oracle service. Ứng dụng trong phân tích thu nhập chi phí MSB Giới thiệu Công nghệ Olap. Olap trong Oracle service. Ứng dụng trong phân tích thu nhập chi phí MSB Giới thiệu Công nghệ Olap. Olap trong Oracle service. Ứng dụng trong phân tích thu nhập chi phí MSB Giới thiệu Công nghệ Olap. Olap trong Oracle service. Ứng dụng trong phân tích thu nhập chi phí MSB

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - NGUYỄN THỊ HỒNG OLAP VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS TS NGUYỄN KIM ANH HÀ NỘI – 2013 MUC LUC LỜI CẢM ƠN DANH MỤC VIẾT TẮT DANH MỤC HÌNH VẼ LỜI MỞ ĐẦU CHƯƠNG 1: CÔNG NGHỆ OLAP 1.1 Giới thiệu Data Warehouse 1.1.1 Định nghĩa data warehouse 1.1.2 Các đặc trưng kho liệu 10 1.1.3 Kiến trúc kho liệu[7] 13 1.1.4 Ứng dụng kho liệu 16 1.2 Tổng quan OLAP 16 1.2.1 Định nghĩa OLAP 16 1.2.2 Tại phải xây dựng ứng dụng OLAP 17 1.2.3 Các đặc điểm ứng dụng OLAP 24 1.2.4 Tổ chức xử lý liệu hệ thống OLAP 31 1.2.5 Các mô hình OLAP[7] 33 CHƯƠNG II OLAP TRONG ORACLE SERVICE 41 2.1 OLAP Oracle[7] 41 2.1.1 Tích hợp đầy đủ cơng nghệ đa chiều 41 2.1.2 Quản trị, phát triển ứng dụng dễ dàng 41 2.1.3 Bảo mật 42 2.1.4 Hiệu tính sẵn sàng cao 42 2.1.5 Giảm thiểu chi phí 43 2.1.6 Hỗ trợ Report dashboard Oracle OLAP 43 2.2 Các thành phần Oracle OLAP 45 2.2.1 Cube 46 2.2.2 Measure 47 2.2.3 Dimension 47 2.2.4 Hierachie Level 49 2.3 Quy trình thiết kế đối tượng Oracle OLAP 52 2.3.1 Xây dựng Dimension 52 2.3.2 Xây dựng Fact 53 2.3.3 Phân tích xử lý liệu 53 2.4 OLAP với công cụ Oracle công cụ IBM 55 2.4.1 Công cụ Oracle 55 2.4.2 Công cụ IBM 61 2.4.3 So sánh công cụ 65 CHƯƠNG ỨNG DỤNG TRONG PHÂN TÍCH THU NHẬP CHI PHÍ MSB 69 OLAP va Ứng dụng 3.1 Bài toán 69 3.2 Phân tích 69 3.2.1 Phân tích tốn 69 3.2.2 Giải pháp thực 70 3.3 Mơ hình hệ thống 70 3.3.1 Mô hình tổng quan 70 3.3.2 Mơ hình thiết kế sở liệu 71 3.4 Thiết kế chi tiết 74 3.4.1 Thiết kế Kho liệu DW 74 3.4.2 Thiết kế OLAP 78 3.4.3 Thiết kế Report 85 3.5 Kết 88 3.5.1 Báo cáo thu nhập chi phí 88 3.5.2 Báo cáo kinh doanh 89 3.5.3 Báo cáo phân tích 90 3.5.4 Bảng phân tích 91 3.5.5 Báo cáo thống kê 95 KẾT LUẬN 97 4.1 4.2 Những điều làm 97 Những điều hạn chế 97 TÀI LIỆU THAM KHẢO 98 -1- OLAP va Ứng dụng LỜI CẢM ƠN Lời đầu tiên, tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới PGS.TS Nguyễn Kim Anh, người tận tình nghiêm khắc hướng dẫn để luận văn hoàn thành Tác giả chân thành cảm ơn Viện Công nghệ thông tin truyền thông, Viện Đào tạo Sau Đại học, trường Đại học Bách khoa Hà Nội, tạo điều kiện thuận lợi cho tác giả trình học tập nghiên cứu Cảm ơn thầy cô tác giả trao đổi kiến thức kinh nghiệm quý báu để giúp cho luận văn hoàn thiện Tác giả gửi lời cảm ơn tới đồng nghiệp, Công ty Cổ phần giải pháp phần mềm tài Ngân hàng Thương mại Cổ phần Hàng Hải tạo điều kiện thuận lợi để giúp tác giả hoàn thành luận văn Bên cạnh đó, quan tâm gia đình, bạn bè nguồn động viên khơng thể thiếu để giúp tác giả hoàn thành luận văn Xin chân thành cảm ơn Học viên: Nguyễn Thị Hồng Lớp: -2- 12ACNTT-HY OLAP va Ứng dụng DANH MỤC VIẾT TẮT Từ Mô tả Ý nghĩa OLAP Online Analytical Processing Xử lý phân tích trực tuyến DW Data warehouse Kho liệu ETL Extract, Transform, Load Lọc, Truyển đổi, Tải OLTP Online Transaction Processing Xử lý giao dịch trực tuyến Staging Staging Vùng đệm Data Mart Data Mart Kho liệu chuyên đề Drill-down Drill-down Khoan xuống Roll-up Roll-up Cuộn lên Drill-across Drill-across Khoan ngang Drill-through Drill-through Khoan xuyên Dimension Dimension Chiều Fact Fact Sự kiện -3- OLAP va Ứng dụng DANH MỤC HÌNH VẼ Hình 1.1 Mơ hình DW Hình 1.2 Đặc trưng DW 11 Hình 1.3 Tính ổn định DW 13 Hình 1.4 Kiến trúc DW 14 Hình 1.5 Kiến trúc DW-Staging 15 Hình 1.6 Kiến trúc DW-Staging-Data Marts 15 Hình 1.7 Vị trí OLAP 25 Hình 1.8 Mơ hình Fact-Dimension 27 Hình 1.9 Biểu diễn mơ hình Fact-Dimension 28 Hình 1.10 Mơ hình phân cấp 29 Hình 1.11 Mơ hình ROLAP 34 Hình 1.12: Mơ hình liệu ROLAP 35 Hình 1.13 Lược đồ hình 35 Hình 1.14 Lược đồ bơng tuyết 36 Hình 1.15 Mơ hình MOLAP 37 Hình 1.16 Mơ hình HOLAP 39 Hình 1.17 ROLAP MOLAP 40 Hình 2.1 Bảng tổng hợp tạo ứng dụng Oracle 44 Hình 2.2 Báo cáo dạng biểu đồ hiệu xuất theo quý 44 Hình 2.4 Báo cáo tổng hợp theo năm 45 Hình 2.5 Mối quan hệ đối tượng chiều 46 Hình 2.6 Mơ hình phân tách liệu 54 -4- OLAP va Ứng dụng Hình 3.1 Mơ hình tổ chức hệ thống 71 Hình 3.2 Mơ hình lưu thơng tin giá vốn 73 Hình 3.3 Mơ hình lưu thơng tin lịch sử giao dịch 74 Hình 3.4 Màn hình lọc điều kiện 89 Hình 3.5 Báo cáo thu nhập chi phí quy đổi VND 89 Hình 3.7 Báo cáo kinh doanh toàn hàng 90 Hình 3.8 Báo cáo phân tích thu nhập chi phí 91 Hình 3.9 Bảng phân tích lợi nhuận theo phân hệ 92 Hình 3.10 Bảng phân tích thu nhập chi phí theo ngân hàng chuyên doanh 93 Hình 3.11 Báo cáo phân hệ tiền vay (Loan) 93 Hình 3.12 Báo cáo huy động vốn 94 Hình 3.13 Báo cáo cho sản phẩm tiền gửi 94 Hình 3.14 Bảng phân tích lợi nhuận theo phân hệ sản phẩm 95 Hình 3.15 Top 10 khách hàng 96 -5- OLAP va Ứng dụng LỜI MỞ ĐẦU Cùng với tiến không ngừng khoa học công nghệ, ngày xuất nhiều ứng dụng sở liệu với yêu cầu phân tích đặc biệt Trong lĩnh vực quản trị phân tích sở liệu, thiết kế sở liệu quan hệ thông thường bắt đầu bộc lộ nhiều nhược điểm Điều làm phát sinh nhu cầu nghiên cứu việc thiết kế sở liệu đa chiều đáp ứng nhu cầu phân tích doanh nghiệp Vấn đề lọc, tách liệu tốn khó cho sở liệu lớn Để giải vấn đề này, cấu trúc kho liệu ( data warehouse - DW) xây dựng đáp ứng nhu cầu thực tế Việc phân tích, đánh giá kết kinh doanh dựa nhiều mặt đòi hỏi nhà quản lý phải dựa kết từ nhiều khía cạnh Để hỗ trợ nhà quản lý, việc xây dựng DW OLAP đem lại nhiều kết cao q trình phân tích đánh giá doanh thu Thực trạng hệ thống liệu Ngân hàng thương mại cổ phần Hàng Hải lấy từ nhiều nguồn khác nhau, liệu hệ thống không đồng như: Kondor, Credit Card, Core, vTreasury … Yêu cầu từ trung tâm tài đưa tất liệu sở liệu thống Đồng thời xây dựng báo cáo hỗ trợ nghiệp vụ phân tích thu nhập chi phí, quản lý lỗ lãi, phân bổ lợi nhuận, … Từ yêu cầu thực tế, nhu cầu phải xây dựng kho liệu OLAP cần thiết Chúng xây dựng DW chung cho toàn ngân hàng, hệ thống báo cáo phân tích lấy liệu từ DW đưa vào khối OLAP để phân tích liệu Dữ liệu thô trước đưa vào DW xử lý vùng đệm DW gọi Staging, lưu trữ liệu hàng ngày, vùng lưu liệu thô lịch sử hệ thống nguồn gọi Hstaging Mục đích luận văn nghiên cứu “Xây dựng hệ thống phân tích trực tuyến tảng Data warehouse” Đây tốn có nhiều ứng dụng để giải phát sinh từ nhu cầu thực tế Các ngân hàng ngày cải tiến sở hạ tầng cơng nghệ đáp ứng u cầu phân tích, đánh giá kết hoạt động kinh doanh chi nhánh, hội sở toàn ngân hàng -6- OLAP va Ứng dụng Mơ hình OLAP phân tích, xây dựng nhiều hệ thống Oracle, DB2, … Các tốn phân tích trực tuyến đề xuất, ứng dụng nhiều hệ thống ngân hàng giới Hiện Việt nam, ngân hàng thương mại cổ phần Hàng Hải ngân hàng xây dựng hệ thống kho liệu tập trung DW làm tiền đề cho ứng dụng OLAP sau Kho liệu tập trung lưu trữ sở liệu Oracle, hệ thống báo cáo xây dựng công cụ kéo thả Cognos theo mơ hình BDM (Banking data model – Mơ hình liệu ngân hàng) IBM Ngồi Lời cảm ơn, Lời mở đầu, Kết luận, Danh sách tài liệu tham khảo, nội dung luận văn trình bày ba chương Cụ thể: Chương 1: “Cơng nghệ OLAP”, nhắc lại số khái niệm đặc trưng DW OLAP Giới thiệu tổng quan mơ hình quy trình xây dựng OLAP Chương 2: “OLAP Oracle service” giới thiệu chi tiết OLAP, thành phần quy trình thiết kế OLAP sở liệu Oracle công cụ hỗ trợ IBM (Banking data model – Mơ hình liệu ngân hàng) Đưa giải pháp thiết kế kho OLAP sở liệu Oracle sử dụng IBM Cognos để xây dựng báo cáo BI Chương 3: “Ứng dụng phân tích thu nhập chi phí MSB”, đưa ứng dụng thực tế áp dụng mơ hình OLAP tảng kho liệu tập trung – DW ngân hàng thương mại cổ phần Hàng Hải – MSB xây dựng sở liệu Oracle Hệ thống ứng dụng OLAP vận hành hội sở tồn chi nhánh MSB Chúng tiếp tục nghiên cứu nhằm tối ưu thuật toán xây dựng hệ thống Luận văn hồn thành Viện Cơng nghệ thông tin truyền thông, trường Đại học Bách khoa Hà Nội, hướng dẫn PGS.TS Nguyễn Kim Anh Mặc dù cố gắng, song luận văn chắn cịn nhiều thiếu sót Tác giả mong nhận góp ý thầy đồng nghiệp để luận văn hoàn thiện Xin chân thành cảm ơn Hà Nội, ngày 25 tháng 11 năm 2013 -7- OLAP va Ứng dụng -8- OLAP va Ứng dụng - 84 - OLAP va Ứng dụng Các dimension dùng chung bảng fact phân tích xây dựng hierachy chung cho tất mức 3.4.3 Thiết kế Report Thông qua khối OLAP xây dựng sẵn theo chủ đề, xây dựng báo cáo thông qua công cụ Cognos BI IBM Hệ thống IBM hỗ trợ tối đa người dùng: dễ dàng thao tác, giao diện trực quan, … Chúng xây dựng Cube cho yêu cầu đầu ra: - Để đánh giá thu nhập chi phí thơng qua mơ hình fact PMFT_INSTRUMENT_SUMARY dimemsion tạo báo cáo liên quan đến Doanh số thu nợ, Doanh số trả lãi, … Thu nhập rịng, thu nhập danh nghĩa tín dụng, … - Để so sánh thu nhập chi phí phân hệ sử dụng mơ hình fact GLFT_MASTER bảng dimension liên quan để đối chiếu thu nhập chi phí với phân hệ, tính tốn hoạt động thu phí dịch vụ tính thu nhập ngân hàng - 85 - OLAP va Ứng dụng - Để phân tích dịng tiền vào/ra ngân hàng phân tích mơ hình fact TXFT_CREDIT_SUMARY với dimension để biết số dư huy động vốn thời điểm bao nhiêu? Theo sản phẩm, kênh phân phối bao nhiêu? Theo chi nhánh, phòng giao dịch, khối kinh doanh bao nhiêu? … - Ngồi chúng tơi cịn xây dựng báo cáo đối chiếu GL phân hệ tín dụng Từ phân cấp trên, xây dựng báo cáo thông qua công cụ Cognos BI IBM Trên Cognos BI hỗ trợ tối đa người dùng hand-on (kéo - thả) cách trực quan Từ mơ hình phân cấp riêng rẽ dimension fact kéo thả trường cách chi tiết vào báo cáo theo yêu cầu Cây phân cấp dimension dễ thao tác dễ hiểu cho người dùng Các bảng fact dimension bố trí khung nhìn để dễ dàng thao tác - 86 - OLAP va Ứng dụng Phân cấp hierachy mô tả trực quan thông qua tầng cụ thể Ví dụ với dimension Date Trong Date phân cấp thành Year, Year có Quarter, Quarter có Month Month có Week, Week có Day Như mơ hình logical bên mơ tả: - 87 - OLAP va Ứng dụng Trực quan hóa tối đa cho người dùng dễ dàng thao tác làm việc Thơng qua mơ hình trên, nghiệp vụ kỹ thuật có chung ngơn ngữ, giao diện để thống yêu cầu 3.5 Kết - Xây dựng kho liệu DW - Xây dựng mơ hình OLAP phục vụ cho phân tích, đánh giá thu nhập, chi phí, lãi lỗ Tổ chức sở liệu theo chiều, phân mảnh nâng cao hiệu - Xây dựng báo cáo thể chi tiết thu nhập chi phí, lãi lỗ kinh doanh theo tiêu - Xây dựng báo cáo phân tích hỗ trợ người quản lý phân tích, đánh giá thu nhập chi phí theo chiều khác - Xây dựng bảng biểu trực quan hỗ trợ người dùng phân tích lúc nhiều mảng, nhiều chiều 3.5.1 Báo cáo thu nhập chi phí - 88 - OLAP va Ứng dụng Hình 3.4 Màn hình lọc điều kiện Hình 3.5 Báo cáo thu nhập chi phí quy đổi VND 3.5.2 Báo cáo kinh doanh - 89 - OLAP va Ứng dụng Hình 3.7 Báo cáo kinh doanh tồn hàng 3.5.3 Báo cáo phân tích - 90 - OLAP va Ứng dụng Hình 3.8 Báo cáo phân tích thu nhập chi phí Báo cáo phân tích hỗ trợ người dùng kéo thả trường lọc theo yêu cầu Để làm báo cáo này, người dùng cần hiểu chiều, liệu hệ thống 3.5.4 Bảng phân tích Hỗ trợ nhìn trực quan nhiều mặt báo cáo thu nhập chi phí: - 91 - OLAP va Ứng dụng Hình 3.9 Bảng phân tích lợi nhuận theo phân hệ - 92 - OLAP va Ứng dụng Hình 3.10 Bảng phân tích thu nhập chi phí theo ngân hàng chun doanh Hình 3.11 Báo cáo phân hệ tiền vay (Loan) - 93 - OLAP va Ứng dụng Hình 3.12 Báo cáo huy động vốn Hình 3.13 Báo cáo cho sản phẩm tiền gửi - 94 - OLAP va Ứng dụng Hình 3.14 Bảng phân tích lợi nhuận theo phân hệ sản phẩm 3.5.5 Báo cáo thống kê - 95 - OLAP va Ứng dụng Dưới mô tả thống kế top khách hàng theo tiêu chí lợi nhuận thực tế theo chiều phân hệ, chi nhánh, … Hình 3.15 Top 10 khách hàng - 96 - OLAP va Ứng dụng KẾT LUẬN 4.1 Những điều làm Khóa luận hoàn thành việc xây dựng kho liệu OLAP phục vụ cho trung tâm tài Ngân hàng thương mại cổ phần Hàng Hải Bao gồm: - Xây dựng mơ hình liệu OLAP: bảng chiều, bảng kiện Qua tìm hiểu phân tích xây dựng 12 bảng chiều bảng kiện - Xây dựng báo cáo thu nhập chi phí hỗ trợ nhà quản lý việc đánh giá thu lãi thuần, thu lãi thực tế ngân hàng Từ đưa điều chỉnh giá vốn nội cho phù hợp - Xây dựng báo cáo kinh doanh theo tiêu Hỗ trợ nhà quản lý việc đánh giá lãi, lỗ theo nhiều chiều (thời gian, ngân hàng chuyên doanh, chi nhánh, sản phẩm …) để hoạch định kế hoạch kinh doanh - Xây dựng báo cáo động, hỗ trợ người dùng tự động phân tích theo chiều, xử lý lọc theo chiều - Xây dựng bảng biểu trực quan sinh động 4.2 Những điều cịn hạn chế Khóa luận đáp ứng yêu cầu đặt trung tâm tài ngân hàng thương mại cổ phần Hàng Hải Tuy nhiên, hạn chế việc xử lý báo cáo Báo cáo xây dựng ma trận dimension fact khuyến cáo tối đa dimension để đạt hiệu phân tích tốt Khơng hạn chế hierachy dimension nên người dùng cần gom nhóm dimension theo tiêu chí phân tích - 97 - OLAP va Ứng dụng TÀI LIỆU THAM KHẢO Barry Devin (Addison Wesley, 1997), Data Warehouse Chang Li and X.Sean Wang, In Proceedings of conference on information and knowledge management (1996), A data model for supporting on-line analytical processing Codd, E.F, Technical report, E.F.Codd and Assosiates (1993), Provinding OLAP to users-analysis: an IT mandate Corinne Baragoin, Jorge Bercianos, Janez Komel, Gary Robinson, Richard Sawa, Erik Schuinder (April 2001), DB2 OLAP Server Theory and Practices Maurizio Rafanalli, Idea Group Publishing (® 2003, ISBN: 15911400538, Multidimensional Databases: Problems and Solutions M.Gyssens and L.V.S Lakshmanan, VLDB (1997), A foundation for multidimensional databases, pp 106-115 Oracle company (June 2008), Oracle OLAP User's Guide, 11g Release (11.1) Paulraj Ponniah (2001), Data warehousing fundamentals Ralph Kimball, Margy Ross (John Wiley & Sons, Inc, 2002), The Data Warehouse Toolkit, pp 1-65, 243-254 10 W H Inmon (2002), Building the Data Warehouse,Third Edition - 98 - ... Intelligence –BI) ứng dụng phân tích cho giao diện Sức mạnh phân - 41 - OLAP va Ứng dụng tích OLAP sử dụng ứng dụng sở liệu không sưu tập giới hạn ứng ứng dụng OLAP Oracle OLAP nhúng sở liệu Oracle,... hệ thống OLAP Hầu hết liệu ứng dụng OLAP bắt nguồn từ hệ thống khác Tuy nhiên số ứng dụng (chẳng hạn lập kế hoạch dự thảo ngân sách) liệu thu thập ứng dụng OLAP Khi liệu lấy từ ứng dụng khác... phức tạp - 25 - OLAP va Ứng dụng Nhiệm vụ thực ứng dụng OLAP khả thực phân tích phức tạp Các ứng dụng OLAP phải có khả thực phép phân tích kinh doanh logic thống kê thuộc phạm vi ứng dụng có liên