ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN HUY HÙNG XÂY DỰNG KHO DỮ LIỆU VÀ BÁO CÁO QUẢN TRỊ BI CHO TẬP ĐOÀN VINGROUP VỚI HỆ THỐNG SAP BOBI LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI, 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN HUY HÙNG XÂY DỰNG KHO DỮ LIỆU VÀ BÁO CÁO QUẢN TRỊ BI CHO TẬP ĐOÀN VINGROUP VỚI HỆ THỐNG SAP BOBI Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: GS.TS VũĐức Thi HÀ NỘI, 2015 MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN ERROR! BOOKMARK NOT DEFINED DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT CHƯƠNG I TỔNG QUAN KHO DỮ LIỆU VÀ BÁO CÁO BI 1.1 Kho liệu (Data warehouse) 1.1.1 Kho liệu Error! Bookmark not defined 1.1.2 Đặc điểm Kho liệu Error! Bookmark not defined 1.1.3 Lợi ích Kho liệu Error! Bookmark not defined 1.1.4 Cấu trúc Kho liệu Error! Bookmark not defined 1.1.5 Mô hình thực thể Kho liệu Error! Bookmark not defined 1.2 Báo cáo thông minh (Business Intelligent) Error! Bookmark not defined 1.2.1 Các giải pháp BI Error! Bookmark not defined 1.2.2 Cấu trúc báo cáo BI Error! Bookmark not defined CHƯƠNG II QUY TRÌNH ETL TRONG KHO DỮ LIỆU ERROR! BOOKMARK NOT DEFINED 2.1 Tổng quan ETL Error! Bookmark not defined 2.1.1 Khái niêm Error! Bookmark not defined 2.1.2 Vai trò ETL kho liệu Error! Bookmark not defined 2.1.3 Các chức ETL Error! Bookmark not defined 2.2 Kiến trúc ETL Error! Bookmark not defined 2.3 Kỹ thuật ETL kho liệu Error! Bookmark not defined 2.3.1 Xác định nguồn liệu Error! Bookmark not defined 2.3.2 Kỹ thuật trích xuất liệu Error! Bookmark not defined 2.3.3 Kỹ thuật làm chuyển đổi liệu Error! Bookmark not defined 2.3.4 Tải liệu vào kho liệu Error! Bookmark not defined CHƯƠNG III XÂY DỰNG KHO DỮ LIỆU VÀ BÁO CÁO BI TRÊN HỆ THỐNG SAP BPC ERROR! BOOKMARK NOT DEFINED 3.1 Kiến trúc Kho liệu SAP BW Error! Bookmark not defined 2 3.2 Xây dựng Kho liệu cho tập đoàn VIN SAP BW Error! Bookmark not defined 3.2.1 Yêu cầu toán VIN GROUP Error! Bookmark not defined 3.2.2 Phân tích thiết kế hệ thống Error! Bookmark not defined 3.3 Xây dựng Kho liệu Error! Bookmark not defined 3.3.1 Quy trình lấy liệu tích hợp cho chiều phân tích (Dimension) Error! Bookmark not defined 3.3.2 Xây dựng Model theo nghiệp vụ Error! Bookmark not defined 3.4.2 Tạo báo cáo BI với BEx Analyzer Error! Bookmark not defined CHƯƠNG IV KẾT LUẬN ERROR! BOOKMARK NOT DEFINED 4.1 Kết thu Error! Bookmark not defined 4.2 Hướng phát triển Error! Bookmark not defined 3 DANH MỤC HÌNH VẼ Hinh 1.1 – Tích hợp liệu .8 Hình 1.2 – Tính thời gian liệu Error! Bookmark not defined Hình 1.3 – Cơ chế hoạt động Data Warehouse Error! Bookmark not defined Hình 1.4 – Kiến trúc Kho liệu Error! Bookmark not defined Hình 1.5 – Quy trình ETL Error! Bookmark not defined Hình 1.6 - Sự phân cách ODS DW Error! Bookmark not defined Hình 1.7 – Dữ liệu theo mô hình Error! Bookmark not defined Hình 1.8 - Mô hình tuyết Error! Bookmark not defined Hình 1.9 – Mô hình chòm Error! Bookmark not defined Hình 1.10 Các thành phần BI Error! Bookmark not defined Hình 1.11 Các thành phần BI Error! Bookmark not defined Hình 2.1 tiến trình ETL nằm nguồn liệu Error! Bookmark not defined Hình 2.2 - Tiến trình ETL nằm server chứa kho liệuError! defined Bookmark not Hình 2.3 - Tiến trình ETL nằm server trung gian Error! Bookmark not defined Hình 3.1 – Kiến trúc SAP BW Error! Bookmark not defined Hình 3.2 – Luồng liệu SAP BW Error! Bookmark not defined Hình 3.3 – Sơ đồ luồng liệu Error! Bookmark not defined Hình 3.4 – Danh sách Dimension hệ thống Error! Bookmark not defined Hình 3.3 – Function Module trích xuất liệu nguồn Error! Bookmark not defined Hình 3.4 – Tạo Datasource Error! Bookmark not defined Hình 3.5 – Thông tin Datasource Error! Bookmark not defined Hình 3.7 – Công cụ SAP BW Workbench Error! Bookmark not defined Hình 3.8 – Thông tin chung Chiều phân tích Error! Bookmark not defined Hình 3.9 – Bảng chứa liệu đối tượng Error! Bookmark not defined Hình 3.10 – Thông tin đối tượng Hierachy Error! Bookmark not defined Hình 3.11 Thông tin thuộc tính chiều phân tích Error! Bookmark not defined 4 Hình 3.12 – Transfromation nạp liệu cho chiều phân tíchError! Bookmark not defined Hình 3.13 – Loading liệu vào chiều phân tích Error! Bookmark not defined Hình 3.14 – Kết Transfromation Error! Bookmark not defined Hình 3.15 – Thành phần liệu ODS Error! Bookmark not defined Hình 3.16 Transformation ODS Error! Bookmark not defined Hình 3.17 – Thông tin Model CAPEX Error! Bookmark not defined Hình 3.18 – Lập trình ROUTINE tính toán chuyển đổi sang Model từ ODS Error! Bookmark not defined Hình 3.19 – File Transformation Rules Error! Bookmark not defined Hình 3.20 – File Conversions Rules Error! Bookmark not defined Hình 3.21 – Kết sau nạp liệu chuyển đổi Error! Bookmark not defined Hình 3.22 – Thông tin Query truy vấn liệu từ Model CAPEXError! Bookmark not defined Hình 3.23 – Restricted Key Figure Error! Bookmark not defined Hình 3.24 Báo cáo BI với BEx Analyzer Error! Bookmark not defined Hình 3.25 – Hiển thị báo cáo BI dạng đồ họa Error! Bookmark not defined 5 MỞ ĐẦU Cùng với việc áp dụng rộng rãi Công nghệ Thông tin vào hầu hết lĩnh vực đời sống, kinh tế, xã hội việc liệu thu nhận qua thời gian ngày nhiều.Vì vậy, yêu cầu thiết yếu đặt doanh nghiệp việc khai thác liệu cách hiệu để phục vụ cho việc kinh doanh ngày tốt Tập đoàn VinGroup tập đoàn lớn với hệ thống thông tin cũ phân tán Do đó, tập đoàn nhận việc xây dựng hệ thống báo cáo nhanh hỗ trợ kịp thời cho chiến lược kinh doanh quan trọng Tập đoàn VinGroup chọn giải pháp SAP BOBI để xây dựng kho liệu báo cáo tài Tôi giao trọng trách trực tiếp nghiên cứu xây dựng hệ thống với vai trò Trưởng nhóm lập trình nhà thầu FPT IS (Công ty TNHH Hệ thống Thông tin FPT) Luận văn với đề tài "Xây dựng Kho liệu Báo cáo quản trị BI cho Tập đoàn Vin Group với Hệ thống SAP BOBI " giới thiệu kho liệu, phương pháp OLAP ứng dụng phân tích Doanh thu, lợi nhuận báo cáo tài tập đoàn VinGroup hệ thống tiên tiến giới SAP BOBI Luận văn gồm bốn chương: Chương Tổng quan Kho liệu báo cáo BIGiới thiệu tổng quan kho liệu, cấu trúc kho liệu, thành phần kho liêu, cách thiết kế kho liệu ứng dụng kho liệu thiết kế báo cáo BI Chương Quy trình ETL Kho liệu Giới thiệu tổng quan kỹ thuật ETL tích hợp chuyển đổi liệu từ hệ thống nguồn vào Kho liệu Chương 3Xây dựng Kho liệu Báo cáo hệ thống SAP BOBIXây dựng cài đặt liệu Kho liệu tảng công nghệ SAP BPC để lưu trữ theo yêu cầu nghiệp vụ, lập trình tính toán chuyển đổi liệu vào Kho liệu cho Tập đoàn Vin Group Chương Kết luận Phần kết luận tổng kết tóm lược kết quả, đóng góp khóa luận 6 CHƯƠNG I TỔNG QUAN KHO DỮ LIỆU VÀ BÁO CÁO BI 1.1 Kho liệu (Data warehouse) 1.1.1 Lịch sử hình thành Khái niệm Data Warehousing xuất vào năm 80, mà các ̣ thố ng quản lý cở sở dữ liê ̣u quan ̣ nổ i lên những sản phẩ m thương ma ̣i Năm 1988, có báo mô tả định nghĩa kiến trúc kho liệu Bài báo mô tả công việc thực để thiế t kế kho dữ liê ̣u phu ̣c vu ̣ chi nhánh IBM ta ̣i châu Âu Đầu thập niên 90, cuô ̣c cách ma ̣ng về xử lý dữ liê ̣u không chỉ là phổ câ ̣p kho dữ liê ̣u mà còn ta ̣o điề u kiê ̣n để mở rô ̣ng khái niê ̣m kho dữ liê ̣u Thế kỷ 20 – kỷ nguyên quản lý dựa thông tin Ngày nay, chờ đợi dự đoán tương lai dựa phác thảo khứ Nhu cầ u về lơ ̣i thế ca ̣nh tranh tăng ca khiế n nề n tảng để hỗ trơ ̣ viê ̣c quyế t đinh ̣ chuyể n từ dữ liê ̣u da ̣ng số sang thông tin và viê ̣c này có thể đươ ̣c mô tả bởi thuâ ̣t ngữ quản lý dựa thông tin Kho liệu tuyển tập sở liệu tích hợp, hướng chủ đề, thiết kế để hỗ trợ cho chức trợ giúp định Theo John Ladley [9], Công nghệ kho liệu (Data Warehouse Technology) tập phương pháp, kỹ thuật công cụ kết hợp, hỗ trợ để cung cấp thông tin cho người sử dụng sở tích hợp từ nhiều nguồn liệu, nhiều môi trường khác Kho liệu thường lớn tới hàng trăm GB hay chí hàng Terabyte Kho liệu xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu liệu khác cho kết hợp ứng dụng công nghệ đại kế thừa từ hệ thống có sẵn từ trước 1.1.2 Data warehouse gì? Data warehouse sử dụng tảng cho hệ thống hỗ trợ định Nó gắn liền với khái niệm Business Inteligence (Kinh doanh thông minh) Nó dùng để giải vấn đề gặp phải tổ chức cố gắng phân tích chiến lược từ số liệu hệ thống database dùng chung với hệ thống xử lý liệu trực tuyến (OLTP) Một hệ thống OLTP điển hình đặc trưng hệ thống có nhiều người sử dụng đồng thời để thêm, sửa, xóa liệu Ví dụ hệ thống bán lẻ, có nhiều nhân viên bán hàng đồng thời nhập chỉnh sửa liệu vào hệ thống Trong hệ thống nhỏ, việc sử dụng hệ thống database cho mục đích lên báo cáo thống kê, phân tích chấp nhận khối lượng liệu ít, người dùng Nhưng hệ thống với khối lượng liệu hàng chục triệu đến trăm triệu ghi bảng việc khai thác liệu chung hệ thống database OLTP chấp nhận thời gian xử lý liệu lâu, làm cho tài nguyên hệ thống trở nên tải làm cho toàn hệ thống bị tê liệt Hệ thống OLTP thiết kế cho mục đích thu thập liệu, khối lượng liệu càng lớn khiến cho nhu cầu phân tích trở nên cấp thiết Tuy nhiên database OLTP thiết kế cho mục đích thu thập số liệu thường phải tối ưu hóa không gian lưu trữ lẫn chuẩn hóa thiết kế tuân thủ nghiêm ngặt theo mô hình liệu quan hệ Khi có nhu cầu phân tích, khai thác liệu thông qua báo cáo phát sinh vấn đề: - Người xây dựng báo cáo không hiểu mối quan hệ phức tạp bảng nhiều database ứng dụng khác - Khó xây dựng truy vấn database nẳm server khác - Việc phân quyền không cho phép người dùng lấy liệu chi tiết - Các câu truy vấn với liệu lớn khiến hệ thống bị tê liệt Ví dụ: Một quản lý bán hàng muốn lên báo cáo tổng hợp hàng bán tháng cho vùng miền khác Nếu lên liệu từ hệ thống OLTP lẫn chạy báo cáo hệ thống phải thực lại lần việc truy xuất tổng hợp liệu Ngoài liệu lại lưu trữ nhiều vùng địa lý, nhiều nguồn liệu khác (file excel, Oracle, SQL Server, ms access ) Điều dẫn tới việc mức độ thỏa mãn nhu cầu tổng hợp phân tích số liệu cho người dùng thấp Họ mong muốn có hệ thống nhanh chóng Data warehouse hệ thống phân tích liệu trực tuyến (Online Analytical Processing - OLAP) cung cấp giải pháp để giải vấn đề Data warehouse cung cấp phương pháp tiếp cận lưu trữ số liệu từ nguồn khác (thường từ nguồn OLTP) vào kho lưu trữ Data warehouse cung cấp lợi ích sau tới người dùng phân tích số liệu: - Dữ liệu tổ chức để tạo thuận lợi cho truy vấn phân tích cho việc xử lý giao dịch - Sự khác biệt cấu trúc liệu lưu trữ nhiều nguồn liệu không đồng giải - Những quy tắc thống áp dụng hợp liệu từ hệ thống không đồng sang data warehouse - Tính bảo mật hiệu suất cải thiện mà không cần phải thực sửa đổi hệ thống liệu gốc Các đặc trưng Kho liệu: - Tính tích hợp: Dữ liệu Dataware house tổ chức theo nhiều cách khác cho phù hợp với quy ước đặt tên, thống số đo, cấu mã hóa cấu trúc vật lý liệu Một Datawarehouse khung nhìn thông tin mức tổng thể, toàn tổ chức, thống khung nhìn khác thành khung nhìn theo chủ đề Tính tích hợp thể chỗ : Dữ liệu kho liệu tập trung từ nhiều nguồn ghép với tạo thành thể thống Hinh 1.1 – Tích hợp liệu Hướng chủ đề: Dữ liệu Dataware house tổ chức theo chủ đề phục vụ cho tổ chức dễ dàng xác định thông tin cần thiết hoạt động Dữ liệu gắn thời gian có tính lịch sử: Một kho liệu bao hàm khối lượng lớn khối lượng lịch sử Dữ liệu Dataware house gọi ảnh chụp liệu (data snapshort), ghi phản ánh giá trị liệu thời điểm định thể khung nhìn một chủ điểm giai đoạn Yếu tố thời gian đóng vai trò phần khóa để đảm bảo tính đơn ghi cung cấp đặc trưng thời gian cho liệu Dữ liệu CSDL tác nghiệp cần phải xác thời điểm truy cập, Dataware house cần có hiệu lực khoảng thời gian đó, khoảng năm đến 10 năm lâu Dữ liệu CSDL sau thời gian định trở thành liệu lịch sử chúng chuyển vào kho liệu 9 TÀI LIỆU THAM KHẢO Tiếng Anh [1] The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Conforming, and Delivering Data, Ralph Kimball, Joe Caserta [2] Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals Paulraj Ponniah, Copyright © 2001 John Wiley & Sons, Inc [3] Conceptual Modeling for ETL Processes, Panos Vassiliadis, Alkis Simitsis, Spiros Skiadopoulos [4] Building the Data Warehouse, W.H.Inmon, Copyright © 2005 John Wiley & Sons, Inc [5] Arktos : towards the modeling, design, control and execution of ETL processes, Panos Vassiliadis*, Zografoula Vagena, Spiros Skiadopoulos, Nikos Karayannidis, Timos Sellis, 2001 [6] Larissa T Moss, Shaku Atr Business Intelligence Roadmap, AddisonWesley,2008 [...]...9 TÀI LIỆU THAM KHẢO Tiếng Anh [1] The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Conforming, and Delivering Data, Ralph Kimball, Joe Caserta [2] Data Warehousing Fundamentals: A Comprehensive