Xây dựng hệ thống data warehouse và business intelligence ứng dụng trong ngành bưu chính của tổng công ty bưu điện việt nam

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN THỊ GIANG XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE ỨNG DỤNG TRONG NGÀNH BƢU CHÍNH CỦA TỔNG CÔNG TY BƢU ĐIỆN VIỆT NAM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ TRẦN THỊ GIANG XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE ỨNG DỤNG TRONG NGÀNH BƢU CHÍNH CỦA TỔNG CƠNG TY BƢU ĐIỆN VIỆT NAM Ngành: Cơng nghệ thơng tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYÊN HẢI CHÂU HÀ NỘI - 2015 LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn lòng biết ơn sâu sắc tới PGS.TS Nguyễn Hải Châu, người tận tình hướng dẫn bảo tơi suốt q trình thực khóa luận tốt nghiệp đại học luận văn cao học Tôi chân thành cảm ơn thầy, cô trường Đại học Công nghệ cho môi trường tốt để học tập nghiên cứu Các thầy cô giảng dạy cho kiến thức q báu, làm tảng để tơi hồn thành luận văn công việc tương lai Tôi xin gửi lời tri ân tới anh, chị, bạn học viên K19 bên cạnh, ủng hộ giúp đỡ tơi suốt q trình học tập trường Cuối cùng, muốn gửi lời cảm ơn vơ hạn tới gia đình bạn bè – người thân u ln bên, khuyến khích động viên sống học tập Tôi xin chân thành cảm ơn Hà nội, tháng năm 2015 Học viên Trần Thị Giang LỜI CAM ĐOAN Tôi xin cam đoan đề tài Xây dựng hệ thống Data Warehouse Business Intelligence ứng dụng ngành bưu Tổng cơng ty Bưu điện Việt Nam trình bày luận văn tơi thực hướng dẫn bảo PGS.TS Nguyễn Hải Châu Tất tài liệu tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng danh mục Tài liệu tham khảo luận văn Trong luận văn, việc chép tài liệu, cơng trình nghiên cứu người khác mà không rõ tài liệu tham khảo Hà nội, tháng năm 2015 Học viên Trần Thị Giang i MỤC LỤC MỤC LỤC i DANH SÁCH CÁC BẢNG iv DANH SÁCH CÁC HÌNH VẼ v DANH SÁCH CÁC TỪ VIẾT TẮT vii DANH SÁCH CÁC THUẬT NGỮ viii MỞ ĐẦU CHƢƠNG 1: GIỚI THIỆU VỀ DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE Các khái niệm 1.1 Định nghĩa Data Warehouse 1.2 Định nghĩa Business Intelligence Lợi ích hệ thống Data Warehouse Business Intelligence .5 Kiến trúc hệ thống Data Warehouse Business Intelligence 3.1 Data Source - Dữ liệu nguồn 3.2 Data Warehouse - Kho liệu tập trung 3.3 Tầng Business Intelligence (BI) 3.4 Administration (Quản trị hệ thống) Thiết kế logic hệ thống Data Warehouse Business Intelligence 4.1 Thiết kế thành phần Data Warehouse 4.1.1 Các mơ hình CSDL Data Warehouse 4.1.2 Một số thuật ngữ Data Warehouse 10 4.1.3 Thiết kế CSDL chủ đề (Data Mart) 11 4.1.4 Thiết kế CSDL tích hợp (Enterprise Model - EM) 13 4.1.5 Thiết kế CSDL trung chuyển (Data Staging Area – DSA) 15 4.1.6 Thiết kế tiến trình Thu thập, làm tích hợp liệu (Extraction Transformation - Loading - ETL) 17 4.2 Thiết kế metadata 18 ii 4.3 Thiết kế tầng khai thác 4.3.1 Thiết kế CSDL đa chiều với OLAP 4.3.2 Thiết kế tầng khai thác phân tích thơng tin CHƢƠNG 2: BÀI TOÁN XÂY DỰNG HỆ THỐNG DW VÀ BI TẠI VNPOST 1.Hiện trạng ngành bƣu Tổng cơng ty bƣu điện Việt Nam 1.1 Hiện trạng hệ thống cô 1.2 Hiện trạng công tác lập bá 1.3 Vấn đề đặt 2.Mục tiêu toán 3.Phạm vi toán CHƢƠNG 3: KHẢO SÁT, PHÂN TÍCH, THIẾT KẾ VÀ TRIỂN KHAI HỆ THỐNG DW VÀ BI TẠI VNPOST 1.Khảo sát 1.1 Khảo sát liệu nguồn 1.2 Khảo sát báo cáo 2.Phân tích, thiết kế 2.1 Thiết kê kiến trúc tổng thể 2.2 Thiết kế CSDL chủ đề 2.3 Thiết kế CSDL EM 2.4 Thiết kế CSDL DSA 2.5 Thiết kế tiến trình ETL 2.5.1 ETL bảng danh mục 2.5.2 ETL bảng kiện 2.5.3 Thiết kế tầng Business Intelligence 3.Triển khai 3.1 Cài đặt hệ thống 3.2 Triển khai module ETL 3.2.1 Module ETL tổng hợp iii 3.2.2 ETL bảng danh mục D_POST 61 3.2.3 ETL bảng danh mục D_PRODUCTION 61 3.2.4 ETL bảng danh mục D_COST 62 3.2.5 ETL bảng kiện F_BCCP 62 3.2.6 ETL bảng kiện F_TCBC 63 3.2.7 ETL bảng kiện F_REVENUE 64 3.2.8 ETL bảng kiện F_COST 65 Kết 66 KẾT LUẬN 74 TÀI LIỆU THAM KHẢO 76 iv DANH SÁCH CÁC BẢNG Bảng 1: Thực trạng công nghệ phần mềm VNPOST 22 v DANH SÁCH CÁC HÌNH VẼ Hình 1: Đặc trưng Data Warehouse Hình 2: Lợi ích DW BI hỗ trợ định Hình 3: Mơ hình kiến trúc tổng thể Hình 4: CSDL hình Hình 5: CSDL hình bơng tuyết Hình 6: ERD Data Mart Doanh số 13 Hình 7: ERD Enterprise Model 15 Hình 8: Báo cáo mẫu tổng hợp cân đối kế hoạch SXKD tồn Tổng cơng ty 27 Hình 9: Báo cáo mẫu Sơ kết công tác tháng 28 Hình 10: Báo cáo mẫu Tình hình sản xuất kinh doanh khối HTPT 29 Hình 11: Kiến trúc tổng thể hệ thống VNPOST 29 Hình 12: Sơ đồ quan hệ CSDL chủ đề Sản lượng dịch vụ BCCP 31 Hình 13: Sơ đồ quan hệ CSDL chủ đề sản lượng dịch vụ TCBC 32 Hình 14: Sơ đồ quan hệ CSDL chủ đề doanh thu 33 Hình 15: Sơ đồ quan hệ CSDL chủ đề chi phí 34 Hình 16: Sơ đồ quan hệ CSDL EM 35 Hình 17: Luồng liệu bảng danh mục 37 Hình 18: Luồng liệu bảng kiện F_BCCP 42 Hình 19: Luồng liệu bảng kiện F_TCBC 45 Hình 20: Luồng liệu bảng kiện F_REVENUE 48 Hình 21: Luồng liệu bảng F_COST 53 Hình 22: Kết cài đặt hệ quản trị CSDL tầng Business Intelligence 59 Hình 20: Module ETL tổng hợp 60 Hình 21: Module ETL bảng danh mục D_POST 61 Hình 22: Load liệu từ file excel Danh sách tỉnh thành vào bảng DSA_D_POST 61 Hình 23: Module ETL bảng danh mục D_PRODUCTION 61 vi Hình 24: Load liệu từ file excel Danh sách dịch vụ vào bảng DSA_D_PRODUCTION 61 Hình 25: Module ETL bảng danh mục D_COST 62 Hình 26: Load liệu từ file excel Danh sách khoản chi phí vào bảng DSA_D_COST 62 Hình 27: Module ETL bảng kiện F_BCCP 62 Hình 28: Load liệu từ file excel Danh sách sản lượng dịch vụ BCCP vào bảng DSA_F_BCCP 63 Hình 29: Module ETL bảng kiện F_TCBC 63 Hình 30: Load liệu từ file excel Danh sách sản lượng dịch vụ TCBC vào bảng DSA_F_TCBC 63 Hình 31: Module ETL bảng kiện F_REVENUE 64 Hình 32: Load liệu từ file excel Kế hoạch doanh thu vào bảng TMP_REVENUE_PLAN 64 Hình 33: Load liệu từ file excel Doanh thu vào bảng TMP_REVENUE_PLAN 64 Hình 34: Module ETL bảng kiện F_COST 65 Hình 35: Load liệu từ file excel Kế hoạch doanh thu vào bảng TMP_COST_PLAN 65 Hình 36: Load liệu từ file excel Chi phí vào bảng TMP_COST_PLAN 65 Hình 37: Báo cáo doanh thu – dạng bảng biểu 66 Hình 38: Báo cáo sản lượng BCCP năm 2012 – dạng bảng biểu 67 Hình 39: Báo cáo sản lượng TCBC năm 2012 – dạng bảng biểu 69 Hình 40: Báo cáo doanh thu – dạng đồ thị 70 Hình 41: Báo cáo Top bưu điện tỉnh thành thực doanh thu 71 Hình 42: Báo cáo Bottom bưu điện tỉnh thành thực doanh thu 71 Hình 43: Báo cáo tình hình thực doanh thu – dạng dashboard 72 Hình 44: Báo cáo tình hình chi phí phát sinh – dạng dashboard 73 62 liệu thực cập nhật bảng D_PRODUCTION, đánh dấu trường liệu thay đổi 3.2.4 ETL bảng danh mục D_COST Module ETL bảng danh mục D_COST sau: Hình 28: Module ETL bảng danh mục D_COST - Truncate DSA_D_COST: chức thực xóa liệu bảng DSA_D_COST phiên ETL trước - Load data from excel to DSA_D_COST: ánh xạ 1:1 liệu từ file excel Danh sách khoản chi phí vào bảng DSA_D_COST: Hình 29: Load liệu từ file excel Danh sách khoản chi phí vào bảng DSA_D_COST - UPDATE D_COST: chức thực so sánh liệu hai bảng DSA_D_COST bảng D_COST, có khác biệt liệu thực cập nhật bảng D_COST, đánh dấu trường liệu thay đổi 3.2.5 ETL bảng kiện F_BCCP Module ETL bảng kiện F_BCCP sau: Hình 30: Module ETL bảng kiện F_BCCP - Truncate DSA_F_BCCP: chức thực xóa liệu bảng DSA_F_BCCP phiên ETL trước - Load data from excel to DSA_F_BCCP: ánh xạ 1:1 liệu từ file excel sản lượng dịch vụ BCCP vào bảng DSA_F_BCCP: 63 Hình 31: Load liệu từ file excel Danh sách sản lượng dịch vụ BCCP vào bảng DSA_F_BCCP - UPDATE FOREIGN KEY DSA_F_BCCP: chức cập nhật giá trị Foreign key bảng DSA_F_BCCP từ bảng danh mục - LOAD DATA TO F_BCCP: chức thực load liệu từ bảng DSA_F_BCCP vào bảng F_BCCP, lấy trường Primary Key, Foreign Key Measure 3.2.6 ETL bảng kiện F_TCBC Module ETL bảng kiện F_TCBC sau: Hình 32: Module ETL bảng kiện F_TCBC - Truncate DSA_F_TCBC: chức thực xóa liệu bảng DSA_F_TCBC phiên ETL trước - Load data from excel to DSA_F_TCBC: ánh xạ 1:1 liệu từ file excel sản lượng dịch vụ TCBC vào bảng DSA_F_TCBC: Hình 33: Load liệu từ file excel Danh sách sản lượng dịch vụ TCBC vào bảng DSA_F_TCBC - UPDATE FOREIGN KEY DSA_F_TCBC: chức cập nhật giá trị Foreign key bảng DSA_F_TCBC từ bảng danh mục - LOAD DATA TO F_TCBC: chức thực load liệu từ bảng DSA_F_TCBC vào bảng F_TCBC, lấy trường Primary Key, Foreign Key Measure 64 3.2.7 ETL bảng kiện F_REVENUE Module ETL bảng kiện F_REVENUE sau: Hình 34: Module ETL bảng kiện F_REVENUE - Truncate TMP, DSA: chức thực xóa liệu bảng TMP_REVENUE_PLAN, TMP_REVENUE phiên ETL trước - Load data from excel to TMP_REVENUE_PLAN: chức ánh xạ 1:1 liệu từ file excel Kế hoạch doanh thu vào bảng TMP_REVENUE_PLAN: Hình 35: Load liệu từ file excel Kế hoạch doanh thu vào bảng TMP_REVENUE_PLAN - Load data from excel to TMP_REVENUE_PLAN: chức ánh xạ 1:1 liệu từ file excel Doanh thu vào bảng TMP_REVENUE: Hình 36: Load liệu từ file excel Doanh thu vào bảng TMP_REVENUE_PLAN - Merge TMP tables to DSA_F_REVENUE: thực ghép liệu hai bảng TMP_REVENUE_PLAN TMP_REVENUE vào bảng DSA_F_REVENUE tính tốn trường so sánh thực tế doanh thu kế hoạch thực - Update FOREIGN KEY DSA_F_REVENUE: chức cập nhật giá trị Foreign key bảng DSA_F_REVENUE từ bảng danh mục - Load data to F_TCBC: chức thực load liệu từ bảng DSA_F_REVENUE vào bảng F_REVENUE, lấy trường Primary Key, Foreign Key Measure 65 3.2.8 ETL bảng kiện F_COST Module ETL bảng kiện F_COST sau: Hình 37: Module ETL bảng kiện F_COST - Truncate TMP, DSA: chức thực xóa liệu bảng TMP_COST_PLAN, TMP_COST phiên ETL trước - Load data from excel to TMP_COST_PLAN: chức ánh xạ 1:1 liệu từ file excel Kế hoạch chi phí vào bảng TMP_COST_PLAN: Hình 38: Load liệu từ file excel Kế hoạch doanh thu vào bảng TMP_COST_PLAN - Load data from excel to TMP_COST_PLAN: chức ánh xạ 1:1 liệu từ file excel Chi phí vào bảng TMP_COST: Hình 39: Load liệu từ file excel Chi phí vào bảng TMP_COST_PLAN - Merge TMP tables to DSA_F_COST: thực ghép liệu hai bảng TMP_COST_PLAN TMP_COST vào bảng DSA_F_COST tính tốn trường so sánh thực tế doanh thu kế hoạch thực - Update FOREIGN KEY DSA_F_COST: chức cập nhật giá trị Foreign key bảng DSA_F_COST từ bảng danh mục - Load data to F_TCBC: chức thực load liệu từ bảng DSA_F_COST vào bảng F_COST, lấy trường Primary Key, Foreign Key Measure 66 Kết Sau thời gian nghiên cứu phát triển, luận văn đạt kết sau đây: Hệ thống Data Warehouse: thiết kế xây dựng hệ thống Data Warehouse theo chủ đề: Sản lượng BCCP, TCBC, chủ đề Doanh thu, chủ đề Chi phí Tầng Business Intelligence: Xây dựng báo cáo thống kê, phân tích theo chủ đề Sản lượng BCCP, TCBC, chủ đề Doanh thu, chủ đề Chi phí: - Báo cáo doanh thu dịch vụ theo tháng: o Có thể xem chi tiết theo Loại dịch vụ theo bưu điện tỉnh thành o Báo cáo drill down chi tiết theo ngày roll up theo quý, năm Hình 40: Báo cáo doanh thu – dạng bảng biểu 67 - Báo cáo Tổng hợp sản lượng dịch vụ BCCP năm 2012: o Có thể xem chi tiết sản lượng loại dịch vụ BCCP theo bưu điện tỉnh thành xem chi tiết sản lượng dịch vụ loại dịch vụ BCCP o Báo cáo drill down chi tiết theo ngày roll up theo quý, năm Hình 41: Báo cáo sản lượng BCCP năm 2012 – dạng bảng biểu 68 Báo cáo tổng hợp sản lượng dịch vụ loại dịch vụ TCBC năm 2012: o Có thể xem sản lượng chi tiết theo Bưu điện tỉnh thành dịch vụ loại dịch vụ TCBC o Báo cáo drill down chi tiết theo ngày roll up theo thời gian, theo dịch vụ 69 Hình 42: Báo cáo sản lượng TCBC năm 2012 – dạng bảng biểu - Báo cáo dạng đồ thị thể doanh thu phát sinh doanh thu lũy kế theo thời gian o Có so sánh với kỳ năm trước Kế hoạch thực o Báo cáo xem chi tiết theo loại dịch vụ theo bưu điện tỉnh thành o Ngoài báo cáo drill down chi tiết theo ngày tháng, roll up theo quý, năm 70 Hình 43: Báo cáo doanh thu – dạng đồ thị 71 - Báo cáo Top 10 bưu điện tỉnh thành thực doanh thu Top 10 bưu điện tỉnh thành hồn thành kế hoạch năm Có thể xem báo cáo chi tiết theo Loại dịch vụ Hình 44: Báo cáo Top bưu điện tỉnh thành thực doanh thu - Báo cáo Bottom 10 bưu điện tỉnh thành thực doanh thu Bottom 10 bưu điện tỉnh thành hoàn thành kế hoạch năm Có thể xem báo cáo chi tiết theo Loại dịch vụ Hình 45: Báo cáo Bottom bưu điện tỉnh thành thực doanh thu 72 - Báo cáo dạng Dashboard Thực doanh thu Hình 46: Báo cáo tình hình thực doanh thu – dạng dashboard 73 - Báo cáo dạng dashboard phát sinh chi phí: Hình 47: Báo cáo tình hình chi phí phát sinh – dạng dashboard 74 KẾT LUẬN Luận văn tập trung nghiên cứu tìm hiểu lý thuyết Data Warehouse Business Intelligence, từ áp dụng vào xây dựng hệ thống Data Warehouse Business Intelligence ngành bưu Tổng cơng ty Bưu điện Việt Nam Về mặt nội dung, luận văn đạt kết sau: - Tìm hiểu khái niệm Data Warehouse Business Intelligence - Tìm hiểu nguyên lý thiết kế Data Warehouse Business Intelligence - Khảo sát trạng hệ thống thông tin, nhu cầu xây dựng hệ thống Data Warehouse Business Intelligence ngành bưu Tổng cơng ty Bưu điện Việt Nam - Khảo sát liệu nguồn, báo cáo từ đưa phân tích, thiết kế triển khai hệ thống Data Warehouse Business Intelligence phạm vi chủ đề Sản lượng dịch vụ BCCP, dịch vụ TCBC, chủ đề Doanh thu, chủ đề Chi phí phạm vi Tổng cơng ty - Xây dựng báo cáo thống kê, phân tích theo chủ đề Do Data Warehouse Business Intelligence phạm vi rộng lớn phải triển khai thời gian dài, nên luận văn cịn điểm hạn chế sau: - Quy mơ liệu dừng lại liệu năm 2011, 2012 Do tiến trình ETL dừng lại phạm vi load liệu lần đầu mà chưa thực ETL liệu ngày - Phạm vi thực dừng lại quy mô Tổng cơng ty với số phịng ban, chưa mở rộng phạm vi toàn hệ thống - Phạm vi thực dừng lại số chủ đề trọng tâm Tổng cơng ty doanh thu, chi phí hai dịch vụ BCCP TCBC Đề tài xây dựng hệ thống Data Warehouse Business Intelligence áp dụng ngành bưu Tổng cơng ty Bưu điện Việt Nam đạt kế tốt, khả quan Trong thời gian tới, nghiên cứu phát triển đề tài là: - Xây dựng Hệ thống Data Warehouse Business Intelligence áp dụng cho toàn ngành - Xây dựng hệ thống Data Warehouse Business Intelligence áp dụng cho tất chủ đề ngành bưu - Xây dựng hệ thống Data Warehouse Business Intelligence với liệu thời gian thực 75 - Sử dụng công cụ khai thác phân tích liệu trực tuyến OLAP hỗ trợ trình định - Sử dụng ứng dụng khai phá liệu để quản lý chăm sóc khách hàng hỗ trợ định đắn 76 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Văn Trung, Thiết kế triển khai kho liệu khách hàng sử dụng dịch vụ viễn thơng Tổng cơng ty Bưu Viễn thơng Việt Nam (VNPT), Luận cao học, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, 2008 Tiếng Anh: [2] Fon Silvers, Building and Maintaining a Data Warehouse, 2008, pp 11-42 [3] W H Inmon, Building the Data Warehouse, Fourth Edition, 2005, pp 71-136 [4] Ralph Kimball, Margy Ross, The Data Warehouse Toolkit, Third Edition, 2013, pp 37-68 [5] http://bi-insider.com/portfolio/benefits-of-a-data-warehouse/ ... công ty lãnh đạo đơn vị thành viên Tổng công ty Bưu điện Việt Nam Mục tiêu toán Bài toán xây dựng hệ thống Data Warehouse Business Intelligence ứng dụng ngành bưu Tổng công ty Bưu điện Việt Nam. .. CÔNG NGHỆ TRẦN THỊ GIANG XÂY DỰNG HỆ THỐNG DATA WAREHOUSE VÀ BUSINESS INTELLIGENCE ỨNG DỤNG TRONG NGÀNH BƢU CHÍNH CỦA TỔNG CƠNG TY BƢU ĐIỆN VIỆT NAM Ngành: Cơng nghệ thông tin Chuyên ngành: Hệ. .. logic hệ thống DW BI Chƣơng 2: Bài toán xây dựng hệ thống DW BI VNPOST Luận văn đề cập đến trạng ngành bưu chính, hệ thống thông tin công tác lập báo cáo tổng hợp Tổng công ty Bưu điện Việt Nam