Xây dựng kho dữ liệu quản lý giá hàng hóa, dịch vụ thị trường và phân tích diễn biến chỉ số giá tiêu dùng,khoá luận tốt nghiệp

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHÓA LUÂN TỐT NGHIEP ĐAI HỌC TÊN ĐỀ TÀI: “ XÂY DỰNG KHO DỮ LIỆU QUẢN LÝ GIÁ HÀNG HĨA, DỊCH VỤ THỊ TRƯỜNG VÀ PHÂN TÍCH DIỄN BIẾN CH Ỉ SỐ GIÁ TIÊU DÙNG” TRẦN THỊ PHƯỢNG HÀ NỘI, NĂM 2019 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ KHĨA LN TỐT NGHIEP ĐAI HỌC TÊN ĐỀ TÀI: “ XÂY DỰNG KHO DỮ LIỆU QUẢN LÝ GIÁ HÀNG HÓA, DỊCH VỤ THỊ TRƯỜNG VÀ PHÂN TÍCH DIỄN BIẾN CH Ỉ SỐ GIÁ TIÊU DÙNG” Giảng viên hướng dẫn : ThS Ngô Thùy Linh Sinh viên thực : Trần Thị Phượng Mã sinh viên : 18A4040171 Lớp : HTTTA Khóa : 18 Hệ : Đại học quy Hà Nội, tháng 5/2019 Khóa luận tốt nghiệp Xây dựng Data warehouse NHẬN XÉT (Của giảng viên hướng dẫn) - mục đích đề tài nghiên cứu: Nghiên cứu Kho Dữ liệu để quản lý giá hàng hố, dịch vụ thị trường phân tích diễn biến số giá tiêu dùng cho Bộ Tài - tính thời ứng dụng đề tài: Xây dựng Kho liệu giúp tổ chức doanh nghiệp tích hợp liệu từ nhiều nguồn khác nhau, có khả lưu trữ liệu lớn, cho phép chuẩn hố liệu, cung cấp nhìn liệu theo chủ đề cách thống nhằm đáp ứng nhu cầu thông tin người sử dụng Giúp cho tổ chức doanh nghiệp, xác định quản lý điều hành, định cách hiệu xác Việc lựa chọn đề tài xây dựng kho liệu để quản lý giá hàng hoá, dịch vụ thị trường tỉnh nước giúp Bộ Tài quản lý diễn biến giá tỉnh thành hiệu định tốt hơn, đảm bảo tính thời ứng dụng tốt - Bố cục hình thức trình bày đề tài: Đề tài có bố cục chặt chẽ gồm 03 chương Khố luận trình bày khoa học, rõ ràng mạch lạc logic Các bảng biểu, sơ đồ trình bày theo quy cách theo hướng dẫn trình bày luận văn Học viện Ngân hàng Khoa Hệ thống Thông tin Quản lý - Kết thực đề tài: Sinh viên hồn thành khố luận với kết đạt được: + Phân tích thực trạng tốn quản lý giá hàng hoá, dịch vụ thị trường Bộ Tài chưa triển khai Kho liệu + Tổng quan lý thuyết Kho liệu nói chung cơng cụ báo cáo, phân tích nghiệp vụ phận sử dụng BI Cục quản lý giá + Triển khai xây dựng Kho liệu quản lý giá, hàng hoá dịch vụ tập trung vào số giá tiêu dừng CPI Và khoá luận đưa số báo cáo CPI phục Ngô Thuỳ Linh Trần Thị Phượng - K18HTTTA Khóa luận tốt nghiệp Xây dựng Data warehouse LỜI CẢM ƠN Em xin gửi lời cảm ơn tới toàn thể Giảng viên Học viện Ngân hàng, đặc biệt thầy cô giáo khoa Hệ thống thông tin quản lý tận tâm giảng dạy truyền đạt cho em kiến thức bổ ích suốt bốn năm học trường Em xin bày tỏ lòng biết ơn chân thành sâu sắc tới ThS Ngô Thùy Linh - Giảng viên Khoa Hệ thống Thông tin Quản lý - Học viện Ngân hàng trực tiếp định hướng, tận tâm hướng dẫn, giúp đỡ em suốt thời gian hồn thành khóa luận Em xin chân thành cảm ơn Ban giám đốc Công ty TNHH HiPT phần mềm cho phép tạo điều kiện thuận lợi để em hồn thành tốt công việc thực tập công ty Bên cạnh đó, em muốn gửi lời cảm ơn chân thành tới anh, chị phòng Phát triển sản phẩm tạo điều kiện giúp đỡ em trình thực tập cơng ty cung cấp liệu để em hồn thành khóa luận tốt nghiệp Em cố gắng hồn thiện khóa luận với tất nỗ lực thân Tuy nhiên trình độ kiến thức, lý luận kinh nghiệm thực tiễn em hạn chế, nên chắn khóa luận khơng tránh khỏi thiếu sót Vì vậy, em mong nhận quan tâm, ý kiến đóng góp thầy để khóa luận em hồn thiện Em xin trân trọng cảm ơn! Trần Thị Phượng - K18HTTTA i Khóa luận tốt nghiệp Xây dựng Data warehouse LỜI CAM ĐOAN Em xin cam đoan kết đạt báo cáo sản phẩm nghiên cứu, tìm hiểu riêng cá nhân em Trong toàn nội dung báo cáo, điều trình bày cá nhân em tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Em xin chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan SINH VIÊN THỰC HIỆN Trần Thị Phượng Trần Thị Phượng - K18HTTTA ii Khóa luận tốt nghiệp Xây dựng Data warehouse MỤC LỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN NGHIÊN CỨU 1.1 Giới thiệu đơn vị thực tập 1.1.1 Sự hình thành phát triển 1.1.2 Lĩnh vực kinh doanh 1.1.3 Bộ máy tổ chức 1.1.4 Khách hàng HiPT 1.1.5 Những thuận lợi khó khăn triển khai dự án đơn vị thực tập 1.2 Giới thiệu Bộ Tài 1.2.1 Giới thiệu chung 1.2.2 Cơ cấu tổ chức 1.3.Giới thiệu toán 10 1.3.1 Thực trạng toán 10 1.3.2 Yêu cầu toán 12 1.3.3 Mục đích ý nghĩa thực tiễn 14 KẾT LUẬN CHƯƠNG 16 CHƯƠNG 2: TỔNG QUAN VỀ KHO DỮ LIỆU VÀ CÔNG CỤ BÁO CÁO 17 2.1 Tổng quan kho liệu 17 2.1.1 Lịch sử hình thành 17 2.1.2 Khái niệm kho liệu 17 2.1.3 Đặc điểm kho liệu 18 2.1.4 Mục đích 19 2.1.5 Lợi ích .19 2.1.6 Mơ hình liệu Data warehouse 20 2.1.7 Kiến trúc tổng thể Data warehouse 22 2.2 Giới thiệu ETL 24 2.2.1 Hệ thống ETL 24 2.2.2 Khái niệm ETL 25 2.2.3 Mục đích ETL 25 2.2.4 Mơ hình ETL 26 2.3 Công cụ hỗ trợ tạo báo cáo 27 2.3.1 Công cụ PivotTable 27 2.3.2 Công cụ Devexpress ngôn ngữ C# 28 2.4 Phân tích nghiệp vụ người sử dụng BI 28 2.4.1 X ác định nghiệp vụ phận Cục quản lý giá 29 2.4.2 Ph iii Trần Thị Phượng - K18HTTTA Khóa luận tốt nghiệp Xây dựng Data warehouse MỤC CÁC CHỮ VIẾT TẮT KẾT LUẬN CHƯƠNGDANH 33 CHƯƠNG 3: TRIỂN KHAI VÀ XÂY DỰNG KHO DỮ LIỆU 34 3.1 Các thủ tục thu thập liệu giá địa phương 34 3.1.1 Quy trình thu thập thơng tin giá thị trường hàng hóa, dịch vụ, giá đăng ký, kê khai 34 3.1.2 Nguyên tắc thu thập thông tin giá thị trường hàng hóa, dịch vụ 35 3.1.3 Các quan, tổ chức, doanh nghiệp báo cáo giá thị trường hàng hóa, đăng ký kê khai giá 35 3.1.4 Danh mục hàng hóa, dịch vụ báo cáo giá 36 3.1.5 Phương thức gửi báo cáo giá 37 3.2 Xây dựng kho liệu 38 3.2.1 Nguyên tắc thiết kế bảng chiều 38 3.2.2 Nguyên tắc thiết kế bảng Fact 40 3.2.3 Đặc tả kho liệu 42 3.3 Xây dựng Data mart .48 3.3.1 Hàng hóa dịch vụ thị trường 49 3.3.2 Hàng hóa dịch vụ kê khai 53 3.3.3 Hàng hóa dịch .vụ đăng ký 57 3.3.4 Hàng hóa dịch .vụ xuất nhập 61 3.5 Chỉ số tiêu dùng - CPI 63 3.4 Kiến trúc hệ thống 66 3.4.1 .Mô tả kiến trúc hệ thống 66 3.4.2 .Mơ tả quy trình hệ thống 67 3.5 .Khai thác liệu xây dựng báo cáo 72 Từ viết tắt HiPT 3.5.1 .Xây dựng báo cáo CPI 72 3.5.2 .Phương pháp tính số giá tiêu dùng 72 3.5.3 Danh mục mặt hàng đại diện 72 3.5.4 .Quy Tên đầy đủ Ý nghĩa HiPTThị Phượng - K18HTTT A Trần Cơng ty cổ phần tập đồn HiPT iv CSDL Cơ sở liệu Cơ sở liệu DW Data warehouse Kho liệu DM Data mart Data mart CNTT Công nghệ thông tin Công nghệ thông tin TNHH Trách nhiệm hữu hạn Trách nhiệm hữu hạn BI Business Intelligent Kinh doanh thông minh BTC Bộ Tài Bộ Tài THTK Cục Tin học Thống kê tài Cục Tin học Thống kê tài OLTP Online Transaction Processing Xử lý giao dịch trực truyền ETL Extract, Transform and Load Trích xuất, Chuyển đổi, Truyền tải DB Database Cơ sở liệu DDS Dimensional data store Mảng liệu đa chiều DQ Data quality Kiểm tra chất lượng MDB Multidimensional Database Cơ sở liệu đa chiều Fact Fact Bảng kiện Dimension Dimension CPI Consumer Price Index Bảng chiều Chỉ số giá tiêu dùng Trần Thị Phượng - K18HTTTA v TEN_DON_VI_TINH TEN_NGUON_DU_LIEU Khóa luận tốt nghiệp VARCHAR2(500 BYTE) Tên đơn vị tính VARCHAR2(500 BYTE) Xây Tên nguồn dữwarehouse liệu dựng Data TEN_DOANH_NGHIEP VARCHAR2(200 BYTE) Tên doanh nghiệp TEN_DIA_BAN VARCHAR2(500 BYTE) Tên địa bàn TEN_QUOC_GIA VARCHAR2(500 BYTE) Tên quốc gia TEN_THOI_GIAN VARCHAR2(500 BYTE) Tên thời gian TEN_PHAN_LOAI_GIA VARCHAR2(500 BYTE) Tên phân loại giá TEN_LOAI_GIA VARCHAR2(500 BYTE) Tên loại giá TEN_KY_BAO_CAO VARCHAR2(500 BYTE) Tên kỳ báo cáo TEN_DIEM_GIAO_DICH TEN_THI_TRUONG_HHDV TEN_GHI_CHU NVARCHAR2(1000 CHAR) NVARCHAR2(1000 CHAR) NVARCHAR2(2000 CHAR) Tên điêm giao dịch Tên thị trường hàng hóa dịch vụ Tên ghi TRANG_THAI VARCHAR2(1 BYTE) Trạng thái NGAY_CAP_NHAT TIMESTAMP(6) Ngày cập nhật HANG_HOA_XNK_ID NUMBER MA_HANG_HOA_XNK VARCHAR2(100 BYTE) Mã hàng hóa xuất nhập TEN_HANG_HOA_XNK VARCHAR2(500 BYTE) Tên hàng hóa xuất nhập LOAI_SO_LIEU_ID NUMBER(38,0) Mã loại số liệu TEN_LOAI_SO_LIEU VARCHAR2(500 BYTE) Tên loại số liệu THOI_GIAN_BC_1_ID NUMBER Mã thời gian báo cáo THOI_GIAN_BC_2_ID THOI_GIAN_BC_NAM NUMBER VARCHAR2(4 BYTE) Mã thời gian báo cáo Thời gian báo cáo năm PHIEN_TONGHOP_ID NUMBER Mã phiên tổng hợp LOAI_XNK VARCHAR2(1 BYTE) Mã hàng hóa xuất nhập Loại xuất nhập CHI_NHANH_ID NUMBER(38,0) Mã chi nhánh KHO_ID NUMBER(38,0) Mã kho DOI_TUONG_AP_DUNG_ID NUMBER(38,0) Mã đối tượng áp dụng HINH_THUC_THANH_TOAN_ID NUMBER(38,0) Mã hình thức tốn TEN_CHI_NHANH VARCHAR2(500 BYTE) Tên chi nhánh Trần Thị Phượng - K18HTTTA 59 TEN_KHO VARCHAR2(500 BYTE) Khóa luận tốt nghiệp TEN_DOI_TUONG_AP_DUNG dựng VARCHAR2(500 BYTE) Xây Tên đối Data tượngwarehouse áp dụng TEN_HINH_THUC_THANH_TOAN VARCHAR2(500 BYTE) Bảng chiều Tên kho Tên hình thức tốn Tên bảng D_DON_VI_TINH Ý nghĩa Đối với nhóm hàng hóa, dịch vụ khác nhau, tùy loại có đơn vị tính khác VD: liều, đồng/kg 3.3.4 Hàng hóa dịch vụlít, xuất nhập D_HANG_HOA_XNK Thơng tin mã hàng hóa XNK, tên hàng hóa D-DON-VI-TINH * XNK ⅛ DON VI TINHJD Bảng kiện D_QUOC_GIA Thông tin Quốc gia áp dụng giá xuất nhập TEN-DON-VIJTNH DON-VI D-HANG-HOA-XNK * F_HHDV_XNK Bảng tổng hợp thông tin từ chiều chứa số liệu hàng hóa dịch vụ thị trường tương ứng ⅛ HANG.HOA.XNK.ID MA-HANG-HOA-XNK LOAI.DON_VI_TINH.ID TEN-HANG-HOA-XNK F-HHDV-XNK* DON-VI-TINH-ID HANG-HOA-XNK-ID NHOM-HANG-HOA- MA.HANG.HOA.XNK ID-CHAJ TEN-HANG-HOA-XNK TEN-CHAJ ? QUOC-GIA-ID TEN-QUOC-GIA DON-VI-TINH-ID TEN-DON-VI-TINH LOAI-XNK QUOC.GIA.ID TEN-QUOC-GIA TU-NGAY DEN-NGAY TRI-GIA-USD MO-TA-HH Hình 3.6: Mơ hình Physical Data Model Data mart hàng hóa dịch vụ XNK Bao gồm bảng kiện bảng chiều: Trần Thị Phượng - K18HTTTA 60 Thuộc tính Tên kiểu giá trị Khóa luận tốt nghiệp QUOC_GIA_ID NUMBER Ý nghĩa Xây dựng Data warehouse Quốc gia ID Bảng chiều (Dimension): MA_QUOC_GIA VARCHAR2(100 BYTE) Mã quốc giá Bảng 3.16: Bảng D_QUOC_GIA TEN_QUOC_GIA VARCHAR2(500 BYTE) Thuộc tính Tên quốc gia Tên kiểu giá trị F_HHDV_XNK_ID NUMBER HANG_HOA_XNK_ID NUMBER MA_HANG_HOA_XNK VARCHAR2(100 BYTE) Bảng kiện (Fact):VARCHAR2(4000 BYTE) TEN_HANG_HOA_XNK Ý nghĩa F hàng hóa xuất nhập ID Hàng hóa xuất nhập ID Mã hàng hóa xuất Tên hàng hóa DON_VI_TINH_ID TEN_DON_VI_TINH LOAI_XNK QUOC_GIA_ID TEN_QUOC_GIA Bảng 3.17: Bảng FHHD VXNK xuất NUMBER Mã đơn vị tính VARCHAR2(4000 BYTE) Tên đơn vị tính VARCHAR2(1 BYTE) Loại xuất nhập NUMBER Mã quốc gia VARCHAR2(500 BYTE) Tên quốc giá TU_NGAY DEN_NGAY DATE DATE Từ ngày Đến ngày TRI_GIA_USD NUMBER Trị giá USD MO_TA_HH MAU_BIEU_THU_THAP_ID XUAT_NHAP_KHAU_CT_ID TONG_LUONG KIM_NGACH VARCHAR2(4000 BYTE) NUMBER NUMBER(38,0) NUMBER NUMBER Mơ tả hàng hóa Mã mẫu biểu thu thập Xuất nhập CT Tổng lượng Kim ngạch xuất Đặc tả Data mart Trần Thị Phượng - K18HTTTA 61