Triển khai kho dữ liệu và tạo báo cáo cho công ty TNHH một thành viên nhập khẩu korea,khoá luận tốt nghiệp

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC TRIỂN KHAI KHO DỮ LIỆU VÀ TẠO BÁO CÁO CHO CÔNG TY TNHH MỘT THÀNH VIÊN NHẬP KHAU KOREA LÝ THANH BÌNH HÀ NỘI, NĂM 2020 HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THƠNG TIN QUẢN LÝ KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC TRIEN KHAI KHO DỮ LIỆU VÀ TẠO BÁO CÁO CHO CÔNG TY TNHH MỘT THÀNH VIÊN NHẬP KHAU KOREA Giáo viên hướng dẫn: Sinh viên thực hiện: ThS Giang Thị Thu Huyền Lý Thanh Bình Mã sinh viên: 19A4040015 Lớp: K19HTTTC Khóa: Hệ: K19 Đại học quy Hà Nội, tháng 6/2020 LỜI CẢM ƠN Em xin cảm ơn tất thầy cô Giảng viên Học viện Ngân hàng, đặc biệt thầy cô khoa Hệ thống thông tin quản lý tận tâm giảng dạy cung cấp kiến thức hữu ích cho sinh viên chúng em suốt năm ngồi ghế nhà trường Em xin chân thành cảm ơn Ths Giang Thị Thu Huyền - Giảng viên Khoa Hệ thống thông tin quản lý - Học viện Ngân hàng, cô giúp đỡ em nhiều đề tài trình học tập Và cuối em muốn cảm ơn gia đình bạn bè ủng hộ, động viên em suốt q trình làm khóa luận Bài khóa luận hồn thành với tất cố gắng nỗ lực thân em Tuy nhiên, chưa có nhiều kinh nghiệm thời gian hạn hẹp, đề tài chắn không tránh khỏi thiếu sót Do đó, em mong chờ nhận xét, đánh giá đóng góp ý kiến thầy để em hồn thiện tốt khóa luận Em xin chân thành cảm ơn! Sinh viên thực Lý Thanh Bình LỜI CAM KẾT Em xin cam kết thành luận sản phẩm nghiên cứu riêng em Nội dung trình bày báo cáo cá nhân em em tham khảo từ nhiều nguồn khác Tất tài liệu em tham khảo trích dẫn nguồn gốc rõ ràng hợp pháp Em xin chịu trách nhiệm chịu hình thức kỷ luật theo quy định lời cam kết SINH VIÊN THỰC HIỆN Lý Thanh Bình NHẬN XÉT (Của giáo viên hướng dẫn) Kết luận: Hà Nội, ngày tháng năm 2020 Giáo viên hướng dẫn (Ký tên) MỤC LỤC MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN 1.1 Giới thiệu đơn vị thực tập 1.1.1 Sự hình thành phát triển 1.1.2 Bộ máy tổ chức 1.1.3 Các sản phẩm dịch vụ doanh nghiệp 1.2 Giới thiệu toán lý lựa chọn đề tài 1.3 Phạm vi mục tiêu đề tài 1.3.1 Mục tiêu 1.3.2 Phạm vi đề tài CHƯƠNG 2: TRIỂN KHAI KHO DỮ LIỆU VÀ TẠO BÁO CÁO CHO CÔNG TY TNHH MỘT THÀNH VIÊN NHẬP KHẨU KOREA 2.1 Tìm hiểu Kho liệu 2.1.1 Định nghĩa kho liệu 2.1.2 Các đặc trưng kho liệu 2.1.3 Kiến trúc kho liệu 2.1.4 Các dạng mơ hình kho liệu 13 2.1.5 Xu hướng kho liệu tương lai .14 2.2 SQL Server Integration Service(SSIS), SQL Server Analysis Service(SSAS), SQL Server Report Service - Report Builder 15 2.2.1 SQL Server Integration Service (SSIS) 15 2.2.2 SQL Server Analysis Service(SSAS) 17 2.2.3 SQL 19 Server Report Service - Report Builder 21 i 2.3 Xây dựng CSDL cho MỤC kho CÁC liệu côngVIẾT cụ SSIS .22 DANH CHỮ TẮT 2.3.1 Hệ thống nguồn 22 2.3.2 Cơ cở liệu đích 30 2.3.3 Thực tạo sở liệu cho Kho liệu công cụ SSIS 36 2.4 Sử dụng SSIS thực xây dựng tiến trình ETL (Extract - Tranform Load) 42 2.4.1 Mô tả chung 42 2.4.2 Ánh xạ liệu cho chiều 42 2.5 Sử dụng SSAS xây dựng sở liệu đa chiều .53 2.6 Xây dựng báo cáo Demo Report Builder 57 CHƯƠNG 3: TỔNG KẾT 62 3.1 Kiểm thử quy trình ETL 62 3.1.1 Kiểm thử quy trình tạo Kho liệu 62 3.1.2 Kiểm thử quy trình Trích xuất nạp giữ liệu vào Kho liệu 63 3.2 Đánh giá báo cáo thực 64 KẾT LUẬN 66 STT TÀI LIỆU THAM KHẢO 67 Từ viết tắt Chú thích DWH Data WareHouse SSIS SQL Server Integration Service SSAS SQL Server Analysis Service SSRS SQL Server Reporting Service SQL Ngôn ngữ lập trình chuẩn hóa để quản trị sở liệu PL/SQL Ngơn ngữ lập trình hướng thủ tục sử dụng cho SQL Server ii CSDL Cơ sở liệu ETL Trích xuất, biển đổi, tải (Extract - Transform Load) MDX Ngôn ngữ truy vấn sở liệu nhiều chiều (Multi Dimensional eXpressions) iii Khóa luận tôt nghiệp , b.ProductID , a.CustomerID , dbo.Shippers.ShipperID , dbo.City.CityID , a.OrderDate , CONVERT (char(8),a.OrderDate,112) AS OrderDateKey , DATEDIFF(DAY, a.OrderDate, a.ShippedDate) AS NumberOfShip , b.UnitPrice , b.Quantity , b.Discount FROM dbo.orders AS a INNER JOIN dbo.Shippers ON a.ShipperID = dbo.Shippers.ShipperID INNER JOIN dbo.City ON a.ShipCity = dbo.City.CityID LEFT OUTER JOIN dbo.[Order Details] AS b ON a.orderID = b.OrderID WHERE a.orderID NOT IN (SELECT MaDonHang FROM dw_Sales.dbo.FactSale) Lý Thanh Bình - K19HTTTC bảng kiện FactSale với điều kiện mã đơn hàng (OrderIDMaDonHang) chưa tồn bảng FactSale Trang 52 2.6 Sử dụng SSAS xây dựng sở liệu đa chiều Kho liệu chủ đề tổng hợp bán hàng hình 24 Lý Thanh Bình - K19HTTTC Trang 53 Khóa luận tơt nghiệp Hình 24: Kho liệu chủ đề bán hàng Các bước thực hiện: Bước 1: Mở Visual Studio chọn New Project chọn Templates Analysis Services Multidimensional and Data Mining Project, đặt tên Project Click chọn Create Bước 2: Cửa sổ làm việc lên, Tab Solution Explorer Click chuột phải vào DataSources chọn tạo DataSources, cửa sổ Data Source Wizard chọn New Connection kết nối tới Kho liệu vừa dựng, Finish Bước 3: Cũng tab Solution Explorer click chuột phải chọn DataSourceViews, chọn Lý Thanh Bình - K19HTTTC Trang 54 Khóa luận tơt nghiệp DimKhachHang, DimKhuVuc, DimNhanVien, DimSanPham, DimVanChuyen, cuối bảng FactSale, sau đặt tên cho DataSourceView Finish Hình 25: Chọn bảng vào DataSourceViews Bước 4: Chuột phải vào Cubes để tạo khối đa chiều từ bảng FactSale, chọn bảng FactSale làm Measure group tables, chọn Measure cần, chọn next, đặt tên Cubes kết thúc Hình 26: Tạo khơi liệu đa chiều Cubes Lý Thanh Bình - K19HTTTC Trang 55 Khóa luận tơt nghiệp Bước 5: Sau tạo Cubes tự động bảng chiều thêm vào Dimensions, click đúp vào bảng Dim, ta kéo trường cần thiết sang mục Attributes Bước 6: Để thêm Measure thống kê, tab Cube Structure Cubes vừa tạo, chọn loại thống kê, trường cần thống kê Ví dụ ta cần thống kê số lượng đơn đặt hàng, số lượng khách hàng, số loại sản phẩm ta chọn loại thống kê Distinct count chọn trường MaDonHang, Customer_Key, Product_Key ¢1 SalesCube E [ill] FactSaIe ill Ma Don Hang ill Don Gla Ban ill So Luong ill ChietKhau ill IongIien □ [ill] Dem so đon hàng □ [ill] Dem so khách hàng □ [ill] Dem so loại sán phẩm ill Ma Don Hang Distinct Count ill Customer Key Distinct Count ill PiocluctKeyDistinctCount Hình 27: Kết sau thơng kê Kết thúc ta click chuột phải vào tên Project chọn Deploy để thực thi tạo Cubes vào SQL Server Mở SQL Server Management Studio đăng nhập vào máy chủ Analysis để xác nhận khối liệu đa chiều Cubes tạo thành công B Cỏ DESKTOP-J2SJ2D5∖TRANING2020 (Microsoft Analysis Server 12.0.6024.0 - DESKTOP-J2SJ2D B O Databases B ιj⅛ Cubes_12_06 + O Data Sources S LJ Data SourceViews B I ^1 Cubes B J SaIesCube B O MeasureGroups B [ιag] Đêm sõ đơn hàng [mi] Đêm sõ khách hàng El [ml] Đêm sõ loại sản phẩm B [idU] Fact Sale O Dimensions + O Mining Structures □ Roles + O Assemblies BO Assemblies Lý Thanh Bình - K19HTTTC Trang 56 Khóa luận tơt nghiệp Hình 28:[Nam].[Nam].ALLMEMBERS Khôi liệu đa chiều SQL Server [Dim Date] * [Dim Date].[Quy].[Quy].ALLMEMBERS * báo [DimcáoDate].[Thang].[Thang].ALLMEMBERS ) } ON ROWS 2.6 Xây dựng Demo Report Builder FROM ( SELECT ( [Dim Date].[Date Key].&[20190101] : [Dim Report Builder phần mềm Microsoft phát triển để Date].[Date chuyên tạo dựng Key].&[20200101] ) ON COLUMNS cáo cáo SQL Server Report Service có nhiều chức định dạng FROM [Dw Sales]) báo cáo Để tạo báo cáo, ta thực sau: Bước 1: Mở Report Builder chọn kết nối DataSource tới máy chủ Analysis chọn Database ta vừaTong tạoTienbằng SSAS Đồ uống Đồ uống Đồ uống Đồ uống Đồ uống Đồ uống Do uống Đồ uống Đồ uống Gia vị Gia vị Gia vị Gia vị Gia vị Gia vị □ □D 2013 BEE BBB BBE BBE BEE BEE BEE BEE BEE BEE BBE ỊBOEB BBE 10467242 0 18341637 12134887 21338020 12608600 15133770 57573371 64343076 46566260 61440015 15147800 60533360 15533678 53340750 112356507 Hình 29: Tạo DataSource cho báo cáo Bước : Tạo DataSets, ta tạo Dataset giao diện truy vấn MDX, dùng câu lệnh truy vấn MDX để lấy thông tin doanh thu từ nhóm hàng năm 2019, ta gán trường tổng tiền vào cột Tên nhóm hàng, Tháng, Q , Năm gán vào dịng với điều kiện thời gian từ 01-01-2019 đến trước ngày 01-01-2020, câu lện MDX kết hiển thị SELECT NON EMPTY { [Measures].[Tong Tien] } ON COLUMNS , NON EMPTY { ([Dim San Pham].[Ten Nhom Hang].[Ten Nhom Lý Thanh Bình - K19HTTTC Trang 57 Hình 30: Kết truy vấn MDX Bước 3: Để tạo bảng liệu ta chuột phải lên hình làm việc chọn insert > table, sau tạo bảng sau Hình 31: Bảng liệu báo cáo Bước 4: Để tạo biểu đồ, ta chuốt phải hình làm việc chọn insert > chart, sau chọn loại biểu đồ cần dùng, ta dùng biểu đồ Line with Markers, biểu đồ 3D Exploded Pie Bước 5: Với biểu đồ đường ta kéo Tong Tien vào ô Values, kéo trường Quy vào ô Category Group ô Series Groups ta đưa TenNhomHang vào Với biểu đồ trịn Lý Thanh Bình - K19HTTTC Trang 58 Khóa luận tôt nghiệp ta kéo Tong tien Ten Nhom Hang vào ô để xem tỷ lệ doanh thu nhóm hàng năm 2019 Bước 6: Sau hoàn thiện báo cáo, ta chọn File > Options điền tên server SSRS vào mục Report server Sau Upload thành công lên Server Reporting Services ta xem báo cáo trực tiếp web Hình 32: Báo cáo Doanh thu loại nhóm hàng năm 2019 Lý Thanh Bình - K19HTTTC Trang 59 Khóa Khóa luận luận tơt tơt nghiệp nghiệp Doanh thu theo khu vực Vlai Kieu Loan 180796284 901230858 Xlguyen Anh Tuấn ’hạm Thị Thu Trang H TỔ kinh doanh Borl Michael ưiing Tỉnh □ Bac Trung Bộ Số lame lượng khách Steven hàng Ngo Quốc Tồn □ Đơng sơng cửu Long _Ễ Hồng Liem □ Đồng sông Hồng duyên hải Đông Bac 13334174 13 290682107.5 1673492628 540444110 380926000 384478350 947627616 366287880 661809305.5 509566496 829240310.5 99518240 1123102132 1175878011.5 1762208819 126078007 340258550 278169405 229898511.5 409914279 345027830 Số lượng hàng 11634032 bán 1806 533814249 651204347.5 620 30 330186217.5 13140 Xlguyen Ngọc Tháo √U Thi Huệ 800 Tổng doanh thu 315104715 (VND) 1025233 681919410 779447782 3195445524 1418577597.5 605720950 1074125135 564055655.5 392895752 1078452863 1445930972 371270428 7814368172.5 327077020 436459097 382156785.5 613701157 8321630 46892400 237801830 245892827.5 369219057.5 395770718 6403585315 3500000000 □ Đông Nam Bộ 3000000000 □ Duyên hải Nam Trung Bộ α Tây Nguyên 2500000000 □ Trung du miền núi phía Bắc rồng 2000000000 33 9319 5738723326 ĩĩ 221Ỉ 1156818212 619 398429000 800 379865355 88 28523 16906333617.5 1500000000 1000000000 500000000 Hình 33: Báo cáo Doanh thu theo nhân viên qua quý năm 2019 Lý Thanh Bình - K19HTTTC Trang 60 BacTrung Bộ DongbangsongCduLong Đồng bang sơng Hồng dun KaiDongBac Địng Nam Bộ Duyên hãi Nam Trung Bộ Tây Nguyên Trung du miền núi phía Bắc Hình 34: Doanh thu theo khu vực năm 2019 KẾT LUẬN CHƯƠNG Chương bao gồm nội dung sau: Tìm hiểu liệu hệ thống, xác định yêu cầu, thiết kế mô hình kho liệu dựa vào liệu hệ thống nguồn với yêu cầu phân tích, thiết kế tiến trình ETL cơng cụ SQL Server Integration Service để chuyển liệu từ nguồn vào hệ thống Kho liệu, sử dụng công cụ SQL Server Analysis Service để xây dựng sở liệu đa chiều, sử dụng công cụ Report Builder để tạo dựng lên báo cáo mẫu cho cơng ty Lý Thanh Bình - K19HTTTC Trang 61 Khóa luận tơt nghiệp CHƯƠNG 3: TƠNG KẾT 3.1 Kiểm thử quy trình ETL 3.1.1 Kiểm thử quy trình tạo Kho liệu Hình 35: Kết chạy thử tiến trình Tạo Kho liệu Ket mong muốn: Tạo CSDL Kho liệu chủ đề bán hàng dw_Sales, kiểm tra tồn bảng Dim NhanVien, Dim SanPham, Dim KhachHang, Dim DVVC, Dim Date, Dim KhuVuc, FactSale CSDL vừa tạo tồn thực xóa (Drop) bảng sau tạo lại bảng thêm khóa ngoại cho bảng kiện FactSale Kết thực tế: Đã tạo thành công CSDL dw_Sales bảng Dim_NhanVien, Dim_SanPham, Dim_KhachHang, Dim_DVVC, Dim_Date, Dim KhuVuc, FactSale tạo liên kết bảng Dưới kết kiểm tra Server Database Engine Lý Thanh Bình - K19HTTTC Trang 62 Khóa luận tơt nghiệp B J d W-Sales O Database Diagrams □ I J Tables B I ZJ System Tables θ I J FiIeTabIes B J db□.DimDate □ ^∏ dbo.DimKhachHang l+l J dbo,DimKhuVuc l+l ^∏ dbo.DimNhanVien B J db□.DimSa π Pham B J db□ DimVan Chuyen B J db□,FactSaIe Hình 36: Tạo thành cơng sở liệu Kho 3.1.2 Kiểm thử quy trình Trích xuất nạp giữ liệu vào Kho liệu Hình 37: Kết chạy thử tiến trình ETL đơi với Kho liệu vừa tạo Ket mong muốn: Trích xuất liệu từ CSDL nguồn, chuyển đổi, thêm trường liệu mới, tải vào kho liệu Kết thực tế: Dữ liệu trích xuất, chuyển đổi, nạp đầy đủ xác vào kho liệu Lý Thanh Bình - K19HTTTC Trang 63 Khóa luận tơt nghiệp 3.2 Đánh giá báo cáo thực Hình 38: Báo cáo người dùng xem trực tiếp Web Một vài nhận xét tình hình kinh doanh cơng ty dựa báo cáo: - Do tháng cuối năm cận kề Tết Nguyên Đán nhu cầu sử dụng mặt hang tăng đặc biệt nước giải khát Từ quý I sang quý II doanh thu từ đồ uống giảm đáng kể vào thơi gian nhu cầu giải khát khơng q cao Gia vị sản phẩm sữa mặt hàng gần thiết yếu nên nhu cầu sử dụng khơng đáng kể vào thời gian doanh thu từ loại mặt hàng xấp xỉ Mặt hàng từ sữa mang lại doanh thu cao quanh năm tổng doanh thu không cao đồ uống thời gian cuối năm nhu cầu đồ uống tăng lên cao Lý Thanh Bình - K19HTTTC Trang 64 Khóa luận tơt nghiệp Qua báo cáo giúp tình hình kinh doanh nhóm hàng cơng ty suốt năm 2019, từ có hành động, chiến lược cụ thể để tăng doanh thu cho năm KẾT LUẬN CHƯƠNG Chương tập trung vào việc kiểm thử tiến trình ETL thực đánh giá báo cáo tạo dựng công cụ Report Builder từ khối liệu đa chiều Cubes chủ đề bán hàng Nhìn vào báo cáo, nhà lãnh đạo nắm tình hình kinh doanh cơng ty qua định hướng mục tiêu phát triển khoảng thời gian có hình thức thưởng phạt với nhân viên hoàn thành tốt tiêu kinh doanh Lý Thanh Bình - K19HTTTC Trang 65 Khóa Khóa luậnluận tơt nghiệp tơt nghiệp TÀI LIỆU KẾTTHAM LUẬNKHẢO A Ket đạt Tiếng Anh: Bằng cố gắng nỗ lực thân, sau thời gian nghiên cứu đề tài, luận Elmasri đạt đượcand kết sau [1] R S Navathe, Database Systems - Sixth Edition (2011) - Sử dụng công cụ SQL Server Integration Service để thực tiến trình ETL Website: để xây dựng đẩy liệu vào kho liệu [2] Wikipedia: - Sử dụng công cụ SQL Server Analysis Service để tạo khối liệu đa https://en.wikipedia.org/wiki/Star schema chiều [3] nhằm Microsoft: phục vụ phân tích liệu - Sử dụng cơng cụ Report Builder dịch vụ SQL Reporting Server để xây https://docs.microsoft.com/en-us/sql/integration-services dựng https://docs.microsoft.com/en-us/analysis-services quản lý báo cáo, cho phép người dùng sử dụng báo cáo môi https://docs.microsoft.com/en-us/sql/reporting-services trường web B Hạn chế - Chỉ tập trung xây dựng kho liệu đa chiều chủ đề bán hàng, chưa thể xây dựng tiến trình ETL cho hệ thống - Chưa biết cách tối ưu quy trình để tăng tốc độ xử lý cho tiến trình - Chưa kết hợp công cụ khai phá liệu C Định hướng phát triển Ngày việc phân tích liệu ngày trọng khai phá liệu công cụ giúp doanh nghiệp dự đoán xu hướng hỗ trợ nhà lãnh đạo định Với kết đạt được, thời gian tới, em tiếp tục tìm hiểu luật khai phá liệu để hồn thiện thêm cho Kho liệu Công ty tối ưu hóa bước tiến trình trích xuất, chuyển đổi, nạp liệu để tăng tốc độ độ xác Kho liệu Lý Thanh Lý Thanh Bình Bình - K19HTTTC - K19HTTTC Trang Trang 66 67 ... hướng phát triển Xuất phát từ nhu cầu Công Ty TNHH Một Thành Viên Nhập Khẩu Korea, luận thực Triển khai Kho liệu tạo báo cáo cho Công Ty TNHH Một Thành Viên Nhập Khẩu Korea sử dụng số công cụ Microsoft... CHƯƠNG 2: TRIỂN KHAI KHO DỮ LIỆU VÀ TẠO BÁO CÁO CHO CÔNG TY TNHH MỘT THÀNH VIÊN NHẬP KHẨU KOREA 2.1 Tìm hiểu Kho liệu 2.1.1 Định nghĩa kho liệu 2.1.2 Các đặc trưng kho liệu. .. K19HTTTC Trang Khóa luận tơt nghiệp CHƯƠNG 2: TRIEN KHAI KHO DỮ LIỆU VÀ TẠO BÁO CÁO CHO CÔNG TY TNHH MỘT THÀNH VIÊN NHẬP KHẨU KOREA 2.1 Tìm hiểu Kho liệu 2.1.1 Định nghĩa kho liệu Vào năm 1988 nhà