Sau khi triển khai và đưa kho dữ liệu vào hoạt động thực tế thì cần phải có lịch thực hiện tự động các các công việc. Các công việc cho việc tích hợp và cập nhật mới khối thường sẽ chạy vào các thời điểm mà ít giao dịch như trưa và tối.
Để đơn giản thì ban đầu chỉ cần tạo một công việc duy nhất bao gồm các bước thực hiện sau:
Bước 1: chạy gói điều khiển PKG_STG_Controller để nạp dữ liệu vào
SieuThi_ST.
Bước 2: chạy gói điều khiển PKG_DW_Controller để nạp dữ liệu vào
SieuThi_DW.
Bước 3: chạy gói điều khiển PKG_DM_Controller để nạp dữ liệu vào
SieuThi_DM.
Bước 4: thực hiện việc cập nhật khối Cube_POSRetail để có dữ liệu mới nhất cho phân tích.
Lịch thực hiện của SieuThi_Job này đang được thiết lập là 1:00 sáng sớm và 1:00
chiều hằng ngày. Hằng ngày, vào các buổi sáng sớm hay chiều có thể xem lại lịch sử
các lần thực hiện SieuThi_Job, và kiểm tra xem có bất kỳ lỗi xảy ra hay không. Đồng
thời, để có thể phát hiện lỗi sớm hơn nên cấu hình để thực hiện gửi thư điện tử tự động đến người có trách nhiệm mỗi khi có lỗi xảy ra trong quá trình thực thi công việc
SieuThi_Job theo lịch biểu.
Hình 3.19 bên dưới hiển thị các bước của công việc SieuThi_Job được tạo bởi dịch vụ tác nhân SQL Server.
Hình 3.19. Màn hình SieuThi_Job của tác nhân SQL Server
3.6. Tổng kết chương
Chương này chủ yếu trình bày các nội dung công việc đã được thực hiện khi xây
dựng kho dữ liệu thử nghiệm cho siêu thị T-Mart. Nội dung chương đã đề cập đến cấu
trúc CSDL của kho dữ liệu SieuThi_DW và kho dữ liệu chuyên biệt SieuThi_DM, các
gói tích hợp dữ liệu, các khối dữ liệu,các mẫu báo cáo phân tích dựa trên khối dữ liệu, và cuối cùng là lịch thực hiện tự động các gói tích hợp và làm mới khối.
Chương 4. KẾT QUẢ CÀI ĐẶT THỬ NGHIỆM 4.1. Môi trường cài đặt
Tất cả các CSDL, các gói tích hợp và báo cáo đều được cài đặt trong trong máy xách tay với cấu hình như sau:
CPU: Core Duo 2.1 GHz RAM: 3GB, HDD: 320 GB
Sử dụng hệ quản trị CSDL SQL Server 2008, phiên bản cụ thể như sau:
Microsoft SQL Server 2008 (RTM) - 10.0.1600.22 (Intel X86) Jul 9 2008 14:43:34 Copyright (c) 1988-2008 Microsoft Corporation Enterprise Edition on Windows NT 5.1 <X86> (Build 2600: Service Pack 3).
Công cụ phân tích: sử dụng chức năng PivotTable của Excel 2007.
4.2. Dữ liệu thử nghiệm
Thực hiện thử nghiệm dữ liệu thật của siêu thị trong vòng hơn 2 năm từ 08/2008
đến 10/2010. Số bản ghi của các bảng trong CSDL nguồn như Bảng 4.1 dưới đây.
Bảng 4.1. Số bản ghi của các bảng trong SieuThi_SRC (adsbygoogle = window.adsbygoogle || []).push({});
STT Tên Bảng Số bản ghi 1 tb_T_Transaction 352 250 2 tb_T_POSRetail 333 566 3 tb_T_POSRetail_Detail 1 213 711 4 tb_M_CustomerType 3 5 tb_M_Customer 1 268 6 tb_M_Tax 17 7 tb_M_PaymentMethod 3 8 tb_M_Store 6 9 tb_M_Category 266 10 tb_M_Product 36 894 11 tb_M_CashDesk 10 12 tb_M_Currency 4
Chi tiết số bản ghi của các bảng trong kho dữ liệu doanh nghiệp SieuThi_DW
như Bảng 4.2 sau đây.
Bảng 4.2. Số bản ghi của các bảng trong SieuThi_DW
STT Tên Bảng Số bản ghi 1 DW_POSRetail 333 566 2 DW_POSRetail_Detail 1 213 711 3 M_CustomerType 4 4 M_Customer 1 269 5 M_Tax 18 6 M_PaymentMethod 4 7 M_Store 7 8 M_Category 18 9 M_SubCategory 250 10 M_Product 36 895 11 M_CashDesk 11 12 M_Currency 5
Chi tiết số bản ghi của các bảng trong kho dữ liệu chuyên biệt SieuThi_DM như
bảng sau:
Bảng 4.3. Số bản ghi của các bảng trong SieuThi_DM
STT Tên Bảng Số bản ghi 1 Fact_POS_Retail 1 213 711 2 Dim_Customer 1 269 3 Dim_PaymentMethod 4 4 Dim_Product 36 895 5 Dim_CashDesk 11 6 Dim_Currency 5 7 Dim_Date 1 827
4.3. Kết quả chạy thử nghiệm
4.3.1. Thời gian chạy tích hợp dữ liệu
Thời gian khi chạy khởi tạo dữ liệu lần đầu tiên là: Gói PKG_STG_Controller: 53 giây
Gói PKG_DW_Controller: 1 phút 21 giây Gói PKG_DM_Controller: 1 phút 51 giây Thời gian khi chạy cho một ngày dữ liệu phát sinh:
Gói PKG_STG_Controller: 5 giây Gói PKG_DW_Controller: 35 giây Gói PKG_DM_Controller: 12 giây
4.3.2. Thời gian cập nhật khối dữ liệu
Thời gian cập nhật khối dữ liệu như sau:
Thời gian cập nhập khối lần đầu tiên: 40 giây
Thời gian cập nhập thay đổi khối hằng ngày: 32 giây
Ghi chú: Hình 4.1 sau đây là màn hình thể hiện thời gian chạy của công việc gồm tích hợp dữ liệu và cập nhật khối.
4.3.3. Thời gian phân tích số liệu
Khi sử dụng các mẫu phân tích tạo trên Excel thì kết quả được đáp ứng tức thì vì số liệu dựa trên khối dữ liệu. Thời gian đa số các thao tác đều nhỏ hơn năm giây.
4.4. Một số mẫu phân tích và báo cáo
4.4.1. Các mẫu báo cáo
Các báo cáo đều được tạo bởi công cụ Report Designer và phân phối lên cổng
quản lý báo cáo Report Manager. Các báo cáo có thể lấy dữ liệu từ khối hoặc từ kho
dữ liệu chuyên biệt. Hình 4.2 sau đây là danh sách mẫu các báo cáo đã tạo thử nghiệm.
Hình 4.2. Danh sách các báo cáo
Chi tiết báo cáo “BC01-Doanh thu bán hàng” như Hình 4.3 sau đây.
Hoặc chi tiết báo cáo “BC11-Top 10 mặt hàng doanh số cao trong tháng” như
Hình 4.4 sau đây. (adsbygoogle = window.adsbygoogle || []).push({});
Hình 4.4. Báo cáo “BC11 - Top 10 mặt hàng doanh số cao trong tháng”
4.4.2. Các mẫu phân tích
Các mẫu phân tích đều được tạo trong tập tin Excel, sử dụng chức năng
PivotTable để thực hiện việc phân tích. Dữ liệu cho phân tích được lấy từ khối dữ liệu
Cube_POSRetail. Sau đây là một số mẫu phân tích đã được cài đặt:
Hình 4.5 là mẫu phân tích số lượng bán theo hàng hóa và thời gian.
Hình 4.6 là mẫu phân tích doanh thu theo tháng giữa các năm.
Hình 4.6. Mẫu phân tích doanh thu theo tháng giữa các năm
4.5. Tổng kết chương
Chương này chủ yếu nêu tóm tắt về môi trường cài đặt, dữ liệu sử dụng cho thử nghiệm, kết quả chạy thử nghiệm, và các mẫu báo cáo và phân tích đã cài đặt. Nội dung chương đa số là các con số và hình vẽ nhằm thể hiện các kết quả đã thực hiện trong luận văn một cách ngắn gọn.
KẾT LUẬN
Luận văn đã trình bày được một cách tổng quan về kho dữ liệu, các công nghệ hỗ trợ xây dựng kho dữ liệu trong SQL Server 2008 và cách thức áp dung các công cụ vào xây dựng kho dữ liệu. Về phần tổng quan kho dữ liệu luận văn đã trình bày tóm tắt các khái niệm, các đặc tính, kiến trúc kho dữ liệu, mô hình dữ liệu và các bước để thực hiện xây dựng kho dữ liệu. Luận văn cũng đã trình bày một số công cụ và dịch vụ chính hỗ trợ cho việc xây dựng kho dữ liệu của SQL Server 2008. Cụ thể đã trình bày các công cụ và dịch vụ sau: Hệ QTCSDL SQL Server 2008 Dịch vụ tích hợp dữ liệu SSIS Dịch vụ báo cáo SSRS Dịch vụ phân tích SSAS Công cụ quản lý SSMS
Công cụ phát triển kho dữ liệu BIDS
Công cụ phân tích dữ liệu PivotTable của Excel
Công cụ quản lý báo cáo
Cuối cùng, luận văn đã trình bày cách thức áp dụng các công cụ và dịch vụ của
SQL Server 2008 trong việc xây dựng thử nghiệm kho dữ liệu cho siêu thị T-Mart,
bước đầu kết quả của kho dữ liệu đạt được khá khả quan, đáp ứng được các yêu cầu mong muốn đề ra. Mặc dù chỉ mới tập trung xây dựng một chủ đề bán hàng duy nhất, nhưng luận văn đã thực hiện đầy cả các bước của qui trình xây dựng kho dữ liệu, đủ để đưa vào áp dụng chạy thử nghiệm trong thực tế. Các bước thực hiện khi xây dựng kho dữ liệu thử nghiệm như sau: xây dựng cấu trúc các CSDL, xây dựng các tích hợp dữ liệu, tạo khối dữ liệu đa chiều, tạo các báo cáo mẫu, tạo các phân tích mẫu, và chia sẻ báo cáo và tạo lịch thực hiện tự động.
Tuy nhiên, luận văn cũng chỉ mới tập trung tìm hiểu về kho dữ liệu và các công nghệ trong SQL Server 2008 đủ để áp dụng xây dựng kho dữ liệu thử nghiệm cho siêu thị T-Mart. Và khi xây dựng đã bỏ qua một số yêu cầu nghiệp vụ liên quan đến chủ đề bán hàng như: đợt khuyến mãi, giảm giá, thuế. Khi xây dựng kho dữ liệu cũng chỉ mới xây dựng duy nhất một bảng sự kiện, và chưa tạo bất kỳ bảng tổng hợp hay bảng sao chụp dữ liệu. Ngoài ra trong luận văn cũng chỉ tập trung vào chủ đề bán hàng, chưa thực hiện xây dựng cho các chủ đề khác của siêu thị.
Luận văn mới chỉ là những nghiên cứu và thử nghiệm ban đầu, muốn đưa vào sử dụng thực tế cho cần thực hiện triển khai thử nghiệm tại một số siêu thị để có thể bao
quát được hầu hết các yêu cầu thực tế, dựa vào đấy để có thể hoàn thiện chủ đề bán hàng, cũng như mở rộng cho các chủ đề còn lại như mua hàng, kho, tài chính... Ngoài ra, các vấn đề về mặt kỹ thuật liên quan đến kho dữ liệu cũng cần được tìm hiểu thêm,
đặc biệt là kho dữ liệu thế hệ 2.0, kho dữ liệu mà đã đề cập đến dữ liệu phi cấu trúc và
chấp nhận là kho dữ liệu có “tuổi”, cũng như các công cụ kho dữ liệu của các hãng lớn khác như Oracle, IBM, SAP… để có thể hiểu sâu hơn kho dữ liệu thực tế hiện nay.
TÀI LIỆU THAM KHẢO Tiếng Việt
[1]. Viện Công nghệ Thông tin, Viện Khoa học và Công nghệ Việt Nam (1999),
Thiết kế hệ thống trong xây dựng Data Warehouse và Hệ thống Thông tin
lớn, Hà Nội.
[2]. Trịnh Thế Tiến (2009), Giáo trình học nhanh SQL Server 2008, Nhà xuất
bản Hồng Đức.
Tiếng Anh (adsbygoogle = window.adsbygoogle || []).push({});
[3]. Joy Mundy and Warren Thornthwaite (2011), The Microsoft Data
Warehouse Toolkit: With SQL Server 2008 R2 and the Microsoft Business Intelligence Toolset, Wiley Publishing, Inc.
[4]. Paul Lane (2002), Oracle9i Data Warehousing Guide, Release 2 (9.2),
Oracle.
[5]. William H.Inmon, Derek Strauss, Genia Neushloss (2008), DW 2.0 The
Architecture for the Next Generation of Data Warehousing, Morgan Kaufmann Publishers.
[6]. William H.Inmon (2005), Building the Data Warehouse – Fourth Edition,
Wiley Publishing, Inc.
[7]. Ralph Kimball and Margy Ross (2002), The Data Warehouse Toolkit
Second Edition, John Wiley and Sons, Inc.
[8]. Ralph Kimball (2004), The Data Warehouse ETL Toolkit, Wiley
Publishing, Inc.
[9]. Vincent Rainardi (2008), Building a Data Warehouse with Example in SQL
Server, Apress Publishing, Inc.
[10]. Brian Knight, Devin Knight, Mike Davis (2009), Knight’s 24-Hour
Trainer: Microsoft® SQL Server® 2008 Integration Services, Wiley Publishing, Inc.
[11]. Ross Mistry and Stacia Misner (2010), Introducing SQL Server 2008 R2,
Microsoft Press.
[12]. Rob Vieira (2009), Professional Microsoft SQL Server 2008 Programming,
Wiley Publishing, Inc.
[13]. Microsoft, SQL Server 2008 Books Online.
[14]. Trang web: http://www.learndatamodeling.com/dw_concepts.htm, 2011.
[15]. Trang web: http://www.kimballgroup.com, 2011.