Xây dựng Kho dữliệu

CHƯƠNG II QUY TRÌNH ETL TRONG KHO DỮLIỆU

3.3. Xây dựng Kho dữliệu

3.3.1 Quy trình lấy dữ liệu tích hợp cho các chiều phân tích (Dimension) 3.3.1.1. Trích xuất dữ liệu nguồn cho chiều phân tích 3.3.1.1. Trích xuất dữ liệu nguồn cho chiều phân tích

Hệ thống SAP cho phép tạo các Datasource (nguồn dữ liệu) được trích xuất từ các bảng dữ liệu hệ thống nguồn (hệ thống SAP ERP) trước khi đưa sang hệ thống đích (hệ thống SAP BPC) làm công việc chuyển đổi dữ liệu.

Hệ thống SAP ERP có 2 loại Datasource chính đó là những Datasource chuẩn sẵn có của hệ thống. Đối với loại này nếu dữ liệu chưa đúng với yêu cầu nghiệp vụ thì phải thực hiện lập trình Enhance (điều chỉnh). Loại thứ 2 là Datasource do người dùng tạo ra bằng cách lập trình các Function Module bằng ngôn ngữ lập trình ABAP để chuyển đổi dữ liệu từ hệ thống nguồn về hệ thống Kho dữ liệu SAP.

Các bước thực hiện:

Bước 1: Tạo một Function Module thực hiện Extract dữ liệu từ các bảng hệ thống SAP ERP

Hình 3.3 – Function Module trích xuất dữ liệu nguồn.

Function Module này được viết với mã lệnh ABAP có nhiệm vụ thực thi việc lấy dữ liệu, tính toán và đổ vào Datasource khi được gọi đến.

Hình 3.4 – Tạo Datasource

Có 3 loại Datasource:

o Transction data chứa các dữ liệu giao dịch phục vụ việc nạp dữ liệu vào các infoCube (Model chứa dữ liệu hướng nghiệp vụ theo chủ đề nhất định).

o Master Data Atrributes chứa các dữ liệu cho chiều phân tích

o Text chứa dữ liệu mô tả cho chiều phân tích

Datasource này chứa thông tin Function Module được tạo ở bước trên. Khi thực hiện Extract Datasource này Function Module được gọi và thực thi.

Hình 3.6 – Kết quả Extract Datasource 3.3.1.2 Tạo chiều phân tích (Dimension)

Hệ thống SAP cung cấp cho chúng ta công cụ SAP BW Workbench cho phép tạo ra các Business Object (Đối tượng nghiệp vụ) như các chiều phần tích (Tài sản, Khách hàng, Sản phẩm…) và các Data Mart hướng chủ đề theo một nghiệp vụ nhất định ( Doanh thu, chi phí, Capex…).

Hình 3.7 – Công cụ SAP BW Workbench

Hình 3.8 – Thông tin chung Chiều phân tích

Hình trên mô ta một InfoObject (đối tượng chiều phân tích) Tài sản (Asset). Tab General. Thể hiện thông tin chung của đối tượng chiều phân tích: Loại dữ liệu (Data type): Char (kiểu ký tự)

Độ dài(length) : 12

Hình 3.9 – Bảng chứa dữ liệu của đối tượng

Tab Master data/text. Thể hiện các bảng chứa Mã của đối tượng và các thuộc tính của đối tượng. Bảng chứa mô tả của đối tượng

Hình 3.10 – Thông tin về cây của đối tượng Hierachy

Nếu trong trường hợp Chiều phân tích có dữ liệu dạng cây thì chúng ta phải chọn điền thông tin tab Hierachy với tích chọn With Hierachy hệ thống sẽ tự động sinh ra bảng chứa cây của đối tượng.

Hình 3.11 Thông tin thuộc tính của chiều phân tích

Tab Atrributes. Thể hiện các thuộc tính của đối tượng. Tại đây hệ thống cho phép thêm các thuộc tính cho đối tượng.

3.1.2.2 Tạo Transfomation và Loading dữ liệu cho chiều phân tích

Transfromation thực hiện nạp dữ liệu cho chiều phân tích từ dữ liệu nguồn ( hệ thống SAP ERP).

Hình 3.12 – Transfromation nạp dữ liệu cho chiều phân tích

Transformation có nhiệm vụ mapping (nối) các trường dữ liệu nguồn với dữ liệu đích. Trong quá trình này, có thể thực hiện chuyển đổi dữ liệu như Mã tài sản (trường đích ZASSET) có thể được chuyển đổi từ các trường nguồn ANLN1, BUKRS (trường mã công ty), ANLN2 (Mã tài sản đi kèm). Theo yêu cầu nghiệp vụ trường tài sản đích phải được chuyển đổi với đoạn mã ABAP như sau:

CONCATENATE SOURCE_FIELDS-BUKRS+2(2) SOURCE_FIELDS-

ANLN1+6(6) '-'

SOURCE_FIELDS-ANLN2+3(1) INTO RESULT.

Loading Cho phép nạp dữ liệu thủ công hoặc đặt lịch (Schedule) với những lựa chọn để lọc dữ liệu cần thiết.

Hình 3.13 – Loading dữ liệu vào chiều phân tích

Hình 3.14 – Kết quả Transfromation

3.3.2 Xây dựng Model theo nghiệp vụ

3.3.2.1 Xây dựng Model chứa dữ liệu giao dịch Capex (Tài sản cố định)

Bước 1: Tạo các ODS trung gian chứa dữ liệu giao dịch đưa từ Datasource của hệ thống SAP ERP

ODS gồm 2 thành phần chính là Key fields (là tập các chiều phân tích) và Data fields (là các chỉ tiêu dữ liệu)

Hình 3.16 Transformation của ODS

Các bước Transfomation và Loading tương tự như đối với chuyển đổi dữ liệu cho chiều phân tích.

Bước 2 Tạo Model chứa dữ liệu CAPEX trên SAP BPC.

Hình 3.17 – Thông tin Model CAPEX

CAPEX là một Model chứa dữ liệu giao dịch Tài sản cố định từ hệ thống SAP ERP và dữ liệu tính toán lập kế hoạch ngân sách Tài sản cố định của công ty VinCom Retail của tập đoàn VIN GROUP.

Model bao gồm 2 thành phần chính là Dimensions (tập các chiều phân tích) và Key Figures (hệ thống SAP BPC chỉ có 1 chỉ tiêu signdata chứa dữ liệu dạng Amount hoặc Quantity).

Bước 3. Tạo Routine để thực hiện chuyển đổi,tính toán số liệu

Khi thực hiện chuyển đổi dữ liệu từ ODS từ SAP BW sang Model CAPEX của SAP BPC sẽ có những tính toán phức tạp cần lập trình. SAP đã cung câp cho người dùng công cụ để lập trình chuyển đổi – ROUTINE.

Hình 3.18 – Lập trình ROUTINE tính toán chuyển đổi sang Model từ ODS

Hình 3.19 – File Transformation Rules

File Transfomation Rule của hệ thống SAP BPC được định nghĩa trên Add-in SAP EPM. Nó sẽ thực hiện mapping và conversion (chuyển đổi) các trường của ODS từ SAP BW với các Dimension của SAP BPC. Khi thực hiện nạp dữ liệu vào Model CAPEX hệ thống sẽ gọi file Transfomation Rulesvà file Conversion Rules để mapping và gọi thực thi ROUTINE CAP_TRANS để tính toán số liệu.

Hình 3.21 – Kết quả sau khi nạp dữ liệu chuyển đổi

Dữ liệu chuyển đổi từ hệ thống SAP ERP được đưa vào Model CAPEX với Dimension Category là ACTUAL (loại dữ liệu Thực tế).

3.4 Xây dựng Báo cáo BI

3.4.1 Tạo Query lấy dữ liệu từ các Model

Hệ thống SAP cung cấp công cụ BEx Query Designer cho phép tạo các query truy vấn dữ liệu từ các Model SAP BW và SAP BPC. Từ các query này có thể tạo các báo cáo BI nhanh chóng và đơn giản.

Hình 3.22 – Thông tin Query truy vấn dữ liệu từ Model CAPEX

Tạo query nhanh chóng đơn giản bằng cách kéo thả các chiều phân tích của Model và các chỉ tiêu cần hiển thị dữ liệu theo hàng hoặc cột.

Hệ thống cho phép tạo 2 loại chỉ tiêu là: Calculated Key Figures (Được tính toán từ các chỉ tiêu khác) và Restricted Key Figures (được lọc theo các chiều phân tích nhất định)

3.4.2 Khai thác báo cáo BI trên hệ thống SAP BO

SAP BO là một công cụ tạo báo cáo BI rất mạnh mẽ và dễ sử dụng do SAP cung cấp.SAP BO cung cấp các kết nối tới hệ thống SAP BW để truy cập dữ liệu trong kho dữ liệu SAP.

Việc thiết kế mẫu báo cáo và kéo thả các chỉ tiêu từ nguồn kho dữ liệu SAP BW rất đơn giản. Người dung hoàn toàn có thể tùy biến các mẫu báo cáo theo nhu cầu phân tích kinh doanh.

Danh sách các báo cáo quan trọng đã xây cho tập đoàn Vin Group Báo cáo Bảng cân đối kế toán

Báo cáo Top 10 khách thuê Trung tâm thương mại

Báo cáo chênh lệch ngân sách theo tầng

CHƯƠNGIV. KẾT LUẬN 4.1 Kết quả thu được 4.1 Kết quả thu được

Luận văn “Xây dựng kho dữ liệu và báo cáo quản trị BI cho tập đoàn VIN GROUP với hệ thống SAP BOBI” đã làm được những mục sau:

- Nghiên cứu công nghệ, kiến trúc và kỹ thuậ ETL của Data Warehouse nói chung.

- Tìm hiểu và áp dụng thành công kỹ thuật xây dựng SAP BW Data warehouse.

- Tìm hiều kỹ thuật xây dựng truy vấn dữ liệu từ kho dữ liệu SAP BW bằng công cụ SAP BEx

- Xây dựng các báo cáo BI trên hệ thống báo cáo SAP BO.

- Hoàn thành xây dựng Data Warehouse theo yêu cầu nghiệp vụ của tập đoàn VIN GROUP.

- Xây dựng xong quy trình tích hợp chuyển đổi số liệu từ hệ thống SAP ERP và các flat file sang Hệ thống SAP BPC.

- Xây dựng thành công bộ báo cáo BI cho ban lãnh đạo tập đoàn VIN GROUP.

- Kết quả đã được tập đoàn đưa hệ thống vào sử dụng thực tế rất tốt đảm bảo yêu cầu nghiệp vụ và tốc độ xử lý nhanh chính xác.

4.2 Hướng phát triển.

Công nghệ Kho dữ liệu và Báo cáo BI là một xu hướng phát triển tất yếu và cần thiết đối với các doanh nghiệp lớn. Trong tương lai gần SAP – công ty giải pháp hệ thống số 1 thế giới sẽ có những công nghệ mới để xây dựng Kho dữ liệu như SAP BW HANA. Việc nghiên cứu áp dụng công nghệ mới này sẽ góp phần cải thiện việc xử lý chuyển đổi tích hợp dữ liệu ETL trở nên đơn giản nhanh chóng hơn.

TÀI LIỆU THAM KHẢO Tiếng Anh

[1] The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Conforming, and Delivering Data, Ralph Kimball, Joe Caserta.

[3] Conceptual Modeling for ETL Processes, Panos Vassiliadis, Alkis Simitsis, Spiros Skiadopoulos.

[5] Arktos : towards the modeling, design, control and execution of ETL processes, Panos Vassiliadis*, Zografoula Vagena, Spiros Skiadopoulos, Nikos Karayannidis, Timos Sellis, 2001

[6] Larissa T. Moss, Shaku Atr. Business Intelligence Roadmap, Addison- Wesley,2008

Kỹ thuật ETL trong kho dữliệu

Kiến trúc Kho dữliệu SAP BW