SAP BWlà một giải pháp của SAP cho việc xây dựng Data warehouse rất mạnh mẽ và có nhiều ưu điểm như dễ dàng triển khai, cung cấp các công cụ ETL chính xác đơn giản. Nó thực sự phù hợp và là xu hướng tất yếu cho các công ty đã triển khai hệ thống SAP ERP.
Hình 3.1 – Kiến trúc SAP BW
SAP NetWeaver BW cung cấp cách thức linh hoạt của việc tích hợp dữ liệu từ nhiều nguồn khác nhau. Tùy thuộc vào các kho dữ liệu dữ liệu chiến lược có thể được chiết xuất từ các nguồn và tải nó vào hệ thống SAP BW, hoặc truy cập trực tiếp dữ liệu trong nguồn, mà không lưu trữ nó thể chất trong các kho dữ liệu doanh nghiệp.
Hình 3.2 – Luồng dữ liệu trong SAP BW
Extraction and Loading(Chiết xuất và tải)
Khai thác và chuyển giao quy trình để các lớp ban đầu trong SAP BW cũng như truy cập trực tiếp vào dữ liệu là có thể sử dụng các giao diện khác nhau, tùy thuộc vào nguồn gốc và định dạng của dữ liệu. SAP NetWeaver BW cho phép tích hợp của cả SAP và dữ liệu từ các hệ thống khác .
Transformation (chuyển đổi)
Với biến đổi, dữ liệu được nạp trong hệ thống SAP BW bằng cách sử dụng giao diện cụ thể được chuyển từ một định dạng file nguồn sang một định dạng mục tiêu trong các lớp kho dữ liệu . Việc chuyển đổi cho phép chúng ta củng cố, làm sạch và tích hợp dữ liệu, do đó đồng bộ hóa nó và cho phép nó được đánh giá.
Điều này được thực hiện bằng cách sử dụng quy tắc cho phép bất kỳ mức độ phức tạp khi chuyển dữ liệu. Các chức năng bao gồm một 1 : 1 phân của dữ liệu, việc sử dụng các chức năng phức tạp trong công thức và lập trình tùy chỉnh của quy tắc chuyển đổi .
Dữ liệu nhiều tăng lên theo ngày tháng hoặc ít hơn tùy thuộc vào các vấn đề kinh doanh.
Nạp dữ liệu (Loading)
Bằng cách load dữ liệu vào một kho dữ liệu, hiệu suất trong hệ thống nguồn không bị ảnh hưởng trong quá trình phân tích dữ liệu.
Các dữ liệu có thể được tổ chức trong hệ thống SAP BW được cập nhật theo thời gian. Việc nạp dữ liệu có thể được kích hoạt thủ công hoặc đặt lịch (Schedule). 3.2 Xây dựng Kho dữ liệu cho tập đoàn VIN trên SAP BW.
3.2.1 Yêu cầu bài toán của VIN GROUP
VIN GROUP là một tập đoàn lớn với nhiều công ty thành viên. Yêu cầu của tập đoàn là xây dựng một kho dữ liệu chứa các dữ liệu lớn từ nhiều hệ thống SAP ERP để lên các báo cáo tài chính định kỳ (theo tháng) cho Ban giám đốc công ty, Tổng giám đốc tập đoàn. Với mục tiêu đặt ra:
- Việc trích xuất báo cáo nhanh và chính xác số liệu
- Dữ liệu đã được tổng hợp từ mức chi tiết.
- Báo cáo động theo nhiều chiều phân tích
- Cập nhật đầy đủ chính xác từ hệ thống dữ liệu nguồn
3.2.2 Phân tích thiết kế hệ thống 3.2.2.1 Sơ đồ luồng dữ liệu 3.2.2.1 Sơ đồ luồng dữ liệu
Hệ thống SAP BW cài đặt cho tập đoàn VIN GROUP gồm các Model chứa dữ liệu nghiệp vụ:
REALESTATE Chứa các dữ liệu giao dịch tích hợp của Phân hệ Realestate của hệ thống SAP ERP và dữ liệu lập kế hoạch ngân sách cho thuê Trung tâm thương mại của Phân hệ SAP BPC Planning.
REVENUE Chứa các dữ liệu tích hợp từ Phân hệ SAP ERP FI-GL và dữ liệu lập kế hoạch Doanh thu của Phân hệ SAP BPC Planning.
EXPENSE Chứa các dữ liệu tích hợp từ Phân hệ SAP ERP FI-GL và dữ liệu lập kế hoạch Chi phí của Phân hệ SAP BPC Planning.
CAPEX Chứa các dữ liệu tích hợp từ Phân hệ SAP ERP FI-AA và dữ liệu lập kế hoạch mua bán Tài sản cố định của Phân hệ SAP BPC Planning.
MANPOWER Chứa các dữ liệu tích hợp từ hệ thống Quản lý nhân sự Histaff và dữ liệu lập kế hoạch Nhân sự của Phân hệ SAP BPC Planning.
MATERIAL Chứa các dữ liệu tích hợp từ Phân hệ SAP ERP MM (Material Management) và dữ liệu lập kế hoạch mua sắm, chi phí vật tư của Phân hệ SAP BPC Planning.
FINANCE Chứa các dữ liệu tích hợp từ Phân hệ SAP ERP FI-GL và dữ liệu lập được đẩy sang từ các Model khác. Model lưu trữ các tính toán số liệu lên báo cáo Cân đối kế toán (Balance sheet).
CCPLANNING Chứa các dữ liệu tích hợp từ các Model khác của Phân hệ SAP BPC Planning. Model này lưu trữ các số liệu tính toán phân bổ theo tài khoản kế toán.
FUNDS Chứa các dữ liệu tích hợp từ Phân hệ SAP ERP FI-GL. Các dữ liệu này sẽ được mapping và chuyển sang phân hệ FM của hệ thống SAP ERP FM (Fund Management).
3.2.2.2 Danh sách các Dimension (Chiều phân tích)
Hình 3.4 – Danh sách các Dimension của hệ thống
Việc đưa ra bản thiết kế các Dimension rất quan trọng. Nó là nên tảng để xây dựng các Model theo các chiều phân tích đầy đủ theo yêu câu nghiệp vụ của khách hàng.
Có 7 loại Dimension:
Loại C thể hiện đây là chiều phân tích theo chủng loại (Category, version). Loại A là chiều phân tích theo tài khoản kế toán (Accounting)
Loại E là chiều phân tích theo công ty, thực thể (ENTITY) Loại I là chiều phân tích theo đối tác (INTERCO)
Loại D là chiều phân tích chỉ ra nguồn của dữ liệu (Datasource) Loại T là chiều phân tích theo thời gian (TIME)
3.3. Xây dựng Kho dữ liệu
3.3.1 Quy trình lấy dữ liệu tích hợp cho các chiều phân tích (Dimension) 3.3.1.1. Trích xuất dữ liệu nguồn cho chiều phân tích 3.3.1.1. Trích xuất dữ liệu nguồn cho chiều phân tích
Hệ thống SAP cho phép tạo các Datasource (nguồn dữ liệu) được trích xuất từ các bảng dữ liệu hệ thống nguồn (hệ thống SAP ERP) trước khi đưa sang hệ thống đích (hệ thống SAP BPC) làm công việc chuyển đổi dữ liệu.
Hệ thống SAP ERP có 2 loại Datasource chính đó là những Datasource chuẩn sẵn có của hệ thống. Đối với loại này nếu dữ liệu chưa đúng với yêu cầu nghiệp vụ thì phải thực hiện lập trình Enhance (điều chỉnh). Loại thứ 2 là Datasource do người dùng tạo ra bằng cách lập trình các Function Module bằng ngôn ngữ lập trình ABAP để chuyển đổi dữ liệu từ hệ thống nguồn về hệ thống Kho dữ liệu SAP.
Các bước thực hiện:
Bước 1: Tạo một Function Module thực hiện Extract dữ liệu từ các bảng hệ thống SAP ERP
Hình 3.3 – Function Module trích xuất dữ liệu nguồn.
Function Module này được viết với mã lệnh ABAP có nhiệm vụ thực thi việc lấy dữ liệu, tính toán và đổ vào Datasource khi được gọi đến.
Hình 3.4 – Tạo Datasource
Có 3 loại Datasource:
o Transction data chứa các dữ liệu giao dịch phục vụ việc nạp dữ liệu vào các infoCube (Model chứa dữ liệu hướng nghiệp vụ theo chủ đề nhất định).
o Master Data Atrributes chứa các dữ liệu cho chiều phân tích
o Text chứa dữ liệu mô tả cho chiều phân tích
Datasource này chứa thông tin Function Module được tạo ở bước trên. Khi thực hiện Extract Datasource này Function Module được gọi và thực thi.
Hình 3.6 – Kết quả Extract Datasource 3.3.1.2 Tạo chiều phân tích (Dimension)
Hệ thống SAP cung cấp cho chúng ta công cụ SAP BW Workbench cho phép tạo ra các Business Object (Đối tượng nghiệp vụ) như các chiều phần tích (Tài sản, Khách hàng, Sản phẩm…) và các Data Mart hướng chủ đề theo một nghiệp vụ nhất định ( Doanh thu, chi phí, Capex…).
Hình 3.7 – Công cụ SAP BW Workbench
Hình 3.8 – Thông tin chung Chiều phân tích
Hình trên mô ta một InfoObject (đối tượng chiều phân tích) Tài sản (Asset). Tab General. Thể hiện thông tin chung của đối tượng chiều phân tích: Loại dữ liệu (Data type): Char (kiểu ký tự)
Độ dài(length) : 12
Hình 3.9 – Bảng chứa dữ liệu của đối tượng
Tab Master data/text. Thể hiện các bảng chứa Mã của đối tượng và các thuộc tính của đối tượng. Bảng chứa mô tả của đối tượng
Hình 3.10 – Thông tin về cây của đối tượng Hierachy
Nếu trong trường hợp Chiều phân tích có dữ liệu dạng cây thì chúng ta phải chọn điền thông tin tab Hierachy với tích chọn With Hierachy hệ thống sẽ tự động sinh ra bảng chứa cây của đối tượng.
Hình 3.11 Thông tin thuộc tính của chiều phân tích
Tab Atrributes. Thể hiện các thuộc tính của đối tượng. Tại đây hệ thống cho phép thêm các thuộc tính cho đối tượng.
3.1.2.2 Tạo Transfomation và Loading dữ liệu cho chiều phân tích
Transfromation thực hiện nạp dữ liệu cho chiều phân tích từ dữ liệu nguồn ( hệ thống SAP ERP).
Hình 3.12 – Transfromation nạp dữ liệu cho chiều phân tích
Transformation có nhiệm vụ mapping (nối) các trường dữ liệu nguồn với dữ liệu đích. Trong quá trình này, có thể thực hiện chuyển đổi dữ liệu như Mã tài sản (trường đích ZASSET) có thể được chuyển đổi từ các trường nguồn ANLN1, BUKRS (trường mã công ty), ANLN2 (Mã tài sản đi kèm). Theo yêu cầu nghiệp vụ trường tài sản đích phải được chuyển đổi với đoạn mã ABAP như sau:
CONCATENATE SOURCE_FIELDS-BUKRS+2(2) SOURCE_FIELDS-
ANLN1+6(6) '-'
SOURCE_FIELDS-ANLN2+3(1) INTO RESULT.
Loading Cho phép nạp dữ liệu thủ công hoặc đặt lịch (Schedule) với những lựa chọn để lọc dữ liệu cần thiết.
Hình 3.13 – Loading dữ liệu vào chiều phân tích
Hình 3.14 – Kết quả Transfromation
3.3.2 Xây dựng Model theo nghiệp vụ
3.3.2.1 Xây dựng Model chứa dữ liệu giao dịch Capex (Tài sản cố định)
Bước 1: Tạo các ODS trung gian chứa dữ liệu giao dịch đưa từ Datasource của hệ thống SAP ERP
ODS gồm 2 thành phần chính là Key fields (là tập các chiều phân tích) và Data fields (là các chỉ tiêu dữ liệu)
Hình 3.16 Transformation của ODS
Các bước Transfomation và Loading tương tự như đối với chuyển đổi dữ liệu cho chiều phân tích.
Bước 2 Tạo Model chứa dữ liệu CAPEX trên SAP BPC.
Hình 3.17 – Thông tin Model CAPEX
CAPEX là một Model chứa dữ liệu giao dịch Tài sản cố định từ hệ thống SAP ERP và dữ liệu tính toán lập kế hoạch ngân sách Tài sản cố định của công ty VinCom Retail của tập đoàn VIN GROUP.
Model bao gồm 2 thành phần chính là Dimensions (tập các chiều phân tích) và Key Figures (hệ thống SAP BPC chỉ có 1 chỉ tiêu signdata chứa dữ liệu dạng Amount hoặc Quantity).
Bước 3. Tạo Routine để thực hiện chuyển đổi,tính toán số liệu
Khi thực hiện chuyển đổi dữ liệu từ ODS từ SAP BW sang Model CAPEX của SAP BPC sẽ có những tính toán phức tạp cần lập trình. SAP đã cung câp cho người dùng công cụ để lập trình chuyển đổi – ROUTINE.
Hình 3.18 – Lập trình ROUTINE tính toán chuyển đổi sang Model từ ODS
Hình 3.19 – File Transformation Rules
File Transfomation Rule của hệ thống SAP BPC được định nghĩa trên Add-in SAP EPM. Nó sẽ thực hiện mapping và conversion (chuyển đổi) các trường của ODS từ SAP BW với các Dimension của SAP BPC. Khi thực hiện nạp dữ liệu vào Model CAPEX hệ thống sẽ gọi file Transfomation Rulesvà file Conversion Rules để mapping và gọi thực thi ROUTINE CAP_TRANS để tính toán số liệu.
Hình 3.21 – Kết quả sau khi nạp dữ liệu chuyển đổi
Dữ liệu chuyển đổi từ hệ thống SAP ERP được đưa vào Model CAPEX với Dimension Category là ACTUAL (loại dữ liệu Thực tế).
3.4 Xây dựng Báo cáo BI
3.4.1 Tạo Query lấy dữ liệu từ các Model
Hệ thống SAP cung cấp công cụ BEx Query Designer cho phép tạo các query truy vấn dữ liệu từ các Model SAP BW và SAP BPC. Từ các query này có thể tạo các báo cáo BI nhanh chóng và đơn giản.
Hình 3.22 – Thông tin Query truy vấn dữ liệu từ Model CAPEX
Tạo query nhanh chóng đơn giản bằng cách kéo thả các chiều phân tích của Model và các chỉ tiêu cần hiển thị dữ liệu theo hàng hoặc cột.
Hệ thống cho phép tạo 2 loại chỉ tiêu là: Calculated Key Figures (Được tính toán từ các chỉ tiêu khác) và Restricted Key Figures (được lọc theo các chiều phân tích nhất định)
3.4.2 Khai thác báo cáo BI trên hệ thống SAP BO
SAP BO là một công cụ tạo báo cáo BI rất mạnh mẽ và dễ sử dụng do SAP cung cấp.SAP BO cung cấp các kết nối tới hệ thống SAP BW để truy cập dữ liệu trong kho dữ liệu SAP.
Việc thiết kế mẫu báo cáo và kéo thả các chỉ tiêu từ nguồn kho dữ liệu SAP BW rất đơn giản. Người dung hoàn toàn có thể tùy biến các mẫu báo cáo theo nhu cầu phân tích kinh doanh.
Danh sách các báo cáo quan trọng đã xây cho tập đoàn Vin Group Báo cáo Bảng cân đối kế toán
Báo cáo Top 10 khách thuê Trung tâm thương mại
Báo cáo chênh lệch ngân sách theo tầng
CHƯƠNGIV. KẾT LUẬN 4.1 Kết quả thu được
Luận văn “Xây dựng kho dữ liệu và báo cáo quản trị BI cho tập đoàn VIN GROUP với hệ thống SAP BOBI” đã làm được những mục sau:
- Nghiên cứu công nghệ, kiến trúc và kỹ thuậ ETL của Data Warehouse nói chung.
- Tìm hiểu và áp dụng thành công kỹ thuật xây dựng SAP BW Data warehouse.
- Tìm hiều kỹ thuật xây dựng truy vấn dữ liệu từ kho dữ liệu SAP BW bằng công cụ SAP BEx
- Xây dựng các báo cáo BI trên hệ thống báo cáo SAP BO.
- Hoàn thành xây dựng Data Warehouse theo yêu cầu nghiệp vụ của tập đoàn VIN GROUP.
- Xây dựng xong quy trình tích hợp chuyển đổi số liệu từ hệ thống SAP ERP và các flat file sang Hệ thống SAP BPC.
- Xây dựng thành công bộ báo cáo BI cho ban lãnh đạo tập đoàn VIN GROUP.
- Kết quả đã được tập đoàn đưa hệ thống vào sử dụng thực tế rất tốt đảm bảo yêu cầu nghiệp vụ và tốc độ xử lý nhanh chính xác.
4.2 Hướng phát triển.
Công nghệ Kho dữ liệu và Báo cáo BI là một xu hướng phát triển tất yếu và cần thiết đối với các doanh nghiệp lớn. Trong tương lai gần SAP – công ty giải pháp hệ thống số 1 thế giới sẽ có những công nghệ mới để xây dựng Kho dữ liệu như SAP BW HANA. Việc nghiên cứu áp dụng công nghệ mới này sẽ góp phần cải thiện việc xử lý chuyển đổi tích hợp dữ liệu ETL trở nên đơn giản nhanh chóng hơn.
TÀI LIỆU THAM KHẢO Tiếng Anh
[1] The Data Warehouse ETL Toolkit Practical Techniques for Extracting, Conforming, and Delivering Data, Ralph Kimball, Joe Caserta.
[2] Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals. Paulraj Ponniah, Copyright © 2001 John Wiley & Sons, Inc.
[3] Conceptual Modeling for ETL Processes, Panos Vassiliadis, Alkis Simitsis, Spiros Skiadopoulos.
[4] Building the Data Warehouse, W.H.Inmon, Copyright © 2005 John Wiley & Sons, Inc.
[5] Arktos : towards the modeling, design, control and execution of ETL processes, Panos Vassiliadis*, Zografoula Vagena, Spiros Skiadopoulos, Nikos Karayannidis, Timos Sellis, 2001
[6] Larissa T. Moss, Shaku Atr. Business Intelligence Roadmap, Addison- Wesley,2008