3.1. Yêu cầu chung của bài toán BI
3.1.1. Nhu cầu triển khai hệ thống Oracle BI cho Prime Group
Hiện tại Tổng công Prime Group đã triển khai thành công giải pháp hệ thống quản trị doanh nghiệp tồng thể Oracle ERP bao gồm các module Mua sắm, quản lý AP, AR, FA, GL, INV. Hệ thống được ứng dụng các quy trình thống nhất từ Tổng công ty tới tất cà các công ty thành viên.
Sau quá trình sử dụng, hệ thống đã phát sinh rất nhiều dữ liệu, thông tin về Khách hàng, sản phẩm, thông tin vể doanh thu, tài chính được lưu trữ trên hệ thống CSDL của hệ thống ERP. Hệ thống ERP là vùng phát sinh các dữ liệu giao dịch tác nghiệp hằng ngày nhưng trên đó chưa có một nền tảng đủ mạnh để giúp người dung khai thác, phân tích dữ liệu. Bài toán đặt ra cần triển khai nền tảng phục vụ người dùng dễ dang thiết kế (dạng kéo thả, lựa chọn các tiêu chí phân tích để lên báo cáo, ..), do đó Prime Group đã quyết định triển khai Oracle BI như là một dự án mở rộng (giai đoạn 2 của dự án ERP) đảm bảo các yêu cầu chính sau.
Báo cáo chuẩn được đóng gói và phát triển cùng giải pháp của hệ thống cũ thường bị giới hạn thông tin và dữ liệu phát triển sẵn bởi hãng Oracle ERP, khó khăn trong hiệu chỉnh và xem thêm các thông tin như mong muốn, trong khi nhu cầu khai thác dữ liệu là nhiều hơn thực tế tác nghiệp trên hệ thống. Và để sử dụng được thì phải tạo user, account, phân quyền cho người dùng, qua nhiều công đoạn mới làm được.
3.1.2. Giải pháp Oracle BI cho các phần báo cáo của PG
Trên cơ sở của hệ thống cũ đã triển khai, giải pháp cho các báo cáo của BI là xây dựng một nền tảng để xây dựng báo cáo dạng Oracle BI Publisher mà trên đó dữ liệu báo cáo linh động cho phép người dùng có thể hiển thị báo cáo theo mong muốn, thì hệ thống BI Publisher được xây dựng sẽ cho phép phân tích dữ liệu theo nhiều chiều để đáp ứng nhu cầu quản trị của doanh nghiệp, tối thiểu cần đáp ứng các chiều phân tích như sau: [2]
•Chiều phân tích theo đơn vị
•Chiều phân tích theo tỉnh/thành phố
•Chiều phân tích theo nhà cung cấp
•Chiều phân tích theo tài khoản •Chiều phân tích theo thời gian
•Chiều phân tích theo sản phẩm
•Chiều phân tích theo nhóm sản phẩm
•Chiều phân tích theo loại sản phẩm
• Chiều phân tích theo tổ chức
•Chiều phân tích theo trung tâm tiêu thụ
•Chiều phân tích theo Trung tâm chi phí
•Chiều phân tích theo kênh bán hàng.
Đồng thời, yêu cầu hệ thống thiết kế để phân tích các chỉ tiêu cần đảm bảo kèm theo so sánh số liệu tại kỳ phân tích với các số liệu tương đương như sau:
•Ngân sách lập đầu năm
•Cùng kỳ năm trước (Đối với các kỳ tháng/quý)
•Kỳ trước
•Dự báo kỳ tiếp theo
Khi các tiêu chí trên được thiết lập, thì các báo BI hiển thị thêm được các thông tin khác với các thông tin trên hệ thống làm việc cũ. Nền tảng này chính là nền tảng Web, cho phép NSD thao tác dễ dàng, thuận tiện, trực tiếp trên hệ thống và không cẩn phân quền hay tạo user, account. Hệ thống cho phép các báo cáo hiển thị theo nhiều chiều và áp dụng cho tất cả các phân hệ như: kế toán tổng hợp, phải trả, phải thủ, mua hàng, khách hàng, nhà cung cấp. Báo cáo cần được trình bày theo từng nhóm chỉ số phân tích quản trị. Hiển thị các dạng khác nhau như: dạng bảng, đồ thị, biểu đồ.
Hệ thống cho phép hiển thị báo cáo dạng bảng, đồ thị, và kết xuất theo các dạng khác nhau: excel, pdf, word. Hệ thống cho phép chức năng truy vấn tới các giao dịch liên kết với hệ thống Oracle ERP.
Hệ thống cần cung cấp công cụ cho phép tùy biến các báo cáo theo nhu cầu phân tích, quản trị của doanh nghiệp của từng thời điểm, dữ liệu, chiều phân tích.
Hệ thống cho phép hiển thị báo cáo dạng bảng, đồ thị, và kết xuất theo các dạng khác nhau: excel, pdf, word. Hệ thống cho phép chức năng truy vấn tới các giao dịch liên kết với hệ thống Oracle ERP.
Hệ thống cho phép mở rộng, triển khai cho các đơn vị thành viên trong Prime Group. Hệ thống cho phép mở rộng, triển khai tích hợp các module nghiệp vụ khác đồng bộ với hệ thống Oracle ERP (quản lý sản xuất, bán hàng, duy tu bảo dưỡng)
Đáp ứng mô hình tập trung – phân tán của Prime Group. Hệ thống cần đáp ứng mô hình sau của Prime Group: Hệ thống báo cáo phân tích quản trị: Tập trung tại Prime Group, các đơn vị truy xuất và khai thác, đồng bộ dữ liệu với hệ thống ERP đặt tại các đơn vị.
3.2. Đặc tả chi tiết báo cáo PG
3.2.1. Các yêu cầu cho báo cáo BI
Khi thiết kế báo cáo BI thì thì báo cáo được phân tích theo nhiều chiều với nhiều tiêu chí khác nhau. Ví dụ với báo cáo phân hệ AR thì dữ liệu nhà cung câp có thể phân tích theo: nhóm nhà cung cấp, kiểu nhà cung cấp. Sau đó nhóm nhà cung cấp có thể phân tích theo tuổi nợ, theo thông tin hợp đồng vay, theo đơn vị, theo tài khoản và theo loại tiền. Khi đó trên báo cáo sẽ thể hiện là các group con khác nhau theo cấp giảm dần, ví dụ mẫu báo cáo tuổi nợ phải thu theo khách hàng. Với báo cáo phân hệ AP, GL cũng tương tự như báo cáo AR.
3.2.2. Yêu cầu nghiệp vụ
Với các tiêu chí trên thì yêu cầu nghiệp vụ sẽ được mô tả theo hình sau:
STT Tên trường Mô tả chi tiết Ghi chú
Phân hệ AP
Chiều phân tích/Dimensions
1 Nhà cung cấp
(Supplier)
Chiều phân tích theo nhà cung cấp. Yêu cầu phân tích công nợ phải trả, tuổi nợ chi tiết theo nhà cung cấp, bao gồm các thông tin:
+ Mã nhà cung cấp (Supplier Number)
+ Tên nhà cung cấp (Supplier Name) + Tài khoản Nhà cung cấp (Supplier Account)
Nguồn lấy dữ liệu Dimension: + Hệ thống: Oracle ERP + Phân hệ: Payables 3 Phân loại nhà cung cấp (Supplier Alias)
Chiều phân tích theo loại nhà cung cấp (các bên liên quan)
Yêu cầu phân tích công nợ phải thu, phải trả chi tiết theo các bên liên quan với PG + Hệ thống: Oracle ERP + Phân hệ: Payables 7 Chiều phân tích theo tài khoản
Chiều phân tích theo tài khoản + Mã tài khoản (Account Code) + Tên tài khoản (Account Name) Nguồn lấy dữ liệu Dimension: + Hệ thống: Oracle ERP + Phân hệ: General Ledger
STT Tên trường Mô tả chi tiết Ghi chú
3
Tổng hợp số phát sinh theo ngày
Yêu cầu: Tổng hợp số phát sinh từ bảng chi tiết giao dịch AP theo từng ngày hạch toán:
+ Căn cứ ngày: Accouting Date tại AP và Effective Date với các nguồn khác tại GL 4 Tổng hợp số phát sinh theo kỳ
Yêu cầu: Tổng hợp số phát sinh từ bảng chi tiết giao dịch AP theo từng tháng:
+ Căn cứ ngày: Accouting Date tại AP và Effective Date với các nguồn khác tại GL
5 Chi tiết tuổi nợ
theo hóa đơn
Yêu cầu: Lấy thông tin tuổi nợ chi tiết theo từng hóa đơn kết hợp với các chiều phân tích ở trên:
- Các phân hệ khác AP: Lấy tại GL - Các dữ liệu không có chiều phân tích tương ứng
6
Chi tiết tuổi nợ theo Nhà cung cấp
Yêu cầu: Lấy thông tin tuổi nợ chi tiết theo từng Nhà cung cấp kết hợp với các chiều phân tích ở trên:
- Các phân hệ khác AP: Lấy tại GL
[5]
Khi thực hiện giao dịch tạo Invoice Standard hệ thống sẽ lưu dữ liệu vào các table sau : AP_INVOICES_ALL AP_INVOICE_DISTRIBUTIONS_ALL AP_PAYMENT_SCHEDULES_ALL XLA_TRANSACTION_ENTITIES XLA_EVENTS
XLA_AE_HEADERS XLA_AE_LINES
Ví dụ : Nhập giao dịch Invoice Standard số INV01 với số tiền 1000 USD nhà cung cấp ABC có ID=101, mặt hàng Item1=400, Item2=500, thuế VAT = 10%, ngày tạo giao dịch 11/07/2006, ngày tạo bút toán GL_date = 15/07/2006, dùng tern trả sau 15 ngày => ngày tới hạn thanh toán 30/07/2006
Tiền hàng Item1=400; Item2=500 Tiền thuế = 100
Khi định khoản hệ thống sinh các bút toán sau Ghi nợ tk 331100 : 16 000 000 Ghi có tài khoản chi phí: 641300 15 400 000 Ghi có tài khoản thuế VAT: 1331 1 600 000
Khi nhập giao dịch, hệ thống lưu dữ liệu vào các table như sau : 1 row trên bảng AP_INVOICES_ALL
ORG_ID Vendor_id Vendor_name Invoice
id
Invoice num Invoice date
103 101 ABC 23 INV01 11/07/2006
GL_date Due_date ur ate Invoice
type
mount Based_amount
15/07/2006 30/07/2006 SD 6 000 Standard 000 16 000 000
3 row trên bảng AP_INVOICE_DISTRIBUTIONS_ALL, 2 row tương ứng với 2 Item và 1 row tiền thuế
nvoice id Invoice distributi on id Accounti ng Event id Accounti ng date Description ine type look up code Amount Base Amount 12 3 1 100 15/07/ 2006 Item1 IT E M 400 6 400 000 12 3 2 100 15/07/ 2006 Item2 IT E M 500 8 000 000 12 3 3 100 15/07/ 2006 Tax T A X 100 1 600 000
1 row trên bảng AP_PAYMENT_SCHEDULES_ALL với số tiền còn phải trả (Amount remaining=số tiền ban đầu trên invoice vì chưa có Payment nào)
I nvoice id Due date Amo unt Remaining G ross amount Pa yment num 1 23 30/07 /2006 1 000 0 Nu ll
1 row trên bảng XLA_EVENTS vơi trạng thái bút toán đã được định khoản thành công ()
APPLICATION_ID EVENT_ID EVENT_TYPE_CODE EVENT_DATE EVENT_STATUS_CODE ENTITY_ID
200 62036 INVOICE VALIDATED 8/18/2011 P 33027
1 row trên bảng xla_ae_headers
APPLICATION_ID LEDGER_ID AE_HEADER_ID ENTITY_ID EVENT_ID EVENT_TYPE_CODE ACCOUNTING_DATE PERIOD_NAME GL_TRANSFER_DATE 200 2022 23010 33027 62036 INVOICE VALIDATED 8/18/2011 AUG-11 8/24/2011 4:58:39 PM
3 row trên bảng xla_ae_lines
AE_ HEADER_ID CODE_ COMBINATION_ID ACCOUNTING _CLASS_CODE GL_TRANSFER _MODE_CODE GL_SL_ LINK_TABLE GL_SL_ LINK_I D CURRENCY _CODE ENTERED _DR ENTERED_C R ACCOUNTED _DR ACCOUNTED _CR
23010 1028 ITEM EXPENSE S XLAJEL 23018 VND 8000000 8000000
Mô hình ngôi sao của dữ liệu như sau:
Hình 3.1: Mấu báo cáo của phân hệ AP
Và mẫu báo cáo khi chạy trên BI Publisher sẽ ra các thông số sau:
3.3. Mô hình kiến trúc triển khai hệ thống
3.3.1. Các thành phần cấu hình máy chủ của BI bao gồm:
Mạng WAN: Toàn bộ các công ty thành viên của tổng công ty được liên kết qua nền tảng WAN của tổng công ty. Các đơn vị sau khi truy cập qua các mức an ninh sẽ có thể đẩy dữ liệu từ các database hệ thống ERP, database hệ thống quản lý lưu trữ văn bản - Essbase lên các database staging tương ứng đặt tại tổng công ty và được quản lý bởi hệ thống quản trị truy cập đẩy dữ liệu theo vai trò được cấp phát. Thông qua hệ thống tài khoản này, mức độ an ninh ứng dụng được tăng cường quản lý và kiểm soát kĩ càng hơn.
Database Staging, Database Data Warehouse: Là các cơ sở dữ liệu trung gian cho việc đẩy dữ liệu từ các hệ thống ERP và hệ thống quản lý ngân sách - Essbase thành viên vào cơ sở dữ liệu Data Warehouse. Data Warehouse sẽ là cơ sở dữ liệu chứa dữ liệu tập trung của toàn bộ các hệ thống của các Công ty thuộc hệ thống của PG. Từ đây, Oracle Bi có thể lấy dữ liệu nguồn từ Data Warehouse để tổng hợp tất cả các báo cáo theo yêu cầu.
Mỗi hệ thống ERP và hệ thống quản lý ngân sách - Essbase tại đơn vị thuộc PG sẽ có 1 hệ thống Database Staging tương ứng lưu các dữ liệu cần kiểm soát đặt tại PG
Hệ thống Database Staging cho từng đơn vị sẽ được thiết lập trên 01 máy chủ Sun T4-4 và được backup dữ liệu hàng ngày.
Các hệ thống Database Staging sẽ được đẩy dữ liệu từ các hệ thống ERP và hệ thống quản lý ngân sách - Essbase tại đơn vị lên 1 lần trên ngày (công việc sẽ được thực hiện vào ban đêm để đảm bảo băng thông và không ảnh hưởng tới tài nguyên hệ thống)
Đối với cơ sở dữ liệu Data Warehouse sẽ được tích hợp và đẩy dữ liêu từ các Database Staging lên hàng đêm sau khi các hệ thống Database Staging này đã được đẩy dữ liệu thay đổi từ các hệ thống tại đơn vị
Cơ sở dữ liệu Data Warehouse là duy nhất do vậy để đảm bảo an toàn dữ liệu cần xây dựng 1 hệ thống cơ sở dữ liệu dự phòng được đồng bộ dữ liệu liên tục (ngoài các phương án dự phòng khác)
Business Intelligence (BI):
Theo như thiết kế này, máy chủ Exalytics sẽ được chia thành 2 máy chủ (ảo hóa) để có thể sử dụng 3 môi trường:
Môi trường Prod: Triển khai và chuyển giao tới PG, áp dụng tới người dùng đầu cuối.
Môi trường Dev: Sử dụng để lập trình tùy biến theo yêu cầu của tổng công ty PG, đáp ứng quy trình tương lai đã thống nhất.
Môi trường Testing: Áp dụng cho người kiểm soát, người sử dụng và kiểm tra tính năng trước khi triển khai vào môi trường Production.
Môi trường DEV và Testing sẽ sử dụng trên 1 máy chủ ảo hóa. Cấu hình dịch vụ web nguồn dữ liệu hệ thống được kết nối tới ODI được cấu hình tại địa chỉ:
Hình 3.3: Mô hình tổng thể mức vật lý
Business Intelligence (BI):
Theo như thiết kế này, máy chủ Exalytics sẽ được chia thành 2 máy chủ (ảo hóa) để có thể sử dụng 3 môi trường:
Môi trường Prod: Triển khai và chuyển giao tới Vicem, áp dụng tới người dùng đầu cuối.
Môi trường Dev: Sử dụng để lập trình tùy biến theo yêu cầu của tổng công tyVicem, đáp ứng quy trình tương lai đã thống nhất.
Môi trường Testing: Áp dụng chongười kiểm soát, người sử dụng và kiểm tra tính năng trước khi triển khai vào môi trường Production.
Môi trường DEV và Testing sẽ sử dụng trên 1 máy chủ ảo hóa.
3.3.2. Xuất nhập dữ liệu
Dùng DATAEXPORT để xuất dữ liệu trực tiếp từ nguồn bên ngoài đến bẳng trong Database Staging
Hình 3.4: Xuất nhập dữ liệu
Trong Hyperion Essbase, tạo Calculation Srcrip để Export dữ liệu trực tiếp từ Hyperion đến bảng nằm trong DB Staging bằng cách dùng DATAEXPORT “DSN” khi đã thiết lập kết nối ODBC với Hyperion Essbase
3.3.3. Quy trình đẩy dữ liệu từ Database Staging đến Data Warehouse Warehouse
1. Khởi tạo Model Folder
2. Khởi tạo Model mới
Hình 3.5: Khởi tạo Model Folder
Hình 3.6: Tạo Data Store
4. Thiết lập chi tiết cho Model
Hình 3.8: Thiết lập chi tiết cho Model
Phần thiết lập này cho Model ngoài việc đặt tên và lựa chọn Technology mà cấu trúc bảng muốn Reverse lên ODI (ở đây là dùng Technology Oracle) thì còn một phần là thiết lập các thông tin cho bảng Reverse trên ODI. Như trên hình là phần thể hiện kiểu Reverse object: Table, View, Queue, System Table, Table Alias, Synonym. Sau đến là đặt tên Mask cho tên bảng, tên View Reverse trên ODI.
3.3.4. Thiết lập Package cho Interface
Hình 3.10: Thiết lập Package cho Interface
Hình 3.11: Thiết lập Package cho Interface
Mở rộng phần Project, sau đó mở rộng tiếp phần “First Folder” ta sẽ nhìn
thấy phần “Packages”. Chuột phải vào phần “Packages” để thiết lập “New
Package” như trong hình.
Hình 3.12: Thiết lập Step cho Package
Kéo thả Interface đã tạo từ trước ở cây Project vào tab Diagram trong cửa sổ Edit của Package.
▪ Generate Scenario cho Package
▪ Thiết lập Schedule cho Package
Hình 3.14: Thiết lập Schedule cho Package
▪ Definition cho phần thiết lập Schedule
Hình 3.15: Definition cho phần thiết lập Schedule
o Status:
▪Active
▪Inactive
▪Active for Period
- On startup: ngày từ lúc khởi tạo
- Simple: Đơn giản / Thiết lập thông số để đăt lịch theo thời điểm bất kỳ mà mình muốn
- Hourly: theo giờ - Daily: theo ngày
- Weekly: theo tuần
- Monthly (day of the month): ngày bất kỳ trong tháng
- Monthly (week day): ngày trong tuần
- Yearly: theo năm
▪ Execution Cycle cho phần thiết lập Schedule
Hình 3.16: Execution Cycle cho phần thiết lập Schedule
o Repetition:
- None (Execute once): lặp lại một lần