CHƯƠNG 5 : XÂY DỰNG DATAWAREHOUSE CHO EVN
5.2. Minh chứng trên số liệu EVN
5.2.4. Giới thiệu một số công cụ hỗ trợ
1. Công cụ hỗ trợ xây dựng dữ liệu: Oracle Warehouse Builder 10g (OWB)
OWB là công cụ cung cấp một giải pháp tích hợp cho thiết kế và triển khai datawarehouse, data mart và các ứng dụng nghiệp vụ thơng minh. Nó cũng giải quyết được các vấn đề phức tạp khi tích hợp dữ liệu giữa các nguồn và đích dữ liệu riêng rẽ. Hơn nữa, OWB hỗ trợ quản lý vòng đời hệ thống đang phát triển.
Sau đây là kiến trúc chính của OWB:
a) Thành phần thiết kế
Trong số những thành phần thiết kế, OWB chủ yếu bao gồm:
Kho lưu trữ metadata (bằng database trên Oracle) Tập các công cụ thiết kế và báo cáo (kiểu client)
Tạo ra metadata là việc sử dụng các công cụ client để thiết kế object, process và job. OWB hỗ trợ thiết kế các lược đồ cơ sở dữ liệu quan hệ, lược đồ đa chiều, các tiến trình thu thập dữ liệu (ETL), các mơi trường truy cập sử dụng công cụ đầu cuối.
Những thành phần này đều được viết bằng Java hoặc HTML.
Sau khi thiết kế hệ thống ETL mức logic, chúng ta sẽ chuyển chúng thành mơ hình cơ sở dữ liệu vật lý.
Trước khi điều này được thực hiện, thông tin về môi trường database sẽ được đưa
vào thiết kế logic khi các đích được cấu hình để triển khai. Sau khi cấu hình xong, mã code sẽ được tạo ra.
Mã code được tạo ra có thể triển khai trên file hay trên cơ sở dữ liệu.
Thực hiện các hàm ETL nghĩa là chạy các code được triển khai trên cơ sở dữ liệu.
Sử dụng Warehouse Builder Deployment Manager hoặc các cơng cụ bên ngồi như Oracle Enterprise Manager để chạy các code trên.
c) Các thành phần trong bộ Warehouse Builder:
Warehouse Builder Client Application - Công cụ đồ hoạ để định nghĩa, thiết kế và
triển khai các hệ thống nghiệp vụ thông minh.
1. Code Generator: thành phần tạo các script DDL và PL/SQL dựa trên siêu dữ liệu (được lưu trong data warehouse)
2. Deployment Manager: quản lý vấn đề triển khai và các đối tượng được triển khai.
Warehouse Builder Runtime Platform Service - Một thành phần phía server, cung
cấp các dịch vụ thực thi và triển khai. Để chạy những dịch vụ này, Runtime Platform Service phải được kích hoạt.
Warehouse Builder Design Repository – Lưu trữ các định nghĩa metadata cho tất cả
các đối tượng được sử dụng trong Warehouse Builder. Đây là nơi lưu trữ thơng tin thiết kế cho hệ thống đích mà chúng ta tạo ra.
Warehouse Builder Runtime Repository – Kho lưu trữ khi thực thi. Nó được cài đặt
trên Oracle database, lưu trữ mọi dữ liệu triển khai, ánh xạ và dịng chảy của tiến trình. Nó là nơi lưu trữ thơng tin mơi trường đích cho các hệ thống nghiệp vụ thông minh.
Audit Reporting Browser – Giúp duyệt thông tin về triển khai và thực thi từ một ứng
dụng web. Thông tin báo cáo được lấy từ Runtime Repository.
Metadata Reporting Browser - Giúp duyệt thông tin về metadata được lưu trong
Design Repository.
d) Các bước để sử dụng với OWB
OWB giúp tạo các hệ thống nghiệp vụ thông minh bằng cách tích hợp dữ liệu từ nhiều nguồn khác nhau. Dưới đây trình bày các bước để tạo ra hệ thống thông minh nghiệp vụ.
Các dự án Warehouse Builder là các đối tượng lớn nhất trong design repository. Chúng lưu trữ các định nghĩa metadata cho hệ thống đích, bao gồm nguồn dữ liệu, đối tượng đích, ánh xạ từ nguồn tới đích, các thao tác chuyển đổi và các tham số cấu hình.
Những định nghĩa trên được đưa vào trong các thư mục của dự án
Bước 2: Định nghĩa module nguồn và đích dữ liệu
Module là các đối tượng lưu trữ trong dự án giúp tổ chức đối tượng nguồn và đích.
Module nguồn chứa metadata từ một nguồn dữ liệu đang có mà chúng ta muốn lấy
dữ liệu về. Chúng có thể là database, file hoặc ứng dụng.
Module đích chứa metadata về nơi sẽ chứa dữ liệu nguồn.
Bước 3: Định nghĩa sự di chuyển và biến đổi dữ liệu
Sau khi định nghĩa module nguồn và đích chúng ta tạo ra sự di chuyển và biến đổi mức logic. Đó cịn gọi là ETL. Sử dụng các thành phần sau trong Warehouse Builder để định nghĩa sự dịch chuyển và biến đổi dữ liệu mức logic:
Truyền tải dữ liệu Ánh xạ dữ liệu Luồng xử lý dữ liệu
Bước 4: Thẩm định và tạo mã
Thẩm định và sinh mã để kiểm tra lỗi trước khi tiến hành triển khai. Thẩm định mọi đối tượng và module để đảm bảo khơng có định nghĩa nào là khơng hợp lệ hoặc khơng hồn chỉnh.
Bước 5: Triển khai và thực thi
Triển khai các thiết kế trong mơi trường đích sau khi mơ hình đích được hồn thành. Chúng ta phải cài đặt một kho chứa dữ liệu khi triển khai (runtime repository) và định nghĩa ra một kết nối đến nó (runtime repository connection) trước khi triển khai. Có 2 cách để triển khai với Warehouse Builder là sử dụng từ màn hình giao diện chính hoặc qua cơng cụ Deployment Manager.
2. Công cụ khai thác data warehouse: Oracle Business Intelligence 10g
Theo thời gian, dữ liệu sinh ra trong q trình tác nghiệp là vơ cùng lớn và nghiệp vụ cũng như chiến lược kinh doanh của các doanh nghiệp phụ thuộc rất lớn vào lượng dữ liệu này. Một điều hiển nhiên là khi có dữ liệu thì khơng có nghĩa là doanh nghiệp đã có thông tin. Dữ liệu chỉ trở thành thông tin khi mà doanh nghiệp sử dụng được nó để trả lời các câu hỏi liên quan đến nghiệp vụ. Oracle Business Intelligence là công cụ
giúp khai thác thông tin về nghiệp vụ từ dữ liệu sẵn có và trả lời các câu hỏi nghiệp vụ như vậy để hình thành lên những quyết định khi có những yêu cầu nghiệp vụ thay đổi.
Với cơng cụ này doanh nghiệp có thể trả lời được những câu hỏi cơ bản theo những dạng như sau:
5 sản phẩm bán chạy nhất hiện nay là gì?
Lượng sản phẩm bán được năm nay có chiều biến thiên như thế nào so với năm
ngoái?
Lượng sản phẩm bán ra trung bình trong 3 tháng nay là bao nhiêu?
Ngồi ra, bộ cơng cụ này cịn giúp trả lời được nhiều các câu hỏi theo hướng phân tích dữ liệu nghiệp vụ như:
Tại sao lượng sản phẩm bán hàng tại khu vực này lại giảm xuống?.
Doanh số bán hàng dự đoán trong quý tiếp theo là bao nhiêu?
Nhân tố nghiệp vụ nào cần thay đổi để nâng cao doanh thu bán hàng đã dự báo?
Các sản phẩm nào thường được khách hàng mua cùng nhau?
Những khách hàng thường có đặc điểm gì khi mua một sản phẩm nào đấy? Dưới đây là các thành phần chính của bộ cơng cụ Oracle Business Intelligence
Thành phần tạo dựng dữ liệu phân tích: Thành phần này gồm các thành phần con
như sau phục vụ cho việc chuẩn bị dữ liệu phân tích
Oracle Business Intelligence Warehouse Builder (OracleBI Warehouse Builder) có
nhiệm vụ thiết kế, triển khai và duy trì mơi trường data warehouse và các siêu dữ liệu để tạo dựng báo cáo.
Oracle Business Intelligence Discoverer Administrator (OracleBI Discoverer
Administrator): Công cụ này dùng để tạo dựng, duy trì các khung nhìn hướng nghiệp vụ của dữ liệu quan hệ phục vụ cho đầu vào của các thành phần OracleBI Discoverer.
Quản lý khơng gian phân tích cho việc tạo dựng cấu trúc dữ liệu để phục vụ các vấn đề phân tích nâng cao.
Thành phần phân tích dữ liệu và tạo báo cáo: Oracle Business Intelligence bao gồm
các thành phần như sau để phục vụ quá trình phân tích dữ liệu và xây dựng báo cáo:
Oracle Business Intelligence Discoverer Plus (OracleBI Discoverer Plus): Giúp hệ
thống tạo ra các báo cáo chuẩn và các báo cáo kiểu add-hoc.
Oracle Reports: Tạo báo cáo theo các đặc trưng của doanh nghiệp.
Oracle Business Intelligence Spreadsheet Add-In (OracleBI Spreadsheet Add-In):
Làm việc trức tiếp với dữ liệu trong Microsoft Excel để truy vấn, phân tích dữ liệu.
Oracle Data Miner: Là công cụ đồ hoạ cung cấp cho người dùng giúp cho việc khai
phá dữ liệu như việc mơ hình dữ liệu phản hồi, phân tích tình hình thị trường, tìm hiểu và phân nhóm khác hàng.
Oracle Spreadsheet Add-In for Predictive Analytics: Giúp khai phá dữ liệu một cách
tự động nằm trong Microsoft Excel.
Thành phần xuất và tạo dựng báo cáo: Thành phần này giúp việc chia sẻ báo cáo
với các thành phần khác được dễ dàng. Nó bao gồm các thành phần sau
Oracle Business Intelligence Discoverer Portlet Provider (OracleBI Discoverer
Portlet Provider): Hỗ trợ việc xuất bản báo cáo trong OracleAS Portal.
Oracle Reports: Hỗ trợ tạo báo cáo theo khuân mẫu của doanh nghiệp và đưa ra
kết quả thông qua máy in, dưới dạng web hay trong OracleAS Portal.
Oracle Business Intelligence Discoverer Viewer (OracleBI Discoverer Viewer): Hỗ
trợ việc xem báo cáo và phân tích dữ liệu trong mơi trường web browser.
Thành phần giúp xây dựng các ứng dụng tuỳ biến: Thành phần này giúp xây dựng nên những ứng dụng nghiệp vụ thông minh theo đặc điểm riêng của doanh nghiệp. Nó bao gồm thành phần sau:
Oracle Business Intelligence Beans (OracleBI Beans): Thành phần này được tích hợp cùng với công cụ JDeveloper để xây dựng nên các ứng dụng JSP.
Ngoài ra, Oracle OLAP và Oracle Data Mining còn cung cấp các hàm API viết dưới ngôn ngữ JAVA và các script SQL để xây dựng các ứng dụng riêng liên quan đến phân tích nghiệp vụ.