Bài giảng Kho dữ liệu - Chương 2: Qui trình phát triển kho dữ liệu

Bài giảng Kho dữ liệu - Chương 2: Qui trình phát triển kho dữ liệu

Data Warehouse and Business Intelligence 1

Chương 2:

Qui trình phát triển kho dữ liệu

Nội dung

1 Tổng quan

2 Các phương pháp luận phát triển kho dữ liệu

3 Hoạch định kho dữ liệu

4 Business Dimensional Lifecycle

Data Warehouse and Business Intelligence 3

1 Tổng quan

Một số câu hỏi quan trọng cần được xem xét trước khi

quyết định xây dựng kho dữ liệu:

Theo các tiếp cận Top-down hay bottom-up ?

Dùng cho mức doanh nghiệp hay phòng ban ?

Cái nào trước —data warehouse hay data mart ?

Build pilot or go with a full-fledged implementation?

Data mart phục thuộc hay độc lập ?

2 Các phương pháp phát triển KDL

Có 2 phương pháp phát triển chính:

Top-Down

Bottom-Up

Data Warehouse and Business Intelligence 5

KDL được tập trung hóa sẽ cung cấp các data mart phụthuộc có thể được thiết kế dựa trên mô hình dữ liệu cóchiều

2.1 Top-Down (tt)

Thuận lợi:

Có được cái nhìn dữ liệu của toàn doanh nghiệp

Vốn đã có kiến trúc, không phải là việc hợp nhất các data mart khác nhau

Lưu trữ tập trung

Các luật và kiểm soát tập trung

Có thể thấy kết quả nhanh chóng nếu thực hiện với các mực lặp

Hạn chế:

Mất nhiều thời gian

Tiềm ẩn rủi ro và thất bại cao

Cần có những kỹ năng của nhiều lĩnh vục ở mức cao

Tốn chi phí

Data Warehouse and Business Intelligence 7

2.2 Bottom-Up (tt)

Thuận lợi:

Thực hiện nhan và dễ hơn với những phần có thể quản lí

Có thuận lợi về lợi nhuận đầu tư và có bằng chứng

Rủi ro thất bại ít

Vốn có thể phát triển

Cho phép nhóm dự án học tập và tăng trưởng

Hạn chế:

Mội data mart có cái nhìn hẹp về dữ liệu

Tràn ngập dữ liệu dư thừa trong mỗi data mart

Tràn ngập dữ liệu không tương thích và bất thường

Gia tăng các giao diện không thể quản lí

Data Warehouse and Business Intelligence 9

3 Hoạc định cho KDL

3.1 Các vấn đề then chốt

3.2 Các yêu cầu nghiệp vụ phi công nghệ

3.3 Hỗ trợ của quản lí cấp cao

3.4 Biện minh cho KDL

3.5 Kế hoạch tổng thể

3.1 Các vấn đề then chốt

Giá trị và những mong đợi

Đánh giá rủi ro

Top-Down hoặc Bottom-Up

Xây dựng hoặc mua

Single Vendor hoặc Best-of-Breed

Data Warehouse and Business Intelligence 11

3.2 Các yêu cầu nghiệp vụ phi công nghệ

Các yêu cầu nghiệp vụ điều khiển KDL chứ không phảicông nghệ

Giải quyết nhu cầu người dùng về thông tin chiến lược

Không lập kế hoạch xây dựng KDL trước khi hiểu yêu

cầu

Bắt đầu bằng việc tập trung vào thông tin gì là cần thiết, không phải làm thế nào để cung cấp thông tin

Không đặt nặng vào công cụ

Cấu trúc cơ bản và kiến trúc để hỗ trợ yêu cầu người dùng

là quan trọng hơn

Làm nghiên cứu sơ bộ

3.3 Top Management Support

Để thành công cần có sữ hỗ trợ của các nhà quản lí

Dự án cần có dự hỗ trợ đầy đủ của các nhà quản lí cấp cao

ngay từ đầu

KDL thường phải thỏa mãn các yêu cầu có tính xung đột.

Data Warehouse and Business Intelligence 13

3.5 Biện minh cho KDL

Một phác thảo của cấu trúc chi phí:

Làm sao tính toán ROI và ROA ?

Xây dựng business case như thế nòa ?

3.6 Kế hoạch tổng thể

Hạt giống cho KDL được gieo nầm từ nhiều cách

Khuyến cáo cần có CEO hoặc những nhà điều hành cấp

cao đề xuất KDL như là giải pháp cho các vấn đề về

thông tin của công ty

Có kế hoach thảo luận về kiểu KDL và danh sách những

điều mong đợi

Data Warehouse and Business Intelligence 15

4 The Business Dimensional Lifecycle

(Ralph Kimball,etc, 2001, The Data Warehouse Lifecycle Toolkit)

4 The Business Dimensional Lifecycle (tt.)

Minh họa luồng tổng thể của việc thực hiện KDL

Xác định tuần tự các nhiệm vụ và các hoạt động chính

thực hiện đồng thời

Có thể có chỉnh sửa để đáp ứng những nhu cầu đơn nhấtcủa tổ chức

Data Warehouse and Business Intelligence 17

4.1 Hoạch định dự án

Hoạch định dự án nhấn vào định nghĩa và phạm vi dữ liệubao gồm việc đánh giá sự sẵn sàng và minh chứng về mặtkinh doanh

Tập trung vào nguồn lực và cấp độ kỹ năng của nhân viênHoạch định dự án phụ thuộc vào các yêu cầu kinh doanh

4.2 Xác định các yêu cầu kinh doanh

Hiểu yêu cầu kinh doanh của người dùng là trở ngại lớnnhất đối với sự thành công của KDL

Các yêu cầu kinh doanh thiết lập thông qua 3 luồng song song tập trung vào công nghệ, dữ liệu và các ứng dụng

người dùng

Data Warehouse and Business Intelligence 19

Ba luồng song song

Application Track

Technology Track Data Track

4.3 Ba luồng song song (tt)

Luồng dữ liệu (Data Track)

Mô hình chiều

Thiết kê vật lý

Thiết kế và phát triển giai đoạn dữ liệu (Data Staging)

Luồng công nghệ (Technology Track)

Thiết kế kiến trúc kỹ thuật

Chọn lựa và cài đặt kết quả

Luồng ứng dụng (Application Track)

Đặc tả ứng dụng người dùng cuối

Phát triển ứng dụng người dùng cuối

Data Warehouse and Business Intelligence 21

Data Warehouse and Business Intelligence 23

4.6 Thiết kế và phát triển dữ liệu tạm

Thường bị đánh giá thấp nhất trong dự án KDL

Bao gồm 3 bước chính: rút trích, chuyển đổi và nạp

Quá trình rút trích luôn bộc lộ những vấn đề về chấtlượng dữ liệu trong hệ thống tác nghiệp

Vấn đề chất lượng dữ liệu luôn cần phải được lưu ý tronggiai đoạn xây dựng trạm dữ liệu

4.7 Thiết kế kiến trúc kỹ thuật

KDL yêu cầu việc tích hợp của nhiều công nghệ

Những nhân tố then chốt cần xem xét:

Yêu cầu nghiệp vụ

Môi trường công nghệ hiện tại

Kỹ thuật chiến lược

Data Warehouse and Business Intelligence 25

4.8 Chọn lựa và cài đặt kết quả

Dùng các kiến trúc kỹ thuật như framework

Qui trình đánh giá tiêu chuẩn kỹ thuật đi theo những nhân

tố lượng giá cho mỗi thành phần kiến trúc được địnhnghĩa

Sau chọn lựa và cài đặt, yêu cầu có quá trình kiểm tra đểchắc chắn việc tích hợp tương thích

4.9 Đặc tả ứng dụng người dùng cuối

Xác định một tập tiêu chuẩn các ứng dụng người dùng

cuối hơn là cho một ứng dụng đơn lẻ

Các đặc tả mô tả mẫu báo cáo, các thông số hướng ngườidùng và các yêu cầu tính toán

Các đặc tả phải chắc chắn rằng nhóm phát triển và ngườidùng có cùng cách hiểu đối với ứng dụng được chuyển

giao

Data Warehouse and Business Intelligence 27

4.10 Phát triển ứng dụng người dùng cuối

Việc phát triển bao gồm cấu hình công cụ siêu dữ liệu vàxây dựng các báo báo cáo đặc tả

Các ứng dụng có thể xây dựng dùng công cụ truy xuất dữliệu nâng cao để cung cấp những sản phẩm có ý nghĩa

Dùng các công cụ truy xuất dữ liệu nâng cao cũng thường

đưa ra một cơ cấu mạnh mẽ cho người dùng dễ dàng

chỉnh sửa các mẫu báo cáo sẵn có

4.11 Cài đặt

Cài đặt thể hiện sụ hội tụ của công nghệ, dữ liệu và các

ứng dụng người dùng cuối

Huấn luyện người dùng là rất quan trọng

Hỗ trợ người dùng, qui trình giao tiếp, chiến lược phản

hồi nên thiết lập trước khi người dùng truy xuất đến KDLCài đặt nên hoãn lại nếu tất cả các mảng công việc chưasẵn sàng

Data Warehouse and Business Intelligence 29

4.12 Bảo trì và phát triển

Tập trung vào phía bên trong để chắc chắn tính tin cậy

của KDL

Các chỉ số chấp nhận và hiệu suất nên được đo lường

nhiều lần và ghi log để hỗ trợ tiếp thị cho KDL

Những thay đổi nên được xem xét như dấu hiệu của thànhcông chứ không phải là thất bại

Các tiến trình ưu tiên nên được thiết lập sao cho thỏa mãncác nhu cầu tăng thêm

Sau khi các ưu tiên được xác định, quay lại từ đầu của

chu trình

4.13 Quản lí dự án

Tập trung theo dõi trạng thái của dự án, ghi nhận vấn đề

và thay đổi kiểm soát

Giao tiếp liên tục là mang tính then chốt