Bài giảng Khai phá dữ liệu - Chương 3: Qui trình phát triển kho dữ liệu cung cáp cho người học các kiến thức: Xem xét những hoạt động cơ bản trong lập kế hoạch kho dữ liệu, chu trình cho một dự án kho dữ liệu, thảo luận về tổ chức, vai trò và trách nhiệm của nhóm dự án, xem xét các dấu hiệu cảnh báo và nhân tố thành công. Mời các bạn cùng tham khảo.
Kho liệu khai phá liệu Chương 2: Qui trình phát triển kho liệu Mục tiêu Xem xét hoạt động lập kế hoạch kho liệu Chu trình cho dự án kho liệu Thảo luận tổ chức, vai trò trách nhiệm nhóm dự án Xem xét dấu hiệu cảnh báo nhân tố thành công Nội dung Các phương pháp luận phát triển kho liệu Thiết kế mơ hình liệu (Data model) Business Dimensional Lifecycle Q trình ETL/ELT Làm chuẩn hóa liệu Một số vân đề lưu ý thiết kế kho liệu Tổng quan Một số câu hỏi quan trọng cần xem xét trước định xây dựng kho liệu : Theo tiếp cận Top-down hay bottom-up ? Dùng cho mức doanh nghiệp hay phòng ban ? Cái trước - data warehouse hay data mart ? Build pilot or go with a full-fledged implementation? Data mart phục thuộc hay độc lập ? Source: adapted from Strange (1997) Các phương pháp phát triển KDL Có phương pháp phát triển chính: Top-Down Bottom-Up 2.1 Top-Down Cách tiếp cận Bill Inmon Dữ liệu KDL lưu trữ mức “hạt” (granularity) thấp dựa mơ hình liệu chuẩn hóa KDL trung tâm “Xưởng thơng tin công ty” (Corporate Information Factory-CIF) cung cấp khung luận lý (logical framework) cho việc chuyển giao kinh doanh thông minh đến doanh nghiệp Các hoạt động kinh doanh cung cấp liệu cho CIF KDL tập trung hóa cung cấp data mart phụ thuộc thiết kế dựa mơ hình liệu có chiều 2.1 Top-Down (tt) Nguồn: A Managers Guide to Data Warehousing 2.1 Top-Down (tt) Thuận lợi: Có nhìn tồn diện (mức doanh nghiệp) liệu Có kiến trúc rõ ràng, khơng phải việc hợp data mart khác Lưu trữ tập trung Các luật kiểm soát tập trung Có thể thấy kết nhanh chóng thực bước lặp Hạn chế: Mất nhiều thời gian Tiềm ẩn rủi ro thất bại cao Cần có kỹ nhiều lĩnh vực mức cao Tốn chi phí 2.2 Bottom-Up Cách tiếp cận Ralph Kimball KDL công ty tập hợp data mart làm cho phù hợp Data mart tạo trước để cung cấp khả phân tích báo cáo cho việc kinh doanh chun biệt dựa mơ hình liệu chiều Chiều thay đổi chậm Chiều hỗn hợp Các dạng bảng kiện Bảng kiện giao dịch (Transaction Fact Table) Bảng kiện lưu ảnh theo chu kỳ (Periodic Snapshot Fact Table) Bảng kiện lưu ảnh tích lũy (Accumulating Snapshot Fact Table) Bảng kiện yếu (Factless Fact Table) Order fulfillment pipeline diagram Characteristic Transaction Fact Periodic Table Snapshot Fact Table Accumulating Snapshot Fact Table Time period represented Point in time Regular predictable intervals Indeterminate time span, typically short-lived Grain One row per transaction event One row per period One row per life Fact table loads Insert Insert Insert and update Fact row updates Not revisited Revisited whenever activity Date dimension Transaction date End-of-period date Multiple dates for standard milestones Facts Performance for predefined time interval Performance over finite lifetime Not revisited Transaction activity Bảng kiện yếu 4.5 Thiết kế vật lý Tập trung vào cấu trúc vật lí cần thiết để hỗ trợ cho thiết kế luận lý Bao hàm tiêu chuẩn định danh thiết lập môi trường sở liệu Các chiến lược đánh mục (indexing) phân hoạch (partitioning) sơ cần xem xét 4.6 Thiết kế phát triển vùng liệu tạm Thường bị đánh giá thấp dự án KDL Bao gồm bước chính: rút trích, chuyển đổi nạp Q trình rút trích ln bộc lộ vấn đề chất lượng liệu hệ thống tác nghiệp Vấn đề chất lượng liệu cần phải lưu ý giai đoạn xây dựng vùng liệu tạm 4.7 Thiết kế kiến trúc kỹ thuật KDL yêu cầu việc tích hợp nhiều cơng nghệ Những nhân tố then chốt cần xem xét: Yêu cầu nghiệp vụ Môi trường công nghệ Kỹ thuật chiến lược 4.8 Chọn lựa cài đặt kết Dùng kiến trúc kỹ thuật framework Qui trình đánh giá tiêu chuẩn kỹ thuật theo nhân tố lượng giá cho thành phần kiến trúc định nghĩa Sau chọn lựa cài đặt, yêu cầu có q trình kiểm tra để chắn việc tích hợp tương thích 4.9 Đặc tả ứng dụng người dùng cuối Xác định tập tiêu chuẩn ứng dụng người dùng cuối cho ứng dụng đơn lẻ Các đặc tả ứng dụng mô tả mẫu báo cáo, thông số hướng người dùng u cầu tính tốn Các đặc tả phải chắn nhóm phát triển người dùng có cách hiểu ứng dụng chuyển giao 4.10 Phát triển ứng dụng người dùng cuối Việc phát triển bao gồm cấu hình cơng cụ siêu liệu xây dựng báo báo cáo đặc tả Các ứng dụng xây dựng dùng cơng cụ truy xuất liệu nâng cao để cung cấp sản phẩm có ý nghĩa Dùng công cụ truy xuất liệu nâng cao thường đưa cấu mạnh mẽ cho người dùng dễ dàng chỉnh sửa mẫu báo cáo sẵn có 4.11 Cài đặt Cài đặt thể sụ hội tụ công nghệ, liệu ứng dụng người dùng cuối Huấn luyện người dùng quan trọng Hỗ trợ người dùng, qui trình giao tiếp, chiến lược phản hồi nên thiết lập trước người dùng truy xuất đến KDL Cài đặt nên hỗn lại tất mảng cơng việc chưa sẵn sàng 4.12 Bảo trì phát triển Tập trung vào phía bên để chắn tính tin cậy KDL Các số chấp nhận hiệu suất nên đo lường nhiều lần ghi log để hỗ trợ tiếp thị cho KDL Những thay đổi nên xem xét dấu hiệu thành công khơng phải thất bại Các tiến trình ưu tiên nên thiết lập cho thỏa mãn nhu cầu tăng thêm Sau ưu tiên xác định, quay lại từ đầu chu trình 4.13 Quản lí dự án Tập trung theo dõi trạng thái dự án, ghi nhận vấn đề thay đổi kiểm sốt Giao tiếp liên tục mang tính then chốt ... phương pháp phát triển KDL Có phương pháp phát triển chính: Top-Down Bottom-Up 2.1 Top-Down Cách tiếp cận Bill Inmon Dữ liệu KDL lưu trữ mức “hạt” (granularity) thấp dựa mơ hình liệu. .. hoạch kho liệu Chu trình cho dự án kho liệu Thảo luận tổ chức, vai trị trách nhiệm nhóm dự án Xem xét dấu hiệu cảnh báo nhân tố thành công Nội dung Các phương pháp luận phát triển kho liệu. .. xây dựng kho liệu : Theo tiếp cận Top-down hay bottom-up ? Dùng cho mức doanh nghiệp hay phòng ban ? Cái trước - data warehouse hay data mart ? Build pilot or go with a full-fledged implementation?