Kho dữ liệu và Hệ hỗ trợ quyết định ( Nguyễn Thanh Bình ) - Chương 5 potx

Chương Chương 5: 5: K K ỹ ỹ thu thu ậ ậ t t mô mô h h ì ì nh nh ho ho á á c c á á c c chi chi ề ề u u cơ cơ s s ở ở Gi Gi ớ ớ i i thi thi ệ ệ u u • Các bước mô hình kho dữ liệu • Độ thô dữ liệu (Data Granularity) • Lưu trữ dữ liệu • Các phân cấp thuộc tính • Truy vấn KDL và OLAP • Các lỗi thường gặp khi xây dựng 1 KDL • Ví dụ C C á á c c t t ầ ầ ng ng • Tầng khái niệm Conceptual layer – dữ liệu và xử lí dữ liệu • Tầng logic Logical layer – dữ liệu và xử lí kinh doanh • Tầng vật lý Physical layer – cấu trúc bên trong • Các chủ thể, dữ kiện và mối quan hệ T T ầ ầ ng ng trong trong h h ệ ệ th th ố ố ng ng thông thông tin tin Conceptual Layer Logical Layer Physical Layer Physical Layer Logical Layer Operational Operational systems systems Warehouse Warehouse [...]... khung nhìn của một tiến trình kinh doanh • Sự quyết định mô hình tiến trình kinh doanh nào có tác động quan trọng – Nhằm vào các vấn đề gì ? – Các câu hỏi được đặt ra ? – Các thông tin cần thiết – KDL trung tâm hay các chợ dữ liệu Tiến trình kinh doanh • Dữ liệu OLTP – – – – – Point of sales (POS) data: Dữ liệu bán hàng Dữ liệu nhà cung cấp Dữ liệu kế toán Dữ liệu khách hàng Sự quảng cáo Mục đích: Xây... uống, • Kho ng 60.000 sản phẩm tại mỗi kho Ví dụ điển hình của KDL trích từ KIM 96 Cơ sở • Dữ liệu sẵn sàng cho việc xây dựng KDL – Dữ liệu từ các hệ thống nguồn: OLTP – Được làm sạch • Xây dựng kho DL: – – – – – Mô hình các tiến trình kinh doanh nào ? Định nghĩa độ thô của dữ liệu để phù hợp với KDL Mô hình hoá cấu trúc KDL Biến đổi dữ liệu theo cấu trúc Kho DL Tính toán các tổng hợp và các dữ kiện... đưa vào bảng dữ kiện và chiều • Các phân cấp thuộc tính • Các cấp độ tổng hợp • Xem xét các khả năng của câu hỏi và các ràng buộc của các bản • Các tác động của các toán tử OLAP Ví dụ của bảng dữ kiện • Chứa dữ liệu thích hợp cho vùng kinh doanh • Bao gồm các kho của các chiều tham chiếu • Dữ liệu được lấy từ hệ thống OLTP: dữ liệu bán hàng POS • Độ thô: sản phẩm được bán hàng ngày tại từng kho • Định. .. 657 ,000,000 * 8 fields * 4 bytes = 21 GB Dữ kiện (Facts) và Chiều • Dữ kiện: – Miêu tả các vùng kinh doanh – Không thay đổi khi nó đã được sinh ra – Được lưu tại một cấp thô nào đó • Chiều: – Thông tin tham chiếu qua đó cỏc sự kiện có thể được cấu trúc cho việc phân tích – Định nghĩa các phân cấp Ví dụ về dữ kiện và chiều • Kho Grocery • Dữ kiện: – POS: sự kiện bán hàng • Chiều: – Thời gian (Time)... gian (Time) – Kho (Store) – Quảng cáo (Promotion) – Sản phẩm (Product) Chọn lược đồ nào cho Grocery ? • Lược đồ bông tuyết có độ chuẩn hóa cao • Sử dụng ít không gian đĩa hơn • Việc truy cập các bảng phức tạp hơn bởi phải tham chiếu đến nhiều bảng • Lược đồ hình sao dễ quản trị hơn, và đáp ứng yêu cầu trả lời nhanh câu hỏi Chọn luợc đồ hình sao cho KDL Grocery Các thuộc tính • Quyết định chọn các trường... phẩm – Dữ kiện theo từng khách hàng từng sản phẩm tại từng kho không phù hợp cho việc phân tích thị trường – Dữ kiện theo từng tuần, hay tháng cũng không phù hợp vì sẽ không phân tích được sự khác nhau giữa các ngày • Sự quyết định độ thô nào phụ thuộc vào tiến trình kinh doanh và các câu hỏi cần trả lời Tầng 2-Các phương pháp lưu trữ dl • Dữ liệu được dùng cho việc phân tích trực tuyến phải được lưu... gian (Time) là một chiều cơ bản có trong tất cả các KDL • Các thuộc tính phân cấp tự nhiên: – Năm->Tháng -> Tuần -> ngày • Có cấu trúc không đơn giản do: – Có nhiều loại phân cấp, đa phân cấp (Multi hierarchies) Ví dụ của chiều: thời gian Ví dụ của chiều: thời gian Dim ension Tim e Year Holiday Q uarter W eek Month Day Period Ví dụ của chiều: Sản phẩm • Nhận dạng mỗi sản phẩm bởi SKU (Stock Keeping Unit)... thô nào cho dữ liệu POS? Các khả năng ? – Toàn tác đơn theo từng khách hàng từng sản phẩm tại từng kho – Toàn tác nhóm theo từng khách hàng từng sản phẩm tại từng kho – Toàn tác nhóm hàng ngày theo từng kho từng sản phẩm – Toàn tác nhóm hàng tuần theo từng kho từng sản phẩm – Toàn tác nhóm hàng ngày từng sản phẩm tại từng vùng Độ thô • Toàn tác nhóm hàng ngày theo từng kho từng sản phẩm – Dữ kiện theo...Mô hình hóa các chiều • Mô hình dựa vào nội dung của dữ liệu • Mô hình với các tổng hợp cần thiết • Mô hình phải đáp ứng yêu cầu phân tích sâu, và tổng hợp • Có thể không chuẩn hóa - star • Có thể chuẩn hóa - snowflake • Xây dựng các phân cấp Mô hình các bảng tóm tắt • Định nghĩa các bảng tóm tắt trước khi thiết kế • Dùng các bảng riêng để chứa các tổng... từng kho • Định nghĩa nơi lưu trữ các tổng hợp Ví dụ của bảng dữ kiện • Các thuộc tính dữ kiện bán hàng: Keys Facts Time_key Dollars_sales Product_key Units_sales Store_Key Dollars_cost Promotion_key Customer_count Ví dụ của bảng dữ kiện • Kho của bảng dữ kiện được hợp thành từ bốn khóa ngoài của các bảng chiều • Các dữ kiện được lấy từ hệ thống bán hàng POS • Các thuộc tính suy dẫn dựng cho việc phân . Conceptual layer – dữ liệu và xử lí dữ liệu • Tầng logic Logical layer – dữ liệu và xử lí kinh doanh • Tầng vật lý Physical layer – cấu trúc bên trong • Các chủ thể, dữ kiện và mối quan hệ T T ầ ầ ng ng trong trong h h ệ ệ th th ố ố ng ng thông thông tin tin Conceptual. kinh doanh nh kinh doanh • Dữ liệu OLTP – Point of sales (POS) data: Dữ liệu bán hàng – Dữ liệu nhà cung cấp – Dữ liệu kế toán – Dữ liệu khách hàng – Sự quảng cáo Mục đích: Xây dựng một CSDL. Chương Chương 5: 5: K K ỹ ỹ thu thu ậ ậ t t mô mô h h ì ì nh nh ho ho á á c c á á c c chi chi ề ề u u cơ cơ s s ở ở Gi Gi ớ ớ i i thi thi ệ ệ u u • Các bước mô hình kho dữ liệu • Độ thô dữ