Đang tải... (xem toàn văn)
Bài giảng Khai phá dữ liệu - Chương 2: Kiến trúc kho dữ liệu cung cấp cho người học các kiến thức: Kiến trúc chi tiết của kho dữ liệu, kho dữ liệu doanh nghiệp (Enterprise warehouse), kho dữ liệu theo chủ đề (Data Mart), siêu dữ liệu (Meta data), các công cụ back-end liên quan đến kho dữ liệu. Mời các bạn cùng tham khảo.
Kho liệu khai phá liệu Chương 2: Kiến trúc kho liệu Nguyễn Hoàng Ân Nội dung Kiến trúc chi tiết kho liệu Kho liệu doanh nghiệp (Enterprise warehouse) Kho liệu theo chủ đề (Data Mart) Siêu liệu (Meta data) Các công cụ back-end liên quan đến kho liệu Nguyễn Hoàng Ân Kiến trúc kho liệu Nguyễn Hoàng Ân Kiến trúc kho liệu Kiến trúc lớp khái quát (Generic Two-Level Architecture) Data Mart độc lập (Independent Data Mart) Data Mart phụ thuộc kho lưu trữ liệu hoạt động (Dependent Data Mart and Operational Data Store) Data Mart luận lý KDL tích cực (Logical Data Mart and @ctive Warehouse) Kiến trúc liệu lớp (Three-Layer data architecture) Đọc thêm: Chapter - Data Warehousing Nguyễn Hoàng Ân 1.Kiến trúc lớp khái quát L T One, companywide warehouse E Periodic extraction data is not completely current in warehouse Nguyễn Hoàng Ân 2.Data Mart độc lập L T E Separate ETL for each independent data mart Data access complexity due to multiple data marts Nguyễn Hoàng Ân 2.Data Mart độc lập (tt) Data mart độc lập: data mart chứa liệu rút trích từ mơi trường hoạt động mà khơng có ảnh hưởng KDL Hạn chế Data mart độc lập: Mỗi data mart cần ETL riêng Các data mart khơng tương thích Khơng thể drill-down Tốn nhiều chi phí có ứng dụng Tốn chi phí để làm data mart tương thích Nguyễn Hoàng Ân 3.Data Mart phụ thuộc kho lưu trữ liệu hoạt động corporate information factory (CIF) L T E Single ETL for enterprise data warehouse (EDW) Simpler data access Dependent data marts loaded from EDW Nguyễn Hoàng Ân 3.Data Mart phụ thuộc kho lưu trữ liệu hoạt động (tt) Data mart phụ thuộc: Data mart nạp liệu dành riêng từ KDL doanh nghiệp điều hòa liệu Kho lưu trữ liệu hoạt động (Operational data store - ODS): Một sở liệu có tính tích hợp, hướng chủ đề, cập nhật, giá trị tại, rộng khắp tổ chức, chi tiết thiết kế để dành cho người dùng tác nghiệp họ làm trình hỗ trợ định Kho liệu doanh nghiệp (Enterprise data warehouse (EDW) Nguyễn Hoàng Ân 10 Data Mart luận lý KDL tích cực L T E Near real-time ETL for @ctive Data Warehouse Data marts are NOT separate databases, but logical views of the data warehouse Nguyễn Hoàng Ân to create new data marts Easier 11 Data Mart luận lý KDL tích cực (tt) Logical data mart = relational view Base tables: customer, product, order, orderline Create views: CREATE VIEW invoice AS SELECT customer.customer_ID, customer_addr, order.order_ID, product.product_ID, product.price, order.quantity, product.price*order.quantity FROM customer, order, orderline, product WHERE customer.customer_ID= order.customer_ID, AND order.order_ID= orderline.order_ID, product.product_ID = orderline.product_ID Nguyễn Hoàng Ân 12 Data Mart luận lý KDL tích cực (tt) KDL tích cực: Một kho liệu mức tổ chức chứa liệu gần thời gian thực (near-real-time) liệu giao dịch từ hệ thống ghi, phân tích KDL, tiếp nối gần thời gian thực từ qui trình nghiệp vụ đến KDL hệ thống ghi để có hành động trung gian hồi đáp lại kiện kinh doanh Ứng dụng: Dị tìm lỗi Nguyễn Hoàng Ân 13 Kiến trúc liệu lớp Nguyễn Hoàng Ân 14 Kiến trúc liệu lớp (tt) Dữ liệu điều hòa (Reconciled data): liệu có tính chi tiết, liệu dự định nguồn đơn nhất, thức cho tất ứng dụng hỗ trợ định Dữ liệu chuyển giao (Derived data): Dữ liệu chọn lựa, định dạng tổng hợp cho ứng dụng hỗ trợ định cho người dùng cuối Siêu liệu (Metadata): liệu kỹ thuật kinh doanh để mô tả thuộc tính tính chất liệu khác Nguyễn Hồng Ân 15 Các công cụ backend liên quan đến kho liệu Nguyễn Hoàng Ân 16 Kimball Lifecycle công nghệ Microsoft The Microsoft DW/BI Toolset The relational engine (RDBMS) to manage and store the dimensional data warehouse database SQL Server Integration Services (SSIS) to build the extract,transformation, and load (ETL) system SQL Server Analysis Services (SSAS) analytic database to support users’ queries, particularly ad hoc use SQL Server Analysis Services data mining to develop statistical data mining models, and also to include those models in advanced analytic applications SQL Server Reporting Services (SSRS) to build predefined reports The majority of the Reporting Services features are most appropriate for the DW/BI team, but you may provide some ad hoc query and report building functionality with Report Builder The Microsoft DW/BI Toolset Master Data Services (MDS) to create a range of master data management applications to feed the data warehouse, and possibly integrate that data management with the source transaction systems Development and management tools, especially SQL Server BI Development Studio (BIDS) and SQL Server Management Studio to build and manage your DW/BI system The Microsoft DW/BI Toolset Excel PowerPivot SharePoint PowerPivot for SharePoint Master Data Services ... tiết kho liệu ? ?Kho liệu doanh nghiệp (Enterprise warehouse) ? ?Kho liệu theo chủ đề (Data Mart) Siêu liệu (Meta data) Các công cụ back-end liên quan đến kho liệu Nguyễn Hoàng Ân Kiến trúc kho liệu. .. doanh Ứng dụng: Dị tìm lỗi Nguyễn Hoàng Ân 13 Kiến trúc liệu lớp Nguyễn Hoàng Ân 14 Kiến trúc liệu lớp (tt) ? ?Dữ liệu điều hòa (Reconciled data): liệu có tính chi tiết, liệu dự định nguồn đơn nhất,... orderline.product_ID Nguyễn Hoàng Ân 12 Data Mart luận lý KDL tích cực (tt) KDL tích cực: Một kho liệu mức tổ chức chứa liệu gần thời gian thực (near-real-time) liệu giao dịch từ hệ thống ghi, phân tích