Bài giảng Kho dữ liệu và khai phá dữ liệu: Chương 1 - Nguyễn Hoàng Ân (2018)

Bài giảng Khai phá dữ liệu - Chương 1: Tổng quan về kho dữ liệu và khai phá dữ liệu cung cấp cho người học các kiến thức: Giới thiệu về kho dữ liệu, các đặc tính của kho dữ liệu, mối quan hệ giữa kho dữ liệu và khai phá dữ liệu, ứng dụng của kho dữ liệu và khai phá dữ liệu. Mời các bạn cùng tham khảo.

Kho liệu khai phá liệu Chương 1: Tổng quan kho liệu khai phá liệu Nguyễn Hoàng Ân Nội dung Giới thiệu kho liệu Các đặc tính kho liệu Mối quan hệ kho liệu khai phá liệu Ứng dụng kho liệu khai phá liệu Nguyễn Hoàng Ân Giới thiệu kho liệu Có nhiều định nghĩa khác KDL, khơng có cách nghiêm ngặt:  Một sở liệu hỗ trợ định bảo trì tách biệt từ sở liệu hoạt động tổ chức  Hỗ trợ xử lí thơng tin cách cung cấp tảng vững cho việc hợp liệu lịch sử để phân tích Theo W H Inmon: “Kho liệu tập liệu hướng chủ đề, tích hợp, gắn với thời gian thay đổi để hỗ trợ q trình định nhà quản lí” Nguyễn Hoàng Ân Kiến trúc kho liệu Oracle9 i Data Warehousing Guide, Release (9.2) Nguyễn Hồng Ân Các đặc tính KDL Hướng chủ đề (Subject-Oriented) Có tính tích hợp (Integrated) Gắn với thời gian (Time Variant) Ít thay đổi (Non-Volatile) Nguyễn Hồng Ân Các đặc tính KDL (tt) Hướng chủ đề Nguyễn Hoàng Ân 10 Các đặc tính kho liệu Tích hợp Nguyễn Hồng Ân 11 Tích hợp Nguyễn Hồng Ân 12 Các đặc tính kho liệu Gắn với thời gian • Thời gian 60–90 ngày • Cập nhật ghi • Cấu trúc khóa có khơng chứa khóa thời gian • Thời gian 5-10 năm • Những hình ảnh phức tạp liệu • Cấu trúc khóa chứa phần tử Nguyễn Hoàng Ân 14 thời gian Các đặc tính kho liệu (tt) Ít thay đổi Nguyễn Hoàng Ân 15 OLTP vs OLAP OLTP (on-line transaction processing): Xử lí giao dịch trực tuyến  Nhiệm vụ Hệ quản lí sở liệu quan hệ (relational DBMS) truyền thống  Dùng cho tác nghiệp ngày (Day-to-day operations): mua sắm, quản lí tồn kho, ngân hàng, quản lí lương, đăng ký, kế tốn,… OLAP (on-line analytical processing): Q trình phân tích trực tuyến  Nhiệm vụ hệ thống kho liệu  Phân tích liệu làm định (decision making) Nguyễn Hoàng Ân 16 OLTP vs OLAP OLTP Thư lý, chuyên viên Người dùng CNTT Tác nghiệp hàng ngày Chức Hướng ứng dụng Thiết kế CSDL Hiện thời, cập nhật Dữ liệu chi tiết, quan hệ phẳng biệt lập Lặp Sử dụng Đọc/ghi Truy cập Chỉ mục/băm theo khóa Giao dịch ngắn,đơn giản Đơn vị thao tác # ghi truy cập Chục Nghìn #người dùng Kích thước CSDL 100MB-GB Thơng lượng giao dịch Đơn vị đo Data Warehouse and Business Intelligence OLAP Chuyên viên tri thức Hỗ trợ định Hướng chủ đề Lịch sử, tóm tắt, tích hợp đa chiều, hợp Dị tìm (ad-hoc) Nhiều duyệt Câu hỏi phức tạp Triệu Trăm 100GB-TB Thông lượng truy vấn, đáp ứng Data mart Hệ thống tập tất liệu yêu cầu phịng ban chun biệt cơng ty (như tiếp thị, hậu cần,…) Được sử dụng để phân tích BI Một kho liệu mức phòng ban (departmental data warehouse) Data warehouses data marts có khung cơng nghệ giống Nguyễn Hoàng Ân 18 Data Warehouse and Business Intelligence 19 Cơng cụ ETL ETL: Rút trích (Extraction), Chuyển đổi (Transformation), tải (Loading) Rút trích:  Rút trích từ nguồn sẵn có bên ngồi  Những phiên phụ thuộc thời gian liệu  Chọn lựa liệu: Dựa thiết kế DW Chuyển đổi:  Chuyển đổi liệu từ hệ thống cũ, định dạng khác thành định dạng KDL Tải:  Sắp xếp, tóm tắt, hợp nhất, tính tốn, kiểm tra toàn vẹn, xây dựng mục phân hoạch Nguyễn Hoàng Ân 20 Khai phá liệu Nguyễn Hoàng Ân 21 Giới thiệu chung khai phá liệu 1.1 Khái niệm khai phá liệu 1.2 Quá trình khám phá tri thức 1.3 Khai phá liệu kinh doanh thơng minh 1.4 Q trình khám phá tri thức 1.5 Các lĩnh vực có ảnh hưởng đến khai phá liệu 1.1 Khái niệm khai phá liệu Khai phá liệu  trình trích xuất tri thức từ lượng lớn liệu • “extracting or mining knowledge from large amounts of data” • “knowledge mining from data”  q trình khơng dễ trích xuất thơng tin ẩn, hữu ích, chưa biết trước từ liệu • “the nontrivial extraction of implicit, previously unknown, and potentially useful information from data” Các thuật ngữ thường dùng tương đương: knowledge discovery/mining in data/databases (KDD), knowledge extraction, data/pattern analysis, data archeology, data dredging, information harvesting, business intelligence 1.2 Quá trình khám phá tri thức Pattern Evaluation/ Presentation Data Mining Patterns Task-relevant Data Data Warehouse Data Cleaning Data Integration Data Sources Selection/Transformation 1.3 Khai phá liệu kinh doanh thông minh Increasing potential to support business decisions Decision Making Data Presentation Visualization Techniques End User Business Analyst Data Mining Information Discovery Data Analyst Data Exploration Statistical Summary, Querying, and Reporting Data Preprocessing/Integration, Data Warehouses Data Sources Paper, Files, Web documents, Scientific experiments, Database Systems DBA 1.4 Quá trình khám phá tri thức Input Data Data PreProcessing Data integration Normalization Feature selection Dimension reduction Data Mining Pattern discovery Association & correlation Classification Clustering Outlier analysis ………… PostProcessing Pattern Pattern Pattern Pattern evaluation selection interpretation visualization  This is a view from typical machine learning and statistics communities 1.5 Các lĩnh vực có ảnh hưởng đến khai phá liệu Machine Learning Applications Algorithm Pattern Recognition Data Mining Database Technology Statistics Visualization High-Performance Computing ... xây dựng mục phân hoạch Nguyễn Hoàng Ân 20 Khai phá liệu Nguyễn Hoàng Ân 21 Giới thiệu chung khai phá liệu 1. 1 Khái niệm khai phá liệu 1. 2 Quá trình khám phá tri thức 1. 3 Khai phá liệu kinh doanh...Nội dung Giới thiệu kho liệu Các đặc tính kho liệu Mối quan hệ kho liệu khai phá liệu Ứng dụng kho liệu khai phá liệu Nguyễn Hoàng Ân Giới thiệu kho liệu Có nhiều định nghĩa khác... đổi (Non-Volatile) Nguyễn Hồng Ân Các đặc tính KDL (tt) Hướng chủ đề Nguyễn Hồng Ân 10 Các đặc tính kho liệu Tích hợp Nguyễn Hồng Ân 11 Tích hợp Nguyễn Hồng Ân 12 Các đặc tính kho liệu Gắn