Slide kho dữ liệu và khai phá dữ liệu chương 1 khái niệm

.c om an co ng Chương du o ng th KHÁI NIỆM CHUNG VỀ cu u KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU CuuDuongThanCong.com https://fb.com/tailieudientucntt .c om Nội dung Khái niệm kho liệu Khái niệm khai phá liệu Các loại liệu kiểu mẫu dùng để khai phá Các toán phương pháp khai du o phá liệu ng th an co ng u Sự tích hợp khai phá liệu với sở cu liệu với kho liệu Ứng dụng kho liệu khai phá liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt  c om Khái niệm kho liệu Kho liệu (Data warehouse) kho lưu trữ Các kho liệu thiết kế để hỗ trợ việc an  co ng liệu lưu trữ thiết bị điện tử tổ chức, du o Kho liệu có đặc điểm: Tích hợp (Atomicity): Từ nhiều nguồn khác nhau,  Theo chủ đề (Consistency): Có ích để khai thác,  Biến thời gian (Isolation): Dữ liệu không bị ảnh hưởng u  cu  ng th phân tích liệu lập báo cáo tác động lẫn truy suất,  Cố định (Durable): hồn chỉnh khơng đổi CuuDuongThanCong.com https://fb.com/tailieudientucntt hẹp gọi Data Mart Một Data warehouse hình thành nhiều Data an  ng th Mart du o Thuật ngữ Data Warehousing: Quá trình xây dựng u sử dụng kho liệu cu  ng Kho liệu dung cho mục đích riêng biệt, lĩnh vực co  c om Khái niệm kho liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt Công cụ ETL (Extract – Transform – Load): ng co Rút trích thơng tin từ nguồn có,  Những phiên phụ thuộc thời gian liệu,  Chọn lựa liệu ng th an  Chuyển đổi (Transform): du o  Rút trích (Extract):  Chuyển đổi định dạng khác định dạng u  cu  c om Khái niệm kho liệu cho trước  Tải (Load)  Sắp xếp, hợp nhất, lập mục, … phân hoạch CuuDuongThanCong.com https://fb.com/tailieudientucntt  c om Khái niệm khai phá liệu Các nhân, tổ chức ngập liệu cu u du o ng th an co ng đói thơng tin  Giải pháp: Kho liệu Khai phá liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt  c om Khái niệm khai phá liệu Khai phá liệu (Data mining) trình phát  an Lượng liệu lớn dùng cho khai phá gồm: Có cấu trúc,  Bán cấu trúc,  Phi cấu trúc,  Được lưu trữ tạm thời hay ổn định u du o ng th  cu  co ng trích xuất tri thức từ lượng liệu lớn, Các thuật ngữ: knowledge discovery/mining in data/knowledge extraction/data archeology, … CuuDuongThanCong.com https://fb.com/tailieudientucntt Tri thức đạt từ q trình khai phá: Mơ hình phân loại dự đốn,  Mơ hình gom cụm,  Mẫu thường xun, mối qua hệ, tương quan,  Mô tả lớp/khái niệm,  Có cấu trúc, bán cấu trúc phi cấu trúc,  Có thể dùng điều khiển quy trình, u du o ng th an co ng  cu  c om Khái niệm khai phá liệu định, …  … CuuDuongThanCong.com https://fb.com/tailieudientucntt Ý nghĩa vai trò: Ứng dụng lĩnh vực có liệu,  Hỗ trợ nhiều đối tượng khác nhau: an co ng  Doanh nghiệp, - Khách hàng, - Nhà khoa học, - Giáo dục học, … u du o ng th - cu  c om Khái niệm khai phá liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt Dữ liệu hướng chủ thể: ng Dữ liệu hướng theo nhóm đối tượng: khách co  Tập trung vào việc mơ hình hóa phân tích th  an hang, bệnh nhân, sản phẩm, …  du o ng liệu cho nhà sản xuất định Chuyển từ hướng ứng dụng sang hướng hỗ trợ u định cu  c om Các loại liệu kiểu mẫu dùng để khai phá  Không dùng cho hoạt động hang ngày xử lý giao dịch CuuDuongThanCong.com https://fb.com/tailieudientucntt 10 ng Bài tốn tìm quan hệ kết hợp (Association Rule): co  Phát mối quan hệ kết hợp tập th an thuộc tính kho liệu du o  Ví dụ: u tiêu biểu ng  Bài toán khai phá luật kết hợp toán cu .c om Các toán phương pháp khai phá liệu - {Tóc đen, Da vàng}  {người Châu á}, - {Mật ong, Đường}  {Ngọt} CuuDuongThanCong.com https://fb.com/tailieudientucntt 16 ng Bài toán gom cụm liệu (clustering): co  Gom liệu có độ tương đồng cao thành th an “cụm” để phát đặc trưng ng thuộc tính miền ứng dụng du o  Mục tiêu: cực đại hóa tính tương đồng u phần tử cụm, cực tiểu hóa tính cu .c om Các toán phương pháp khai phá liệu tương đồng phần tử khác cụm  Phân cụm cịn gọi tốn “học máy khơng có giám sát” (unsupervised learning) CuuDuongThanCong.com https://fb.com/tailieudientucntt 17 u du o ng th an co ng Bài toán gom cụm liệu (clustering): cu .c om Các toán phương pháp khai phá liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt 18 ng Bài toán phân lớp (classification): co  Xây dựng (mô tả) mô hình (hàm) nhằm th an đặc tả, phát đặc trưng lớp khái ng niệm để dự báo cho liệu du o  Số lớp (nhóm) xác định trước u  Một số phương pháp: định, mạng cu .c om Các toán phương pháp khai phá liệu Bayes, mạng neuron,…  Phân lớp thuộc nhóm tốn “học máy có giám sát” (supervised learning) CuuDuongThanCong.com https://fb.com/tailieudientucntt 19 co ng Bài toán phân lớp (classification): u du o a1 b1 CuuDuongThanCong.com th ? ? ng ? an A cu .c om Các toán phương pháp khai phá liệu ? an a2 ? bn https://fb.com/tailieudientucntt 20 ng Bài toán hồi quy: co  Điển hình phân tích thống kê dự báo th an  Dự đoán giá trị biến ng phụ thuộc vào giá trị tập hợp du o biến độc lập u  Có thể quy việc học hàm ánh xạ cu .c om Các toán phương pháp khai phá liệu liệu nhằm xác định giá trị thực biến theo số biến khác CuuDuongThanCong.com https://fb.com/tailieudientucntt 21 Bài tốn tìm mơ hình phụ thuộc: co ng  Tìm mơ hình mơ tả phụ thuộc có ý th an nghĩa biến  Bao gồm mức: du o ng  Mức cấu trúc mơ hình: thường biểu diễn dạng đồ thị để phát phụ thuộc u biến cu .c om Các toán phương pháp khai phá liệu  Mức định lượng mơ hình: Phát độ mạnh tính phụ thuộc dựa trọng số thuộc tính CuuDuongThanCong.com https://fb.com/tailieudientucntt 22 ng Bài tốn phát thay đổi độ lệch: co  Tập trung phát thay đổi có ý nghĩa th an dạng độ đo biết trước giá trị ng chuẩn, du o  Cung cấp tri thức biến đổi độ u lệch cho người dùng cu .c om Các toán phương pháp khai phá liệu  Thường ứng dụng bước tiền xử lý CuuDuongThanCong.com https://fb.com/tailieudientucntt 23 Cần có lượng liệu đủ lớn để phân tích co  ng Tích hợp liệu: th Dữ liệu thu thập từ nhiều nguồn: khơng Dữ liệu từ nguồn khác là: u  du o thống nhất, ng  an khai phá cu .c om Sự tích hợp khai phá liệu với sở liệu với kho liệu  Có cấu trúc: sở liệu quan hệ, …  Phi cấu trúc: Tập tin phẳng (flat file),  Được lưu trữ tạm thời ổn định, … CuuDuongThanCong.com https://fb.com/tailieudientucntt 24 Cùng thuộc tính khơng an  co Hợp nguồn dẫn đến: ng th tương đương ý nghĩa, Không tương đồng mặt giá trị,  Dư thừa liệu,  … du o  u  ng Tích hợp liệu: cu .c om Sự tích hợp khai phá liệu với sở liệu với kho liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt 25 Biến đổi liệu: Tạo tính tương thích liệu co ng nhiều nguồn khác Làm mịn: loại bỏ trường hợp nhiễu  Tổng hợp: Rút gọn liệu tạo khồi liệu cho th an  Khái quát hóa: Chuyển liệu mức thấp sang mức cao  u  du o ng việc phân tích cu .c om Sự tích hợp khai phá liệu với sở liệu với kho liệu Chuẩn hóa: Chuyển khoảng giá trị rộng thành khoảng giá trị nhỏ ([10 1.000] -> [0.0 1.0])  Xác định thêm thuộc tính CuuDuongThanCong.com https://fb.com/tailieudientucntt 26 Biến đổi liệu: co ng Một số phương pháp biến đổi: Min-Max: - minA, maxA: giá trị lớn nhỏ du o ng th an  u  thuộc tính A cu .c om Sự tích hợp khai phá liệu với sở liệu với kho liệu - New_minA, new_maxA: miền giá trị CuuDuongThanCong.com https://fb.com/tailieudientucntt 27 Biến đổi liệu: Z-score: - du o ng th an  co ng Một số phương pháp biến đổi: Ā: giá trị trung bình thuộc tính A,  A: độ lệch chuẩn u  cu .c om Sự tích hợp khai phá liệu với sở liệu với kho liệu  Thay đổi tỷ lệ  Lựa chọn tập thuộc tính CuuDuongThanCong.com https://fb.com/tailieudientucntt 28 .c om Ứng dụng kho liệu khai phá liệu Kinh doanh (Business),  Tài (finance),  Tiếp thị (sales marketing),  Thương mại (commerce),  Bảo hiểm (insurance),  Khoa học (science),  Điều khiển (control),  … cu u du o ng th an co ng  CuuDuongThanCong.com https://fb.com/tailieudientucntt 29 .c om Câu hỏi Câu 1.2 ([1] – trang 34)  Câu 1.5 ([1] – trang 35): Giải thích khác biệt co ng  an tương đồng phân biệt phân loại, du o quy? ng th tả gom cụm, phân lớp hồi Câu 1.8 ([1] – trang 35)  Câu 1.9 ([1] – trang 35) cu u  CuuDuongThanCong.com https://fb.com/tailieudientucntt 30 ... dung Khái niệm kho liệu Khái niệm khai phá liệu Các loại liệu kiểu mẫu dùng để khai phá Các toán phương pháp khai du o phá liệu ng th an co ng u Sự tích hợp khai phá liệu với sở cu liệu với kho liệu. .. dụng kho liệu khai phá liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt  c om Khái niệm kho liệu Kho liệu (Data warehouse) kho lưu trữ Các kho liệu thiết kế để hỗ trợ việc an  co ng liệu. .. om Khái niệm khai phá liệu Các nhân, tổ chức ngập liệu cu u du o ng th an co ng đói thơng tin  Giải pháp: Kho liệu Khai phá liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt  c om Khái