ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Quang Huy MỘT SỐ VẤN ĐỀ LIÊN QUAN ĐẾN KHAI PHÁ DỮ LIỆU BẰNG CÂY QUYẾT ĐỊNH LUẬN VĂN THẠC SĨ Hà Nội – 2006 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Quang Huy MỘT SỐ VẤN ĐỀ LIÊN QUAN ĐẾN KHAI PHÁ DỮ LIỆU BẰNG CÂY QUYẾT ĐỊNH Ngành: Công nghệ thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Vũ Đức Thi Hà Nội - 2006 Mục lục Mục lục Mở đầu Chương 1.1 Công nghệ khai phá tri thức khai phá liệu 1.1.1 1.1.2 1.1.3 1.2 Tổng quan công nghệ khai phá tri thức kho liệu Khai phá tri thức khai phá liệu Quá trình khai phá tri thức Nhiệm vụ khai phá liệu Kho liệu 13 1.2.1 1.2.2 1.2.3 Chương Kho liệu số đặc điểm 13 Sự khác kho liệu sở liệu tác nghiệp 15 Kiến trúc chung kho liệu 19 Tiền xử lý liệu, cơng đoạn quan trọng q trình KDD 25 2.1 Giới thiệu 25 2.2 Làm liệu 26 2.2.1 2.2.2 2.2.3 2.3 Tích hợp chuyển đổi liệu 29 2.3.1 2.3.2 2.4 Chương Một số phương pháp xây dựng định khai phá liệu 43 Phân lớp dự báo 43 Chuẩn bị liệu cho phân lớp dự báo 46 So sánh phương pháp phân lớp 47 Phân lớp quy nạp định 47 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 3.3 Tổng quát hóa rời rạc hóa bậc khái niệm cho liệu kiểu số 37 Tổng quát hóa mức khái niệm cho liệu kiểu xác định 40 Phân lớp dự báo 43 3.1.1 3.1.2 3.1.3 3.2 Kết hợp khối liệu 32 Thu gọn chiều 34 Nén liệu 36 Giảm bớt số lượng 36 Rời rạc hóa tổng quát hóa bậc khái niệm 37 2.5.1 2.5.2 3.1 Tích hợp liệu 29 Chuyển đổi liệu 31 Thu gọn liệu 32 2.4.1 2.4.2 2.4.3 2.4.4 2.5 Giá trị bị 26 Dữ liệu bị nhiễu 27 Dữ liệu không quán 29 Quy nạp định 48 Thu gọn 53 Rút quy tắc phân lớp từ định 54 Cải tiến quy nạp định 55 Quy nạp định khả cỡ 56 Tích hợp quy nạp định với cơng nghệ kho liệu 59 Xây dựng định phụ thuộc hàm 60 3.3.1 3.3.2 3.3.3 3.3.4 3.3.5 Định nghĩa vấn đề 62 Hàm xấp xỉ phụ thuộc 62 Phương pháp phân lớp 63 Ưu điểm việc sử dụng lớp phụ thuộc hàm (CFDs) 64 Đánh giá 65 Chương Khai phá liệu CSDL ORACLE 10G 66 4.1 Giới thiệu công cụ khai phá liệu Oracle 66 4.2 Quá trình khai phá liệu Oracle 68 4.3 Một số thuật toán ODM 69 4.3.1 4.3.2 Chương Các thuật tốn học có giám sát 69 Các thuật tốn học khơng giám sát 73 Bài toán khai phá liệu khách vi phạm quy chế xuất nhập cảnh 78 5.1 Lựa chọn phương pháp phân lớp 78 5.2 Mô tả liệu nghiệp vụ 79 5.2.1 5.2.2 Chuẩn bị liệu cho ứng dụng 79 Lựa chọn liệu cho ứng dụng 80 5.3 Các tham số xây dựng mô hình cho thuật tốn định 82 5.4 Xây dựng mơ hình 83 5.4.1 5.4.2 Xây dựng kiểm thử mô hình 83 Nhận xét 88 Kết luận 89 Kết đạt luận văn 89 Phương hướng nghiên cứu 89 Tài liệu tham khảo 91