Ứng dụng cây quyết định trong khai phá dữ liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THANH HUYỀN ỨNG DỤNG CÂY QUYẾT ĐỊNH TRONG KHAI PHÁ DỮ LIỆU LUẬN VĂN THẠC SỸ HÀ NỘI – 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THANH HUYỀN ỨNG DỤNG CÂY QUYẾT ĐỊNH TRONG KHAI PHÁ DỮ LIỆU Ngành: Chuyên ngành: Mã số: Công nghệ thông tin Hệ thống thông tin 60.48.05 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS ĐOÀN VĂN BAN HÀ NỘI – 2011 iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU Chương - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ LÝ THUYẾT TẬP THÔ 1.1 Giới thiệu khai phá liệu 1.1.1 Khám phá tri thức 1.1.2 Khai phá liệu 1.2 Ứng dụng khai phá liệu 1.3 Một số phương pháp khai phá liệu thông dụng 1.3.1 Phân lớp (Classification) 1.3.2 Phân cụm (Clustering) 1.3.3 Luật kết hợp (Association Rules) 1.4 Lý thuyết tập thô 1.4.1 Hệ thông tin 10 1.4.2 Bảng định 10 1.4.3 Quan hệ không phân biệt 12 1.4.4 Xấp xỉ tập hợp 12 1.5 Kết luận chương 14 Chương 2- CÂY QUYẾT ĐỊNH VÀ CÁC THUẬT TOÁN XÂY DỰNG CÂY QUYẾT ĐỊNH 15 2.1 Tổng quan định 15 2.1.1 Định nghĩa 15 2.1.2 Thiết kế định 16 2.1.3 Phương pháp tổng quát xây dựng định 18 2.1.3 Ứng dụng định khai phá liệu 19 2.2 Thuật toán xây dựng định dựa vào Entropy 20 2.2.1 Tiêu chí chọn thuộc tính phân lớp 20 2.2.2 Thuật toán ID3 21 2.2.3 Ví dụ thuật tốn ID3 23 2.3 Thuật toán xây dựng định dựa vào độ phụ thuộc thuộc tính 28 iv 2.3.1 Độ phụ thuộc thuộc tính theo lý thuyết tập thô 28 2.3.2 Độ phụ thuộc xác  theo lý thuyết tập thơ 28 2.3.3 Tiêu chí chọn thuộc tính để phân lớp 28 2.3.4 Thuật toán xây dựng định ADTDA 29 2.3.5 Ví dụ 30 2.4 Thuật toán xây dựng định dựa vào Entropy độ phụ thuộc thuộc tính 33 2.4.1 Tiêu chí chọn thuộc tính để phân lớp 33 2.4.2 Thuật toán FID3 (Fixed Iterative Dichotomiser [5] ) 34 2.4.3 Ví dụ 35 2.5 Kết luận chương 39 Chương - ỨNG DỤNG KIỂM CHỨNG VÀ ĐÁNH GIÁ 40 3.1 Giới thiệu toán 40 3.2 Giới thiệu sở liệu 40 3.3 Cài đặt ứng dụng 41 3.4 Kết đánh giá thuật toán 42 3.4.1 Mô hình định tương ứng với tập liệu Bank_data 42 3.4.2 Các luật định tương ứng với tập liệu Bank_data 44 3.4.3 Đánh giá thuật toán 44 3.4.4 Ứng dụng định khai phá liệu 45 3.5 Kết luận chương 46 KẾT LUẬN 47 TÀI LIỆU THAM KHẢO 49 v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT CÁC KÝ HIỆU: S = (U, A) Va IND(B) [ui]p U/B DT=(U,CD) B(X ) Hệ thông tin Tập giá trị thuộc tính a Quan hệ tương đương tập thuộc tính B Lớp tương đương chứa đối tượng ui Phân hoạch U sinh quan hệ IND(B) Bảng định B-Xấp xỉ X B(X ) B-xấp xỉ X POSC (d ) Miền C-khẳng định d |DT| |U| [U]d Tổng số đối tượng DT Lực lượng tập U Phân hoạch U sinh quan hệ IND(d) CÁC CHỮ VIẾT TẮT: ADTDA Algorithm for Buiding Decision Tree Based on Dependency of Attributes FID3 Fixed Iterative Dichotomiser ID3 Iterative Dichotomiser IG Information Gain vi DANH MỤC CÁC BẢNG Bảng Hệ thông tin đơn giản 10 Bảng Một bảng định với C={Age, LEMS} D={Walk} 11 Bảng Dữ liệu huấn luyện 23 Bảng Bảng thuộc tính tập liệu Bank_data 41 Bảng Độ xác thuật tốn 45 vii DANH MỤC CÁC HÌNH Hình Q trình phân lớp liệu – Bước xây dựng mơ hình Hình Quá trình phân lớp liệu – Ước lượng độ xác mơ hình Hình Quá trình phân lớp liệu –Phân lớp liệu Hình Xấp xỉ tập đối tượng Bảng thuộc tính điều kiện Age LEMS 14 Hình Mơ tả chung định 15 Hình Ví dụ Cây định 16 Hình Mơ hình phân lớp mẫu 19 Hình Cây sau chọn thuộc tính Humidity (ID3) 25 Hình Cây sau chọn thuộc tính Outlook (ID3) 26 Hình 10 Cây kết (ID3) 27 Hình 11 Cây sau chọn thuộc tính Humidity (ADTDA) 31 Hình 12 Cây sau chọn thuộc tính Outlook (ADTDA) 32 Hình 13 Cây kết (ADTDA) 33 Hình 14 Cây định sau chọn thuộc tính Humidity (FID3) 36 Hình 15 Cây định sau chọn thuộc tính Windy (FID3) 38 Hình 16 Cây kết (FID3) 39 Hình 17 Dạng định ID3 42 Hình 18 Dạng định ADTDA 42 Hình 19 Dạng định FID3 43 Hình 20 Một số luật định ID3 44 Hình 21 Một số luật định ADTDA 44 Hình 22 Một số luật định FID3 44 Hình 23 Giao diện ứng dụng 46 MỞ ĐẦU  Lý chọn đề tài Trong năm gần Công nghệ thông tin phát triển mạnh mẽ có tiến vượt bậc Cùng với phát triển Công nghệ thông tin bùng nổ thông tin Các thông tin tổ chức theo phương thức sử dụng giấy giao dịch dần số hóa, nhiều tính vượt trội mà phương thức mang lại như: lưu trữ lâu dài, cập nhật, sửa đổi, tìm kiếm cách nhanh chóng Đó lý khiến cho số lượng thơng tin số hóa ngày tăng dần theo cấp số nhân Hiện nay, không lĩnh vực lại không cần đến hỗ trợ công nghệ thông tin thành cơng lĩnh vực phụ thuộc nhiều vào việc nắm bắt thông tin cách nhạy bén, nhanh chóng hữu ích Với nhu cầu sử dụng thao tác thủ cơng truyền thống độ xác khơng cao nhiều thời gian Do việc khai phá tri thức từ liệu tập tài liệu lớn chứa đựng thông tin phục vụ nhu cầu nắm bắt thơng tin có vai trị to lớn Việc khai phá tri thức có từ lâu bùng nổ xảy năm gần Các công cụ thu thập liệu tự động công nghệ sở liệu phát triển dẫn đến vấn đề lượng liệu khổng lồ lưu trữ sở liệu kho thông tin tổ chức, cá nhân Do việc khai phá tri thức từ liệu vấn đề nhận nhiều quan tâm nhà nghiên cứu Một vấn đề quan trọng phổ biến kỹ thuật khai phá liệu phân lớp, ứng dụng rộng rãi thương mại, y tế, công nghiệp Trong năm trước đây, phương pháp phân lớp đề xuất, khơng có phương pháp tiếp cận phân loại cao xác hẳn phương pháp khác Tuy nhiên với phương pháp có lợi bất lợi riêng sử dụng Một công cụ khai phá tri thức hiệu sử dụng định để tìm luật phân lớp Phân lớp sử dụng lý thuyết tập thô, đề xuất Zdzislaw Pawlak vào năm 1982, nghiên cứu rộng rãi năm gần Lý thuyết tập thô cung cấp cho nhiều nhà nghiên cứu phân tích liệu với nhiều kỹ thuật khai phá liệu khái niệm đặc trưng cách sử dụng số kiện Nhiều nhà nghiên cứu sử dụng lý thuyết tập thô ứng dụng phân biệt thuộc tính, giảm số chiều, khám phá tri thức, phân tích liệu thời gian, Đây cơng cụ tốn học áp dụng khai phá liệu dùng để lựa chọn thuộc tính để phân nhánh việc xây dựng cấu trúc định có nhiều cách tiếp cận khác để chọn thuộc tính phân nhánh tối ưu, làm cho có chiều cao nhỏ Chính vậy, luận văn tơi tìm hiểu phương pháp xây dựng định dựa vào tập thô Việc ứng dụng định để khai phá liệu tiếp tục tìm hiểu, nghiên cứu Với mong muốn tìm hiểu nghiên cứu lĩnh vực này, chọn đề tài “Ứng dụng định khai phá liệu” làm luận văn tốt nghiệp  Mục tiêu nghiên cứu Mục đích luận văn nghiên cứu vấn đề lý thuyết tập thô, định thuật tốn xây dựng định hệ thơng tin đầy đủ dựa tập thô; cài đặt đánh giá thuật toán xây dựng định nghiên cứu; bước đầu áp dụng mơ hình định xây dựng vào khai phá liệu (hỗ trợ định vay vốn)  Bố cục luận văn Luận văn gồm chương chính: Chương 1: Tổng quan khai phá tri thức lý thuyết tập thơ Trong chương trình bày tổng quan khai phá liệu lý thuyết tập thơ Chương 2: Cây định thuật tóan xây dựng định Trong chương giới thiệu tổng quan đinh, phương pháp tổng quát xây dựng định ba thuật toán xây dựng định: ID3, ADTDA, FID3 Chương 3: Thực nghiệm đánh giá Phát biểu toán, cài đặt ứng dụng đánh giá Chương - TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ LÝ THUYẾT TẬP THÔ 1.1 Giới thiệu khai phá liệu 1.1.1 Khám phá tri thức Trong thời đại bùng nổ công nghệ thông tin, công nghệ lưu trữ liệu ngày phát triển nhanh chóng tạo điều kiện cho đơn vị thu thập liệu nhiều tốt Đặc biệt lĩnh vực kinh doanh, doanh nghiệp nhận thức tầm quan trọng cuả việc nắm bắt xử lí thơng tin Nó hỗ trợ chủ doanh nghiệp việc đưa chiến lược kinh doanh kịp thời mang lại lợi nhuận to lớn cho doanh nghiệp Tất lí khiến cho quan, đơn vị doanh nghiệp tạo lượng liệu khổng lồ cỡ Gigabyte chí Terabyte cho riêng Các kho liệu ngày lớn tiềm ẩn nhiều thơng tin có ích Sự bùng nổ dẫn tới yêu cầu cấp thiết phải có kĩ thuật cơng cụ để biến kho liệu khổng lồ thành thông tin đọng có ích Khám phá tri thức từ liệu (Knowledge Discovery from Data - KDD) đời kết tất yếu đáp ứng nhu cầu Q trình khám phá tri thức từ liệu thơng thường gồm bước sau [2]-[7]: Bước 1: Xác định vấn đề lựa chọn nguồn liệu (Problem Understanding anh Data Understanding) Trong giai đoạn chuyên gia lĩnh vực cần phải thảo luận với chuyên gia tin học, để xác định mong muốn khám phá gì, thống giải pháp cho trình khám phá liệu (muốn có luật hay muốn phân lớp, phâm cụm liệu…) Đây giai đoạn quan trọng xác định sai vấn đề tồn q trình phá sản, trở nên vơ ích Bước 2: Chuẩn bị liệu (Data preparation) Bao gồm trình sau: - Thu thập liệu (data gathering) ... QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ LÝ THUYẾT TẬP THÔ 1.1 Giới thiệu khai phá liệu 1.1.1 Khám phá tri thức 1.1.2 Khai phá liệu 1.2 Ứng dụng khai phá liệu ... liệu Khai phá liệu bước trình khám phá tri thức từ sở liệu Khai phá liệu bao gồm giai đoạn sau [7]: Giai đoạn 1: Gom liệu (Gathering) Đây bước tập hợp liệu khai thác sở liệu, kho liệu chí liệu. .. 3.4.1 Mơ hình định tương ứng với tập liệu Bank_data 42 3.4.2 Các luật định tương ứng với tập liệu Bank_data 44 3.4.3 Đánh giá thuật toán 44 3.4.4 Ứng dụng định khai phá liệu 45