Nội dung của luận văn gồm có 5 chương, trong đó: Chương I: Tổng quan về khai phá tri thức, chương này trình bày một cách khái quát về các vấn đề khai phá dữ liệu, các thách thức gặp phải
Phạm quang phong giáo dục đào tạo trờng đại học bách khoa hà nội - luận văn thạc sĩ khoa học ngành : công nghệ thông tin công nghệ thông tin Phơng pháp Khai phá liệu định Và ứng dụng Phạm quang phong 2006 - 2008 Hµ Néi 2008 Hµ Néi 2008 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057205189881000000 bé gi¸o dơc đào tạo trờng đại học bách khoa hà nội - luận văn thạc sĩ khoa học PHƯƠNG PHáP KHAI PHá Dữ LIệU BằNG CÂY QUYếT ĐịNH Và ứng dụng ngành : công nghệ thông tin 04.3898 Phạm quang phong Ngời hớng dẫn khoa học: PGS.TS Vũ ĐứC THI Hà nội 2008 LỜI CẢM ƠN Em xin trân thành cảm ơn PGS.TS Vũ Đức Thi, Thầy tận tình hướng dẫn bảo em trình thực luận van tốt nghiệp Sự bảo, dạy dỗ Thầy giúp em có nhiều kinh nghiệm, kiến thức nghiên cứu học tập Em tin rằng, điều thuận lợi to lớn để giúp em có nhiều kết cơng tác nghiên cứ, học tập cho thân giai đoạn Em xin trân thành cảm ơn Thầy, Cô trường Đại học Bách khoa Hà Nội, người giúp đỡ em suốt thời gian học tập Xin gửi lời cảm ơn tới tất người thân, đồng nghiệp, bạn bè giúp đỡ thời gian qua! MỤC LỤC LỜI CẢM ƠN MỞ ĐẦU CHƯƠNG I: I.1 TỔNG QUAN VỀ KHAI PHÁ TRÍ THỨC SƠ LƯỢC VỀ KHAI PHÁ TRI THỨC I.1.1 Dữ liệu tri thức I.1.2 Khai phá tri thức I.1.3 Các trình khai phá tri thức 11 I.2 KHAI PHÁ DỮ LIỆU 14 I.2.1 Khái niệm khai phá liệu 14 I.2.2 Mục tiêu khai phá liệu 15 I.2.3 Chức khai phá liệu 16 I.2.4 Phương pháp khai phá liệu 19 I.3 CÁC KỸ THUẬT KHAI PHÁ DỮ LIỆU 23 I.3.1 Kỹ thuật khai phá liệu dự đoán 24 I.3.2 Phân cụm liệu 24 I.3.3 Phân lớp liệu qui hồi 24 I.3.4 Khai phá luật kết hợp 25 I.3.5 Khai phá liệu sử dụng mạng Neural 26 I.3.6 Khai phá liệu sử dụng thuật giải di truyền 27 I.3.7 Khai phá liệu sử dụng định 28 I.4 CÁC CÁCH THỨC KHAI PHÁ DỮ LIỆU 29 I.4.1 Các yêu cầu khai phá liệu 31 I.4.2 Đánh giá, kết luận 34 CHƯƠNG II: CÁC KHÁI NIỆM CƠ BẢN 36 II.1 CÂY QUYẾT ĐỊNH 36 II.1.1 Khái niệm chung 36 II.1.2 Xây dựng định 39 II.1.3 Cắt tỉa định 39 II.1.4 Đánh giá định 40 II.2 CƠ SỞ DỮ LIỆU QUAN HỆ 40 II.2.1 Quan hệ 40 II.2.2 Cơ sở liệu quan hệ 41 II.2.3 Đại số quan hệ 42 II.2.4 Phụ thuộc hàm 42 II.2.5 Phụ thuộc hàm xấp xỉ 46 CHƯƠNG III: III.1 III.1.1 MỘT SỐ PHƯƠNG PHÁP XÂY DỰNG CÂY QUYẾT ĐỊNH 50 THUẬT TOÁN XÂY DỰNG CÂY QUYẾT ĐỊNH 50 Thuật toán CLS - Concept Learning System 50 III.1.1.1 Giới thiệu thuật toán CLS 50 III.1.1.2 Ví dụ minh họa 51 III.1.2 Thuật toán ID3 (interactive Dichotomizer) 55 III.1.2.1 Giới thiệu thuật toán ID3: 55 III.1.2.2 Ví dụ: 59 III.1.3 Thuật toán C4.5 62 III.1.4 Thuật toán xây dựng định dựa phụ thuộc hàm 68 III.1.4.1 Tổng quan: 68 III.1.4.2 Thuật toán TANE 68 III.1.4.3 Xây dựng định 69 III.1.4.4 Ví dụ minh họa 70 III.2 CẮT TỈA CÂY QUYẾT ĐỊNH 71 III.3 ĐÁNH GIÁ THUẬT TOÁN VÀ KẾT LUẬN 73 III.3.1 Đánh giá thuật toán 73 III.3.2 Kết luận 74 CHƯƠNG IV: ỨNG DỤNG THỬ NGHIỆM 76 IV.1.1 BÀI TOÁN THỬ NGHIỆM 76 IV.1.2 KẾT QUẢ ĐẠT ĐƯỢC 76 IV.1.3 MỘT SỐ GIAO DIỆN CỦA CHƯƠNG TRÌNH 77 IV.1.3.1 Giao diện 77 IV.1.3.2 Cây định dựa theo thuật toán CLS 78 IV.1.3.3 Cây định dựa theo thuật toán ID3 79 IV.1.3.4 Cây định dựa theo thuật toán C4.5 79 CHƯƠNG V: KẾT LUẬN 80 TÀI LIỆU THAM KHẢO 81 MỞ ĐẦU Ngày nay, công nghệ thông tin trở thành lĩnh vực nghiên cứu, ứng dụng triển khai có hiệu đời sống kinh tế, xã hội Việc ứng dụng công nghệ thông tin ngành khoa học, kinh tế, xã hội mang lại hiệu kinh tế to lớn Cùng với phát triển khoa học công nghệ, bùng nổ thơng tin ngày việc tìm kiếm khai thác thông tin từ nguồn thông tin khổng lồ có sẵn để có thơng tin cần thiết, hiệu đáp ứng nhu cầu người khai thác khơng phải dễ dàng Chính vậy, khai phá liệu trở thành lĩnh vực nhà khoa học quan tâm ứng dụng thực tiễn vào đời sống, với phát triển xã hội Một lĩnh vực nghiên cứu phương pháp ứng dụng khai phá liệu, tìm kiếm tri thức, kết xuất tri thức… từ liệu phương pháp sử dụng định (Decision Tree) nhà khoa học nghiên cứu từ nhiều năm trước cho kết khả quan có tính ứng dụng cao Ngày nay, kỹ thuật khai phá liệu dựa định áp dụng cho nhiều ngành, nhiều lĩnh vực như: kinh tế, tài chính, khoa học –kỹ thuật, ngân hàng, y tế,… Các kỹ thuật khai phá liệu định đa dạng phong phú kỹ thuật dựa thuật toán Hunt, ID3, C4.5,… kỹ thuật xây dựng định dựa phụ thuộc hàm sở liệu quan hệ Với mong muốn tìm hiểu làm rõ kỹ thuật khai phá tri thức từ liệu sử dụng định nên lựa chọn đề tài “Phương pháp khai phá liệu định ứng dụng” làm đề tài cho luận văn tốt nghiệp Mục đích thực đề tài tổng hợp kiến thức kỹ thuật xây dựng định dựa số thuật tốn có Nội dung luận văn gồm có chương, đó: Chương I: Tổng quan khai phá tri thức, chương trình bày cách khái quát vấn đề khai phá liệu, thách thức gặp phải sử dụng kỹ thuật khai phá liệu, ứng dụng khai phá liệu,tình hình nghiên cứu khai phá liệu nói chung kỹ thuật khai phá liệu sử dụng định nói riêng Chương II: Các khái niệm bản, bao gồm khái niệm khai phá liệu, định, khái niệm sở liệu quan hệ Chương III: Một số phương pháp xây dựng định, chương trọng tâm luận văn Nội dung chương đề cập đến phương pháp xây dựng định dựa thuật toán khai phá liệu định bao gồm thuật toán CLS (Concept Learning System), ID (Interactive Dichotomizer), thuật toán C4.5 phương pháp xây dựng định dựa phụ thuộc hàm xấp xỉ sở liệu quan hệ Chương IV: Ứng dụng thử nghiệm, chương đưa toán ứng dụng thử nghiệm, áp dụng thuật toán để thực xây dựng ứng dụng khai phá liệu cho toán nêu Chương V: Kết luận, nội dung chương đưa đánh giá, kết luận số phân tích sau thực luận văn CHƯƠNG I: TỔNG QUAN VỀ KHAI PHÁ TRÍ THỨC I.1 SƠ LƯỢC VỀ KHAI PHÁ TRI THỨC I.1.1 Dữ liệu tri thức Ngày nay, với phát triển mạnh mẽ khoa học công nghệ, đặc biệt ngành cơng nghệ thơng tin truyền thơng khối lượng liệu cần lưu trữ ngày trở nên khổng lồ Do đặc trưng liệu thơng tin, có thơng tin có nghĩa có liệu Trong lĩnh vực khác có dạng liệu khác nhau, liệu lĩnh vực khác lại có mối quan hệ tương đối mật thiết với Tuy nhiên, khai thác liệu liệu thu thu tri thức cần thiết theo yêu cầu người vấn đề cụ thể lĩnh vực cụ thể Tri thức lại động lực quan trọng q trình phát triển tiến người nói riêng văn minh nhân loại nói chung, khái niệm xác tri thức, chất tri thức, trình hình thành tri thức mối quan hệ đối tượng giới tri thức… tranh luận chưa có câu trả lời thỏa đáng Nhưng lĩnh vực, từ khoa học, công nghệ, kỹ thuật,… đến kinh tế, văn hóa, xã hội tri thức ln ln tìm kiếm, phát tác động ngày lớn đến phát triển loài người Sự phong phú thông tin, liệu với khả kịp thời khai thác chúng mạng lại suất chất lượng cao công tác quản lý, hoạt động kinh tế, phát triển sản xuất du lịch… Tuy nhiên, yêu cầu thông tin, tri thức liệu đặc biệt cơng tác định ngày đòi hỏi chất lượng cao hơn, kịp thời nhiều tri thức nhằm hỗ trợ việc định để định vấn đề Trong thực tế thấy, ngẫu nhiên mà John Naisbett cảnh báo: “Chúng ta ngập chìm liệu đói tri thức”, điều báo trước việc ứng dụng công nghệ thông tin chuyển sang thời kỳ mà mục đích chủ yếu của công nghệ thông tin giúp người nhiều trình khai phá tri thức từ liệu, biến đổi từ giàu có liệu thành giàu có tri thức Các khái niệm thơng tin, liệu tri thức ln có quan hệ chặt chẽ, mật thiết với khó phân biệt định nghĩa rõ ràng Ta hiểu thông tin khái niệm chung bao gồm hiểu biết vật, tượng, quan hệ,… mà người thu nhận thông qua giác quan, giao tiếp, khảo sát, thực nghiệm, nghiên cứu, lý giải… Dữ liệu mô tả giá trị cho kiện, tượng cụ thể xem hiểu biết có mức độ khái quát, mối quan hệ có quy luật thuộc tính đối tượng, vật, tượng mà người thu sau “chân lý hóa” kinh nghiệm có, phân tích liệu hay qua nghiên cứu, lý giải, suy luận Hoạt động nhận thức người bao gồm việc tìm kiếm tri thức để tăng cường hiểu biết xã hội sống, từ tạo nên kỹ thuật cơng nghệ giải pháp nhằm cải thiện đời sống Dưới trợ giúp công nghệ thông tin, phương pháp khai phá tri thức từ liệu bước nghiên cứu công cụ, giải pháp nhằm hỗ trợ giúp định kiến trúc khách hàng, phục vụ thích hợp, với việc sử dụng phương pháp khai phá liệu phát tri thức nghiên cứu rộng rãi giới Việt Nam