Đại Học Bách Khoa Tp Hồ Chí Minh. Chương 8: ỨNG DỤNG KHAI PHÁ DỮ LIỆU. Cao Học Ngành Khoa Học Máy Tính Giáo trình điện tử. TS Võ Thị Ngọc Châu

Khoa Khoa Học & Kỹ Thuật Máy Tính Trường Đại Học Bách Khoa Tp Hồ Chí Minh Chương 8: Ứng dụng khai phá liệu Cao Học Ngành Khoa Học Máy Tính Giáo trình điện tử Biên soạn bởi: TS Võ Thị Ngọc Châu (chauvtn@cse.hcmut.edu.vn) Học kỳ – 2011-2012 1 Tài liệu tham khảo ‡ ‡ ‡ ‡ ‡ ‡ ‡ ‡ ‡ [1] Jiawei Han, Micheline Kamber, “Data Mining: Concepts and Techniques”, Second Edition, Morgan Kaufmann Publishers, 2006 [2] David Hand, Heikki Mannila, Padhraic Smyth, “Principles of Data Mining”, MIT Press, 2001 [3] David L Olson, Dursun Delen, “Advanced Data Mining Techniques”, Springer-Verlag, 2008 [4] Graham J Williams, Simeon J Simoff, “Data Mining: Theory, Methodology, Techniques, and Applications”, Springer-Verlag, 2006 [5] Hillol Kargupta, Jiawei Han, Philip S Yu, Rajeev Motwani, and Vipin Kumar, “Next Generation of Data Mining”, Taylor & Francis Group, LLC, 2009 [6] Daniel T Larose, “Data mining methods and models”, John Wiley & Sons, Inc, 2006 [7] Ian H.Witten, Eibe Frank, “Data mining : practical machine learning tools and techniques”, Second Edition, Elsevier Inc, 2005 [8] Florent Messeglia, Pascal Poncelet & Maguelonne Teisseire, “Successes and new directions in data mining”, IGI Global, 2008 [9] Oded Maimon, Lior Rokach, “Data Mining and Knowledge Discovery Handbook”, Second Edition, Springer Science + Business Media, LLC 2005, 2010 2 Nội dung ‡ Chương 1: Tổng quan khai phá liệu ‡ Chương 2: Các vấn đề tiền xử lý liệu ‡ ‡ Chương 3: Hồi qui liệu Chương 4: Phân loại liệu ‡ Chương 5: Gom cụm liệu ‡ Chương 6: Luật kết hợp ‡ Chương 7: Khai phá liệu công nghệ sở liệu Chương 8: Ứng dụng khai phá liệu ‡ ‡ ‡ Chương 9: Các đề tài nghiên cứu khai phá liệu Chương 10: Ôn tập 3 Chương 8: Ứng dụng khai phá liệu ‡ 8.1 Tổng quan vấn đề phát triển ứng dụng khai phá liệu ‡ 8.2 Qui trình phát triển ứng dụng khai phá liệu ‡ 8.3 Các chuẩn dành cho khai phá liệu ‡ 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu ‡ 8.5 Tóm tắt 4 8.1 Tổng quan vấn đề phát triển ứng dụng khai phá liệu ‡ ‡ Vấn đề liệu „ Lượng chất lượng liệu „ Kiểu liệu Vấn đề tri thức từ trình khai phá „ ‡ Vấn đề kỹ thuật khai phá „ ‡ Biểu diễn tích hợp vào ứng dụng Lựa chọn giải thuật khai phá Vấn đề hiệu (effective) hiệu suất (efficient) 5 8.2 Qui trình phát triển ứng dụng khai phá liệu ‡ Qui trình phát triển ứng dụng ‡ Qui trình phát triển ứng dụng khai phá liệu Ỉ Tương đồng khác biệt 6 8.3 Các chuẩn dành cho khai phá liệu ‡ The Predictive Model Markup Language (PMML – www.dmg.org) ‡ Standard application programming interfaces (APIs) ‡ The Cross-Industry Standard Process for Data Mining (CRISP-DM – www.crisp-dm.org) Nguồn: R L Grossman, M F Hornick, G Meyer, Data Mining Standards Initiatives, Communications of the ACM 45 (8) 2002 5961 7 8.3 Các chuẩn dành cho khai phá liệu ‡ The Predictive Model Markup Language (PMML – www.dmg.org) „ Chuẩn dựa XML ‡ „ Mô tả mô hình thống kê khai phá liệu, tác vụ làm biến đổi liệu Các thành phần PMML ‡ Data dictionary ‡ Mining schema ‡ Transformation dictionary ‡ Model statistics ‡ Models 8 8.3 Các chuẩn dành cho khai phá liệu 9 8.3 Các chuẩn dành cho khai phá liệu 10 10 8.3 Các chuẩn dành cho khai phá liệu 11 11 8.3 Các chuẩn dành cho khai phá liệu ‡ Standard application programming interfaces (APIs) „ SQL/MM Part 6: Data Mining „ The Java Specification Request-73 (JSR-73) ‡ „ Jcp.org/jsr/detail/073.jsp Microsoft APIs ‡ Microsoft.AnalysisServices.AdomdClient 12 12 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu ‡ Các công cụ mã nguồn mở (open-source tools) ‡ Các công cụ thương mại 13 13 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu ‡ Các công cụ mã nguồn mở (open-source) „ R (www.r-project.org) „ Tanagra (eric.univ-lyon2.fr/~ricco/tanagra/) „ Weka (www.cs.waikato.ac.nz/ml/weka) „ YALE (rapid-i.com) „ KNIME (www.knime.org) „ Orange (www.ailab.si/orange) „ … Nguồn: B Zupan, J Demsar, “Open-Source Tools for Data Mining”, Clinics in Laboratory Medicine 28(2008) 37-54 14 14 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu 15 15 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu 16 16 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu 17 17 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu 18 18 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu 19 19 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu 20 20 8.4 Các công cụ hỗ trợ phát triển ứng dụng khai phá liệu ‡ Các công cụ thương mại „ Hỗ trợ từ Intelligent Miner (IBM) „ Hỗ trợ từ Microsoft data mining tools (MS SQL Server 2000/2005/2008) „ Hỗ trợ từ Oracle Data Mining „ Hỗ trợ từ Enterprise Miner (SAS Institute) „ … 21 21 8.5 Tóm tắt ‡ Xem xét tương đồng/khác biệt qui trình phát triển ứng dụng truyền thống ứng dụng khai phá liệu ‡ Sự cần thiết chuẩn (standards) dành cho khai phá liệu ‡ Sự quan tâm nhà sản xuất phần mềm việc hỗ trợ phát triển ứng dụng khai phá liệu 22 22 Hỏi & Đáp … 23 23