Thuyết trình GOM cụm TRONG DATA MINING và bài TOÁN hổ TRỢ RA QUYẾT ĐỊNH với GIAO DIỆN WEKA

Seminar Môn: Hệ hỗ trợ định GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH VỚI GIAO DIỆN WEKA GVHD: PGS.TS Đỗ Phúc HVTH: 1. Huỳnh Ngọc Ca – CH1401002 2. Hứa Phước Trường – CH1401023 3. Chu Thị Huế - CH1401004 4. Phạm Thị Thắm – CH1401019 NỘI DUNG TRÌNH BÀY TỔNG QUAN QUÁ TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.1 KHÁI NIỆM 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.1 KHÁI NIỆM Data mining trình tự động tìm kiếm trích xuất mẫu thông tin có giá trị ẩn chứa từ tập liệu lớn (Data Set) thực tế. 1. TỔNG QUAN QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 1.3 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.2 NHIỆM VỤ CỦA KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.4 CÁC PHƯƠNG PHÁP CHÍNH CHO KHAI PHÁ DỮ LIỆU  Phân lớp dự đoán  Phân cụm phân đoạn  Luật kết hợp (Association rules) 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.5 CÁC ỨNG DỤNG KHAI PHÁ DỮ LIỆU  Phân tích liệu hỗ trợ định (Analysis & decition support).  Điều trị y học (Medical)  Phân lớp văn bản, tóm tắt văn phân lớp trang Web (Text mining & Web mining).  Tin sinh học (Bio-informatics), Nhận dạng.  Tài thị trường chứng khoán (Finance & stock market  Bảo hiểm (Insurance), giáo dục (Education),… NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 1. Phân cụm gì?  Quá trình phân chia tập liệu ban đầu thành cụm liệu thỏa mãn đối tượng cụm có tính chất “tương tự” nhau. 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 2. Mục đích phân cụm  Xác định chất việc nhóm đối tượng tập liệu nhãn.  Phân cụm không dựa tiêu chuẩn chung nào, mà dựa vào tiêu chí mà người dùng cung cấp trường hợp. 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 3. Một số phương pháp phân cụm điển hình  Phân cụm phân hoạch  Phân cụm phân cấp  Phân cụm dựa mật độ  Phân cụm dựa lưới  Phân cụm dựa mô hình  Phân cụm có ràng buộc 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU  Thuật toán phân cụm K-Means  Phân cụm phân cấp (Hierarchical Clustering)  Phân cụm theo mật độ DBSCAN  Phân cụm mô hình EM 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU  Thuật toán phân cụm K-Means  Phân cụm phân cấp (Hierarchical Clustering)  Phân cụm theo mật độ DBSCAN  Phân cụm mô hình EM 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS • Determine the centroid coordinate • Determine the distance of each object to the centroids • Group the object based on minimum distance 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 3. GIỚI THIỆU VỀ PHẦN MỀM WEKA GIỚI THIỆU VỀ PHẦN MỀM WEKA  Waikato Enviroment for Knowledge Analysis  Được phát triển ĐH Waikato, New Zealand  Là phần mềm mã nguồn mở viết Java tích hợp thuật toán máy học khai thác liệu Có thể tải từ địa chỉ: http://www.cs.Waikato.ac.nz/ml/weka/ 3. GIỚI THIỆU VỀ PHẦN MỀM WEKA WEKA – Các môi trường  Simple CLI : giao diện đơn giản kiểu dòng lệnh (như MS – DOS)  Explorer : môi trường cho phép sử dụng tất chức Weka để khám phá liệu  Experimenter: môi trường cho phép tiến hành thí nghiệm thực kiểm tra thống kê mô hình học máy.  KnowledgeFlow: môi trường cho phép tương tác đồ họa kiểu kéo/thả để thiết kế bước thí nghiệm NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 4. GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA Mô tả toán Cả nước hầu hết tỉnh/TP có diện tích sản xuất lúa định. Cùng với việc sản xuất suất lúa địa phương đem lại khác nhau. Nhằm mục đích đánh giá hiệu sản lượng mà địa phương sản xuất lúa mang để có nhìn kế hoạch phát triển việc sản xuất địa phương. Giải pháp gom cụm liệu để giúp đánh giá việc sản lượng lúa tỉnh/ TP. Qua có nhìn tổng thể đưa định hướng để phát triển việc sản xuất cho địa phương. 4. GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA DEMO 5. KẾT LUẬN Qua đề tài này, nhóm nghiên cứu tìm hiểu nắm kiến thức gom cụm liệu thuật toán để gom cụm liệu, thực việc gom cụm liệu phần mềm Weka. Vì thời gian kiến thức có hạn nên trình thực báo cáo tránh thiếu sót, nhóm chúng em mong đóng góp ý kiến Thầy người. 5. KẾT LUẬN TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Ngọc Diễm, Học viện Công Nghệ Bưu Chính Viễn Thông, Luận văn Thạc sỹ, So sánh số thuật toán phân cụm liệu, 2014. [2] PGS.TS Đỗ Phúc, Đại Học CNTT TP.HCM, slide giảng “ Hệ Hỗ Trợ Quyết Định”, 2015 [3] https://en.wikipedia.org/wiki/Weka_(machine_learning) [4] http://www.cs.waikato.ac.nz/ml/weka/ [5] http://www.gso.gov.vn/default.aspx?tabid=430&idmid=3 [...]... THUẬT TOÁN GOM CỤM K-MEANS 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 3 GIỚI THIỆU VỀ PHẦN MỀM WEKA GIỚI THIỆU VỀ PHẦN MỀM WEKA ... hình  Phân cụm phân hoạch  Phân cụm phân cấp  Phân cụm dựa trên mật độ  Phân cụm dựa trên lưới  Phân cụm dựa trên mô hình  Phân cụm có ràng buộc 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU  Thuật toán phân cụm K-Means  Phân cụm phân cấp (Hierarchical Clustering)  Phân cụm theo mật độ DBSCAN  Phân cụm mô hình EM 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS... thực hiện các kiểm tra thống kê giữa các mô hình học máy  KnowledgeFlow: môi trường cho phép tương tác đồ họa kiểu kéo/thả để thiết kế các bước của một thí nghiệm NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 4 GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA Mô tả bài toán Cả nước hầu hết... phương 4 GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA DEMO 5 KẾT LUẬN Qua đề tài này, nhóm nghiên cứu đã tìm hiểu và nắm được kiến thức về gom cụm dữ liệu và thuật toán để gom cụm dữ liệu, cơ bản hiện thực việc gom cụm dữ liệu trên phần mềm Weka Vì thời gian và kiến thức có hạn nên trong quá trình thực hiện báo cáo không thể tránh những thiếu sót, nhóm chúng em rất mong sự đóng góp ý kiến của Thầy và của mọi... THUẬT TOÁN PHÂN CỤM TIÊU BIỂU  Thuật toán phân cụm K-Means  Phân cụm phân cấp (Hierarchical Clustering)  Phân cụm theo mật độ DBSCAN  Phân cụm mô hình EM 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS • Determine the centroid coordinate • Determine the distance of each object to the centroids • Group the object based on minimum distance 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS... PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 2 Mục đích của phân cụm  Xác định được bản chất của việc nhóm các đối tượng trong 1 tập dữ liệu không có nhãn  Phân cụm không dựa trên 1 tiêu chuẩn chung nào, mà dựa vào tiêu chí mà người dùng cung cấp trong từng trường hợp 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 3 Một số phương pháp phân cụm. .. Java và tích hợp các thuật toán máy học và khai thác dữ liệu Có thể tải về từ địa chỉ: http://www.cs.Waikato.ac.nz/ml /weka/ 3 GIỚI THIỆU VỀ PHẦN MỀM WEKA WEKA – Các môi trường chính  Simple CLI : giao diện đơn giản kiểu dòng lệnh (như MS – DOS)  Explorer : môi trường cho phép sử dụng tất cả các chức năng của Weka để khám phá dữ liệu  Experimenter: môi trường cho phép tiến hành các thí nghiệm và thực... đều có diện tích sản xuất lúa nhất định Cùng với việc sản xuất thì năng suất lúa của mỗi địa phương đem lại sẽ khác nhau Nhằm mục đích đánh giá sự hiệu quả về sản lượng mà các địa phương sản xuất lúa mang để có cái nhìn và kế hoạch phát triển việc sản xuất ở mỗi địa phương Giải pháp gom cụm dữ liệu để giúp đánh giá về việc sản lượng lúa của các tỉnh/ TP Qua đó có cái nhìn tổng thể và đưa ra những định. .. Nguyễn Thị Ngọc Diễm, Học viện Công Nghệ Bưu Chính Viễn Thông, Luận văn Thạc sỹ, So sánh một số thuật toán phân cụm dữ liệu, 2014 [2] PGS.TS Đỗ Phúc, Đại Học CNTT TP.HCM, slide bài giảng “ Hệ Hỗ Trợ Quyết Định , 2015 [3] https://en.wikipedia.org/wiki /Weka_ (machine_learning) [4] http://www.cs.waikato.ac.nz/ml /weka/ [5] http://www.gso.gov.vn/default.aspx?tabid=430&idmid=3 . Seminar Môn: Hệ hỗ trợ ra quyết định GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH VỚI GIAO DIỆN WEKA GVHD: PGS.TS Đỗ Phúc HVTH: 1. Huỳnh Ngọc Ca. 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS. THUẬT TOÁN GOM CỤM K-MEANS TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN NỘI DUNG TRÌNH