GOM cụm TRONG DATA MINING và bài TOÁN hổ TRỢ RA QUYẾT ĐỊNH với GIAO DIỆN WEKA

Seminar Môn: Hệ hỗ trợ ra quyết định GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH VỚI GIAO DIỆN WEKA GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH VỚI GIAO DIỆN WEKA GVHD:PGS.TS Đỗ Phúc HVTH: 1. Huỳnh Ngọc Ca – CH1401002 2. Hứa Phước Trường – CH1401023 3. Chu Thị Huế - CH1401004 4. Phạm Thị Thắm – CH1401019 GVHD:PGS.TS Đỗ Phúc HVTH: 1. Huỳnh Ngọc Ca – CH1401002 2. Hứa Phước Trường – CH1401023 3. Chu Thị Huế - CH1401004 4. Phạm Thị Thắm – CH1401019 TỔNG QUAN QUÁ TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN NỘI DUNG TRÌNH BÀY 1.1 QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU Có thể hiểu đơn giản là quá trình chắt lọc hay khai phá tri thức từ một khối dữ liệu lớn. QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.2 NHIỆM VỤ CỦA KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU 1.3 CƠ SỞ DỮ LIỆU PHỤC VỤ CHO KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU  Cơ sở dữ liệu quan hệ  Cơ sở dữ liệu giao tác  Cơ sở dữ liệu không gian  Cơ sở dữ liệu có yếu tố thời gian  Cơ sở dữ liệu đa phương tiện 1.4 CÁC PHƯƠNG PHÁP CHÍNH CHO KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU  Phân lớp và dự đoán  Phân cụm và phân đoạn  Luật kết hợp (Associa3on rules) 1.5 CÁC ỨNG DỤNG KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU  Phân 6ch dữ liệu và hỗ trợ ra quyết định (Analysis & deci3on support).  Điều trị trong y học (Medical  Phân lớp văn bản, tóm tắt văn bản và phân lớp các trang Web (Text mining & Web mining).  Tin sinh học (Bio-informa3csNhận dạng.  Tài chính và thị trường chứng khoán (Finance & stock market  Bảo hiểm (Insurance), giáo dục (Educa3on),… 1.6 NHỮNG KHÓ KHĂN TRONG QUÁ TRÌNH KHAI PHÁ DỮ LIỆU 1. TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU  Cơ sở dữ liệu lớn.  Số chiều các thuộc 6nh lớp.  Thay đổi dữ liệu và tri thức có thể làm cho các mẫu đã phát hiện không còn phù hợp.  Dữ liệu bị thiếu hoặc bị nhiễu.  Quan hệ giữa các trường phức tạp.  Giao 3ếp với người sử dụng và kết hợp với các tri thức đã có.  Tích hợp với các hệ thống khác [...]... minimum distance 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 3 GIỚI... Qua đó có cái nhìn tổng thể và đưa ra những định hướng để phát triển việc sản xuất cho các địa phương 4 GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA DEMO 5 KẾT LUẬN Qua đề tài này, nhóm nghiên cứu đã tìm hiểu và nắm được kiến thức về gom cụm dữ liệu và thuật toán để gom cụm dữ liệu, cơ bản hiện thực việc gom cụm dữ liệu trên phần mềm Weka Vì thời gian và kiến thức có hạn nên trong quá trình thực hiện báo... LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 1 Phân cụm là gì?  Quá trình phân chia 1 tập dữ liệu ban đầu thành các cụm dữ liệu thỏa mãn:  Các đối tượng trong 1 cụm “tương tự” nhau  Các đối tượng khác cụm thì “không tương tự” nhau  Giải quyết vấn... THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 3 Một số phương pháp phân cụm điển hình  Phân cụm phân hoạch  Phân cụm phân cấp  Phân cụm dựa trên mật độ  Phân cụm dựa trên lưới  Phân cụm dựa trên mô hình  Phân cụm có ràng buộc 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU  Thuật toán phân cụm K-Means  Phân cụm phân cấp (Hierarchical Clustering)  Phân cụm. .. (Hierarchical Clustering)  Phân cụm theo mật độ DBSCAN  Phân cụm mô hình EM 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.2 MỘT SỐ THUẬT TOÁN PHÂN CỤM TIÊU BIỂU  Thuật toán phân cụm K-Means  Phân cụm phân cấp (Hierarchical Clustering)  Phân cụm theo mật độ DBSCAN  Phân cụm mô hình EM 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS • • • Determine the centroid coordinate Determine... GIAO DIỆN WEKA KẾT LUẬN 4 GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA Mô tả bài toán Cả nước hầu hết các tỉnh/TP đều có diện tích sản xuất lúa nhất định Cùng với việc sản xuất thì sản lượng lúa của mỗi địa phương đem lại sẽ khác nhau Nhằm mục đích đánh giá sự hiệu quả về sản lượng mà các địa phương sản xuất lúa mang để có cái nhìn và kế hoạch phát triển việc sản xuất ở mỗi địa phương Giải pháp gom cụm dữ... các cụm, các mẫu dữ liệu trong 1 tập hợp ban đầu các dữ liệu không có nhãn 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.1 TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 2 Mục đích của phân cụm  Xác định được bản chất của việc nhóm các đối tượng trong 1 tập dữ liệu không có nhãn  Phân cụm không dựa trên 1 tiêu chuẩn chung nào, mà dựa vào tiêu chí mà người dùng cung cấp trong từng trường hợp 2 PHÂN CỤM DỮ LIỆU VÀ THUẬT... GIỚI THIỆU VỀ PHẦN MỀM WEKA GIỚI THIỆU VỀ PHẦN MỀM WEKA  Waikato Enviroment for Knowledge Analysis  Được phát triển bởi ĐH Waikato, New Zealand  Là phần mềm mã nguồn mở viết bằng Java và tích hợp các thuật toán máy học và khai thác dữ liệu Có thể tải về từ địa chỉ: http://www.cs.Waikato.ac.nz/ml /weka/ 3 GIỚI THIỆU VỀ PHẦN MỀM WEKA WEKA – Các môi trường chính  Simple CLI : giao diện đơn giản kiểu dòng... Weka để khám phá dữ liệu  Experimenter: môi trường cho phép tiến hành các thí nghiệm và thực hiện các kiểm tra thống kê giữa các mô hình học máy  KnowledgeFlow: môi trường cho phép tương tác đồ họa kiểu kéo/thả để thiết kế các bước của một thí nghiệm NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO. .. góp ý kiến của Thầy và của mọi người 5 KẾT LUẬN TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Ngọc Diễm, Học viện Công Nghệ Bưu Chính Viễn Thông, Luận văn Thạc sỹ, So sánh một số thuật toán phân cụm dữ liệu, 2014 [2] PGS.TS Đỗ Phúc, Đại Học CNTT TP.HCM, slide bài giảng “ Hệ Hỗ Trợ Quyết Định , 2015 [3] https://en.wikipedia.org/wiki /Weka_ (machine_learning) [4] http://www.cs.waikato.ac.nz/ml /weka/ . Seminar Môn: Hệ hỗ trợ ra quyết định GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH VỚI GIAO DIỆN WEKA GOM CỤM TRONG DATA MINING VÀ BÀI TOÁN HỔ TRỢ RA QUYẾT ĐỊNH VỚI GIAO DIỆN WEKA GVHD:PGS.TS. 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS 2.3 THUẬT TOÁN GOM CỤM K-MEANS 2. PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS. LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT TOÁN K-MEANS GIỚI THIỆU VỀ PHẦN MỀM WEKA GOM CỤM K-MEANS SỬ DỤNG GIAO DIỆN WEKA KẾT LUẬN NỘI DUNG TRÌNH BÀY TỔNG QUAN QÚA TRÌNH KHAI PHÁ DỮ LIỆU PHÂN CỤM DỮ LIỆU VÀ THUẬT