(LUẬN VĂN THẠC SĨ) Khai phá mẫu phổ biến, luật kết hợp và thước đo tương quan

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ MỸ HẠNH KHAI PHÁ MẪU PHỔ BIẾN, LUẬT KẾT HỢP VÀ THƯỚC ĐO TƯƠNG QUAN LUẬN VĂN THẠC SỸ HÀ NỘI - 2011 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ MỸ HẠNH KHAI PHÁ MẪU PHỔ BIẾN, LUẬT KẾT HỢP VÀ THƯỚC ĐO TƯƠNG QUAN Ngành : Công nghệ thông tin Chuyên ngành : Hệ thống thông tin Mã số : 06 48 05 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Công Điều HÀ NỘI - 2011 TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC NHẬN XÉT – ĐÁNH GIÁ LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ KHAI PHÁ MẪU PHỔ BIẾN, LUẬT KẾT HỢP VÀ CÁC THƢỚC ĐO TƢƠNG QUAN 1.1 Tổng quan khai phá liệu 1.1.1 Khai phá liệu 1.1.2 Tiến trình khai phá tri thức 1.1.3 Các hướng tiếp cận khai phá liệu 10 1.1.4 Một số ứng dụng khai phá liệu 11 1.1.5 Một số thách thức khai phá liệu 12 1.2 Các khái niệm khai phá mẫu phổ biến tìm luật kết hợp phân tích mối tương quan 13 1.2.1 Khái niệm khai phá mẫu phổ biến 13 1.2.2 Phát biểu tốn tìm luật kết hợp 14 1.2.3 Mối tương quan mục 17 CHƢƠNG 2: MỘT SỐ PHƢƠNG PHÁP KHAI PHÁ LUẬT KẾT HỢP 18 2.1 Phương pháp khai phá tập mục phổ biến sử dụng kỹ thuật sinh ứng viên 18 2.1.1 Tư tưởng thuật toán .18 2.1.2 Tính chất Apriori 18 2.1.3 Các bước thực thuật toán Apriori 19 2.2 Phương pháp sinh luật kết hợp mạnh 28 2.3 Phương pháp khai phá tập mục phổ biến không cần sinh ứng viên 29 2.3.1 Một số bất cập phương pháp khai phá tập phổ biến sử dụng kỹ thuật sinh ứng viên 29 2.3.2 Thuật toán FP-growth 31 2.4 Giới thiệu số thuật toán khai phá tập mục phổ biến khác 36 TIEU LUAN MOI download : skknchat@gmail.com 2.4.1 Thuật toán Apriori-TID 36 2.4.2 Thuật toán Apriori-Hybrid 37 2.4.3 Thuật toán AIS ( Agrawal Imielinski Swami) .37 2.4.4 Thuật toán DIC ( Dynamic Itemset Counting) 37 2.4.5 Thuật toán phân hoạch 37 2.5 Khai phá luật kết hợp định lượng .38 2.5.1 Một số hướng tiếp cận khai phá luật kết hợp .38 2.5.2 Khai phá luật kết hợp định lượng .39 2.6 Các thước đo tương quan 56 2.6.1 Các luật mạnh không thiết thú vị 56 2.6.2.Từ phân tích luật kết hợp đến phân tích tương quan 57 CHƢƠNG 3: GIỚI THIỆU CÔNG CỤ KHAI PHÁ DỮ LIỆU WEKA VÀ MÔ PHỎNG 66 3.1 Tổng quan phần mềm Weka 66 3.2 Cửa sổ ứng dụng Explorer Weka 68 3.2.1 Giao diện người dùng 68 3.2.2 Tiền xử lý – Preprocessing 72 3.2.3 Luật kết hợp 79 3.2.4 Một số định dạng tập tin Weka 80 3.3 Sử dụng công cụ Weka mô thuật toán sinh luật kết hợp 82 KẾT LUẬN 87 TÀI LIỆU THAM KHẢO 89 TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Thuật ngữ, chữ viết tắt Thuật ngữ tiếng anh Giải thích CSDL Database Cơ sở liệu KPDL Data Mining Khai phá liệu Min_sup Minimum support Độ hỗ trợ tối thiểu Min_conf Minimum confidence Độ tin cậy tối thiểu Item Mục Item set Tập mục Ck Tập mục ứng viên có độ dài k Lk Tập mục phổ biến có độ dài k TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan MỞ ĐẦU Trong năm gần đây, với phát triển vượt bậc khoa học công nghệ, khả thu thập lưu trữ liệu nâng cao đáng kể, điều đồng nghĩa với việc lượng lớn liệu lưu trữ thiết bị nhớ tăng lên khơng ngừng Cũng mà từ người gặp phải bất cập lớn việc phân tích kho liệu khổng lồ để rút định hữu ích, ứng dụng hầu hết lĩnh vực khoa học, kinh tế, xã hội Khai phá liệu – Data mining lĩnh vực khoa học liên ngành, nhằm tự động hóa q trình khai phá thơng tin, tri thức hữu ích tiềm ẩn sở liệu tổ chức, doanh nghiệp, Đây lĩnh vực khoa học tiềm năng, mang lại nhiều lợi ích thiết thực, đồng thời thể ưu vượt trội hẳn so với cơng cụ phân tích liệu truyền thống Khai phá Mẫu phổ biến – Frequent pattern mining (hay cịn gọi “Mẫu thường xun ”) đóng vai trò thiết yếu khai phá luật kết hợp, mối tương quan, mối quan hệ thú vị khác liệu Hơn nữa, giúp phân lớp, phân cụm liệu, hỗ trợ tốt nhiệm vụ khai phá liệu Do vậy, khai phá mẫu phổ biến trở thành nhiệm vụ khai phá liệu quan trọng chủ đề cần khai phá tìm kiếm liệu [1] Khai phá luật kết hợp - Accessociation rule mining kỹ thuật quan trọng khai phá liệu lần Rakesh Agrawal, Tomas Imielinski, Arun Swami đề xuất năm 1993 Những nghiên cứu luật kết hợp gần tập trung vào việc xây dựng thuật toán khai phá luật kết hợp theo hai hướng cải tiến đưa thuật toán cải tiến hiệu thuật toán cũ Trong luận văn tập trung trình bầy khái niệm tổng quan khai phá liệu, mẫu phổ biến, luật kết hợp Từ tìm hiểu phương pháp khai phá tập mục phổ biến sinh ứng viên khai phá khai phá luật kết hợp nhị phân Đồng thời, dựa phân tích bất cập phương pháp này, luận văn xem xét số phương phương pháp cải tiến, khai phá tập mục không cần sinh ứng viên, với phân tích đánh giá chi tiết ưu điểm nhược điểm phương pháp Bên cạnh đó, luận văn đề cập đến hướng tiếp cận khác việc khai phá luật kết hợp khai phá luật kết hợp định lượng Đây hướng (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan phát triển để hồn thiện khía cạnh cịn thiếu sót khai phá luật kết hợp nhị phân Hơn nữa, thước đo tương quan trình bầy để giúp đánh giá luật đưa có thực mạnh đáng quan tâm hay không Cuối cùng, tìm hiểu cơng cụ Weka sử dụng cơng cụ để mô phương pháp khai phá đề cập Luận văn bao gồm ba chương: Chương 1: Tổng quan khai phá mẫu phổ biến, luật kết hợp thước đo tương quan Chương 2: Một số phương pháp mở rộng khai phá luật kết hợp Chương 3: Giới thiệu công cụ khai phá liệu Weka mô Hà Nội, ngày 10 tháng 10 năm 2011 Học viên Vũ Mỹ Hạnh (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan CHƢƠNG 1: TỔNG QUAN VỀ KHAI PHÁ MẪU PHỔ BIẾN, LUẬT KẾT HỢP VÀ CÁC THƢỚC ĐO TƢƠNG QUAN 1.1 Tổng quan khai phá liệu 1.1.1 Khai phá liệu Phát tri thức sở liệu (còn gọi khai phá liệu) trình khơng tầm thường, nhận mẫu có giá trị, mới, hữu ích, tiềm hiểu liệu.[1] 1.1.2.Tiến trình khai phá tri thức Nhiều người cho khai phá liệu (data mining) đồng nghĩa với khám phá tri thức từ liệu – Knowledge Discovery form Data KDD Một cách nhìn khác cho khai phá liệu đơn giản bước cốt yếu tiến trình khám phá tri thức[2] Khai phá tri thức tiến trình bao gồm dãy bước: Hình 1.1: Khai phá liệu bƣớc tiến trình khai phá tri thức 1.Chọn lựa liệu (Trích chọn liệu) – Data selection: trích chọn tập liệu cần khai phá từ tập liệu lớn CSDL - databases, kho liệu data warehouses, theo số tiêu chí định (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 10 2.Tiền xử lý liệu – Data preprocessing: bước làm liệu (xử lý với liệu không đầy đủ, liệu nhiễu, liệu không đồng nhất, v.v ), rút gọn liệu (sử dụng hàm nhóm tính tổng, phương pháp nén liệu, sử dụng histograms, lấy mẫu,v.v ), rời rạc hóa liệu (rời rạc hóa dựa vào histograms, dựa vào entropy, dựa vào phân khoảng,v.v ) Kết thúc bước này, liệu quán, đầy đủ, rút gọn rời rạc hóa 3.Đổi dạng liệu – data transformation: bước chuẩn hóa làm mịn liệu để đưa liệu dạng thuận lợi nhằm phục vụ cho kỹ thuật khai phá bước sau 4.Khai phá liệu – data mining: bước áp dụng kỹ thuật khai phá ( phần nhiều kỹ thuật học máy – machine learning) để khai phá, trích chọn mẫu – patterns thông tin, mối liên hệ - relationships đặc biệt liệu Đây xem bước quan trọng tốn nhiều thời gian tồn q trình khai phá tri thức – KDD 5.Trình diễn (Biểu diễn đánh giá tri thức) – knowledge representation & evaluation: mẫu thông tin mối quan hệ liệu khai phá bước chuyển dạng biểu diễn dạng gần gũi với người sử dụng, đồ thị, cây, bảng biểu, luật,v.v Đồng thời bước đánh giá tri thức khám phá theo tiêu chí định 1.1.3 Các hướng tiếp cận khai phá liệu Các hướng tiếp cận KPDL phân chia theo chức hay lớp toán khác Sau số hướng tiếp cận phổ biến: Phân lớp dự đoán (classification and prediction): phương pháp xếp đối tượng vào lớp biết trước Hướng tiếp cận thường sử dụng số kỹ thuật học máy như: định – decision, mạng nơ-ron – neural network, Phân lớp gọi học có giám sát – supervised learning Phân cụm (clustering/segmentation): Xếp đối tượng theo cụm, số lượng tên cụm chưa biết trước Phân cụm cịn gọi học khơng giám sát – unsupervised learning (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 11 Khai phá luật kết hợp (association rules): cách biểu diễn tri thức dạng luật đơn giản mang nhiều ý nghĩa Thông tin luật đem lại đáng kể hỗ trợ không nhỏ trình định Tìm kiếm luật thực “mạnh” chứa đựng nhiều thông tin từ CSDL tác nghiệp hướng tiếp cận lĩnh vực KPDL, động lực không nhỏ thúc đẩy việc tập trung nghiên cứu nhiều nhà khoa học Khai phá chuỗi theo thời gian (sequential/temporal patterns): giống khai phá luật kết hợp, có thêm tính thứ tự tính thời gian Hướng tiếp cận ứng dụng nhiều lĩnh vực tài thị trường chứng khốn có tính dự báo cao Mô tả khái niệm (concept description & summarization): thiên mơ tả, tổng hợp tóm tắt khái niệm Ví dụ như: tóm tắt văn bản, 1.1.4 Một số ứng dụng khai phá liệu Khai phá liệu lĩnh vực thu hút nhiều quan tâm nhà nghiên cứu nhờ vào tính ứng dụng thực tiễn Một số ứng dụng điển hình kể đến bao gồm: Phân tích liệu hỗ trợ định (data analysis and dicision support): oPhân tích quản lý thị trường: Tiếp thị định hướng, quản lý quan hệ khách hàng, phân tích thói quen mua sắm, tiếp thị chéo, phân đoạn thị trường oPhân tích quản lý rủi ro: dự báo, trì khách hàng, cải thiện bảo lãnh, kiểm sốt chất lượng, phân tích cạnh tranh oPhát gian lận, phát mẫu bất thường (ngoại lai) Ứng dụng khác: oKhai phá văn (text mining), khai phá web (web mining) oKhai phá liệu dòng oTin sinh (bio-informatics): tìm kiếm, đối sánh hệ gen thông tin di truyền, mối liên hệ số hệ gen bệnh di truyền, phân tích AND liệu sinh học (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 75 (5)Unique: Số ( phần trăm %) khoảng liệu có giá trị thuộc tính mà khơng có trường hợp khác Phía thống kê danh sách thông tin bổ sung giá trị chứa thuộc tính Nếu thuộc tính nominal danh sách bao gồm giá trị thuộc tính với số trường hợp có giá trị Nếu thuộc tính numeric, danh sách đưa bốn số liệu thống kê mô tả phân bố giá trị liệu giá trị tối thiểu, tối đa, trung bình độ lệch chuẩn ( standart deviation) Dưới thống kê biểu đồ màu, màu sắc mã hóa theo thuộc tính chọn Cuối cùng, sau ấn nút Visualize All, biểu đồ tất thuộc tính liệu hiển thị cửa sổ riêng Quay trở lại danh sách thuộc tính, bắt đầu với tất tả hộp textbox chưa tích Chúng bật tắt cách click chuột Bốn nút sử dụng để thay đổi lựa chọn: (1)All: Tất hộp tích (2)None: Bỏ dấu tích tất hộp (3)Invert: Chuyển đổi trạng thai hộp tích thành chưa tích ngược lại (4)Pattern: Cho phép người dùng lựa chọn thuộc tính dựa cơng thức chung Perl Ví dụ: *_id để lựa chọn tất thuộc tính có tên kết thúc với _id Một thuộc tính cần thiết lựa chọn, chúng gỡ bỏ cách nhấn vào nút Remove bên danh sách thuộc tính Lưu ý hành động khôi phục lại cách ấn nút Undo bên cạnh nút Edit (Hình 3.6) 3.2.2.4.Làm việc với chức lọc – Filter Click chuột vào nút Choosen để kích hoạt chức lọc Các tiến trình cho phép lọc xác định việc chuyển đổi liệu theo nhiều cách khác Hộp Filter sử dụng để thiết lập lọc yêu cầu Click chuột vào nút Choose để chọn lọc thích hợp Weka Khi lọc chọn, tên tính hiển thị ô texbox bên cạnh nút Choose (Hình 3.7) Click trái chuột vào hộp làm xuất hộp thoại GenericObjectEditor Click chuột phải ấn tổ hợp phím Alt+Shift+trái chuột làm xuất menu, nơi bạn lựa chọn, (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 76 để hiển thị thuộc tính hộp thoại GenericObjectEditor, chép chuỗi thiết lập lại vào clipboard (Hình 3.8) Hình 3.6 Ý nghĩa nút mục Attributes Hình 3.7 Chọn tính lọc (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 77 a)Hộp thoại GenericObjectEditor: Hình 3.8 Mở hộp thoại GenericObjectEditor Hộp thoại GenericObjectEditor cho phép bạn cấu hình cho lọc Các trường cửa sổ phản ánh tùy chọn có sẵn Click phải chuột ( ấn Alt+Shift+Ấn trái chuột) trường làm xuất mọt popup menu, bao gồm danh sách tùy chọn sau: (1)Show properties có hiệu ứng cách click trái chuột vào trường (2)Copy configuration to clipboard: Sao chép chuỗi cấu hình tới clipboard hệ thống sử dụng đâu Weka bảng điều khiển Điều thuận tiện bạn phải cài đặt phức tạp, lồng (3)Enter cofiguration cấu hình mà clipboard nhận cuối chép vào texbox Trong hộp thoại này, bạn nhập classname với chức Cái cho phép bạn chuyển việc thiết lập lọc từ panel Preprocess tới FilteredClassifier sử dụng panel Classify Nhấp trái chuột vào phần có khả thay đổi việc thiết lập lọc Ví dụ: (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 78 Việc thiết lập tạo chuỗi text, trường hợp bạn đánh chuỗi vào trường text cung cấp Hoặc cho danh sách hộp drop-down để lựa chọn trạng thái Học thực việc khác, tùy thuộc vào thông tin yêu cầu Thông tin tùy chọn cung cấp tool tip bạn cho chuột di chuyển vào trường tương ứng Để biết thêm thông tin lọc tùy chọn click vào nút More panel About phía cửa sổ GenericObjectEditor Hình 3.9 Các chức cửa sổ GenericObjectEditor Khi chọn nút More, số đối tượng hiển thị mô tả ngắn gọn mà chúng làm Khi hiển thị cửa sổ mô tả tùy chọn khác Thêm vào đó, cửa sổ có nút Capabilities, hiển thị danh sách kiểu thuộc tính lớp đối tượng xử lý Ở phía hộp thoại GenericObjectEditor có bốn nút Hai nút Open Save cho phép cấu hình đối tượng để lưu trữ sử dụng tương lai Nút Cancel dùng để hủy hành động thực Một bạn hai lòng với đối tượng thiết lập bạn chọn Ấn OK để quay trở lại cửa sổ Explorer (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 79 a)Áp dụng lọc: Một bạn lựa chọn cấu hình cho lọc, bạn áp dụng chúng vào liệu cách ấn nút Apply Panel Preprocess sau hiển thị liệu xử lý Sự thay đổi thực lại cách ấn nút Undo Bạn sử dụng nút Edit để sửa đổi liệu bạn cách thủ công (bằng tay) cửa sổ soạn thảo Cuối cùng, nút Save để lưu phiên thực thi quan hệ định dạng tệp mơ tả mối quan hệ, cho phép lưu giữ cho lần sử dụng sau Lưu ý: Một số lọc xử lý khác tùy thuộc vào lớp thuộc tính thiết lập hoạc khơng ( cách sử dụng biểu đồ hôp, làm xuất danh sách dropdown khả lựa chọn cách nhấp chuột) Đặc biệt, “Bộ lọc có giám sát” bỏ qua thuộc tính lớp thiết lập Lưu ý khơng thể thiết lập lớp – Class None trường hợp khơng có lớp thiết lập 3.2.3.Luật kết hợp Hình 3.10 Sinh luật kết hợp (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 80 a)Thiết lập: Panel bao gồm mơ hình học luật kết hợp, người học phép lựa chọn cấu hình giống phân cụm – clusters, lọc – filters, phân lớp – classifiers panel khác b)Học luật kết hợp: Một tham số thích hợp luật kết hợp mà người dùng thiết lập, click chuột vào nút Start Khi hoàn tất, click phải chuột vào mục danh sác kết cho phép kết xem lưu lại 3.2.4.Một số định dạng tập tin Weka a)Định dạng file dạng *.Arff (Attribute-Relation File Format ) Là tập tin văn bản, gồm phần: Ví dụ: Phần khai báo (Header) Phần liệu (Data) Phần khai báo: @ relation @ attribute @ attribute (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 81 @ attribute Các kiểu liệu: Numeric Dữ liệu dạng số Ví dụ: @ATTRIBUTE name numeric Nominal Dữ liệu rời rạc Ví dụ: @ATTRIBUTE class{ setosa, versicolor} String Dữ liệu chuỗi Ví dụ: @ATTRIBUTE name string Date Dữ liệu kiểu ngày Ví dụ: @ATTRIBUTE discovered date Dữ liệu thiếu ký hiệu dấu chấm hỏi “?” Phần liệu: Mỗi mẫu liệu đặt dòng, giá trị thuộc tính liệt kê theo thứ tự từ trái sang phải ngăn cách dấu phẩy “,” b)Định dạng file dạng *.csv ( Comma Separated Values) -Là tập tin văn -Cấu trúc tương tự phần liệu tập tin *.arff: Các mẫu lưu dịng, thuộc tính ngăn cách dấu phẩy -Dòng chứa tên thuộc tính Ví dụ: Một tập tin csv có nội dung sau: Có nghĩa liệu gồm có 14 mẫu thuộc tính (outlook, temperature, humidity, windy, play) Hiển thi tập tin arffViewer: (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 82 3.3.Sử dụng công cụ Weka mô thuật toán sinh luật kết hợp Trong lĩnh vực khai phá liệu, mục đích khai phá luật kết hợp tìm mối liên kết hay tương quan (correlation) đối tượng khối lượng lớn liệu Trong phần này, luận văn minh hoa việc sử dụng thuật toán Apriori để phát luật kết hợp dựa công cụ Weka Sử dụng file liệu Bank.arff tiền xử lý mô tả khách hàng ngân hàng, bao gồm 11 thuộc tính 600 khách hàng Cấu trúc file Bank.arff sau: Stt Thuộc tính Kiểu Ví dụ Giải thích liệu Age Nominal 0_34; 35_51; 52_max Tuổi khách hàng Sex Nominal FEMALE, MALE Giới tính Region Nominal INNER_CITY, TOWN, Khu vự cư trú RURAL, SUBURBAN Income Nominal 0_24386, 24387_43758, Thu nhập 43759_max Married Nominal No, Yes Tình trạng nhân Children Nominal 0,1,2,3 Số Car Nominal No, Yes Có xe hơi? (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 83 Save_act Nominal No, Yes Khách có tài khoản tiết kiệm khơng? ( Saving account) Current_act Nominal No, Yes Hiện có tài khoản khơng? 10 Mortgage Nominal No, Yes Có vay chấp khơng? 11 Pep Nominal No, Yes Khách hàng có kế hoạch trả nợ không? (Personal Equity Plan) Bảng 3.1 Cấu trúc file liệu Bank.arff Dữ liệu số khách hàng Bank.arff sau: Hình 3.11 Thơng tin khách hàng (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 84 Nạp file liệu Bank.arff vào Weka: Hình 3.12 Giao diện nạp liệu vào WEKA Chọn tab Association chọn thuật toán Apriori (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 85 Hình 3.13 Giao diện lựa chọn thuật toán khai phá luật kết hợp Thiết lập tham số cho thuật toán Apriori: Hình 3.14 Thiết lập tham số cho thuật tốn Giải thích số tham số thuật tốn Apriori sinh luật kết hợp: LowerBoundMinSupport: Cận minimum support MetricType: Có loại thước đo Confidence, Lift, Leverage Conviction MinimumMetricScore: Chỉ quan tâm đến luật có metric core cao giá trị NumRules: Số luật muốn tìm ( luật xếp theo thứ tự giảm dần metric score SignficancelLevel: Mức ý nghĩa ( dùng MetricType confidence) (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 86 UpperBoundMinSupport: Cận MinimumSupport ( bắt đầu lặp lại việc giảm giá trị minimum support từ UpperBoundMinSupport đến LowerMinSupport) Các luật thu được: Hình 3.15 Giao diện sinh luật kết hợp WEKA Mười luật tốt sinh thuật toán Apriori theo thứ tự giảm dần độ tin cậy: income=43759_max 80 ==> save_act=YES 80 age=52_max income=43759_max 76 ==> save_act=YES 76 income=43759_max current_act=YES 63 ==> save_act=YES 63 age=52_max income=43759_max current_act=YES 61 ==> save_act=YES 61 children=0 save_act=YES mortgage=NO pep=NO 74 ==> married=YES 73 sex=FEMALE children=0 mortgage=NO pep=NO 64 ==> married=YES 63 children=0 current_act=YES mortgage=NO pep=NO 82 ==> married=YES 80 children=0 mortgage=NO pep=NO 107 ==> married=YES 104 income=43759_max current_act=YES 63 ==> age=52_max 61 (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 87 10 income=43759_max save_act=YES current_act=YES 63 ==> age=52_max 61 Giải thích: Trong luật kết hợp 1, khách hàng có thu nhập (income) lớn 43759 có tài khoản tiết kiệm (save account), với độ tin cậy 100% KẾT LUẬN Khai phá mẫu phổ biến, luật kết hợp đánh giá mối tương quan lượng liệu lớn đồ sộ công việc hữu ích việc lựa chọn chiến lược tiếp thị, phân tích thị trường bán lẻ đưa định kinh doanh đắn Một ứng dụng phổ biến lĩnh vực phân tích giỏ hàng thương mại, với việc nghiên cứu thói quen mua sắm khách hàng thơng qua việc tìm kiếm tập mục thường mua với lần đến siêu thị Khai phá luật kết hợp q trình sinh luật mạnh có dạng AB, đó, A B tập mục phổ biến thỏa mãn ngưỡng hỗ trợ tối thiểu – min_sup Bên cạnh đó, luật phải thỏa mãn ngưỡng tin cậy tối thiểu – min_conf Min_sup min_conf thiết lập người dùng hệ chuyên gia Mối quan hệ tập mục phân tích sâu cách khám phá luật tương quan – correlation rules, thơng qua việc tích hợp thêm thước đo tương quan – correlation bên cạnh hai thước đo độ hỗ trợ - support độ tin cậy – confidence biết Trên sở luận văn trình bầy đƣợc số vấn đề mấu chốt sau: -Các khái niệm khai phá liệu, tập mục phổ biến, luật kết hợp, từ giúp người đọc có nhìn tổng quan vị trí khai phá liệu – data mining tiến trình khai phá tri thức Đồng thời cho thấy, khai phá luật kết hợp hướng nghiên cứu trình khai phá liệu -Tìm hiểu phương pháp khai phá luật kết hợp nhị phân sử dụng kỹ thuật sinh ứng viên (thuật tốn Apriori) Trên sở phân tích ưu nhược điểm phương pháp này, luận văn trình bầy kỹ thuật khai phá luật kết hợp nhị phân cải tiến khơng cần sinh ứng viên (thuật tốn FP-growth) -Phương pháp khai phá luật kết hợp nhị phân mở hướng khai phá liệu, nhiên phương pháp tồn số bất cập việc không mô tả hết trường hợp thực tế liệu, đơn (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan 88 quan tâm đến tồn hay không tồn mục CSDL Từ vấn đề này, luận văn trình bầy hướng khai phá khắc yếu điểm này, khai phá luật kết hợp định lượng – Quantitative rule mining -Cuối cùng, luận văn đề cập đến khám phá luật tương quan – correlation rules, với việc thống kê mối tương quan tập mục đưa thước đo để đánh giá mối tương quan -Trên sở lý thuyết đạt được, luận văn tìm hiểu cơng cụ khai phá liệu Weka viết dạng mã nguồn mở, ngôn ngữ Java Mô CSDL thực rút số luật đáng quan tâm Tuy nhiên, luận văn tồn số hạn chế : -Luận văn cịn mang tính chất tìm hiểu mà chưa có đóng góp mặt lý thuyết -Cần nghiên cứu kỹ Tiền xử lý liệu để phần mềm chạy thông suốt cho nhiều loại liệu Hƣớng nghiên cứu tiếp theo: -Các phương pháp tiền xử lý liệu thông minh -Xây dựng chương trình khai phá luật kết hợp ứng dụng thuật toán khai phá biết -Nguyên cứu thêm hướng khai phá khác từ có phân tích so sánh ưu nhược điểm phương pháp (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan TIEU LUAN MOI download : skknchat@gmail.com (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan (LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan(LUAN.VAN.THAC.SI).Khai.pha.mau.pho.bien luat.ket.hop.va.thuoc.do.tuong.quan