Khai phá các luật kết hợp

Bộ giáo dục đào tạo Trường Đại học Bách Khoa Hà Nội - LUẬN VĂN THẠC SỸ KHOA HỌC KHAI PHÁ CÁC LUẬT KẾT HỢP NGUYN TH M èNH Luận Văn Thạc Sĩ Khoa Học CHUN NGÀNH: CƠNG NGHỆ THƠNG TIN Hµ Néi - 2005 Bộ giáo dục đào tạo Trường Đại học Bách Khoa Hµ Néi - LUẬN VĂN THẠC SỸ KHOA HỌC KHAI PHÁ CÁC LUẬT KẾT HỢP NGUYỄN TH M èNH Luận Văn Thạc Sĩ Khoa Học CHUYấN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN PGS – TS NGUYỄN NGỌC BÌNH Hµ Néi - 2005 LỜI CẢM ƠN Em xin chân thành gửi lời cảm ơn sâu sắc tới Thầy giáo hướng dẫn, PGS.TS Nguyễn Ngọc Bình, người có hướng dẫn tận tình, q báu giúp em hoàn thành luận văn Em xin cảm ơn Thầy Cô thuộc trường Đại học Bách Khoa Hà Nội truyền đạt kiến thức quý báu khoá học Cuối xin cảm ơn gia đình quan nơi cơng tác tạo điều kiện thuận lợi để thân hồn thành khố học Hà nội, tháng 11 năm 2005 Nguyễn Thị Mỹ Bình MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC THUẬT NGỮ DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU CHƯƠNG TỔNG QUAN VỀ KHAI PHÁ LUẬT KẾT HỢP 1.1 Các khái niệm sở Độ hỗ trợ độ tin cậy Tập mục Luật kết hợp 10 1.2 Mô tả liệu 14 1.3 Mô hình tốn khai phá luật kết hợp 16 1.4 Độ phức tạp thuật toán khai phá luật kết hợp 19 1.5 Duyệt theo khơng gian tìm kiếm 22 CHƯƠNG CÁC THUẬT TOÁN KHAI PHÁ LUẬT KẾT HỢP 26 2.1 Các thuật toán khai phá tập mục thường xuyên 26 2.1.1 Thuật toán AIS 26 2.1.2 Thuật toán Apriori thuật toán thuộc họ Apriori 27 2.1.3 Thuật toán ExAMinerLAM 36 2.1.4 Thuật toán Apriori ngược để tìm kiếm luật rời rạc 41 2.1.4.1 Các kiểu luật rời rạc 42 2.1.4.2 Thuật toán Apriori ngược 43 2.1.5 Các thuật toán dùng kỹ thuật tìm kiếm theo chiều sâu 48 2.1.5.1 Thuật toán FP_growth 48 2.1.5.2.Thuật toán Eclat 57 2.2 Thuật toán sinh luật kết hợp 58 2.2.1 Thuật toán sinh luật đơn giản 58 2.2.2 Thuật toán sinh luật nhanh 59 2.3 Kỹ thuật nén hiệu để sinh tập mục thường xuyên khai phá luật kết hợp 60 2.3.1 Giới thiệu 60 2.3.2 Cơ sở nghiên cứu phân tích vấn đề tồn 61 2.3.3 Kỹ thuật đưa 63 2.3.3.1 Kỹ thuật giám sát 65 2.3.3.2 Thuật toán 66 2.4 Khai phá mẫu thường xuyên thứ tự 71 2.4.1 Các định nghĩa 71 2.4.2 Phát mẫu thường xuyên thứ tự 73 2.4.2.1 Một số tính chất 73 2.4.2.2 Thuật toán ABMFOP 73 2.5 Tổng hợp số thuật toán 75 CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM 82 3.1 Cấu trúc tệp liệu 82 3.2 Xây dựng chương trình 83 3.2.1 Chọn ngôn ngữ lập trình 83 3.2.2 Các nhiệm vụ giao diện chương trình 84 3.2.3 Một số lớp chương trình 84 KẾT LUẬN 87 TÀI LIỆU THAM KHẢO 88 DANH MỤC CÁC THUẬT NGỮ Thuật ngữ tiếng anh Association Classification Closed Itemset Closed frequent Itemsets Confidence Data mining Frequent Frequent pattern tree Itemset Rule Support Transaction Thuật ngữ tiếng việt Kết hợp Phân lớp Tập mục đóng Tập mục thường xuyên đóng Độ tin cậy Khai phá liệu Thường xuyên Cây mẫu thường xuyên Tập mục Luật Độ hỗ trợ Giao tác DANH MỤC CÁC BẢNG Bảng 1.1 Minh hoạ sở liệu giao dịch 18 Bảng 1.2 Support Itemsets Large Itemsets với minsup 40% 18 Bảng 1.3 Confidence vài luật với minconf =60% 19 Bảng 2.1 Các kỹ thuật giảm bớt liệu dựa ràng buộc không đơn điệu Cfreq 39 Bảng 2.2 Các giao tác sở liệu 50 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Minh hoạ luật kết hợp khơng có tính tách 12 Hình 1.2 Một sở liệu mẫu đơn giản 14 Hình 1.3 Các dạng biểu diễn khác sở liệu 15 Hình 1.4a sở liệu sách b Các tập mục thường xuyên luật kết hợp 20 Hình 1.5 Clique lưỡng phân cực đại 21 Hình 1.6: Dàn cho tập I={1,2,3,4} 23 Hình 1.7 Cây cho tập I={1,2,3,4} 24 Hình 1.8 Hệ thống hoá thuật toán 25 Hình 2.1 Minh hoạ cho 1-extension 2-extension AIS 27 Hình 2.2 Cơ sở liệu D giá trị Ck, C k , Lk ứng với k=1,2,3 32 Hình 2.3 Một mẫu thường xuyên 50 Hình 2.4 Quá trình xây dựng FP_Tree 52 Hình 2.5 Cây FP_Tree sở liệu bảng 2.2 53 Hình 2.6 Các FP_Tree phụ thuộc 55 Hình 2.7(a) data set; (b)Difference between two TIDs (c) Corresponding Bit Vector 68 MỞ ĐẦU Bài toán khai phá luật kết hợp nhận nhiều quan tâm nhà khoa học Ngày nay, khai phá luật kết hợp phương pháp phổ biến việc khám phá tri thức khai phá liệu Mục đích khai phá luật kết hợp xuất phát từ yêu cầu thực tiễn, để phân tích liệu giao dịch thị trường, chẳng hạn phân tích đặc trưng khách hàng mặt hàng có xu hướng mua đồng thời Tri thức khai phá có dạng luật A1 ∧ A2 ∧…∧Am ⇒ B1 ∧ B2 ∧…∧Bn, Ai, Bj tập thuộc tính-giá trị từ sở liệu Ai ≠ Bj với i, j Mục đích nghiên cứu khai phá luật kết hợp hình thành từ việc quan sát, thống kê mức độ thường xuyên xảy đồng thời tập thuộc tính sở liệu Ý tưởng việc khai phá luật kết hợp có nguồn gốc từ việc phân tích liệu mua hàng khách nhận “Một khách hàng mua mặt hàng x mua mặt hàng y với xác suất c%” Ứng dụng trực tiếp luật tốn kinh doanh với tính dễ hiểu vốn có chúng, người chuyên gia khai thác liệu, làm cho luật kết hợp trở thành phương pháp khai thác phổ biến nhiều lĩnh vực khác đời sống xã hội, chẳng hạn hỗ trợ việc hoạch định chiến lược kinh doanh Khi khai phá luật kết hợp, có hai vấn đề cần quan tâm Trước tiên, thuật tốn tìm tập mục thường xuyên (tập mục thường xuyên) Số lượng tập tăng theo cấp độ luỹ thừa với số lượng item Nhưng giải thuật ngày giảm bớt khơng gian tìm kiếm dựa ngưỡng tối thiểu để đánh giá độ hiệu luật Thứ hai, luật tốt phải lấy từ tập hợp luật tìm Điều khó tập hợp luật tìm lớn, thường 100000 luật, số lượng luật dùng lại chiếm tỷ lệ nhỏ Các nghiên cứu liên quan đến vấn đề thứ hai hầu hết trọng vào việc giúp người dùng duyệt tập luật 75 Ak = ; If Ak ≠ OLi-1 then return TRUE; Return FALSE; procedure Is_SubSet (Y, X) Let Y= and X=; if n < m then return FALSE; A =X; for(k=1; k≤ m; k++) if yk ∉ A then return FALSE; Else // phai ton tai xj cho xj = yk; Let xj be the item in A that is equal to yk; if (j> (n-m+k)) then return FALSE; else A =; return TRUE; 2.5 Tổng hợp số thuật toán Nghiên cứu lụât kết hợp phần lớn nghiên cứu thuật toán phát luật kết hợp Mỗi thuật tốn có đặc trưng khác nhau, sử dụng kỹ thuật khác Bảng sau đưa so sánh số thuật toán Bảng so sánh thuật toán (m=|I| số mục sở liệu) 76 Thuật toán Kỹ thuật Apriori Ý tưởng Số lần duyệt CSDL Cấu trúc liệu m+1 Dùng Thuật toán phát luật Ưu điểm Nhược điểm Dùng kỹ Sinh ứng cử viên k_mục thuật tỉa cách kết nối tập mục bảng kết hợp nhanh, tảng cho hầu hợp số mẫu Bất kỳ k-1_mục lại với băm hết thuật tốn tìm luật kết hợp dài, độ hỗ trợ tập Tỉa tập mục có sau cực tiểu thấp tập mục thường xuyên tập mục không thường Trong trường gặp phải xun tri phí lớn: Tính độ hỗ trợ tập mục + Sinh cách duyệt qua sở liệu số lượng lớn tập ứng cử viên + Đòi hỏi nhiều lần duyệt sở liệu 77 AprioriTid Những Mở rộng từ thuật toán Apriori tập mục ứng cử Thời gian thực Sinh ứng cử viên k_mục bảng tập k_mục bước trước chậm kết nối k-1_mục lại với băm lần duyệt sau kích thước C k lớn có Tỉa tập mục ứng cử viên tập mà có tập mục sở không thường xuyên tìm tập mục thường xuyên Điểm không dùng sở nhanh không thường xuyên Partition Dùng Sử dụng tập C k để lưu trữ m+1 liệu giảm dần thời gian để liệu cho việc tính độ hỗ trợ cho tập mục sau lần duyệt Bẳng Số lần duyệt sở liệu giảm Phân Đầu tiên chia sở liệu n hoạch phần cho phù hợp với nhớ khơng Tìm tập mục thường xun gian tìm phần phần nhỏ Hợp tập mục thường xuyên Thích hợp với sở liệu lớn kiếm n phần phần để tìm tập mục thường xuyên toàn cục băm thu hẹp khơng gian tìm kiếm nhờ phân hoạch thành 78 Sampling Lấy mẫu Ý tưởng lấy mẫu ngẫu ngẫu nhiên mẫu S Dvà nhiên tìm tập mục thường xuyên trong S thay Dùng kỹ thuật sinh sở ứng cử viên thuật toán Apriori liệu để tìm tập mục thường xuyên DHP Dùng tập Thuật toán sinh ứng cử viên i- (Direct ứng cử Hashing Có thể sử dụng cho sở liệu lớn với độ hỗ trợ thấp Sử Thuật toán duyệt toàn sở mục dựa vào kết nối tập mục dụng liệu lần đầu, lần sau viên để thường xuyên Li-1 Thuật tốn bảng kích thước and tìm tập dùng bảng băm để giảm số tập băm sở liệu giảm dần Pruning) mục mục ứng cử viên Giảm số lượng ứng cử viên thường Dựa vào bảng băm để tỉa kích nhờ vào bảng băm xuyên thước giao tác sở liệu để giảm kích thước sở liệu lần lặp sau 79 Close Dùng tập Thuật toán dựa vào tính chất kết nối Số lần duyệt sở liệu so Chỉ thực mục Galois để xác định tập mục với thuật toán Apriori tốt giá đóng để đóng, từ tập mục đóng xác định trị độ hỗ trợ xác định tập mục đóng thường xun, từ Tìm tập mục thường xuyên nhanh tậpmục tập mục thường xuyên xác định thường tập mục thường xuyên xuyên Ý tưởng chính: duyệt từ lên để xác định phần tử sinh, tập mục thường xuyên nhỏ định tập đóng qua tốn tử bao đóng Tính tốn bao đóng tất phần tử sinh vừa tìm thấy bước Thực tính tốn bao đóng tập mục cách giao tất giao tác mà tập xuất tập Từ tập mục đóng xác định tập mục thường xuyen Do tỉ lệ tập mục đóng tập mục thường xun thấp, cịn độ hỗ trợ cao ngược lại 80 ABMFOP Dùng kỹ Ý tưởng thuật tốn (Apriori- thuật tìm ABMFOP hầu hết giống thuật mẫu thường xuyên thứ tự Based kiếm toán Apriori dùng để khai phá mẫu theo level-wise Mining of Level- thường xuyên Nhưng có khác Frequent wise ABMFOP Apriori Khai phá mẫu thường xuyên từ tập Ordered ABMFOP thứ tự Patterns) item quan tâm đến Đầu tiên 1-pattern thường xuyên thứ tự tìm sở liệu Tập gọi OL1 dùng để tìm tập 2-pattern thường xuyên thứ tự gọi OL2, sau tập OL2 dùng để tìm tập 3-patterm, tiếp tục tập i-pattern thường xuyên thứ tự tìm thấy m Để cải tiến hiệu việc sinh sở liệu lớn 81 Kết luận chương Trong chương trình bày khái niệm khai phá luật kết hợp, tập mục thường xun, tập đóng, mơ tả tốn, mơ tả liệu Một số thuật tốn tiêu biểu khai phá luật kết hợp: Thuật tốn Apriori tìm tập mục thường xuyên cách sinh ứng cử, thuật toán FP_Growth khai phá tập mục thường xuyên không sinh ứng cử mà khai phá đoạn mẫu FP_Tree Đánh giá độ phức tập thuật tốn đưa tốn tìm clique lưỡng phân Độ phức tạp toán Clique lưỡng phân thuộc lớp toán NP_đầy đủ Như độ phức tạp thuật tốn tìm tập mục thường xun NP_đầy đủ, song thực tế thời gian tìm tập mục thường xun tuyến tính với kích thước sở liệu sở liệu thưa kích thước tập mục ngắn Trong chương so sánh số thuật toán khai phá luật kết hợp phát triển thời gian gần 82 CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM Chương trình bày kết xây dựng chương trình thử nghiệm khai phá luật kết hợp dựa số thuật tốn trình bày chương như: Apriori , FP_growth, Chương trình thử nghiệm tệp sở liệu lấy từ địa “www.cơ sở liệu.umb.edu/~laur/ARtool” 3.1 Cấu trúc tệp liệu Các tệp liệu dạng nhị phân có nội dung mơ tả liệu sau: Dịng thông tin mô tả phiên liệu, tiếp đến thông tin giới thiệu tệp liệu, tiếp đến số cột mô tả mục liệu, dòng thể giao tác sở liệu, giao tác có số thứ tự tương ứng với mục có giao tác Ví dụ: Tệp liệu CSC.db liệu mô tả lựa chọn môn học sinh viên học khoa Khoa học máy tính trường Đại học Uregine Canada Tệp liệu gồm: + 88 cột mô tả 88 môn học, số cột thể mã mơn học + 298 dịng, dòng (tương ứng với giao tác sở liệu) mô tả tập môn học khoá học mà sinh viên chọn Như dòng, cột nhận hai giá trị tương ứng với mục có giao tác, nghĩa mục khơng có giao tác Khai phá tệp liệu nhằm tìm mơn học mà sinh viên hay chọn môn học hay học viên chọn với mơn học để bố trí kế hoạch, chiến lược bố trí giảng viên, tổ chức lớp học, giới thiệu chương trình, định hướng đào tạo, cho phù hợp 83 Để thực khai phá phải có giai đoạn tiền xử lý để đưa tệp liệu dạng Text, mục ánh xạ số tự nhiên số Mỗi giao tác mô tả thành dòng Text sau: liệt kê số thứ tự mục có giao tác đó, mục cách dấu cách Tìm tập mục thường xuyên luật kết hợp dựa vào số thứ tự mục sau ánh xạ ngược trở lại để lấy tên mục Một phần tệp Text tệp liệu CSC.db mô tả sau: phần đầu ánh xạ số tự nhiên vào mục, giao tác nằm hai từ khoá BEGIN_DATA END_DATA CS100F CS101E CS102E 85 CS796 86 CS899 87 CSC 111 88 CSZ 106 BEGIN_DATA 42 46 16 23 27 42 48 51 54 59 20 23 25 48 54 20 52 54 23 42 43 44 51 52 54 57 62 43 44 45 46 END_DATA 3.2 Xây dựng chương trình 3.2.1 Chọn ngơn ngữ lập trình Chương trình xây dựng ngơn ngữ lập trình Java lý sau: - Ngơn ngữ Java độc lập so với ngôn ngữ khác - Các mã lệnh chạy thông qua máy ảo 84 - Sử dụng Java, khơng chạy trình ứng dụng mà chạy applet - Java hỗ trợ phong phú, trình diễn đồ hoạ 3.2.2 Các nhiệm vụ giao diện chương trình Nhiệm vụ 1: Thao tác với sở liệu - Mở file sở liệu Các sở liệu tải từ internet - Kiểm tra liệu loại bỏ trùng lặp Nhiệm vụ 2: Khai phá tập mục thường xuyên - Chọn ngưỡng minsup - Chọn thuật toán 3.2.3 Một số lớp chương trình Lớp DBReader.java thực đọc liệu từ tệp db để thực khai phá luật kết hợp Lớp DBWriter.java thực ghi vào tệp liệu db Lớp DbCacheReader.java thực đọc tệp cache để lấy tập mục thường xuyên cho việc tìm luật kết hợp Lớp DBCacheWriter.java thực ghi vào tệp cache, tệp chứa nội dung tập mục thường xuyên tìm trình khai phá Lớp Itemset.java thực việc cài đặt tập mục dãy số tự nhiên theo thứ tự định danh tập mục, độ hỗ trợ tập mục, độ tin cậy định danh giao tác mà tập mục xuất Lớp Hashtree.java SET.java hai lớp cấu sử dụng cho việc tìm kiếm tập mục thường xuyên luật kết hợp 85 Lớp Apriori.java kế thừa từ lớp trừu tượng FrequentItemsetMiner.java để cài đặt thuật tốn tìm tập mục thường xun Lớp AssociationRule mơ tả luật có dạng: X->Y (X tiền đề, Y kết luận), X,Y tập mục Lớp AprioriRule.java cài đặt thuật toán Apriori sinh luật từ tập mục thường xuyên Lớp Fpgrowth.java cài đặt thuật tốn FP_Growth để tìm tập mục thường xuyên đóng 86 Kết luận chương Khai phá liệu lĩnh vực rộng, gồm nhiều kỹ thuật Chương trình thử nghiệm thuật toán lĩnh vực cụ thể khai phá luật kết hợp đơn chiều sở liệu nhị phân.Chương trình cho kết tập mục thường xuyên luật kết hợp Chương trình cho trích chọn từ tệp liệu tri thức đáng quan tâm 87 KẾT LUẬN Thông qua luận văn này, trình bầy số vấn đề bản, phương pháp, kỹ thuật khai phá liệu, đặc biệt trình bày chi tiết vấn đề khai phá luật kết hợp: khái niệm sở, mơ tả tốn Một số thuật tốn khai phá luật kết hợp điển hình như: Apriori, FP_Growth số kỹ thuật tăng hiệu khai phá luật kết hợp Đánh giá độ phức tạp thuật toán khai phá luật kết hợp việc khó Tuy nhiên, hồn tồn quy đánh giá độ phức tạp thuật toán Clique lưỡng phân thuộc lớp toán NP_đầy đủ Song thực tế sở liệu thưa kích thước tập mục thường xuyên ngắn, có độ phức tạp tuyến tính với kích thước liệu Kết xây dựng chương trình dựa thuật tốn Apriori FP_growth nội dung cuối luận văn Chương trình thử nghiệm số sở liệu nhỏ thấy ý nghĩa rõ rệt khai phá luật kết hợp Hướng phát triển: Tiếp tục nghiên cứu số vấn đề sở liệu đa chiều, thuật toán khai phá luật kết hợp song song, cải tiến chương trình để khai phá liệu thực tế Việt Nam sở liệu nhà trường, bệnh viện, 88 TÀI LIỆU THAM KHẢO Tiếng Anh: [1] Agrawal R., Imielinski T., Swami A (1993), Mining association rules bettween sets of items in large databases, SIGMOD, Washington D.C, pp 207-216 [2] Agrawal R., Srikant R.(1995), Fast algorithms for mining Association Rule, IBM Almaden Research Center [3] Agrawal R., Srikant R.(1995), Mining generalized association rule, IBM Almaden Research Center, San Jose [4] C.Hidber, Online association rule mining, In Proc Of ACM SIGMOD Intl Conf On Management od Data, June 1999 [5] H Toivonen, Sampling larger database for association rules, In Proc 22nd VLDB, 1996 [6] Jiawei Han, Jian Pei, and Yiwen Yin, Mining frequent patterns without candidate generation, In Proc Of ACM SIGMOD Intl Conf On Management of Data, May 2000 [7] Jiawei Han and Micheline Kamber, Data mining: Concepts and techniques, Academic Press 2001 [8] J S.Park, M Chen, and P.S Yu, An effective hash-based algorithm for mining association rules, In Proc Of ACM SIGMOD Intl Conf On Management of Data, November 1995 [9] Margaret H Dunham, Le Gruenwald, Zahid Hossain, Survey on frequent pattern mining, 2003 89 [10] Hsiao C.J., Zaki M.J (2002), “An efficient algorithm for closed itemset mining”, Proceeding of the second SIAM International Conference on Data Mining [11] Mueller A (1995), Fast sequentil and parallel algorithms for association rule mining, University of Maryland-College Park ... tập luật 8 CHƯƠNG TỔNG QUAN VỀ KHAI PHÁ LUẬT KẾT HỢP Khai phá luật kết hợp tìm mối quan hệ kết hợp từ tập mục liệu, thông thường từ sở liệu lớn, giới thiệu năm 1993 Từ đến nay, khai phá luật kết. .. nhiều quan tâm nhà khoa học Ngày nay, khai phá luật kết hợp phương pháp phổ biến việc khám phá tri thức khai phá liệu Mục đích khai phá luật kết hợp xuất phát từ yêu cầu thực tiễn, để phân tích... tất luật kết hợp X →Y D thoả mãn: Support (X→Y) ≥ minsup confidence (X→ Y) ≥ minconf Phương pháp: Hai giai đoạn thuật toán khai phá luật kết hợp Mặc dù có nhiều thuật tốn khai phá luật kết hợp,