TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC oOo TIỂU LUẬN CUỐI KÌ MÔN KHAI PHÁ DỮ LIỆU KHAI THÁC TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP Giảng viên hướng dẫn TS Lê Chí Ngọc MỤC LỤC LỜI MỞ ĐẦU 3[.]
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC - oOo - TIỂU LUẬN CUỐI KÌ MƠN KHAI PHÁ DỮ LIỆU KHAI THÁC TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP Giảng viên hướng dẫn: TS Lê Chí Ngọc MỤC LỤC LỜI MỞ ĐẦU CÁC KHÁI NIỆM CƠ BẢN .5 1.1 Phân tích rổ thị trường: Một ví dụ tạo động lực 1.2 Tập phổ biến, tập đóng luật kết hợp PHƯƠNG PHÁP KHAI PHÁ TẬP PHỔ BIẾN 13 2.1 Thuật tốn Apriori: Tìm kiếm tập phổ biến theo hệ ứng viên có giới hạn 13 2.2 Tìm luật kết hợp từ tập phổ biến 22 2.3 Cải thiện hiệu thuật toán Apriori 24 2.4 Cách tiếp cận tăng trưởng theo mơ hình để khai thác tập phổ biến 27 2.5 Khai thác tập phổ biến sử dụng định dạng liệu dọc 32 2.6 Khai thác tập phổ biến đóng tập phổ biến tối đa 37 PHƯƠNG PHÁP ĐÁNH GIÁ TẬP PHỔ BIẾN 41 3.1 Các luật mạnh mẽ không thiết phải thú vị 41 3.2 Từ phân tích kết hợp đến phân tích tương quan 43 3.3 So sánh biện pháp đánh giá mẫu 46 TỔNG KẾT .53 TÀI LIỆU THAM KHẢO 56 LỜI MỞ ĐẦU Hãy thử tưởng tượng bạn nhân viên bán hàng cửa hàng AllElectronics, bạn nói chuyện với khách hàng vừa mua máy tính cá nhân (PC) máy ảnh kỹ thuật số từ cửa hàng Vậy tiếp theo, bạn nên giới thiệu sản phẩm phù hợp cho khách hàng? Lúc này, danh sách sản phẩm thường khách hàng trước bạn mua với PC máy ảnh kỹ thuật số hữu ích để đưa gợi ý cho khách hàng Các tập phổ biến luật kết hợp thứ bạn kiến thức mà bạn muốn khai thác tình Các tập phổ biến tập (ví dụ tập mặt hàng, chuỗi con, cấu trúc con,…) xuất phổ biến liệu Ví dụ, tập đồ vật bánh mì sữa hay xuất liệu giao dịch tập đồ vật phổ biến Một chuỗi giao dịch mua máy tính cá nhân đầu tiên, mua máy ảnh kỹ thuật số, đến thẻ nhớ ngoài, hay xuất sở liệu mua hàng trước tập phổ biến có thứ tự Một cấu trúc đề cập đến hình thức cấu trúc khác nhau, chẳng hạn biểu đồ con, biểu đồ phân lớp, kết hợp với tập chuỗi Tìm tập phổ biến đóng vai trò thiết yếu việc xếp mối liên hệ, mối tương quan nhiều mối quan hệ thú vị khác liệu Ngồi ra, giúp phân loại liệu, phân cụm tác vụ khai thác liệu khác Do đó, khai thác tập phổ biến trở thành nhiệm vụ khai thác liệu quan trọng nghiên cứu khai thác liệu theo chủ đề tập trung Và chương này, giới thiệu khái niệm tập phổ biến, luật kết hợp tương quan (Phần 1) nghiên cứu cách để khai thác chúng cách hiệu (Phần 2) Chúng ta thảo luận cách đánh giá xem tập tìm thấy có thú vị khơng (Phần 3) Và mở rộng thảo luận sang phương pháp khai thác tập phổ biến nâng cao, khai thác dạng tập phổ biến phức tạp xem xét tùy chọn mặc định tùy chọn người dùng để tăng tốc trình khai thác CÁC KHÁI NIỆM CƠ BẢN Khai thác tập phổ biến tìm kiếm mối quan hệ lặp lại có liệu cho trước Phần giới thiệu khái niệm khai thác tập phổ biến để khám phá mối liên hệ mối tương quan thú vị tập sở liệu giao dịch Chúng ta bắt đầu Phần 1.1 ví dụ phân tích thị trường, hình thức khai thác tập phổ biến xuất sớm cho luật kết hợp Các khái niệm việc xếp tập liên kết phổ biến đề cập Phần 1.2 1.1 Phân tích rổ thị trường: Một ví dụ tạo động lực Khai thác tập phổ biến giúp phát mối liên hệ mối tương quan tập hợp liệu quan hệ giao dịch lớn Với lượng liệu khổng lồ liên tục thu thập lưu trữ, nhiều ngành công nghiệp dần quan tâm đến việc khai thác tập từ sở liệu họ Việc phát mối quan hệ tương quan thú vị lượng lớn hồ sơ giao dịch kinh doanh giúp ích nhiều q trình định kinh doanh thiết kế danh tập, tiếp thị chéo phân tích hành vi khách hàng Một ví dụ điển hình việc khai thác tập phổ biến phân tích giỏ thị trường Q trình phân tích thói quen mua hàng khách hàng cách tìm kiếm liên kết mặt hàng khác mà khách hàng đặt giỏ mua hàng họ (Hình 1) Việc phát kết hợp giúp nhà bán lẻ phát triển chiến lược tiếp thị cách hiểu rõ mặt hàng thường khách hàng mua Chẳng hạn, khách hàng mua sữa, khả họ mua bánh mì (và loại bánh mì nào) chuyến đến siêu thị? Thơng tin giúp tăng doanh số bán hàng cách giúp nhà bán lẻ tiếp thị hiệu lên kế hoạch cho không gian trưng bày họ Hãy xem xét ví dụ cách phân tích giỏ thị trường hữu ích Ví dụ Phân tích xu hướng thị trường: Giả sử, với tư cách người quản lý chi nhánh AllElectronics bạn muốn tìm hiểu thêm thói quen mua hàng khách hàng Cụ thể, bạn tự hỏi thân rằng: “Trong lần mua đồ, khách hàng thường mua đồ vật nhau?” Để trả lời câu hỏi bạn, phân tích xu hướng mua đồ dựa liệu bán lẻ khách hàng cửa hàng bạn Sau đó, bạn sử dụng kết để lập kế hoạch chiến lược tiếp thị quảng cáo thiết kế danh tập Ví dụ, phân tích giỏ thị trường giúp bạn thiết kế bố cục khác cửa hàng Trong chiến lược, mặt hàng hay mua đặt gần để khuyến khích việc bán kết hợp mặt hàng Nếu khách hàng mua máy tính có xu hướng mua phần mềm chống vi-rút lúc, việc đặt hình phần cứng gần với hình phần mềm giúp tăng doanh số hai mặt hàng Ngoài ra, chiến lược khác đặt phần cứng phần mềm hai đầu đối diện kho lưu trữ Việc lôi kéo khách hàng mua mặt hàng để nhặt mặt hàng khác đường Chẳng hạn, sau định mua máy tính đắt tiền, khách hàng quan sát hệ thống bảo mật để bán hướng tới hình phần mềm để mua phần mềm chống vi-rút định mua hệ thống bảo mật gia đình Phân tích giỏ thị trường giúp nhà bán lẻ lên kế hoạch mặt hàng bán với giá giảm Nếu khách hàng có xu hướng mua máy tính máy in nhau, việc bán máy in khuyến khích bán máy in máy tính Nếu nghĩ tất tập hợp vật phẩm có sẵn cửa hàng, vật phẩm có giá trị nhị phân đại diện cho diện hay vắng mặt vật phẩm Mỗi giỏ sau biểu thị vectơ nhị phân giá trị gán cho biến Các vectơ nhị phân dùng để phân tích, tìm mặt hàng thường mua Những mơ hình thể dạng luật kết hợp Ví dụ: thơng tin khách hàng mua máy tính có xu hướng mua phần mềm chống vi-rút đồng thời trình bày liên kết sau: Máy tính => Phần mềm diệt Virus [Độ hỗ trợ: 2%; Độ tin cậy: 60%] (1) Độ hỗ trợ độ tin cậy hai độ đo thú vị Chúng giúp phản ánh tính hữu dụng chắn luật khám phá Độ hỗ trợ 2% luật có nghĩa giao dịch có phần mềm chống vi-rút máy tính mua chiếm 2% tổng số giao dịch Độ tin cậy 60% có nghĩa 60% khách hàng mua máy tính mua kèm phần mềm Thông thường, luật kết hợp coi hữu ích chúng đáp ứng ngưỡng độ hỗ trợ ngưỡng độ tin cậy Các ngưỡng đặt người dùng chuyên gia ngành Phân tích bổ sung cần thực để khám phá thêm mối tương quan thống kê thú vị tập liên quan 1.2 Tập phổ biến, tập đóng luật kết hợp Đặt I = {I1, I2, , Im} tập Đặt D tập hợp giao dịch sở liệu giao dịch T tập khác rỗng, T ⊆ I Mỗi giao dịch liên kết với định danh, gọi TID Đặt A tập hợp Một giao dịch T cho chứa A A ⊆ T Một luật kết hợp luật có dạng A ⇒ B, A ⊂ I, B ⊂ I, A ≠ ∅, B ≠ ∅, A ∩ B = ∅ Luật A ⇒ B giữ giao dịch D với độ hỗ trợ s, s tỷ lệ phần trăm giao dịch D có chứa A ∪ B (tức là, kết hợp A B hay nói cách khác A B) Điều 10 ... niệm tập phổ biến đóng tập phổ biến tối đa 13 Một tập hợp X đóng tập liệu D khơng tồn siêu tập hợp Y cho Y có số hỗ trợ X thuộc D Một tập hợp X tập hợp tập phổ biến đóng D X đóng phổ biến D Một tập. .. để khai thác tập phổ biến 27 2.5 Khai thác tập phổ biến sử dụng định dạng liệu dọc 32 2.6 Khai thác tập phổ biến đóng tập phổ biến tối đa 37 PHƯƠNG PHÁP ĐÁNH GIÁ TẬP PHỔ... 1.2 Tập phổ biến, tập đóng luật kết hợp PHƯƠNG PHÁP KHAI PHÁ TẬP PHỔ BIẾN 13 2.1 Thuật tốn Apriori: Tìm kiếm tập phổ biến theo hệ ứng viên có giới hạn 13 2.2 Tìm luật kết hợp từ tập phổ biến