Nghiên cứu luật kết hợp hiếm và khuyến nghị áp dụng cho bài toán tiếp thị (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Trần Thu Hà NGHIÊN CỨU LUẬT KẾT HỢP HIẾM VÀ KHUYẾN NGHỊ ÁP DỤNG CHO BÀI TOÁN TIẾP THỊ Chuyên ngành: Hệ thống thơng tin Mã số: 60.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2013 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: Tiến sĩ Hà Hải Nam Phản biện 1: …………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thông Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Phát luật kết hợp phát mối quan hệ phạm vi tập liệu cho Trong lĩnh vực khai phá liệu (data mining), luật kết hợp (association rule) dùng để mối quan hệ "kéo theo" tập liệu (ví xuất mặt hàng "kéo theo" xuất mặt hàng kia) tập bao gồm nhiều đối tượng liệu Phát luật kết hợp ứng dụng thành công số lĩnh vực kinh tế xã hội khác thương mại, , y tế, tài chính,… Một vấn đề mà nhà nghiên cứu quan tâm vấn đề phát luật kết hợp hiếm( gọi tắt luật hiếm) ứng dụng luật vào lĩnh vực sống Yếu tố thành công hoạt động kinh doanh ngày việc biết sử dụng thơng tin cách có hiệu Có nghĩa từ liệu có sẵn phải tìm thơng tin tiềm ẩn mà trước chưa phát hiện, tìm xu hướng yếu tố tác động lên chúng Trong chiến lược kinh doanh Tiếp thị ln xem cốt lõi vấn đề, muốn thành công kinh doanh chương trình tiếp thị, quảng bá đến người tiêu dùng khâu quan trọng Từ yêu cầu thực tế trên, em chọn đề tài “Nghiên cứu luật kết hợp khuyến nghị áp dụng cho toán tiếp thị” Từ mục tiêu yêu cầu đề tài nghiên cứu, đề tài xây dựng gồm phần mở đầu, chương nội dung phần kết luận, cụ thể sau: Chương 1: Tổng quan vấn đề phát luật kết hợp Chương 2: Luật kết hợp Chương 3:Khuyến nghị áp dụng luật kết hợp cho toán tiếp thị Trong trình hình thành luận văn học viên giúp đỡ tận tình thầy hướng dẫn TS Hà Hải Nam, giúp đỡ thầy giáo Học viện Bưu viễn thơng bạn bè đồng nghiệp Học viên xin chân thành cảm ơn mong nhận đóng góp tích cực để thân tự hồn thiện 2 CHƯƠNG I: TỔNG QUAN VỀ VẤN ĐỀ PHÁT HIỆN LUẬT KẾT HỢP Trước tiên, chương giới thiệu tổng quan phương pháp chung phát luật kết hợp Tiếp theo trình bày trình phát luật kết hợp từ CSDL tác vụ vấn đề phát luật kết hợp từ CSDL định lượng 1.1 Luật kết hợp phương pháp chung phát luật kết hợp 1.1.1 Bài toán phát luật kết hợp Ngày việc phát luật kết hợp trở thành khuynh hướng quan trọng khai phá liệu Luật kết hợp luật ngầm định số quan hệ kết hợp tập đối tượng, mà đối tượng độc lập hoàn toàn với Khái niệm luật kết hợp (Association Rule) phát luật kết hợp (Association Rule Mining) Rakesk Agrawal cộng đề xuất lần vào năm 1993 nhằm phát mẫu có giá trị CSDL tác vụ (Transaction Database) siêu thị Mục đích tốn phát luật kết hợp tìm mối quan hệ tập mục liệu CSDL lớn mối quan hệ có ích hỗ trợ định Trong CSDL dân số, quan hệ “60% số người lao động độ tuổi trung niên có thu nhập thấp mức thu nhập bình quân” có ích cho việc điều chỉnh sách thu nhập Trong CSDL siêu thị, việc phát quan hệ “78% số khách hàng mua sữa đường mua bơ” có ích cho định kinh doanh, chẳng hạn, định số lượng nhập mặt hàng bố trí chúng ngăn hàng liền kề Luật kết hợp (Association rule) định nghĩa biểu diễn mối quan hệ hai tập mục dạng X  Y, X  I, Y  I, X  Y =  X gọi phần tiền đề (antecedent) Y gọi phần hệ (consenquent) luật 1.1.2 Quy trình phát luật kết hợp Theo thống kê Microsoft [5], có 2671 tác giả cơng bố 1526 cơng trình khoa học có giá trị (với 10224 lần dẫn) phát luật kết hợp Mục đích tốn phát luật kết hợp CSDL tác vụ D tìm tất luật kết hợp mạnh (độ hỗ trợ cực tiểu độ tin cậy cực tiểu người sử dụng đưa trình phát luật) Các thuật toán phát luật kết hợp thường chia trình giải tốn thành hai bước sau: (1) Bước 1: Tìm tất tập phổ biến CSDL D (2) Bước 2: Với tập phổ biến I1 tìm bước tất luật mạnh có dạng I2 I1 – I2, I2  I1 Trong đó, bước thứ giai đoạn khó khăn, phức tạp tốn nhiều chi phí Bước giải đơn giản có tập phổ biến độ hỗ trợ chúng Bài tốn tìm tập phổ biến khơng gian tập tập mục I có độ phức tạp tính tốn O(2I) 2.1 Phát luật kết hợp từ CSDL tác vụ Nghiên cứu phát luật kết hợp CSDL tác vụ khởi đầu từ phát luật kết hợp với ngưỡng độ hỗ trợ, tới phát luật kết hợp với độ hỗ trợ khác cho mục liệu 1.2.1 Phát luật kết hợp với ngưỡng độ hỗ trợ Bài toán phát luật kết hợp đưa ngưỡng độ hỗ trợ chung( độ hỗ trợ cực tiểu) người sử dụng đưa vào Việc phát luật kết hợp tuân thủ theo quy trình hai bước, tập chung vào bước tìm tập tập phổ biến, với ba hướng giải quyết: - Tìm tất tập phổ biến - Tìm tất tập phổ biến đóng - Tìm tất tập phổ biến cực đại 1.2.1.1 Phát luật kết hợp từ tất tập phổ biến Các phương pháp sử dụng phương pháp duyệt không gian tìm kiếm, phương pháp xác định trước hỗ trợ Bỏ qua độ phức tạp vào – tính toán duyệt CSDL, thuật toán thực tìm kiếm tập tập mục độ phức tạp tính tốn O( ) Phương pháp duyệt khơng gian tìm kiếm chia thành hai nhóm tương ứng: duyệt theo chiều rộng (Breadth First Search - BFS) duyệt theo chiều sâu(Depth First Search - DFS) Duyệt theo chiều rộng duyệt theo kích thước k tập mục ứng viên từ kích thước 1, 2, ….Một số thuật tốn phổ biến theo cách tiếp cận Apriori, Partition, ….,thuật tốn Apriori( hình 1.1) xếp vào tốp 10 thuật tốn khai phá liệu điển hình Thuật toán Apriori thực nhiều lần duyệt liệu, lần duyệt thứ nhất, ta tính độ hỗ trợ tập mục riêng xác định mục phổ biến chúng, nghĩa thỏa mãn độ hỗ trợ cực tiểu Trong lần duyệt sau ta sử dụng tập phổ biến tìm lần duyệt trước để sinh tập phổ biến tiềm năng, gọi tập ứng viên tính độ hỗ trợ tập ứng viên duyệt qua liệu, cuối lần duyệt ta xác định tập item tập phổ biến thực tập ứng viên Q trình thực khơng cịn tập mục phổ biến tìm thấy Bảng 1.1: Bảng kí hiệu sử dụng thuật tốn Apriori Ký hiệu k-itemset Lk Ck Ý nghĩa Tập có k-mục liệu Tập chứa k= itemset phổ biến Mỗi phần tử tập có hai trường: i) itemset ii) độ hỗ trợ itemset Tập chứa k-itemset ứng viên( tập phổ biến tiềm năng) Mỗi phần tử tập có hai trường: i) itemset ii) độ hỗ trợ 5 Đầu vào: CSDL D, độ hỗ trợ cực tiểu minSup Kết quả: Tập tập phổ biến Thuật tốn Apriori tìm tập phổ biến: L1 = {1-tập mục liệu phổ biến}; for ( k = 2; Lk-1 ; k++ ) begin Ck = apriori-gen(Lk-1, minsupp); // sinh ứng cử viên Lk-1 forall transactions t  D begin Ct = subset(Ck, t); // ứng cử viên chứa t forall candidates c Ct c.count++; end Lk = {c  Ck c:count  minSup} 10 end 11 Answer = UkLk Hàm Apriori – Gen sinh ứng cử viên: Procedure apriori-gen(Lk-1) insert into Ck //bước kết nối select p.item1, p.item2,…,p.itemk-1, q.itemk-1 from Lk-1 p, Lk-1 q where p.item1 = q.item1,…,p.itemk-2 = q.itemk-2, p.itemk-1 PromotionType= với conf = 0.7 16 Luật suy diễn sau: Khi mua đồ cho trẻ em từ 1-2 tuổi khách hàng có nghề nghiệp văn phịng khơng mua sản phẩm khuyến Luật 2: ( ProductType =1, ProductTypeByAge =1, CareerType =1) => PromotionType=0 với conf = 0.75 Luật suy diễn sau: Khi mua thực cho phẩm trẻ em từ 1-2 tuổi, khách hàng có nghề nghiệp văn phịng khơng mua sản phẩm khuyến Luật 3: (ProductPrice >= 300.000, ProductType =2, CareerType=2) => Month = 1) với conf = 0.8 Luật 4: (ProductPrice >= 300.000, ProductType = 2, CareerType=2) => Month = 2) với conf = 0.76 Luật suy diễn sau: Vào tháng tháng khách hàng có nghề nghiệp lao động phổ thơng mua đồ chơi trẻ em có giá trị lớn 300.000 VND Tuy thử nghiệm tiến hành đưa số luật đơn giản, thử nghiệm minh chứng khả áp dụng khai phá luật ứng dụng tiếp thị sản phẩm dịch vụ Kết luận chương: Trong chương thứ 3, luận văn trình bày kết ứng dụng khai phá liệu với luật kết hợp cho toán tiếp thị Việc ứng dụng luật kết hợp khuyến nghị áp dụng vào ba phạm vi tiếp thị dựa tri thức là: Xây dựng hồ sơ khách hàng, phân tích biến động phân tích xu hướng Thử nghiệm áp dụng với CSDL hàng bán đồ trẻ em mang lại kết hữu ích mà toán tiếp thị cần quan tâm Đưa số luật cần thiết áp dụng cho tiếp thị 17 PHẦN KẾT LUẬN Các kết đạt được: Luận văn nghiên cứu lý thuyết ứng dụng vấn đề phát luật kết hợp, ứng dụng khai phá luật kết hợp với luật kết hợp vào toán tiếp thị Các nỗ lực quản lý quan hệ khách hàng tập trung vào giao diện khách hàng quản lý tương tác với khách hàng 18 Qua trình làm luận văn học viên thu nhận kết sau:  Hiểu kiến thức khai phá liệu nói chung luật kết kết hợp nói riêng  Đề xuất áp dụng kỹ thuật khai phá liệu với luật kết hợp cho Hướng nghiên cứu tiếp theo: Phạm vi nghiên cứu đề tài nghiên cứu sở lý thuyết luật kết hợp khuyến nghị áp dụng khai phá liệu luật kết hợp vào toán tiếp thị Đây ứng dụng phần nhỏ vào mảng tiếp thị để giúp phát triển kinh doanh cho doanh nghiệp Trong thời gian tới học viên muốn tìm hiểu sâu Khai phá liệu phát triển luật kết hợp góp phần đưa ứng dụng mặt đời sống xã hội đưa vào toán tiếp thị kinh doanh  ... số khuynh hướng nghiên cứu luật 13 CHƯƠNG III: KHUYẾN NGHỊ ÁP DỤNG LUẬT KẾT HỢP HIẾM TRONG BÀI TOÁN TIẾP THỊ: Nội dung chương đưa vấn đề ứng dụng luật kết hợp vào toán tiếp thị kinh doanh Lĩnh... cứu đề tài nghiên cứu sở lý thuyết luật kết hợp khuyến nghị áp dụng khai phá liệu luật kết hợp vào toán tiếp thị Đây ứng dụng phần nhỏ vào mảng tiếp thị để giúp phát triển kinh doanh cho doanh... lượng 1.1 Luật kết hợp phương pháp chung phát luật kết hợp 1.1.1 Bài toán phát luật kết hợp Ngày việc phát luật kết hợp trở thành khuynh hướng quan trọng khai phá liệu Luật kết hợp luật ngầm