Phát hiện hành vi mua sắm của người dùng và các tác nhân liên quan sử dụng kỹ thuật khai phá dữ liệu

Với sự ra đời và phát triển mạnh mẽ của lĩnh vực công nghệ thông tin, cũng như cách mạng công nghiệp 4.0 thì người dùng không chỉ tạo ra các thông tin mà còn sử dụng những thông tin đấy dành cho công tác hỗ trợ, quản lý. Do phạm vi ứng dụng và vai trò của công nghệ thông tin trong công tác quản lý là rất lớn, điều kiện thời gian còn nhiều hạn chế nên tôi chọn một khía cạnh nhỏ trong công tác ứng dụng CNTT vào quản lý đó là ứng dụng phương pháp hỗ trợ khai phá dữ liệu để phát hiện hành vi mua sắm của người dùng và các tác nhân liên quan dựa trên các thông tin giao dịch bán hàng. Để rồi từ đó, có thể hỗ trợ cho người quản lý đưa ra những nhận định mang tính định hướng về việc kinh doanh sắp tới. Luận văn đã tiến hành khảo sát về khai phá dữ liệu hành vi mua hàng của người dùng trong công tác quản lý mua hàng. Trong đó, luận văn đi sâu vào nghiên cứu mô hình phát hiện hành vi mua hàng của người dùng dựa trên việc khai phá luật kết hợp và thuật toán nén Krimp và thuật toán TopKRules. Luận văn cũng đã tiến hành cài đặt thực nghiệm để xác định được những tần suất giao dịch mua sắm hàng hóa của người dùng trong mô hình đề xuất cho tập dữ liệu mua hàng của công ty PAC. (

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THÀNH VINH PHÁT HIỆN HÀNH VI MUA SẮM CỦA NGƯỜI DÙNG VÀ CÁC TÁC NHÂN LIÊN QUAN SỬ DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ THÔNG TIN Hà Nội - 2018 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THÀNH VINH PHÁT HIỆN HÀNH VI MUA SẮM CỦA NGƯỜI DÙNG VÀ CÁC TÁC NHÂN LIÊN QUAN SỬ DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU Ngành: Công nghệ thông tin Chuyên ngành: Quản lý hệ thống thông tin Mã Số: 8480205.01 LUẬN VĂN THẠC SỸ NGÀNH CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐẶNG THANH HẢI LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Phát hành vi mua sắm người dùng tác nhân liên quan sử dụng kỹ thuật khai phá liệu" cơng trình nghiên cứu cá nhân tôi, hướng dẫn cán hướng dẫn khoa học, thầy giáo, TS Đặng Thanh Hải Các nội dung, kết thể luận văn hoàn toàn trung thực Ngoại trừ tài liệu tham khảo cơng trình nghiên cứu tơi trích dẫn đầy đủ luận văn hồn tồn cơng trình riêng cá nhân tơi Luận văn hồn thành q trình tơi học tập Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Hà Nội, ngày 10 tháng 09 năm 2018 Học viên Nguyễn Thành Vinh LỜI CẢM ƠN Lời đầu tiên, mong muốn bày tỏ trân trọng biết ơn sâu sắc đến thầy giáo, TS Đặng Thanh Hải, giảng viên trường ĐH Công nghệ, tận tình hướng dẫn, nhận xét góp ý hiệu suốt trình thực luận văn Tôi chân thành cảm ơn thầy, PGS.TS Hà Quang Thụy, PGS.TS Hoàng Xuân Huấn, PGS.TS Phạm Ngọc Hùng, PGS.TS Nguyễn Ngọc Hóa thầy khác giúp đỡ tạo điều kiện để học tập tiếp cận trình nghiên cứu trường Tôi cảm ơn anh chị bạn khóa cao học K22 anh chị đồng nghiệp công ty VNPT-IT ủng hộ, động viên tạo điều kiện giúp suốt trình học tập trường Cuối cùng, tơi muốn gửi lời cảm ơn chân thành tới gia đình, bạn bè, động viên giúp đỡ không q trình thực luận văn mà cịn hành trình Hà Nội, ngày 10 tháng 09 năm 2018 Học viên Nguyễn Thành Vinh MỞ ĐẦU Dữ liệu tạo ngày nhiều số lượng lẫn thể loại; từ khiến việc lựa chọn, khai thác, sử dụng chúng gặp nhiều khó khăn thách thức Lĩnh vực Khai phá liệu (KPDL) đời nhằm hỗ trợ việc khai thác sử dụng liệu hiệu Khai phá liệu (KPDL) trình trích xuất, khai thác sử dụng kiện rời rạc liệu thành tri thức có tính quy luật, để mang lại giá trị tích cực việc đưa định Ngày nay, việc lấy khách hàng làm trung tâm (customer centricity) yếu tố quan trọng dịch vụ khách hàng: khách hàng “cổ đông” quan trọng công ty Ngành thương mại điện tử tạo khối lượng liệu khổng lồ, bao gồm: chi tiết hóa đơn bán hàng, thơng tin cảnh báo tình trạng hệ thống liệu hàng hóa thơng tin liệu khách hàng Do đó, doanh nghiệp có nhu cầu cần hiểu rõ thị hiếu khách hàng xu hướng thị trường tới Ứng dụng khai phá liệu ngành thương mại để phát quy luật ẩn chứa khối liệu khổng lồ nhằm xây dựng mơ hình giúp xác định xu hướng mua hàng khách hàng, giúp doanh nghiệp cải thiện chất lượng sản phẩm, dịch vụ nhằm nâng cao hài lòng khách hàng giữ chân khách hàng tốt Khoá luận tập trung giới thiệu tổng quan khai phá liệu, nghiên cứu mơ hình phát hành vi mua hàng người dùng thử nghiệm, đánh giá thuật toán Krimp thuật tốn TopKRules áp dụng vào mơ hình thực tế dựa vào liệu hóa đơn bán hàng công ty Công nghệ Cổ phần PAC Việt Nam MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỞ ĐẦU MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU DANH MỤC VIẾT TẮT CHƯƠNG 1: TỔNG QUAN ỨNG DỤNG KHAI PHÁ DỮ LIỆU TRONG VIỆC PHÁT HIỆN HÀNH VI MUA SẮM 1.1 Thị trường hành vi mua sắm hàng hóa 1.1.1 Khái niệm 1.1.2 Hành vi mua sắm người dùng 1.1.3 Hành vi mua đơn vị, tổ chức 11 1.2 Khai phá liệu phát tri thức 14 1.2.1 Khai phá liệu 14 1.2.2 Các bước trình phát tri thức 14 1.2.3 Kiến trúc hệ thống khai phá liệu 16 1.2.4 Một số kỹ thuật khai phá liệu 17 1.3 Ứng dụng khai phá liệu cho thị trường hàng hóa 20 1.3.1 Ứng dụng khai phá liệu 20 1.3.2 Phát hành vi mua sắm người dùng 22 CHƯƠNG 2: TỔNG QUAN VỀ KHAI PHÁ LUẬT KẾT HỢP 23 2.1 Luật kết hợp 23 2.2 Khai phá luật kết hợp 25 2.2.1 Thuật toán Apriori 28 2.2.2 Thuật toán AIS 29 2.2.3 Thuật toán SETM 30 2.2.4 Thuật toán Krimp 32 2.2.5 Thuật toán TopKRules 34 CHƯƠNG 3: THỬ NGHIỆM PHÁT HIỆN HÀNH VI MUA SẮM CỦA NGƯỜI DÙNG 38 3.1 Giới thiệu toán 38 3.2 Cài đặt ứng dụng 39 3.2.1 Cấu hình phần cứng 39 3.2.2 Các công cụ phần mềm sử dụng 39 3.3 Thực nghiệm 39 3.3.1 Quá trình thực nghiệm đánh giá 39 3.3.2 Tiền xử lý liệu 40 3.3.3 Cấu hình thơng tin mơ hình Krimp 41 3.4 Kết đánh giá 42 3.4.1 Kết phân tích liệu 42 3.4.2 Đánh giá kết 43 KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 56 DANH MỤC HÌNH VẼ Hình 1.1 Q trình thơng qua định mua hàng[4] 10 Hình 1.2 Quá trình phát tri thức CSDL [1] 15 Hình 1.3 Kiến trúc điển hình hệ thống khai phá liệu [1] 17 Hình 1.4 Phân tích giỏ hàng 19 Hình 2.1 Mơ tả thuật toán AIS qua bước 30 Hình 2.2 Mơ tả thuật toán SETM qua bước 32 Hình 2.3 Mơ hình tổng quan thuật toán Krimp [5] 34 Hình 3.1 Thơng tin phiếu xuất hàng 38 Hình 3.2 Các bước thử nghiệm phát hành vi người dùng 40 Hình 3.3 Thơng tin liệu hóa đơn bán hàng 41 Hình 3.4 Danh mục sản phẩm PAC 41 Hình 3.5 Cấu hình thơng tin Krimp 42 DANH MỤC BẢNG BIỂU Bảng 1.1 Các ứng dụng khai phá liệu bật [1] 21 Bảng 2.1 Một ví dụ sở liệu gồm giao dịch: 23 Bảng 2.2 Giao dịch mua hàng 25 Bảng 2.3 Tính độ hỗ trợ cho tập hợp chứa mặt hàng 27 Bảng 2.4 Tính độ tin cậy cho luật kết hợp 27 Bảng 3.1 Cấu hình phần cứng 39 Bảng 3.2 Các phần mềm sử dụng 39 DANH MỤC VIẾT TẮT STT Từ viết tắt Diễn giải tiếng Anh Diễn giải tiếng Việt KPDL Data mining Khai phá liệu WTO World Trade Organization Tổ chức Thương mại Thế giới GRDI Global Retail Development Chỉ số phát triển bán lẻ toàn Index cầu CSDL Database Cơ sở liệu KDD Knowledge Discovery in Database Khám phá tri thức sở liệu DN DNSX Doanh nghiệp Doanh nghiệp sản xuất * Thông tin kết quả: Number of rows: Has bin sizes: Number of items: 4242 => Tổng số hóa đơn bán hàng no 20923 => Tổng số item Average row length: 4.93 Alphabet length: Standard DB size: Current data type: 6654 => Tổng số sản phẩm 244053.13 uint16 3.4.2 Đánh giá kết 43 Khi tiến hành thực thi krimp compress, tiến trình Krimp tự động khai phá tất itemsets sử dụng làm ứng cử viên cho lựa chọn Krimp Các frequent itemsets lưu trữ file isc ( dulieu-all-10d.isc) Sau tiêu đề dòng, dòng chứa mục nhất, sau: : () 44 Các kết thuật toán Krimp đưa tập mục phổ biến xếp theo thứ tự giảm dần độ support, độ giảm dần số lượng item Do phần mục tham số thay đổi chuyển đổi sở liệu gốc thành định dạng Krimp ( tham chiếu lại liệu phân tích dulieu-banhang.db.analysis.txt ) Với itemset {0} có độ dài 1, support 0.91 ( 0=> mã tham chiếu sản phẩm 68 ) - Với itemset {0 43 53}, có độ dài support 0.13 ( tương ứng với mã sản phẩm: 68; 71; 78; 62) Đánh giá: Dựa vào kết mà thuật toán Krimp đưa ra, luận văn lấy 38 frequent itemset với độ dài itemsets >= với theo độ support để tiếp tục thực nghiệm để tìm luật: - Length Support (21) Frequent itemsets 56 69 82 90 120 (21) 56 69 82 90 (21) 56 69 89 90 (21) 56 69 90 120 45 (21) 56 82 90 120 (21) 69 82 90 120 (20) 56 69 82 120 (20) 56 69 82 4 (20) (20) 56 69 120 56 82 120 (20) 69 82 120 (19) 56 69 82 90 120 (19) 33 56 69 82 90 120 (19) 56 69 82 90 (19) 56 69 90 120 (19) 56 82 90 120 (19) 69 82 90 120 (19) 33 56 69 82 90 (19) 33 56 69 82 120 (19) 33 56 69 90 120 (19) 33 56 82 90 120 (19) 33 69 82 90 120 (19) 56 69 89 (19) 56 82 90 (19) 56 90 120 (19) 69 82 90 (19) 69 90 120 (19) 82 90 120 (19) 33 56 69 82 (19) 33 56 69 90 (19) 33 56 69 120 (19) 33 56 82 90 (19) 33 56 82 120 (19) 33 56 90 120 (19) 33 69 82 90 (19) 33 69 82 120 (19) 33 69 90 120 (19) 33 82 90 120 46 Mã SP Tên sản phẩm Lưỡi dao TCMT110204HQ-CA525 89 Lưỡi dao TCMT16T308HQ-CA525 56 Lưỡi dao VNMG160404-CA525 69 Lưỡi dao TCMT110204HQ-PV7025 33 Lưỡi dao GMM2020R-TMR-6D/PR1115 82 Lưỡi dao GMM3020R-TMR-6D/PR1115 90 Lưỡi dao DCMT11T304GK-TN6020 120 Lưỡi dao GBA43R330-030MY/TN6020 supp(X) 16 38 38 27 38 27 38 16 38 26 38 27 38 26 38 Chúng xét giá trị support thỏa mãn >=10/38 ~ 0.26 Mã SP Tên sản phẩm Lưỡi dao TCMT110204HQ-CA525 56 Lưỡi dao VNMG160404-CA525 69 Lưỡi dao TCMT110204HQ-PV7025 33 Lưỡi dao GMM2020R-TMR-6D/PR1115 82 Lưỡi dao GMM3020R-TMR-6D/PR1115 90 Lưỡi dao DCMT11T304GK-TN6020 120 Lưỡi dao GBA43R330-030MY/TN6020 supp(X) 16 38 27 38 27 38 16 38 26 38 27 38 26 38 Dựa thuật toán sinh luật kết hợp Apriori dựa vào frequent itemsets, thực lọc item sang F2: 47 Items 56 69 33 82 90 120 56 69 56 33 56 82 56 90 56 120 69 33 69 82 69 90 69 120 33 82 33 90 33 120 82 90 82 120 90 120 supp(X) 11 38 11 38 38 11 38 10 38 11 38 18 38 11 38 17 38 18 38 17 38 11 38 17 38 18 38 17 38 11 38 11 38 11 38 18 38 17 38 18 38 48 Sau tìm itemset đánh giá theo độ support, chúng tơi thực tìm item sang F3: Items 56 69 56 82 56 90 56 120 69 82 69 90 69 120 33 56 69 33 56 82 33 56 90 33 56 120 56 69 82 56 69 90 56 69 120 69 82 90 69 82 120 82 90 120 supp(X) 38 38 38 38 38 38 38 38 38 38 38 10 38 11 38 10 38 11 38 10 38 11 38 Thực lọc item sang F4: Items supp(X) 49 38 38 38 38 56 69 82 90 56 69 82 120 56 69 90 120 69 82 90 120 Dựa kết lọc item, thực tính tốn kết quả: Itemset Association rules supp(X Y) supp(X) 56 -> 69 56 69 69 -> 56 56 -> 90 90 -> 56 56 90 69 -> 90 90 -> 69 69 90 82 -> 90 90 -> 82 82 90 90 -> 120 120 -> 90 90 120 56 -> 69 82 69 -> 56 82 56 69 82 82 -> 56 69 18 38 18 38 18 38 18 38 18 38 18 38 18 38 18 38 18 38 18 38 10 38 10 38 10 38 27 38 27 38 27 38 27 38 27 38 27 38 26 38 27 38 27 38 26 38 27 38 27 38 26 38 confidence 18 27 18 27 18 27 18 27 18 27 18 27 18 26 18 27 18 27 18 26 10 27 10 27 10 26 Bên cạnh thuật toán Apriori, luận văn áp dụng thuật toán TopKRules với tập liệu bán hàng frequent-items Chúng thực xử lý lần với tham số: k=2; minconf=0.5 50 Chạy thuật tốn dựa Chúng tơi thực tăng k = 10, giữ nguyên giá trị minconf = 0.5 51 Tiếp tục tăng giá trị k=100, minconf=0.5 Khi tăng giá trị k từ 2, 10, 100 độ tin cậy tối thiểu 0.5 chúng tơi nhận thấy luật kết hợp tăng giá trị độ tin cậy confidence độ hỗ trợ lại giảm Chúng lựa chọn tăng độ tin cậy 0.7; đặt giá trị k=2 52 Tiếp tục tăng giá trị k=10; giá trị minconf = 0.7 53 Với giá trị tăng k từ đến 10 mức độ tin cậy tối thiểu 0.7 luật kết hợp, giá trị độ hỗ trợ giảm độ tin cậy lại tăng lên Kết hợp thêm với trường hợp kiểm tra với thuật tốn Apriori luận văn đưa nhận định : Đối với mặt hàng Lưỡi dao GMM3020R-TMR-6D/PR1115 khách hàng thường có xu hướng mua Lưỡi dao DCMT11T304GK-TN6020 Đối với mặt hàng Lưỡi dao TCMT110204HQ-PV7025 khách hàng thường có xu hướng mua Lưỡi dao DCMT11T304GK-TN6020 Đối với mặt hàng Lưỡi dao DCMT11T304GK-TN6020 khách hàng thường có xu hướng mua Lưỡi dao GBA43R330-030MY/TN6020 ngược lại Đối với mặt hàng Lưỡi dao DCMT11T304GK-TN6020 khách hàng thường có xu hướng mua Lưỡi dao GMM3020R-TMR-6D/PR1115 ngược lại Dựa thông tin sau áp dụng thuật tốn khai phá luật kết hợp, hỗ trợ cho người quản lý đưa nhận định mang tính định hướng việc kinh doanh tới 54 KẾT LUẬN Với phát triển không ngừng công nghệ thông tin, ứng dụng công nghệ thông tin công tác quản lý chăm sóc khách hàng nhu cầu để hiểu biết hành vi mua sắm người dùng cần thiết mang lại nhiều lợi ích việc kinh doanh Tuy nhiên, nghiên cứu khai phá hành vi mua sắm người dùng quan tâm từ lâu, lĩnh vực cịn có nhiều vấn đề thách thức cần giải Nắm bắt nhu cầu đó, luận văn tiến hành nghiên cứu mơ hình phát hành vi mua hàng người dùng áp dụng thử nghiệm vào mơ hình dựa vào liệu hóa đơn bán hàng Kết đạt luận văn Luận văn tiến hành khảo sát khai phá liệu hành vi mua hàng người dùng cơng tác quản lý mua hàng Trong đó, luận văn sâu vào nghiên cứu mơ hình phát hành vi mua hàng người dùng dựa việc khai phá luật kết hợp thuật toán nén Krimp thuật toán TopKRules Luận văn tiến hành cài đặt thực nghiệm lược đồ (hình 3.2) để xác định tần suất giao dịch mua sắm hàng hóa người dùng mơ hình đề xuất cho tập liệu mua hàng công ty PAC Do khó khăn việc thu thập liệu nên dẫn đến việc luật sinh nhỏ, chưa phản ánh hết đặc trưng hành vi mua hàng mơ hình thực nghiệm Định hướng nghiên cứu Trong khuôn khổ luận văn này, dừng lại việc đưa mô hình đề xuất thực nghiệm dựa vào mơ hình Krimp, mơ hình TopKRules Trong thời gian tới, chúng tơi tiếp tục thực nghiệm đối soát so sánh kết mơ hình với mơ hình khác, đồng thời xem xét hướng nghiên cứu bổ sung thêm đặc trưng hành vi mua hàng tác nhân tác động đến hành vi người dùng 55 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Hà Nam, Nguyễn Trí Thành, Hà Quang Thụy (2012) Giáo trình Khai phá liệu Nhà xuất ĐHQGHN, Hà Nội [2] Vũ Đức Thi (2012) Một số vấn đề tính toán liên quan đến sở liệu khai phá liệu Tạp chí Khoa học Cơng nghệ [3] GS.TS Trần Minh Đạo (2012), Giáo trình Marketing Nhà xuất ĐH kinh tế quốc dân [4] TS Nguyễn Thượng Thái (2009), Giáo Trình Marketing Căn Bản , Nhà xuất Thông tin truyền thông Tiếng Anh [5] Jilles Vreeken, Matthijs van Leeuwen, Arno Siebes (2010) KRIMP: mining itemsets that compress [6] Lior Shabtay, Rami Yaari and Itai Dattner (2018) A Guided FP-growth algorithm for multitude-targeted mining of big data, Israeli Science Foundation [7] Rana Alaa El-Deen Ahmeda, M.Elemam.Shehaba, Shereen Morsya, Nermeen Mekawie(2015) Performance study of classification algorithms for consumer online shopping attitudes and behavior using data mining, Arab academy for science and technology(AASTMT) [8] Agrawal, Heikki Mannila, Ramakrishnan Srikant, Hannu Toivonen, and A Inkeri Verkamo (1996), Advances in Knowledge Discovery and Data Mining, AAAI Press [9] J Han and M Kamber (2006), Data Mining: Concepts and Techniques, 2nd Edition, Morgan Kaufmann Publishers [10] Agrawal and J.Shafer (1996), Parallel mining of association rules, In IEEE trans, on Knowledge and Data Engg [11] I H Witten and E Frank (2000), Data Mining: Practical Machine Learning Tools and Techniques with Java Implementations, Morgan Kaufmann Publishers, New York [12] Agrawal, H Mannila, R Srikant (1996), Fast discovery of association rules, MIT Press [13] Manoel Mendonca (2000) Mining Software Engineering Data: A Survey University of Maryland, Department of Computer Science, A V Williams Building #3225 College Park, MD 20742 [14] Pang-Ning Tan, Michael Steinbach, Vipin Kumar (2005), Introduction to Data Mining, Addison-Wesley 56 [15] R Agrawal (1993) Mining Association Rules Between Sets of Items in Large Databases, Computer Science Department, Rutgers University, New Brunswick, NJ 08903 [16] Qiankun Zhao, Sourav S Bhowmick (2003), Association Rule Mining: A Survey, Technical Report, CAIS, Nanyang Technological University, Singapore [17] Komal Khurana, Mrs Simple Sharma (2013), A Comparative Analysis of Association Rules Mining Algorithms, International Journal of Scientific and Research Publications [18] Rakesh Agrawal Ramakrishnan Srikant (1994), Fast Algorithms for Mining Association Rules, IBM Almaden Research Center 650 Harry Road, San Jose, CA 95120 [19] Philippe Fournier-Viger, Cheng-Wei Wu and Vincent S Tseng (2012), Mining Top-K Association Rules, Dept of Computer Science, University of Moncton, Canada [20] Deloitte Southeast Asia Ltd (2014), Retail in Vietnam Emerging market, emerging growth [21] Kevin P Murphy (2012) Machine Learning: A Probabilistic Perspective The MIT Press Cambridge, Massachusetts London, England 57 ... GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THÀNH VINH PHÁT HIỆN HÀNH VI MUA SẮM CỦA NGƯỜI DÙNG VÀ CÁC TÁC NHÂN LIÊN QUAN SỬ DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU Ngành: Công nghệ thông tin Chuyên ngành:... TỔNG QUAN ỨNG DỤNG KHAI PHÁ DỮ LIỆU TRONG VI? ??C PHÁT HIỆN HÀNH VI MUA SẮM 1.1 Thị trường hành vi mua sắm hàng hóa 1.1.1 Khái niệm 1.1.2 Hành vi mua sắm người dùng. .. phá liệu 16 1.2.4 Một số kỹ thuật khai phá liệu 17 1.3 Ứng dụng khai phá liệu cho thị trường hàng hóa 20 1.3.1 Ứng dụng khai phá liệu 20 1.3.2 Phát hành vi mua sắm người