Ứng dụng khai thác dữ liệu vào hệ thống quản trị quan hệ khách hàng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH MAI THỊ KIM NGÂN ỨNG DỤNG KHAI THÁC DỮ LIỆU VÀO HỆ THỐNG QUẢN TRỊ QUAN HỆ KHÁCH HÀNG LUẬN VĂN THẠC SĨ KINH TẾ Tp Hồ Chí Minh, tháng năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH MAI THỊ KIM NGÂN ỨNG DỤNG KHAI THÁC DỮ LIỆU VÀO HỆ THỐNG QUẢN TRỊ QUAN HỆ KHÁCH HÀNG Chuyên ngành: Công nghệ thiết kế thông tin truyền thông Mã ngành: 8340405 LUẬN VĂN THẠC SĨ KINH TẾ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Quản Thành Thơ Tp Hồ Chí Minh, tháng năm 2020 LỜI CAM ĐOAN Do lần đầu tiếp cận với ngành nên tơi cịn nhiều bỡ ngỡ lý thuyết phương pháp nghiên cứu Tuy nhiên, sau năm học Khoa giúp hiểu biết thêm nhiều điều, tích lũy thêm nhiều kinh nghiệm mà học hỏi thêm nhiều kỹ quý báu việc phân tích vấn đề, cung cấp thơng tin hỗ trợ định Trước hết xin gửi lời cảm ơn chân thành tri ân sâu sắc đến PGS.TS Quản Thành Thơ, thầy dành nhiều thời gian quan tâm, hướng dẫn, bảo giúp đỡ suốt thời gian học tập Thực qua giảng tơi hiểu kỹ sâu kiến thức liên quan; từ làm tảng lý luận cho báo cáo công việc sau Tôi cam đoan đề tài luận văn “Ứng dụng khai thác liệu vào hệ thống quản trị quan hệ khách hàng” công trình nghiên cứu riêng cá nhân tơi nhờ hỗ trợ từ giáo viên hướng dẫn PGS.TS Quản Thành Thơ Các nội dung luận văn hoàn toàn trung thực đảm bảo chưa công bố cơng trình nghiên cứu Một lần xin chân thành cảm ơn Tp Hồ Chí Minh, tháng 03 năm 2020 Người thực Mai Thị Kim Ngân MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN MỤC LỤC BẢNG DANH MỤC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH TĨM TẮT ABSTRACT CHƯƠNG 1: GIỚI THIỆU 1.1 Giới thiệu đề tài 1.2 Mục tiêu nghiên cứu 1.3 Phạm vi nghiên cứu CHƯƠNG 2: TỔNG QUÁT KHAI PHÁ DỮ LIỆU & CÁC GIẢI THUẬT VÀ KHAI PHÁ 2.1 Tóm tắt cơng trình nghiên cứu trước 2.2 Tổng quan khai phá liệu 2.3 Giải thuật Apriori & FPGrowth 11 2.3.1 Chi tiết giải thuật Apriori 11 2.3.2 Chi tiết giải thuật FPGrowth 14 2.3.3 Các độ đo sử dụng 15 2.4 Phân tích RFM 16 2.5 Thuật toán phân nhóm K-Means 17 2.6 Phân tích thành phần PCA 25 CHƯƠNG 3: TỔNG KẾT KẾT QUẢ KHẢO SÁT 27 CHƯƠNG 4: THỰC HIỆN KHAI PHÁ TRÊN DỮ LIỆU NEEM 35 4.1 Giới thiệu công ty Neem 35 4.2 Tiền xử lý liệu 35 4.3 Thực giải thuật Apriori FPGrowth với tập liệu 47 4.4 Phân khúc khách hàng phương pháp RFM K-Means 49 4.4.1 Phân khúc khách hàng phương pháp RFM 49 4.4.2 Phân khúc khách hàng phương pháp K-Means 51 4.5 Ứng dụng vào doanh nghiệp 61 CHƯƠNG 5: KẾT LUẬN 62 5.1 Tổng kết trình nghiên cứu 62 5.2 Hạn chế Hướng phát triển 63 TÀI LIỆU THAM KHẢO PHỤ LỤC BẢNG CÂU HỎI KHẢO SÁT BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Từ tiếng Anh Từ tiếng Việt RFM Recency-Frequency- Lần mua gần – Tần suất – Moneytary Số tiền mua hàng Customer Relationship Quản trị quan hệ khách hàng CRM Management FMCG Fast Moving Consumer Goods Hàng tiêu dùng nhanh DANH MỤC CÁC BẢNG Bảng 4.1 Các đặc trưng liệu Neem 35 Bảng 4.2 So sánh kết giải thuật Apriori FPGrowth 47 Bảng 4.3 Kết sau chạy giải thuật 48 Bảng 4.4 Danh sách khách hàng với số RFM 49 Bảng 4.5 Danh sách khách hàng với tổng điểm 51 Bảng 4.6 Thống kê nhóm số ngày gần 53 Bảng 4.7 Danh sách khách hàng phân nhóm theo tần suất 53 Bảng 4.8 Danh sách khách hàng phân nhóm theo tần suất 55 Bảng 4.9 Thống kê nhóm có tần suất mua sắm 55 Bảng 4.10 Danh sách khách hàng nhóm tiền mua sắm 57 Bảng 4.11 Thống kê nhóm số tiền mua sắm 57 Bảng 4.12 Trung bình nhóm điểm theo RFM 58 Bảng 4.13 So sánh khác biệt phân nhóm RFM K-Means 59 Bảng 4.14 So sánh khác biệt phân nhóm RFM K-Means sau biến đổi cluster 60 Bảng 5.1 Kết chạy Apriori FPGrowth 63 DANH MỤC CÁC HÌNH Hình 1.1 Khía cạnh CRM mơ hình khai phá liệu Hình 2.1 Quá trình khai phá tri thức Hình 2.2 Ví dụ dataset Hình 2.3 Khuỷu tay k 25 Hình 3.1 Thống kê chức vụ người tham gia khảo sát 26 Hình 3.2 Thống kê lĩnh vực hoạt động người tham gia khảo sát 27 Hình 3.3 Thống kê mức độ quan trọng việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM 28 Hình 3.4 Thống kê mục đích việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM 29 Hình 3.5 Thống kê mức độ quan trọng với nghề nghiệp người tham gia khảo sát 29 Hình 3.6 Thống kê mức độ quan trọng việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM với phận làm việc người tham gia khảo sát 30 Hình 3.7 Thống kê mức độ quan trọng việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM với lĩnh vực người tham gia khảo sát 31 Hình 3.8 Thống kê mục đích việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM với chức vụ người tham gia khảo sát 32 Hình 3.9 Thống kê mục đích việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM với lĩnh vực người tham gia khảo sát 33 Hình 3.10 Thống kê mục đích việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM với phận người tham gia khảo sát 34 Hình 4.1 Tỉ lệ doanh thu sản phẩm Neem qua năm 38 Hình 4.2 Tỉ lệ số lượng sản phẩm bán Neem qua năm 38 Hình 4.3 Tỉ trọng sản phẩm qua năm 39 Hình 4.4 Tình hình doanh thu qua năm 39 Hình 4.5 Tình hình doanh thu kì tháng năm 2019, 2020 40 Hình 4.6 Số lượng sản phẩm thống kê theo tỉnh/TP nhận hàng 41 Hình 4.7 Doanh thu sản phẩm thống kê theo tỉnh/TP nhận hàng 41 Hình 4.8 Top 10 quận có số lượng đơn hàng qua năm 42 Hình 4.9 Top 10 quận có doanh thu qua năm 43 Hình 4.10 Phương thức toán 44 Hình 4.11 Thống kê doanh thu qua chương trình khuyến 45 Hình 4.12 Tương quan thuộc tính 46 Hình 4.13 Thống kê ngày mua gần 52 Hình 4.14 Số lượng nhóm dựa theo phương pháp elbow 52 Hình 4.15 Thống kê tần suất mua sắm 54 Hình 4.16 Số lượng nhóm dựa theo phương pháp elbow 54 Hình 4.17 Thống kê số tiền mua sắm 56 Hình 4.18 Số lượng nhóm dựa theo phương pháp elbow 56 Hình 4.19 Số lượng nhóm k từ đến 25 60 Hình 4.20 Phân cụm kết hợp K-Means 60 Hình 4.21 Phân cụm kết hợp PCA K-Means 61 TÓM TẮT Với bùng nổ phát triển công nghệ thông tin mang lại nhiều hiệu hoạt động kinh doanh doanh nghiệp, đặc biệt việc khai phá liệu từ hệ thống quản trị quan hệ khách hàng Dữ liệu hệ thống quản trị quan hệ khách hàng chứa đựng nhiều thông tin hữu ích, giá trị, địi hỏi phải có kĩ thuật khai phá nhanh, phù hợp xác hiệu Khai phá liệu khách hàng giúp doanh nghiệp hiểu khách hàng từ có chiến lược, chương trình chăm sóc khách hàng phù hợp Các kĩ thuật khai phá liệu gồm: trực quan hóa liệu, phân nhóm, phổ biến phát luật kết hợp Với phương pháp trực quan hóa liệu, doanh nghiệp rút trích thơng tin đa dạng Ngồi kĩ thuật phân nhóm K-Means giúp doanh nghiệp phân cụm, phân nhóm khách hàng để chăm sóc tốt Đặc biệt khai phá luật kết hợp nhằm tìm tập phần tử thường xuất đồng thời sở liệu rút luật ảnh hưởng tập phần tử dẫn đến xuất (hoặc tập) phần tử khác Bên cạnh đó, nhu cầu khai phá liệu gia tăng cần thiết kích thước lưu trữ liệu ngày nhiều nên đòi hỏi tốc độ xử lý dung lượng nhớ hệ thống phải đảm bảo Vì thế, u cầu cần có thuật toán hiệu cho việc phát luật kết hợp Việc dự đoán trước sản phẩm khách hàng mua kèm giúp doanh nghiệp tăng số lượng bán doanh thu Cũng việc phân nhóm khách hàng cụ thể giúp doanh nghiệp có chiến lược chăm sóc riêng biệt, Tuy nhiên khó khăn việc biểu diễn thơng tin đầu để người dùng thấy ý nghĩa từ thơng tin Hiện việc phân nhóm phổ biến dùng K-Means nhiên luận văn phương pháp K-Means tác giả cịn dùng phương pháp phân tích RFM để phân cụm khách hàng Ngoài ra, hai giải thuật phổ biến cho luật kết hợp Apriori FPGrowth, dùng tốn phân tích sản phẩm khách hàng hay mua kèm theo 53 lớn 766 ngày, với cluster 1: trung bình số ngày mua sắm recency 141 ngày với ngày nhỏ 89 ngày ngày lớn 256 ngày, với cluster 2: trung bình số ngày mua sắm recency 35 ngày với ngày nhỏ ngày ngày lớn 88 ngày Bảng 4.6 Thống kê nhóm số ngày gần Nguồn: Tác giả xử lý liệu Sau chạy xong thuật toán K-Means ta gán nhãn lại cluster vào tập liệu, ta thấy khách hàng có cluster khác Bảng 4.7 Thống kê khách hàng theo nhóm số ngày gần Nguồn: Tác giả xử lý liệu Frequency 54 Hình 4.15 Thống kê tần suất mua sắm Nguồn: Tác giả xử lý liệu Mật độ frequency từ lần đến 22 lần hình mật độ frequency trên, tập trung nhiều từ đến lần Hình 4.16 Số lượng nhóm dựa theo phương pháp elbow Nguồn: Tác giả xử lý liệu 55 Chúng ta áp dụng K-Means để thấy số cluster tối ưu k = Bảng 4.8 Danh sách khách hàng phân nhóm theo tuần suất Nguồn: Tác giả xử lý liệu Sau chạy xong thuật toán K-Means ta gán nhãn lại cluster vào tập liệu, ta thấy khách hàng có cluster khác Ta áp dụng cluster dùng hàm describe ta thấy với cluster 0: trung bình số lần mua sắm 22 lần với lần 22 lần lần nhiều 22 lần, nhóm bật tập khách hàng để chăm sóc đặc biệt, cluster với trung bình 10 lần mua, với lần lần nhiều 15 lần, cluster trung bình 4.8 gần lần với lần lần nhiều 7, cluster với trung bình 1.8 với lần lần nhiều Bảng 4.9 Thống kê nhóm có tần suất mua sắm Nguồn: Tác giả xử lý liệu Moneytary 56 Hình 4.17 Thống kê số tiền mua sắm Nguồn: Tác giả xử lý liệu Mật độ Moneytary từ 0-199.000vnđ đến 27.999.000 vnđ hình mật độ trên, tập trung nhiều từ 0-199.000 vnđ đến 600.000vn đ-799.000vnđ Chúng ta áp dụng K-Means để thấy số cluster tối ưu k = Hình 4.18 Số lượng nhóm dựa theo phương pháp Elbow Nguồn: Tác giả xử lý liệu 57 Sau chạy xong thuật toán K-Means ta gán nhãn lại cluster vào tập liệu, ta thấy khách hàng có cluster khác Bảng 4.10 Danh sách khách hàng nhóm tiền mua sắm Nguồn: Tác giả xử lý liệu Ta có nhóm, với nhóm trung bình chi tiêu 25 triệu Bảng 4.11 Thống kê nhóm số tiền mua sắm Nguồn: Tác giả xử lý liệu Ta cộng lại nhãn cluster số điểm chung trung bình 58 Bảng 4.12 Trung bình nhóm điểm theo RFM Nguồn: Tác giả xử lý liệu Tuy nhiên, ta đem so sánh tổng số điểm phương pháp K-Means phương pháp RFM có khác biệt bảng đây: Bảng 4.13 So sánh khác biệt phân nhóm RFM K-Means Nguồn: Tác giả xử lý liệu Ta thấy OverralScore tính tổng cluster Recency, Frequency Moneytary nhiên với RFMClass phương pháp RFM nhóm khách hàng VIP với 111 tổng điểm OverralScore khơng 59 Như ta phải coi lại thuật tốn lí sau đó, ta phát việc phân nhóm K-Means khơng xét theo giá trị lớn cho nhóm cluster lớn, ví dụ Moneytary giá trị mua hàng lớn xếp vào Cluster giá trị mua hàng nhỏ xếp vào Cluster 3, ta cần biến đổi lại Cluster cho số điện thoại có giá trji mua hàng lớn Cluster cho giá trị mua hàng nhỏ Như ta cộng tổng số OverralScore có ý nghĩa Khi chuyển đổi lại giá trị bảng đây, ta thấy có gần tương đối hai phương pháp Bảng 4.14 So sánh khác biệt phân nhóm RFM K-means sau biến đổi cluster Nguồn: Tác giả xử lý liệu Nếu thay k từ đến 25 thay k từ đến 10, số k tối ưu giống từ đến 10 60 Hình 4.19 Số lượng nhóm k từ đến 25 Nguồn: Tác giả xử lý liệu Đối với phân cụm trên, phân cụm riêng lẻ cho thành phần R-F-M tiếp đến kết hợp thành phần phân cụm kết hình Hình 4.20 Phân cụm kết hợp K-Means Nguồn: Tác giả xử lý liệu Kết cho thấy tơi phân cụm khách hàng làm loại khách hàng định danh khách hàng Silver – Bạc khác hàng có tần suất mua mức trung bình, lần mua gần mức bình thường, số tiền mua sắm trung bình Đối với khách hàng có tần suất mua mức thấp, lần mua gần xa số tiền mua sắm không cao tơi gọi Standard – Chuẩn Và cuối khách hàng GoldVàng khách hàng VIP với tần suất mua gần so với ba loại khách hàng 61 kia, số lần mua thường xuyên số tiền mua sắm cao Ở phần trên, tách riêng xử lý phần R, F, M, hình xử lý kết hợp chiều để phân cụm chiều phương pháp giảm chiều liệu PCA Kmeans Hình 4.21 Phân cụm kết hợp PCA K-Means Nguồn: Tác giả xử lý liệu 4.5 - ỨNG DỤNG VÀO DOANH NGHIỆP Với kết phân cụm K-Means giúp doan nghiệp phân khúc khách hàng chăm sóc khách hàng tốt đặc biệt khách hàng Gold – Vàng, khách hàng Standard công ty gửi SMS email chương trình khuyến để khách hàng có động lực để mua lại sản phẩm - Với kết luật kết hợp, nhân viên bán hàng mời khách hàng mua kết hợp sản phẩm với thêm ưu đãi nhằm gia tăng việc mua hàng khách hàng 62 CHƯƠNG 5: KẾT LUẬN 5.1 TỔNG KẾT QUÁ TRÌNH NGHIÊN CỨU Mọi doanh nghiệp ln muốn chăm sóc khách hàng tốt nhằm giữ chân khách hàng khía cạnh CRM trình bày chương bao gồm việc nhận dạng khách hàng, thu hút khách hàng, giữ chân khách hàng phát triển khách hàng Trong luận văn này, tập trung giải vấn đề nhận dạng khách hàng phát triển khách hàng Nghiên cứu sử dụng liệu công ty Neem thu thập từ hệ thống quản trị quan hệ khách hàng công ty từ năm 2018 đến tháng 4-2020 Kết cho thấy phân khúc đươc tập liệu khách hàng thành loại: Standard (Chuẩn) Silver (Bạc) Gold (Vàng), việc phân chia giúp nhân viên chăm sóc khách hàng tốt hơn, tạo chương trình khách hàng thân thiết cần đẩy mạnh việc phát triển nhóm khách hàng Standard vốn mua sản phẩm công ty từ lâu Ngoài ra, với luật kết hợp giúp nhân viên bán hàng tư vấn cho khách hàng xác Nhân viên tư vấn thêm để khách hàng mua thêm sản phẩm tăng doanh thu cho cơng ty góp phần phát triển khách hàng Ngồi ra, tơi nhận thấy chạy hai giải thuật Apriori & FPGrowth thời gian chạy Apriori nhanh Chính điều việc lựa chọn giải thuật phù hợp để gia tăng suất điều vô cần thiết Ngồi tơi thấy nhu cầu khai thác liệu hệ thống quản trị quan hệ khách hàng Việt Nam 63 5.2 HẠN CHẾ & HƯỚNG PHÁT TRIỂN Mặc dù cố gắng luận văn số hạn chế, cụ thể là: - Dữ liệu thu thập dừng mức đại diện chưa đủ lớn nên ảnh hưởng đến kết phân tích định - Phần đề xuất sản phẩm khách hàng mua luật kết hợp Apriori, FPGrowth chưa áp dụng thuật toán Collaborative Filtering - lọc cộng tác để tăng thêm tính xác - Luận văn dừng lại việc phân khúc khách hàng kết hợp RFM chưa kết hợp RFM với thông tin khác nhân học khách hàng Về hướng phát triển tiếp tục nghiên cứu phương pháp khai phá luật kết hợp cải tiến thời gian chạy giải thuật Cũng tiếp tục nghiên cứu phương pháp nhằm dự báo ngày khách hàng tiếp tục mua sản phẩm khách hàng mua Tích hợp vào hệ thống CRM doanh nghiệp chương trình quảng bá email, SMS TÀI LIỆU THAM KHẢO Ahmed, S R.; , “Applications of data mining in retail business,” Information Technology: Coding and Computing, 2, 455–459, 2004 Chen, Y., Tang, K., Shen, R., and Hu, Y (2005b) Market basket analysis in a multiple store environment Decision Support Systems, 40:339–354 Data Mining Concepts, Techniques, and Applications in Python - GALIT SHMUELI PETER C BRUCE - PETER GEDECK - NITIN R PATEL Data Mining - Concepts and Techniques - Third Edition - Jiawei Han - University of Illinois at Urbana–Champaign - Micheline Kamber - Jian Pei - Simon Fraser University Decision Support System for a Customer Relationship Management Case Study Özge Kart- Departement of Computer Engineering, Dokuz Eylul University Performance Analysis of Apriori and FP-Growth Algorithms (Association Rule Mining) - Alhassan Bala 2Mansur Zakariyya Shuaibu Jodhpur National University, India Swift, R.S.; , “Accelerating customer relationships: Using CRM and relationship technologies,” Upper Saddle River N.J.: Prentice Hall PTR., 2001  Danh mục trang web: https://machinelearningcoban.com/2017/08/31/evaluation/ https://machinelearningcoban.com/2017/06/15/pca/ https://www.coursera.org/lecture/data-patterns/5-1-sequential-pattern-and-sequentialpattern-mining-REbEU https://www.investopedia.com/terms/r/rfm-recency-frequency-monetary-value.asp https://bigdatauni.com/vi/tin-tuc/tong-quan-ve-data-mining-p1-data-mining-la-gi.html http://tapchinganhang.gov.vn/thuc-trang-ung-dung-cac-ky-thuat-du-bao-trong-quan-ly- quan-he-khach-hang-va-giai-phap-cho-cac-ngan-h.htm https://viblo.asia/p/khai-pha-du-lieu-va-lop-bai-toan-khai-thac-cac-tap-pho-biendjeZ1vX8lWz PHỤ LỤC BẢNG CÂU HỎI KHẢO SÁT Anh / Chị hoạt động lĩnh vực/ ngành nào? o Bán lẻ o FMCG o Nghiên cứu thị trường o Truyền thông o Y tế o Sản xuất o Logistic o Khác Chức vụ anh / chị gì? * o Giám đốc - C Level o Quản lý – Manager o Chuyên viên - Senior Executive o Nhân viên - Entry level o Thực tập sinh – Trainee o Khác Mức độ quan trọng việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM anh chị? * Mục đích Anh chị cần khai thác liệu cho hệ thống quản trị quan hệ khách hàng CRM anh chị? o Khai thác liệu để phân khúc khách hàng o Khai thác liệu để tăng lượng mua sắm khách hàng o Khai thác liệu để tăng số lần mua sắm khách hàng o Khai thác liệu để giảm tỉ lệ khách hàng rời bỏ o Khai thác liệu để phân tích RFM (lần mua gần nhất, tần suất mua sắm, số tiền mua) o Khai thác liệu để làm dashboard (trực quan hóa liệu) cho hệ thống CRM o Khác ... việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM với phận làm việc người tham gia khảo sát 30 Hình 3.7 Thống kê mức độ quan trọng việc khai thác liệu hệ thống quản trị quan hệ khách hàng. .. tầm quan trọng việc khai thác liệu từ hệ thống quản trị khách hàng CRM 29 Hình 3.3 Thống kê mức độ quan trọng việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM Nguồn: Tác giả xử lý liệu. .. kê mục đích việc khai thác liệu hệ thống quản trị quan hệ khách hàng CRM Nguồn: Tác giả xử lý liệu Về mức độ quan trọng việc khai thác liệu từ hệ thống quản trị quan hệ khách hàng CRM giám đốc