Mô hình phân tích thực trạng và dự đoán xu hướng tỷ lệ khách hàng rời bỏ doanh nghiệp trong lĩnh vực bán lẻ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH TRẦN THỊ THANH ĐÀO MƠ HÌNH PHÂN TÍCH THỰC TRẠNG VÀ DỰ ĐỐN XU HƯỚNG TỶ LỆ KHÁCH HÀNG RỜI BỎ DOANH NGHIỆP TRONG LĨNH VỰC BÁN LẺ LUẬN VĂN THẠC SĨ KINH TẾ TP Hồ Chí Minh - Năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH TRẦN THỊ THANH ĐÀO MƠ HÌNH PHÂN TÍCH THỰC TRẠNG VÀ DỰ ĐOÁN XU HƯỚNG TỶ LỆ KHÁCH HÀNG RỜI BỎ DOANH NGHIỆP TRONG LĨNH VỰC BÁN LẺ Chuyên ngành: Hệ thống thông tin quản lý (Công nghệ thiết kế thông tin truyền thông) Hướng đào tạo: Ứng dụng Mã số: 8340405 LUẬN VĂN THẠC SĨ KINH TẾ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HỒ TRUNG THÀNH TP Hồ Chí Minh - Năm 2020 LỜI CAM ĐOAN Tơi xin cam đoan luận văn cơng trình nghiên cứu riêng cá nhân tôi, không chép tự nghiên cứu, đọc, dịch tài liệu, tổng hợp thực hướng dẫn TS Hồ Trung Thành Nội dung lý thuyết luận văn tơi có sử dụng số tài liệu tham khảo trình bày phần tài liệu tham khảo Các số liệu, chương trình phần mềm kết luận văn trung thực chưa cơng bố cơng trình khác Tp.Hồ Chí Minh, ngày 12 tháng năm 2020 Tác giả Trần Thị Thanh Đào MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH TĨM TẮT ABSTRACT CHƯƠNG TỔNG QUAN ĐỀ TÀI 1.1 Sự cần thiết vấn đề nghiên cứu 1.2 Mục tiêu nghiên cứu 1.3 Đối tượng phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Đóng góp nghiên cứu 1.6 Quy trình nghiên cứu .4 1.7 Cấu trúc luận văn .5 CHƯƠNG TỔNG QUAN CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Phân tích ý nghĩa hợp đồng (contract) khơng hợp đồng (non-contract) dự đoán xu hướng churn 2.2 Phân tích ý nghĩa gián đoạn (intermittent lost) vĩnh viễn (permanent lost) dự đoán xu hướng churn 2.3 Phân tích khách hàng rời (Customer churn) 2.4 Phân tích nhóm biến hành vi khách hàng thông qua thuyết RFM 2.5 Mơ hình phân lớp (Classification model) phân tích xu hướng churn 2.6 Xác định khoảng trống nghiên cứu 12 CHƯƠNG CƠ SỞ LÝ THUYẾT .14 3.1 Giới thiệu khai phá liệu 14 3.2 Ứng dụng khai phá liệu phân tích CRM 15 3.3 Mơ hình Hồi quy Logistic 17 3.4 Mơ hình Cây định 20 3.5 Mơ hình Random Forests .22 3.6 Các phương pháp kiểm định mơ hình dự đốn 24 CHƯƠNG ĐỀ XUẤT MƠ HÌNH VÀ THẢO LUẬN KẾT QUẢ THỰC NGHIỆM 27 4.1 Đề xuất mơ hình nghiên cứu tổng qt 27 4.1.1 Thu thập liệu .28 4.1.2 Tiền xử lý liệu 29 4.1.3 Gán nhãn liệu 30 4.1.4 Phân tích ma trận tương quan biến định lượng 31 4.1.5 Phân tích biến định tính 33 4.1.6 Đề xuất danh sách biến đầu vào mơ hình 34 4.2 Tối ưu hóa mơ hình 35 4.2.1 Lựa chọn thuộc tính 35 4.2.2 Tối ưu tham số mơ hình 37 4.3 Kiểm định so sánh mơ hình 39 4.3.1 Kiểm định mơ hình với tập liệu mẫu 39 4.3.2 Kiểm định mơ hình với tập liệu tổng quát 42 4.3.3 So sánh thảo luận kết ba mơ hình 44 4.4 Phân tích dự đoán xu hướng khách hàng churn 45 4.5 Kết luận chương .53 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 5.1 Kết luận 54 5.2 Các mặt hạn chế hướng phát triển 54 TÀI LIỆU THAM KHẢO PHỤ LỤC DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tên tiếng Anh Tên tiếng Việt CRM Customer Relationship Hệ quản trị quan hệ khách hàng Management CART Classification and Regression Cây hồi quy phân lớp Tree RF Random forest Thuật toán Rừng ngẫu nhiên DT Decision Tree Thuật toán Cây định LR Logistic Regression Thuật toán Hồi quy Logistic Churn Customer Churn Khách hàng rời bỏ doanh nghiệp IDIC Identify Differentiate Interact Mơ hình IDIC ứng dụng Customize CRM RFM Recency Frequency Monetary Mơ hình RFM R Recency Số ngày mua hàng gần F Frequency Tần suất mua hàng M Monetary Chi tiêu khách hàng PCC Percent correct classification Phương pháp kiểm định mơ hình AUC Area Under the Curve Phương pháp kiểm định mô hình Phương pháp kiểm định mơ hình Lift GLM General Linear Model Mơ hình tuyến tính tổng qt DANH MỤC CÁC BẢNG Bảng 2.1 Liệt kê biến đầu vào, thuật tốn, phương pháp kiểm tra hiệu mơ hình tác giả nghiên cứu Bảng 3.1 Ứng dụng Khai phá liệu CRM Bảng 3.2 Ma trận nhầm lẫn Bảng 3.3 Các mức đánh giá mơ hình Bảng 4.1 Danh sách biến đề xuất đưa vào xây dựng mơ hình Học máy Bảng 4.2 Ma trận nhầm lẫn (Confusion Matrix) mơ hình phân lớp Bảng 4.3 So sánh độ đo mơ hình thực nghiệm DANH MỤC CÁC HÌNH Hình 1.1 Mơ hình IDIC ứng dụng CRM Hình 1.2 Quy trình nghiên cứu Hình 3.1 Quá trình phát tri thức Hình 3.2 Đồ thị hàm Sigmoid Hình 3.3 Mơ hình Random Forests Hình 4.1 Đề xuất mơ hình nghiên cứu tổng quát Hình 4.2 Số lượng giao dịch năm Hình 4.3 Ma trận hệ số tương quan biến định lượng Hình 4.4 Mối tương quan biến total_sales transaction_count Hình 4.5 Mối tương quan ngược chiều biến rfm_score recency_days Hình 4.6 Thống kê mô tả biến nhân học thơng tin khách hàng Hình 4.7 Mơ hình Hồi quy Logistic: Mức độ quan trọng biến Hình 4.8 Mơ hình Cây định: Mức độ quan trọng biến Hình 4.9 Mơ hình Random Forests: Mức độ quan trọng biến Hình 4.10 Mơ hình Hồi quy Logistic: Tối ưu tham số mơ hình Hình 4.11 Mơ hình Cây định: Tối ưu tham số mơ hình Hình 4.12 Mơ hình Random Forests: Tối ưu tham số mơ hình Hình 4.13 Mơ hình Hồi quy Logistic: Các kiểm định mơ hình Hình 4.14 Mơ hình Cây định: Các kiểm định mơ hình Hình 4.15 Mơ hình Random Forests: Các kiểm định mơ hình Hình 4.16 So sánh độ tin cậy Accuracy mơ hình Hình 4.17 So sánh Precision mơ hình Hình 4.18 So sánh Recall mơ hình Hình 4.19 So sánh F1 mơ hình Hình 4.20 Dự đoán số lượng khách hàng rời năm 1999 Hình 4.21 Danh sách khách hàng dự đốn rời năm 1999 Hình 4.22 Dự đốn số lượng khách hàng churn qua tháng Hình 4.23 Doanh thu hàng tháng Hình 4.24 Tần suất mua hàng khách hàng Hình 4.25 Phân tích tỷ lệ khách hàng churn theo quốc gia Hình 4.26 Phân tích tỷ lệ khách hàng churn qua nhóm tuổi Hình 4.27 Phân tích tỷ lệ khách hàng churn theo nhóm thu nhập Hình 4.28 Phân tích tỷ lệ khách hàng churn theo q Hình 4.29 Dự đốn xu hướng khách hàng churn qua tháng năm 1998 Hình 4.30 Số lượng khách hàng churn cửa hàng Hình 4.31 Danh sách nhãn hàng có số lượng khách hàng churn cao năm 1998 TÓM TẮT Khách hàng rời bỏ doanh nghiệp (Customer Churn) xảy khách hàng không tiếp tục sử dụng sản phẩm hay dịch vụ doanh nghiệp Trong lĩnh vực bán lẻ, khách hàng xem Customer Churn khách hàng không thực giao dịch khoảng thời gian cụ thể tháng, quý năm tùy thuộc vào tính đặc thù loại hình kinh doanh Khi khách hàng rời bỏ doanh nghiệp ảnh hưởng trực tiếp tới doanh thu lợi nhuận doanh nghiệp Trong nghiên cứu Buckinx Van den Poel (2005), Coussement and Van den Poel (2008) chi phí để trì khách hàng thấp nhiều so với chi phí tìm khách hàng Do đó, việc hiểu khách hàng để giữ chân việc quan trọng mà doanh nghiệp quan tâm Trong luận văn này, chúng tơi đề xuất mơ hình phân tích thực trạng dự đoán xu hướng tỷ lệ khách hàng rời bỏ doanh nghiệp làm sở để xây dựng chiến lược kinh doanh hiệu cho việc trì giữ chân khách hàng nghiên cứu cho tình cụ thể tập liệu bán lẻ doanh nghiệp Thử nghiệm mơ hình với ba phương pháp học máy gồm Cây định (Decision Tree), Random Forests Hồi quy Logistic với tham số đầu vào ba phương pháp xây dựng mô hình RFM biến churn gắn liền với điểm liệu Giá trị biến churn tính dựa giao dịch khách hàng khoảng thời gian cụ thể Kết thực nghiệm chọn mơ hình tốt để phân tích dự đoán nguy khách hàng rời bỏ doanh nghiệp Từ khóa: khách hàng rời bỏ doanh nghiệp, mơ hình RFM, học máy, phân tích dự đốn khách hàng rời 50 Hình 4.26 Phân tích tỷ lệ khách hàng churn qua nhóm tuổi (Nguồn: Tác giả) Hình 4.27 Phân tích tỷ lệ khách hàng churn theo nhóm thu nhập (Nguồn: Tác giả) Lượng khách hàng trung thành với doanh nghiệp ít, hầu hết churn khoảng thời gian từ tháng 1/1998 đến tháng 8/1998, nguồn doanh thu mang lại cho doanh nghiệp tập trung vào quý 4, tháng cuối năm hầu hết khách hàng (Hình 4.28) 51 Những khách hàng khứ hầu hết không quay lại mua hàng tháng cuối năm nguồn doanh thu mang lại từ khách hàng thấp (Hình 4.29) Hình 4.28 Phân tích tỷ lệ khách hàng churn theo quý (Nguồn: Tác giả) Hình 4.29 Dự đoán xu hướng khách hàng churn qua tháng năm 1998 (Nguồn: Tác giả) 52 Hình 4.30 thể số lượng khách hàng churn tập trung nhiều cửa hàng số 24, 20, 19, 15, 14, Từ doanh nghiệp có sở để xem xét kiểm tra lại tiêu chí phục vụ khách hàng từ cửa hàng nêu Hình 4.30 Số lượng khách hàng churn cửa hàng (Nguồn: Tác giả) Với tiêu chí khách hàng churn tập trung cửa hàng nhiều Hình 4.30, doanh nghiệp cịn xem xét nhãn hàng nào, sản phẩm khách hàng mua cuối trước churn Để từ có giải pháp cải thiện sản phẩm Hình 4.31 cho thấy, năm 1998, nhãn hàng “Hermanos” có số lượng khách hàng churn cao 146, tiếp sau “Fort West” với số lượng 130 Trái lại, theo danh sách quan sát hình, nhãn hàng “Thresher” có số lượng churn thấp 10 khách hàng Với kết phân tích này, doanh nghiệp dễ dàng nhận diện sản phẩm với tỷ lệ khách hàng churn từ có sở tìm nguyên nhân dẫn đến tỷ lệ Từ có thơng tin tri thức đầy đủ để xây dựng chiến lược tiếp cận khách hàng tốt 53 Hình 4.31 Danh sách nhãn hàng có số lượng khách hàng churn cao năm 1998 (Nguồn: Tác giả) 4.5 Kết luận chương Tập liệu tổng hợp huấn luyện mơ hình học máy, sử dụng thuật toán gồm Hồi quy Logistic, Cây định, Random Forests Sau thực nghiệm mơ hình, kết mơ hình có độ tin cậy 90% Cả mơ hình có khả phân lớp phân tích xu hướng tốt Với mơ hình Random Forests tần suất độ xác cao hơn, tiêu chí kiểm định khác thể ưu vượt trội mơ hình cịn lại Vì nghiên cứu sử dụng mơ hình Random Forests cho việc phân tích xu hướng tỷ lệ khách hàng rời bỏ doanh nghiệp lĩnh vực bán lẻ Kết phân tích xu hướng tỷ lệ khách hàng churn giai đoạn thời gian phân khúc khách hàng cụ thể 54 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Kết nghiên cứu đạt mục tiêu đặt ban đầu với đóng góp: - Một là, khảo sát nghiên cứu liên quan đề xuất mơ hình phân tích thực trạng dự đoán xu hướng tỷ lệ khách hàng rời bỏ doanh nghiệp - Hai là, nghiên cứu sử dụng kỹ thuật phân lớp hiệu Hồi quy Logistic, Cây định, Random Forests để phân loại khách hàng churn hay không churn với biến đầu vào hành vi khách hàng thông tin nhân học khách hàng - Ba là, ứng dụng phương pháp GLM, CART RF để tối ưu hóa tham số mơ hình dựa biến định tính định lượng Bên cạnh đó, luận văn vận dụng phương pháp kiểm định kết phân lớp khách hàng churn - Bốn là, lựa chọn phương pháp phân lớp có kết tối ưu (đối với trường hợp liệu nghiên cứu luận văn) Random Forests để phân tích xu hướng khách hàng churn - Năm là, xây dựng báo cáo trực quan thể tỷ lệ khách hàng churn theo phân khúc khách hàng, theo cửa hàng sản phẩm Từ làm sở để cải thiện sản phẩm, cải thiện dịch vụ khách hàng, cá nhân hóa sản phẩm theo khách hàng, hướng tới mục tiêu trì giữ chân khách hàng 5.2 Các mặt hạn chế hướng phát triển Trong trình thực luận văn, nghiên cứu đạt mục tiêu đề ban đầu số hạn chế, cụ thể là: - Dữ liệu thu thập tập trung vào liệu thông tin bán hàng có doanh nghiệp, chưa đa dạng nguồn liệu để phân tích nhiều biến giải thích khác ảnh hưởng đến biến mục tiêu 55 - Quá trình gán nhãn liệu dựa vào hành vi mua hàng khách hàng chưa có tập liệu mẫu khách hàng thật rời khách hàng trung thành để phân tích quy luật nằm ẩn liệu - Các biến hành vi mua hàng khách hàng đưa vào xây dựng mô hình chủ yếu tần suất mua hàng (F), chi tiêu khách hàng (M), thời gian mua hàng gần (R), cịn nhiều nhóm hành vi khác khách hàng chưa đưa vào xây dựng mơ nhóm hành vi mua sản phẩm, nhóm hành vi mua nhãn hàng, nhóm hành vi mua dịng sản phẩm dẫn đến báo mơ hình tập trung vào biến RFM nhiều thực tế khách hàng xem churn phụ thuộc vào nhiều yếu tố khác Nghiên cứu tiếp tục mở rộng mơ hình với biến hành vi khác khách hàng mua dòng sản phẩm, thương hiệu nhãn hàng để tìm trải nghiệm khách hàng nhằm mục tiêu hỗ trợ xây dựng chiến dịch marketing hỗ trợ định kiểm soát làm giảm tỷ lệ khách hàng rời bỏ doanh nghiệp Bên cạnh đó, nghiên cứu thử nghiệm nhiều liệu khác lĩnh vực khác hướng đến phân tích liệu hành vi bình luận khách hàng để trả lời câu hỏi “Tại khách hàng rời bỏ doanh nghiệp?” TÀI LIỆU THAM KHẢO Danh mục tài liệu tiếng Việt Vũ Thị Thu Hương (2017) Ứng dụng phương pháp phân cụm mờ cho tốn phân tích thơng tin rủi ro quản lý thuế doanh nghiệp, luận văn thạc sĩ, Trường Đại học Công nghệ, Hà Nội Hiếu, N T (2018) Dạy học hàm số logistic Mĩ Tạp chí Khoa học, 15(1), 60 Danh mục tài liệu tiếng Anh Ahmed, H M S (2019) The Impact of Customer Churn Factors (CCF) on Customer's Loyalty: The Case of Telecommunication Service Providers in Egypt International Journal of Customer Relationship Marketing and Management (IJCRMM), 10(1), 48-70 Buckinx, W., & Van den Poel, D (2005) Customer base analysis: partial defection of behaviourally loyal clients in a non-contractual FMCG retail setting European journal of operational research, 164(1), 252-268 Buckinx, W., Verstraeten, G., & Van den Poel, D (2007) Predicting customer loyalty using the internal transactional database Expert systems with applications, 32(1), 125-134 Burez, J., & Van den Poel, D (2009) Handling class imbalance in customer churn prediction Expert Systems with Applications, 36(3), 4626-4636 Chen, M C., Chiu, A L., & Chang, H H (2005) Mining changes in customer behavior in retail marketing Expert Systems with Applications, 28(4), 773-781 Chen, Z Y., & Fan, Z P (2013) Dynamic customer lifetime value prediction using longitudinal data: An improved multiple kernel SVR approach Knowledge-Based Systems, 43, 123-134 Chen, Z Y., Fan, Z P., & Sun, M (2012) A hierarchical multiple kernel support vector machine for customer churn prediction using longitudinal behavioral data European Journal of operational research, 223(2), 461-472 Chorianopoulos, A (2016) Effective CRM using predictive analytics John Wiley & Sons Hartshorn, S (2016) Machine Learning With Random Forests And Decision Tree: A Visual Guide For Beginners Kindle Edition Kirasich, K., Smith, T., & Sadler, B (2018) Random Forest vs Logistic Regression: Binary Classification for Heterogeneous Datasets SMU Data Science Review, 1(3), Miguéis, V L., Camanho, A., & e Cunha, J F (2013) Customer attrition in retailing: an application of multivariate adaptive regression splines Expert Systems with Applications, 40(16), 6225-6232 Miguéis, V L., Van den Poel, D., Camanho, A S., & e Cunha, J F (2012) Modeling partial customer churn: On the value of first product-category purchase sequences Expert systems with applications, 39(12), 11250-11256 Safinejad, F., Noughabi, E A Z., & Far, B H (2018) A Fuzzy Dynamic Model for Customer Churn Prediction in Retail Banking Industry In Applications of Data Management and Analysis (pp 85-101) Springer, Cham Van den Poel, D., & Buckinx, W (2005) Predicting online-purchasing behaviour European journal of operational research, 166(2), 557-575 Xia, G., & He, Q (2018, March) The Research of Online Shopping Customer Churn Prediction Based on Integrated Learning In 2018 International Conference on Mechanical, Electronic, Control and Automation Engineering (MECAE 2018) Atlantis Press Xie, Y., Li, X., Ngai, E W T., & Ying, W (2009) Customer churn prediction using improved balanced random forests Expert Systems with Applications, 36(3), 5445-5449 PHỤ LỤC Phụ lục Mô tả liệu - Dữ liệu giao dịch khách hàng gồm 269.720 ghi với 11 thuộc tính - Dữ liệu thơng tin cá nhân khách hàng gồm 10.281 khách hàng với 28 thuộc tính - Dữ liệu thơng tin nhãn hàng, sản phẩm - Dữ liệu thông tin cửa hàng Phụ lục 2: Kết thực nghiệm Sau huấn luyện mơ hình kỹ thuật Hồi quy Logistic, Cây định, Random Forests, thực nghiệm sử dụng tập liệu kiểm tra để kiểm định độ xác (Accuracy) mơ hình ma trận nhầm lẫn (Confusion Matrix) để kiểm tra điểm liệu xác suất phân vào lớp nào: Kết thực nghiệm mơ hình Hồi quy Logistic  Kết kiểm tra mơ hình huấn luyện:  Kết kiểm tra mơ hình tổng qt (cross-validation) Kết thực nghiệm mơ hình Cây định  Kết kiểm tra mơ hình huấn luyện  Kết kiểm tra mơ hình huấn luyện tối ưu  Kết kiểm tra mơ hình tổng qt (cross-validation) Kết thực nghiệm mơ hình Random Forests  Kết kiểm tra mơ hình huấn luyện  Kết kiểm tra mơ hình huấn luyện tối ưu  Kết kiểm tra mơ hình tổng qt (cross-validation) ... tìm kiếm khách hàng tăng doanh thu lợi nhuận bền vững Chính lý nêu trên, đề tài “Mơ hình phân tích thực trạng dự đoán xu hướng tỷ lệ khách hàng rời bỏ doanh nghiệp lĩnh vực bán lẻ? ?? thực 1.2 Mục... suất mua hàng, (3) M chi tiêu khách hàng để đánh giá khách hàng có rời bỏ doanh nghiệp khoảng thời gian cụ thể - Đề xu? ??t phương pháp phân tích dự đoán xu hướng tỷ lệ khách hàng rời bỏ doanh nghiệp. .. trì khách hàng có Vì việc phân tích dự đốn tỷ lệ khách hàng rời bỏ doanh nghiệp điều cần thiết Dựa kết phân tích dự đốn, doanh nghiệp xây dựng chiến lược kinh doanh hiệu nhằm giữ chân khách hàng,