Bằng cách phân tích dữ liệu lịch sử dụng dịch vụ của khách hàng, chúng tôi sẽ xây dựng một mô hình có khả năng dự đoán xác suất mà một khách hàng có thể rời bỏ dịch vụ.. Đề tài "Phân tíc
TỔNG QUAN
Giới thiệu đề tài
Trong bối cảnh cạnh tranh khốc liệt của thị trường dịch vụ internet, việc giữ chân khách hàng trở thành một yếu tố sống còn đối với các nhà cung cấp dịch vụ Đề tài "Phân tích dự đoán tỷ lệ rời bỏ của khách hàng trong dịch vụ internet" tập trung vào việc sử dụng các phương pháp phân tích dữ liệu và học máy để dự đoán khả năng khách hàng sẽ rời bỏ dịch vụ Bằng cách nghiên cứu các yếu tố như hành vi sử dụng, lịch sử giao dịch, và thông tin khách hàng, đề tài không chỉ giúp nhận diện các dấu hiệu tiềm ẩn của việc rời bỏ mà còn đề xuất các chiến lược giảm thiểu tỷ lệ này Đề tài áp dụng các mô hình học máy như Randomforest, Support Vector Machine, và mạng nơ-ron để phân tích và dự đoán tỷ lệ rời bỏ của khách hàng Các mô hình này sẽ được huấn luyện và đánh giá bằng cách sử dụng các tập dữ liệu lớn từ các nhà cung cấp dịch vụ internet, nhằm đảm bảo độ chính xác và hiệu quả trong việc dự đoán
Bằng cách này, đề tài không chỉ nhận diện các dấu hiệu tiềm ẩn của việc rời bỏ mà còn đề xuất các chiến lược giảm thiểu tỷ lệ này Mục tiêu là tối ưu hóa trải nghiệm khách hàng, gia tăng sự hài lòng và trung thành, từ đó nâng cao hiệu quả kinh doanh cho các nhà cung cấp dịch vụ internet
1.2 Tính cấp thiết của đề tài
Trong việc duy trì khách hàng trở thành yếu tố sống còn đối với các nhà cung cấp dịch vụ Do đó, việc áp dụng các phương pháp phân tích dữ liệu và học máy để dự đoán tỷ lệ khách hàng rời bỏ là rất cấp thiết
Thứ nhất, sẽ giảm tỷ lệ khách hàng rời bỏ, vì hệ thống dự đoán dựa trên học máy có thể phát hiện sớm các dấu hiệu tiềm ẩn của việc rời bỏ, cho phép nhà cung cấp dịch vụ thực hiện các biện pháp can thiệp kịp thời.
Thứ hai, sẽ tăng cường hiệu quả kinh doanh, với khả năng phân tích dữ liệu khách hàng chi tiết và chính xác, hệ thống có thể giúp nhà cung cấp dịch vụ tối ưu hóa các chiến lược giữ chân khách hàng, từ đó nâng cao hiệu quả kinh doanh và lợi nhuận
Cuối cùng, sẽ nâng cao sự hài lòng và trung thành của khách hàng, việc dự đoán chính xác và đưa ra các biện pháp phù hợp giúp cải thiện trải nghiệm của khách hàng, làm tăng sự hài lòng và trung thành, đồng thời củng cố mối quan hệ dài hạn giữa khách hàng và nhà cung cấp dịch vụ
Việc có một hệ thống phân tích và dự đoán tỷ lệ rời bỏ của khách hàng một cách chính xác và nhanh chóng sẽ giúp các nhà cung cấp dịch vụ internet cải thiện quá trình kinh doanh, giữ chân khách hàng hiệu quả hơn và duy trì vị thế cạnh tranh trên thị trường
1.3 Ý nghĩa khoa học và thực tiễn Ý nghĩa khoa học: Đóng góp vào lĩnh vực học máy và phân tích dữ liệu: Đề tài sử dụng các kỹ thuật tiên tiến trong học máy và phân tích dữ liệu để dự đoán tỷ lệ rời bỏ của khách hàng Việc áp dụng và cải tiến các mô hình dự đoán không chỉ giúp nâng cao độ chính xác của các dự báo mà còn mở rộng ứng dụng của học máy trong lĩnh vực quản lý khách hàng
Phát triển mô hình dự đoán chuyên biệt: Việc xây dựng một mô hình dự đoán tỷ lệ rời bỏ khách hàng trong dịch vụ internet sẽ tạo ra một công cụ chuyên biệt, góp phần vào việc phát triển các phương pháp và kỹ thuật phân tích dữ liệu phù hợp với đặc thù của ngành dịch vụ internet
Cung cấp cơ sở lý thuyết và thực nghiệm: Đề tài sẽ cung cấp một cơ sở lý thuyết và thực nghiệm cho các nghiên cứu tương lai về phân tích hành vi khách hàng và dự đoán tỷ lệ rời bỏ trong các lĩnh vực khác, giúp mở rộng phạm vi ứng dụng của các nghiên cứu học máy
Giảm tỷ lệ rời bỏ khách hàng: Hệ thống dự đoán tỷ lệ rời bỏ giúp nhà cung cấp dịch vụ internet nhận diện sớm các dấu hiệu khách hàng có thể rời bỏ, từ đó triển khai các biện pháp can thiệp kịp thời để giữ chân khách hàng
Tối ưu hóa chiến lược kinh doanh: Kết quả dự đoán và phân tích giúp nhà cung cấp dịch vụ hiểu rõ hơn về hành vi và nhu cầu của khách hàng, từ đó tối ưu hóa chiến lược kinh doanh và marketing, nâng cao hiệu quả và lợi nhuận
Nâng cao chất lượng dịch vụ: Bằng cách xác định các yếu tố ảnh hưởng đến sự rời bỏ của khách hàng, nhà cung cấp có thể cải thiện chất lượng dịch vụ, tăng cường trải nghiệm khách hàng, và xây dựng lòng trung thành lâu dài
Hỗ trợ ra quyết định: Các nhà quản lý và nhà cung cấp dịch vụ internet có thể sử dụng các kết quả và mô hình dự đoán để đưa ra các quyết định dựa trên dữ liệu, giảm thiểu rủi ro và nâng cao hiệu quả quản lý khách hàng
Tiết kiệm chi phí: Việc giữ chân khách hàng hiện tại thông qua các biện pháp dự phòng và can thiệp kịp thời thường ít tốn kém hơn so với việc thu hút khách hàng mới, giúp tiết kiệm chi phí cho nhà cung cấp dịch vụ
1.4 Phương pháp nghiên cứu Để đạt được mục tiêu của báo cáo, chúng tôi sẽ thực hiện các bước sau:
CƠ SỞ LÝ THUYẾT
Đề tài được viết bằng ngôn ngữ gì?
Đề tài sử dụng ngôn ngữ python để phân tích và huấn luyện mô hình Ngoài ra chúng tôi dùng html để xây dựng web để dự đoán
2.1 Ngôn ngữ Python là gì?
Python được sáng tạo bởi Guido van Rossum, một nhà nghiên cứu người Hà chính của Python là Python 2 và Python 3, với Python 3 được khuyến khích sử dụng sau khi hỗ trợ cho Python 2 chấm dứt vào tháng 1 năm 2020
Ngoài ra python còn có những lợi ích trong việc nghiên cứu:
Phiên bản đầu tiên (Python 0.9.0) ra mắt vào tháng 2 năm 1991 Tên "Python" xuất phát từ đam mê của Guido với một chương trình truyền hình hài nổi tiếng Python là một ngôn ngữ lập trình thông dịch (interpreted), có cú pháp đơn giản, dễ đọc, và có hệ sinh thái phong phú với hàng nghìn thư viện và framework hỗ trợ Hai phiên bản + Cú pháp đơn giản và dễ hiểu: Giúp lập trình viên dễ dàng viết và duy trì mã nguồn
+ Hệ sinh thái phong phú: Các thư viện như NumPy, Pandas, Scikit-learn, TensorFlow, và PyTorch cung cấp các công cụ mạnh mẽ cho xử lý dữ liệu và học máy
+ Cộng đồng mạnh mẽ: Hỗ trợ tốt, tài liệu phong phú và nhiều dự án mã nguồn mở, giúp lập trình viên giải quyết vấn đề nhanh chóng
+ Tính linh hoạt và hiệu suất cao: Python được sử dụng rộng rãi trong nhiều lĩnh vực từ phát triển web, khoa học dữ liệu, đến trí tuệ nhân tạo và machine learning, giúp nâng cao hiệu quả công việc.
Random Forest là một tập hợp mô hình (ensemble) Mô hình Random Forest rất hiệu quả cho các bài toán phân loại vì nó huy động cùng lúc hàng trăm mô hình nhỏ hơn bên trong với quy luật khác nhau để đưa ra quyết định cuối cùng Mỗi mô hình con cú thể mạnh yếu khỏc nhau, nhưng theo nguyờn tắc ô wisdom of the crowd ằ, ta sẽ cú cơ hội phân loại chính xác hơn so với khi sử dụng bất kì một mô hình đơn lẻ nào Như tên gọi của nó, Random Forest (RF) dựa trên cơ sở :
2 Forest = nhiều cây quyết định (decision tree). Đơn vị của RF là thuật toán cây quyết định, với số lượng hàng trăm Mỗi cây quyết định được tạo ra một cách ngẫu nhiên từ việc : Tái chọn mẫu (bootstrap, random sampling) và chỉ dùng một phần nhỏ tập biến ngẫu nhiên (random features) từ toàn bộ các biến trong dữ liệu Ở trạng thái sau cùng, mô hình RF thường hoạt động rất chính xác, nhưng đổi lại, ta không thể nào hiểu được cơ chế hoạt động bên trong mô hình vì cấu trúc quá phức tạp RF do đó là một trong số những mô hình hộp đen (black box).
Random Forest có khả năng xử lý dữ liệu phức tạp và không đồng nhất Các đặc trưng có thể là các biến hạng mục (categorical variables) như loại dịch vụ, hình thức thanh toán, hoặc các biến liên tục như phí hàng tháng
Các biến có thể được mã hóa hoặc chuẩn hóa trước khi được đưa vào mô hình
Random Forest cung cấp một phương pháp hiệu quả để đánh giá độ quan trọng của các đặc trưng trong việc dự đoán tỷ lệ rời bỏ
Bằng cách sử dụng thuộc tính quan trọng của các cây quyết định trong mô hình, ta có thể xác định những yếu tố nào ảnh hưởng lớn nhất đến quyết định của khách hàng
Sử dụng Random Forest, ta có thể phân loại khách hàng thành các nhóm dựa trên xác suất rời bỏ được dự đoán Các nhóm này có thể được sử dụng để thực hiện chiến lược giữ chân khách hàng, từ việc cung cấp ưu đãi đặc biệt cho nhóm có nguy cơ cao nhất đến việc tối ưu hóa dịch vụ cho nhóm có nguy cơ thấp
Dự đoán Tính khả dụng của Khách hàng:
Random Forest có thể dự đoán xem khách hàng có khả năng rời bỏ trong tương lai hay không Dự đoán này có thể được sử dụng để xác định các biện pháp cần thực hiện để giữ chân khách hàng trước khi họ rời bỏ dịch vụ
Random Forest cung cấp các phương pháp đánh giá hiệu suất như độ chính xác (accuracy), F1-score, và classification report để đánh giá khả năng dự đoán của mô hình Điều này giúp xác định mức độ tin cậy của dự đoán và điều chỉnh mô hình nếu cần thiết
2.3 Mô hình SVM (Support Vector Machine)
SVM là một thuật toán giám sát mạnh mẽ hoạt động tốt nhất trên các tập dữ liệu nhỏ nhưng phức tạp Máy Vector Hỗ trợ, viết tắt là SVM, có thể được sử dụng cho cả nhiệm vụ hồi quy và phân loại, nhưng thường thì chúng hoạt động tốt nhất trong các vấn đề phân loại Chúng đã rất nổi tiếng vào thời điểm chúng được tạo ra, vào những năm 1990, và tiếp tục là phương pháp ưu tiên cho một thuật toán hiệu suất cao với một chút điều chỉnh
Các loại thuật toán máy tính trong SVM:
● Linear SVM: Khi dữ liệu có thể phân tách tuyến tính hoàn hảo, chỉ khi đó chúng ta mới có thể sử dụng SVM tuyến tính Phân tách tuyến tính hoàn hảo có nghĩa là các điểm dữ liệu có thể được phân loại thành 2 lớp bằng cách sử dụng một đường thẳng duy nhất (nếu là 2D).
● Non-Linear SVM: Khi dữ liệu không thể phân tách tuyến tính, chúng ta có thể sử dụng SVM phi tuyến Điều này có nghĩa là khi các điểm dữ liệu không thể được phân loại thành 2 lớp bằng cách sử dụng một đường thẳng (nếu là 2D), chúng ta sử dụng một số kỹ thuật nâng cao như kernel trick để phân loại chúng.
16 Trong hầu hết các ứng dụng thực tế, chúng ta không tìm thấy các điểm dữ liệu có thể phân tách tuyến tính, do đó chúng ta sử dụng kernel trick để giải quyết vấn đề này
Hình 2.2 Minh họa về 2 thể loại trong SVM(3)
2.3.2 Mô hình SVM được hoạt động như thế nào
PHÂN TÍCH DỮ LIỆU
Mô tả dữ liệu
Nguồn gốc dữ liệu: Dữ liệu được chúng tôi thu thập trên mạng xã hội Kanggle Đây là tập dữ liệu người dùng sử dụng dịch vụ Internet của các tiểu bang nước ngoài khác nhau Các cột dữ liệu chứa thông tin cá nhân của khách hàng, ngoài ra còn có những thông tin như là các ưu đãi trong quá trình sử dụng thẻ đã được thu thập từ người dùng
Với số lượng Dữ liệu thu được là 7043 hàng (khách hàng) và 21 cột (Thuộc tính) Sau đó, từ tập dữ liệu, tác giả bắt đầu xử lý đúng cách và sau đó tiến hành dữ liệu giai đoạn chuẩn bị
Hình 3.1 Thu thập dữ liệu ở định dạng excel
Mã hóa dữ liệu
Mã hóa dữ liệu là một bước quan trọng trong quá trình tiền xử lý dữ liệu, đặc biệt khi làm việc với các biến phân loại Các biến phân loại cần được chuyển đổi thành dạng số để có thể sử dụng trong các mô hình học máy Trong bài này chúng tôi dùng
Hình 3.2 Thực hiện mã hóa trên python
Hình 3.3 Dữ liệu trước và sau khi được mã hóa
Phân tích
Biểu đồ 3.1 Biểu đồ cột biểu thị số lương khách hàng theo nhãn churn (Churn Label
Biểu đồ 3.2 Biểu đồ tròn phân phối nhãn rời bỏ
26,5% khách hàng đã ngừng sử dụng dịch vụ của chúng tôi, Nhiệm vụ của chúng tôi là biết loại khách hàng nào có nhiều khả năng ngừng sử dụng dịch vụ của chúng tôi và chúng tôi có thể thực hiện những hành động nào.
Biểu đồ 3.3 Biểu đồ cột số lượng khách hàng theo nhãn rời bỏ dựa vào giới tính
So sánh cột rời bỏ của Nam và Nữ biểu đồ cột cho thấy số lượng rời bỏ của cả Nam và Nữ không chênh lệnh nhiều.
Biểu đồ 3.4 Biểu đồ cột số lượng khách hàng rời bỏ theo nhãn hợp đồng
Người dùng rời bỏ chủ yếu chọn gói hợp đồng gia hạn theo tháng
Nên thuyết phục người dung gia hạn theo năm và thêm nhiều mức giảm giá để giữ chân khách hàng ở lại lâu hơn
Biểu đồ 3.5 Biểu đồ so sánh phân phối của tổng chi phí giữa những khách hàng
‘churn ‘và những khách hàng ’not churn’
Biểu đồ cho thấy tỉnh trọng tăng cao khi khánh hàng rời bỏ nhiều ở khoảng dưới
Biểu đồ 3.6 Biểu đồ so sánh phân phối của thời gian sử dụng dịch vụ giữa hai nhóm khách hàng ‘churn’ và ‘not churn.’
50% khách hàng rời bỏ dịch vụ trong 10 tháng đầu tiên.
Biểu đồ 3.7 Biểu đồ tròn biểu thị tỷ lệ churn (Tỷ lệ khách hàng rời bỏ dịch vụ) theo loại hợp đồng (Contract).
Biểu đồ 3.8 Biểu đồ thể hiện tỷ lệ rời bỏ cao nhất đối với các hợp đồng theo tháng.
Tỷ lệ rời bỏ cao nhất đối với các hợp đồng theo tháng là 43%, nghĩa là 43% khách hàng có loại hợp đồng theo tháng đã rời khỏi dịch vụ Tỷ lệ rời bỏ thấp hơn đối với hợp đồng một năm, ở mức 11% và thậm chí thấp hơn đối với hợp đồng hai năm, ở mức 3%.
Biểu đồ 3.9 Biểu đồ cột chồng biểu thị tỷ lệ phần trăm của các nhóm khách hàng theo phương pháp thanh toán (Payment Method), phân loại theo việc ‘Churn’ hay
Có vẻ như khách hàng sử dụng séc điện tử làm phương thức thanh toán với tỷ lệ rời bỏ 45% Phương thức thanh toán bằng thẻ tín dụng có tỷ lệ rời bỏ ít nhất khoảng 15%
Biểu đồ 3.10 Biểu đồ cột chồng biểu thị tỷ lệ phần trăm của các nhóm khách hàng dựa trên loại dịch vụ Internet (Internet Service), phân loại theo việc ‘Churn’ hay ‘Not
Khách hàng sử dụng Internet cáp quang có tỷ lệ rời mạng cao nhất khoảng 42% và tỷ lệ rời rạc thấp nhất đối với khách hàng không có dịch vụ internet khoảng 7%
Biểu đồ 3.11 Biểu đồ tròn biểu thị tỷ lệ phần trăm của các nhóm khách hàng dựa trên tùy chọn hỗ trợ kỹ thuật (Tech Support), phân loại theo việc ‘Churn’ hay ‘Not
88,7% khách hàng rời dịch vụ có loại hợp đồng theo tháng và chỉ 2,57% khách hàng rời dịch vụ có hợp đồng hai năm
Biểu đồ 3.12 Biểu đồ biểu thị phân phối của các khoản phí hàng tháng (Monthly
Charges) cho khách hàng ‘Not Churn
Biểu đồ 3.13 Biểu đồ biểu thị phân phối của các khoản phí hàng tháng (Monthly
Charges) cho khách hàng ‘Churn.’
Biểu đồ 3.14 Biểu đồ cột và tròn thể hiện lý do rời bỏ của khách hàng
Biểu đồ cho thấy lý do rời bỏ có thể được chia thành hai loại chính:
- Nội bộ: Lý do rời bỏ nội bộ là những lý do nằm trong tầm kiểm soát của công ty, chẳng hạn như chất lượng sản phẩm, chất lượng dịch vụ và giá cả
- Bên ngoài: Các lý do rời bỏ bên ngoài là những lý do nằm ngoài tầm kiểm soát của công ty, chẳng hạn như các dịch vụ của đối thủ cạnh tranh và độ tin cậy của mạng.
Những hành động nên thực hiện:
- Cần tập trung vào việc cải thiện chất lượng sản phẩm và dịch vụ cũng như giảm giá để giải quyết ba lý do hàng đầu khiến khách hàng rời bỏ.
- Điều quan trọng nữa là phải cải thiện dịch vụ hỗ trợ khách hàng vì đây là yếu tố chính thúc đẩy sự thay đổi.
Công ty nên theo dõi các dịch vụ của đối thủ cạnh tranh và độ tin cậy của mạng và thực hiện các điều chỉnh nếu cần
Biểu đồ mức độ quan trọng của các đặc trưng
Biểu đồ 3.15 Biểu đồ mức độ quan trọng của các đặc trưng
CHƯƠNG 4: KẾT QUẢ MÔ HÌNH VÀ ỨNG DỤNG TRÊN
4.1 Kết quả mô hình dự đoán
So sánh giữa 2 mô hình
Giao diện của hệ thống dự đoán input người dùng nhập vào thông tin theo kiểu dữ liệu chúng tôi đã mã hóa, giao diện này giúp tiết kiệm thời gian hơn
Hiển thị kết quả dự đoán sau khi người dùng nhập thông tin
Hình 4.3 Kết quả sau khi dự đoán
Sau khi có dữ liệu output là kết quả dự đoán dựa vào mô hình chúng tôi đã trend,
