Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.Dự báo khách hàng sử dụng dịch vụ FiberVNN của VNPT Tây Ninh có nguy cơ rời mạng.
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - DƯƠNG MINH LÝ DỰ BÁO KHÁCH HÀNG SỬ DỤNG DỊCH VỤ FIBERVNN CỦA VNPT TÂY NINH CÓ NGUY CƠ RỜI MẠNG ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) THÀNH PHỐ HỒ CHÍ MINH – NĂM 2023 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - DƯƠNG MINH LÝ DỰ BÁO KHÁCH HÀNG SỬ DỤNG DỊCH VỤ FIBERVNN CỦA VNPT TÂY NINH CÓ NGUY CƠ RỜI MẠNG CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ: 8.48.01.04 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS VŨ ĐỨC LUNG THÀNH PHỐ HỒ CHÍ MINH – NĂM 2023 i LỜI CAM ĐOAN Tôi xin cam đoan: Tôi xin cam đoan tất nội dung kết trình bày đề án thực tơi sau q trình nghiên cứu, phân tích đánh giá hướng dẫn trực tiếp Thầy PGS TS Vũ Đức Lung Tôi đảm bảo không chép hay biên soạn từ nguồn tài liệu khác mà không ghi rõ đề án Nếu có thơng tin thu thập từ nguồn khác, tơi trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo tơi xin chịu hồn tồn trách nhiệm Tp Hồ Chí Minh, ngày 18 tháng 08 năm 2023 Học viên thực đề án Dương Minh Lý ii LỜI CÁM ƠN Trong trình thực đề án này, nhận hỗ trợ giúp đỡ từ nhiều người Đầu tiên quan trọng nhất, tơi xin bày tỏ lịng biết ơn chân thành đến Thầy PGS TS Vũ Đức Lung – người đồng hành giúp đỡ trình nghiên cứu phát triển đề án Sự hướng dẫn góp ý thầy tảng để tơi hồn thiện tốn dự báo khách hàng sử dụng dịch vụ viễn thông có nguy rời mạng tương lai Tơi muốn cảm ơn đến Quý Thầy Cô Học viện Công Nghệ Bưu Chính Viễn Thơng sở TP.HCM, giúp đỡ việc phát triển kỹ liên quan đến công nghệ thông tin suốt trình học tập học viện Cũng xin gửi lời cám ơn đến Viễn Thông Tây Ninh tạo điều kiện để tham gia học tập hỗ trợ vấn đề liên quan để hoàn thành đề án Cuối xin gửi lời cám ơn đến Cha Mẹ, gia đình, người thân, bạn bè đồng nghiệp quan tâm, ủng hộ suốt trình học tập cao học Tp Hồ Chí Minh, ngày 18 tháng 08 năm 2023 Học viên thực đề án Dương Minh Lý iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH BẢNG vi DANH SÁCH HÌNH VẼ vii MỞ ĐẦU 1 Lý chọn đề tài Tổng quan vấn đề cần nghiên cứu 3 Mục đích nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Chương TỔNG QUAN VỀ ĐỀ TÀI 1.1 Giới thiệu 1.2 Các nghiên cứu nước 1.3 Các nghiên cứu nước 10 Chương CÁC LÝ THUYẾT LIÊN QUAN .17 2.1 Kỹ thuật khai phá liệu phương pháp học máy 17 2.1.1 Kỹ thuật khai phá liệu 17 2.1.2 Phương pháp học máy 18 2.2 Tổng quan Azure Machine Learning phần mềm Weka 20 2.2.1 Azure Machine Learning 20 2.2.2 Phần mềm Weka 21 2.3 Một số thuật toán dự báo Azure Machine Learning 21 Chương PHƯƠNG PHÁP DỰ BÁO KHÁCH HÀNG CÓ NGUY CƠ RỜI MẠNG 26 3.1 Tổng quát thuật tốn lựa chọn áp dụng vào mơ hình dự báo 26 3.2 Sơ đồ tổng quát hệ thống 27 Chương THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .35 4.1 Môi trường thực nghiệm 35 4.2 Bộ liệu thực nghiệm 35 iv 4.3 Các bước xây dựng thực nghiệm mơ hình dự báo 37 4.4 Đánh giá kết 45 KẾT LUẬN 54 5.1 Kết đạt 54 5.2 Khó khăn hướng phát triển 55 DANH MỤC TÀI LIỆU THAM KHẢO .56 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt SVM Support Vector Machine Thuật toán máy vectơ hỗ trợ KNN K-Nearest Neighbor Thuật toán K láng giềng gần RNN Recurrent Neural Network Thuật toán Mạng nơ-ron hồi quy DNN Deep Neural Networks Thuật toán Mạng nơ-ron nhân tạo FP False Positive Tỷ lệ sai dương FN False Negative Tỷ lệ sai âm TP True Positive Tỷ lệ dương TN True Negative Tỷ lệ âm AUC Area Under The Curve Mức độ phân loại mơ hình ACC Accurary Độ xác vi DANH SÁCH BẢNG Bảng 1.1: Chi phí phát triển khách hàng Bảng 1.2: Ý nghĩa số kỹ thuật áp dụng Bảng 1.3: Ý nghĩa thuộc tính áp dụng Bảng 1.4: Kết dự đoán Bảng 1.5: Kết dự báo phương pháp phân lớp 11 Bảng 1.6: Mô tả trường liệu 13 Bảng 1.7: Kết dự báo mơ hình 14 Bảng 3.1: Danh sách đối tượng khách hàng 30 Bảng 3.2: Danh sách trạng thái hoạt động khách hàng 32 Bảng 3.3: Khởi tạo liệu 32 Bảng 4.1: Kết dự báo thuật toán 42 Bảng 4.2: Bảng đánh giá kết dự báo tháng 12/2022, 01/2023 51 Bảng 4.3: Bảng đánh giá kết dự báo tháng 01/2023, 02/2023 51 Bảng 4.4: Bảng đánh giá kết dự báo tháng 02/2023, 03/2023 51 Bảng 4.5: Bảng đánh giá kết dự báo tháng 03/2023, 04/2023 51 Bảng 4.6: Bảng đánh giá kết dự báo tháng 04/2023, 05/2023 52 vii DANH SÁCH HÌNH VẼ Hình 1.1: Sơ đồ tổng qt bước xây dựng mơ hình huấn luyện Hình 1.2: Kết dự báo phương pháp phân lớp 11 Hình 1.3: Mơ hình dự báo khách hàng tiềm 13 Hình 1.4: Tiến trình thực mơ hình đề xuất 15 Hình 2.1: Các bước thực khai phá liệu 18 Hình 2.2: Các phương pháp học máy 19 Hình 3.1: Sơ đồ tổng qt bước xây dựng mơ hình huấn luyện 27 Hình 3.2: Xây dựng định 33 Hình 4.1: Mở tập liệu phần mềm WEKA 38 Hình 4.2: Biễu diễn giá trị thuộc tính tập liệu 38 Hình 4.3: Cấu hình biến để chuyển đổi liệu 39 Hình 4.4: Chuyển đổi kiểu liệu từ dạng số sang kiểu phân loại 40 Hình 4.5: Cấu hình biến để chuyển đổi liệu vùng giá trị 40 Hình 4.6: Chuyển đổi kiểu liệu từ dạng số liên tục sang vùng giá trị 41 Hình 4.7: Các module dùng xây dựng mơ hình Azure Machine Learning 44 Hình 4.8: Xây dựng mơ hình huấn luyện Azure Machine Learning 45 Hình 4.9: Kết mơ hình dự báo 45 Hình 4.10: Triển khai web services 46 Hình 4.11: Mơ hình dự báo xây dựng 46 Hình 4.12: Kiểm tra web services 47 Hình 4.13: Lựa chọn kiểu service để sinh code 47 Hình 4.14: Code tạo web services tích hợp vào ứng dụng khác 48 Hình 4.15: Triển khai Azure Machine Learning Web service Ondrive 48 Hình 4.16: Chọn Web service từ Azure Machine Learning 49 Hình 4.17: Nhập thơng số cung cấp từ Azure Machine Learning 49 Hình 4.18: Nhập liệu dự báo 50 Hình 4.19: Kết dự báo 50 MỞ ĐẦU Lý chọn đề tài Như biết, thị trường viễn thơng gần vào giai đoạn bão hịa, khách hàng ngày đòi hỏi cao chất lượng dịch vụ Hơn nữa, khách hàng có nhiều lựa chọn có quyền chuyển đổi nhà cung cấp dịch vụ khơng hài lịng Mở rộng thị phần khó khăn khái niệm khách hàng phát triển dần thay đổi thành khách hàng chuyển từ nhà cung cấp dịch vụ khác chuyển sang Đối mặt với thách thức này, nhà cung cấp dịch vụ viễn thông đặt nhiệm vụ giữ chân khách hàng chế độ ưu tiên cao chí ưu tiên hàng đầu chi phí phải trả để có khách hàng thường cao nhiều so với chi phí bỏ để giữ chân khách hàng sử dụng Vậy vấn đề mấu chốt tập trung quản lý tập khách hàng có nguy rời mạng Có cách tiếp cận với việc quản lý khách hàng có nguy rời mạng: - Tiếp cận khơng có mục tiêu: Tăng chất lượng dịch vụ, liên tục cung cấp sản phẩm trội truyền thơng rộng rãi để tăng hài lịng khách hàng sử dụng đồng thời thu hút khách hàng từ nhà cung cấp dịch vụ khác - Tiếp cận có mục tiêu: Xác định khách hàng có khả rời mạng, cung cấp cho họ chương trình khuyến riêng biệt, cải thiện chất lượng dịch vụ để tăng hài lòng giữ họ lại Cách tiếp cận có mục tiêu chia thành loại: bị động chủ động - Bị động: Đợi khách hàng khiếu nại, liên hệ hủy dịch vụ sau áp dụng chương trình khuyến để giữ họ lại - Chủ động: Các nhà cung cấp dịch vụ cố gắng xác định tập khách hàng có nguy rời mạng khoảng thời gian Sau tiếp cận khách hàng, tìm hiểu nguyên nhân đưa chương trình khuyến mãi, chăm sóc khách hàng đặc biệt để giữ khách hàng khơng rời mạng Phương pháp tiếp cận có ưu điểm nhược điểm sau: 43 o FN (False Negative): Số khách hàng sử dụng mơ hình dự đốn sai - F1 Score: Kết hợp Precision Recall 𝐹1 𝑠𝑐𝑜𝑟𝑒 = ∗ (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ∗ 𝑟𝑒𝑐𝑎𝑙𝑙) / (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙) - Accuracy: số sử dụng để đánh giá hiệu suất mơ hình Nó tính tỷ lệ số lượng liệu phân loại tổng số lượng liệu 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁 o TP (True Positive): Số khách hàng rời mạng mơ hình dự đoán o FP (False Positive): Số khách hàng rời mạng mơ hình dự đốn sai o TN (True Negative): Số khách hàng sử dụng mơ hình dự đốn o FN (False Negative): Số khách hàng sử dụng mơ hình dự đốn sai - AUC: số AUC sử dụng để đánh giá khả phân loại mơ hình tồn ngưỡng phân loại có Nó số tổng thể cho hiệu suất phân loại mơ hình Chúng ta thấy kết dự báo thuật tốn Two-Class Boosted Decision Tree tốt thuật tốn cịn lại nên khuôn khổ đề án lựa chọn thuật toán Two-Class Boosted Decision Tree để xây dựng mơ hình dự báo Xây dựng mơ hình huấn luyện Ta xây dựng mơ hình huấn luyện phần mềm Azure Machine Learning Azure Machine Learning định nghĩa đóng gói module để hỗ trợ việc xây dựng mơ hình huấn luyện: - Dataset: Để chứa tập liệu dùng trình huấn luyện - Select Columns in Dataset: Chức để chọn thuộc tính đưa vào huấn luyện Ở ta chọn tất thuộc tính chọn lọc mơ tả Chương 3, mục 3.2 - Edit Metadata: Chức cho phép người dùng điều chỉnh thơng tin tập liệu kiểu liệu, mô tả,… 44 - Split data: Dùng để phân chia tập liệu thành tập huấn luyện kiểm thử Tỷ lệ chia đề án 80% huấn luyện 20% kiểm thử - Train Model: bước quan trọng q trình xây dựng mơ hình dự báo Azure Machine Learning Bước bao gồm việc lựa chọn thuật toán phù hợp, thiết lập tham số cho thuật tốn sử dụng liệu tiền xử lý để huấn luyện mơ hình Ở ta chọn thuật tốn Two-Class Boosted Decision Tree để huấn luyện - Score Model: Thực dự báo tập liệu tiền xử lý với thông số định nghĩa bước - Evaluate Model: Đánh giá chất lượng mơ hình Tính cung cấp số đánh giá mơ độ xác (accuracy), độ phân loại xác (precision), độ phủ (recall), F1-score, AUC-ROC, AUC-PR, số khác tùy thuộc vào loại mơ hình mục tiêu dự báo Thực bước ta mơ hình huấn luyện sau: Hình 4.7: Các module dùng xây dựng mơ hình Azure Machine Learning 45 Hình 4.8: Xây dựng mơ hình huấn luyện Azure Machine Learning 4.4 Đánh giá kết Sau cấu hình thực huấn luyện mơ hình xây dựng mục 4.3, ta có kết dự báo sau: Hình 4.9: Kết mơ hình dự báo Với mơ hình xây dựng trên, bước sử dụng mơ hình cho việc dự báo tập khách hàng sử dụng Azure Machine Learning có chức triển khai web services mà qua ta tích hợp vào ứng dụng khác phục vụ cho việc dự báo 46 Từ mơ hình xây dựng, tao thêm module web services input web services output, sau triển khai web service Hình 4.10: Triển khai web services Azure Machine Learning triển khai web service theo mơ hình huấn luyện Sau triển khai, ta thực nhập liệu để kiểm tra web service vừa tạo (có thể nhập thơng tin khách hàng nhập danh sách theo file excel) Hình 4.11: Mơ hình dự báo xây dựng 47 Hình 4.12: Kiểm tra web services Sau nhập giá trị để kiểm tra, web service trả kết quả: Scored Labels: - 1-Thuê bao có nguy rời mạng - 0-Thuê bao sử dụng Scored Probabilities: xác suất th bao rời mạng Triển khai mơ hình để dự báo liệu thực tế Sau xây dựng mơ hình kiểm thử tập liệu đầu vào với kết tốt, bước triển khai mơ hình để áp dụng dự báo với liệu thực tế Azure Machine Learning hỗ trợ cách để triển khai mơ hình web service • Tạo code sử dụng web services để tích hợp vào ứng dụng khác, ngôn ngữ hỗ trợ gồm C#, Python, R Hình 4.13: Lựa chọn kiểu service để sinh code 48 Hình 4.14: Code tạo web services tích hợp vào ứng dụng khác • Sử dụng Excel Workbook hệ thống Onedrive để thực dự báo Hình 4.15: Triển khai Azure Machine Learning Web service Ondrive 49 Hình 4.16: Chọn Web service từ Azure Machine Learning Hình 4.17: Nhập thông số cung cấp từ Azure Machine Learning 50 Hình 4.18: Nhập liệu dự báo Hình 4.19: Kết dự báo Triển khai áp dụng mơ hình dự báo khách hàng có nguy rời mạng Với kết khả quan mơ hình dự báo xây dựng kiểm thử VNPT Tây Ninh triển khai áp dụng tập liệu khách hàng sử dụng dịch vụ FiberVNN nhà cung cấp dịch vụ VNPT địa bàn Tây Ninh Nguyên tắc xác định tập liệu khách hàng đưa vào dự báo: danh sách khách hàng đưa vào mô hình dự báo có nguy rời mạng tháng n danh sách khách hàng sử dụng chốt thời điểm cuối tháng n-1 theo dõi đến tháng n+1 Ví dụ: để dự báo tháng 01,02/2023 có khách hàng có nguy rời mạng, tập liệu đưa vào dự báo chốt thời điểm 31/12/2022 thực thống kê thông báo kết ngày 01/01/2023 Sau tháng thống kê theo dõi so sánh liệu thực tế, kết mơ hình cụ thể Bảng 4.2, 4.3, 4.4, 4.5, 4.6 51 Bảng 4.2: Bảng đánh giá kết dự báo tháng 12/2022, 01/2023 Số lượng khách hàng Ngày chốt số liệu Tổng 30/11/2022 110,470 Mơ hình dự báo 663 12/2022 Tỷ lệ 01/2023 Rời mạng Dự báo Rời mạng Dự báo dự báo thực tế thực tế đúng 669 305 394 191 74.81% Bảng 4.3: Bảng đánh giá kết dự báo tháng 01/2023, 02/2023 Số lượng khách hàng Ngày chốt số liệu Tổng 31/12/2022 111,412 Mơ hình dự báo 748 01/2023 Tỷ lệ 02/2023 Rời mạng Dự báo Rời mạng Dự báo dự báo thực tế thực tế đúng 394 225 423 301 70.32% Bảng 4.4: Bảng đánh giá kết dự báo tháng 02/2023, 03/2023 Số lượng khách hàng Ngày chốt số liệu Tổng 31/01/2023 112,056 Mơ hình dự báo 698 02/2023 Tỷ lệ 03/2023 Rời mạng Dự báo Rời mạng Dự báo dự báo thực tế thực tế đúng 423 245 542 299 77.93% Bảng 4.5: Bảng đánh giá kết dự báo tháng 03/2023, 04/2023 Số lượng khách hàng Ngày chốt số liệu Tổng 28/02/2023 112,691 Mô hình dự báo 982 03/2023 Tỷ lệ 04/2023 Rời mạng Dự báo Rời mạng Dự báo dự báo thực tế thực tế đúng 542 403 694 308 72.40% 52 Bảng 4.6: Bảng đánh giá kết dự báo tháng 04/2023, 05/2023 Số lượng khách hàng Ngày chốt số liệu Tổng 31/03/2023 113,170 04/2023 Mơ hình dự báo Tỷ lệ 05/2023 Rời mạng Dự báo Rời mạng Dự báo dự báo thực tế thực tế đúng 1,126 694 497 488 293 70.15% Theo bảng theo dõi kết trên, ta thấy tỷ lệ dự báo thấp nhiều so với kết dự báo kiểm thử với tập liệu huấn luyện qua tiền xử lý xây dựng mơ hình (Mục 4.3 – Chương 4) Khi sâu vào trường hợp dự báo sai để phân tích, có số nguyên nhân sau: - Nguyên nhân khách quan: Dữ liệu khách hàng thu thập bị sai so với thực tế liệu thuộc tính khách hàng đưa vào dự báo bị thiếu giá trị Ví dụ cụ thể như: o Loại khách hàng, đối tượng khách hàng: thông tin thường nhập nhầm khách hàng doanh nghiệp khách hàng cá nhân, khách hàng thuộc sở ban ngành nhập nhầm thành khách hàng cá nhân thường ngược lại Việc ảnh hưởng nhiều đến kết dự báo loại khách hàng doanh nghiệp thường rời mạng dù thơng số đưa vào dự báo o Thơng tin giá cước: số gói cước hỗ trợ giáo viên, hoc sinh – sinh viên, hộ nghèo, hệ thống khai báo giá cước đồng lỗi liệu, việc gây nhầm lẫn trình dự báo mơ hình - Ngun nhân chủ quan: o Các khách hàng mơ hình dự báo rời mạng nằm danh sách khách hàng vận động lại mạng giao cho đơn vị thực vận động nhằm giữ chân khách hàng nên thời gian thực không thực lý khách hàng dù thông số dự báo o Khi thực tiền xử lý tập liệu để đưa vào mơ hình dự báo, với mục tiêu dự báo khách hàng có khả rời mạng nhiều tốt tránh thiếu 53 sót nên giá trị bị khuyết giá trị ngoại lại xử lý theo hướng rời mạng Hướng xử lý: nhận thấy việc dự báo bị ảnh hưởng nhiều từ liệu đầu vào nên việc xử lý tốt liệu đầu vào dẫn tới kết dự báo xác Với quy trình thu thập liệu tại, cần xây dựng liệu chuẩn theo thơng tin khách hàng, ví dụ định nghĩa khung giá cước cho đối tượng khách hàng cá nhân, doanh nghiệp, loại khách hàng chi tiết kèm theo đối tượng khách hàng, để có giá trị bất thường thông tin khách hàng cảnh báo điều chỉnh cho với thực tế Về hướng xử lý nguyên nhân chủ quan đề cập trên, cần định nghĩa danh sách khách hàng đặc biệt để loại trình dự báo để kết dự báo mơ hình xác 54 KẾT LUẬN Chương trình bày kết đạt đề án, rút sau trình tìm hiểu tiến hành thực nghiệm, đồng thời đưa số hướng phát triển đề án tương lai 5.1 Kết đạt Sau trình tìm hiểu, nghiên cứu phương pháp khai phá, tiền xử lý liệu phương pháp học máy, thuật tốn dự báo để xây dựng mơ hình dự báo khách hàng có nguy rời mạng đồng thời tham khảo cơng trình nghiên cứu có liên quan, đề án đạt số kết sau: - Thu thập xây dựng sở liệu tập khách hàng với thông tin như: đối tượng khách hàng, loại khách hàng, gói cước sử dụng, tình hình nợ cước, số dịch vụ sử dụng, … - Rút trích thuộc tính nguyên nhân ảnh hưởng đến nguy rời mạng khách hàng làm tập liệu huấn luyện cho mơ hình dự báo - Tiền xử lý liệu xây dựng mơ hình dự báo có độ xác cao, cụ thể xây dựng mơ hình dự báo với thuật tốn Two-Class Boosted Decision Tree có độ xác 99.6% - Ước tính hiệu kinh tế: Từ số liệu chi phí để phát triển khách hàng (1.450.000 VNĐ) chi phí để giữ chân khách hàng khách hàng sách giảm giá cước tháng (180.000 VNĐ/tháng) đề cập Chương 1, thấy với việc giữ khách hàng có nguy rời mạng tiếp tục sử dụng dịch vụ VNPT cách áp dụng sách giảm giá cước tháng, ta tiết kiệm 910.000 VNĐ chi phí Giả định, ta vận động 50% khách hàng có nguy rời mạng tiếp tục sử dụng dịch vụ, dựa vào số liệu dự báo số liệu rời mạng thực tế thống kê Chương Hiệu kinh tế ước tính mô tả bảng 5.1 Dùng số liệu dự báo thực tế 31/03/2023 để làm sở ước tính 55 Bảng 5.1: Ước tính hiệu kinh tế Thời điểm Mơ chốt số hình liệu dự dự báo báo 31/03/2023 5.2 1,126 Rời Dự mạng báo thực tế 1182 Vận động tiếp tục sử dụng thành cơng (50% dự báo đúng) 790 Chi phí tiết kiệm được/1 khách hàng 395 910.000 VNĐ Tổng chi phí tiết kiệm 359.450.000 VNĐ Khó khăn hướng phát triển Với số liệu thống kê trình bày mục 5.1, ta thấy mơ hình áp dụng triển khai thực tế mang lại số kết khả quan, nhiên có số khó khăn cần quan tâm, sau số khó khăn nhóm phát triển nhận thấy trình triển khai thực tế đề hướng phát triển để hạn chế khó khăn - Cập nhật liệu thời gian thực: Cần cập nhật liệu để mơ hình đưa dự đốn xác Điều địi hỏi quy trình thu thập, xử lý cập nhật liệu thời gian thực để đảm bảo mơ hình ln huấn luyện liệu - Bảo mật quyền riêng tư: Dữ liệu khách hàng nhạy cảm cần bảo vệ Trong trình triển khai, bạn cần đảm bảo mơ hình liệu khơng bị rị rỉ thơng tin cá nhân tn thủ quy định quyền riêng tư - Giám sát trì: mơ hình cần theo dõi trì để đảm bảo hoạt động xác hiệu Nếu dự đốn trở nên khơng xác, cần xem xét cải thiện mơ hình điều chỉnh quy trình cập nhật liệu - Thay đổi thị trường hành vi khách hàng: Thị trường hành vi khách hàng thay đổi theo thời gian, làm cho mơ hình dự báo khách hàng rời mạng trở nên khơng cịn hiệu Cần theo dõi thay đổi điều chỉnh mô hình dựa thơng tin - Chính sách định hướng kinh doanh đơn vị: Mơ hình triển khai phải phù hợp với định hướng kinh doanh đơn vị sách áp dụng mức độ cho phép định Điều đòi hỏi tương tác với phận khác đơn vị để đảm bảo tính khả thi thích hợp 56 DANH MỤC TÀI LIỆU THAM KHẢO [1] Nguyễn Thị Như Ngọc, (2014), Luận văn Thạc sĩ Phân tích liệu thuê bao di động hướng đến dự báo thuê bao rời mạng viễn thông, Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, [2] Nguyễn Như Thế, (2016), Luận văn Thạc sĩ Dự báo thuê bao rời mạng viễn thông, Trường Đại học Thái Nguyên [3] Lê Trương Trọng Duy, (2018), Luận văn Thạc sĩ Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy, Trường Đại học Bách khoa TP HCM [4] Đoàn Văn Tâm, (2019), Luận văn Thạc sĩ Xây dựng mơ hình dự đốn khách hàng tiềm cho gói cước mạng di động, Trường Đại học Công Nghệ – Đại học Quốc gia Hà Nội [5] Nguyễn Xuân Sang, (2021), Luận văn Thạc sĩ Cải tiến thuật toán SVM với SVM song song, ứng dụng vào phân lớp dự báo số khách hàng sử dụng di động, Học viện Công nghệ Bưu Viễn thơng HCM [6] Vũ Văn Hiệu, (2022), Bài báo Ứng dụng phân lớp liệu dự báo khách hàng rời bỏ dịch vụ Ngân hàng thương mại, Hội nghị FAIR 2022 [7] Ming Zhao, Qingjun Zeng, Ming Chang, Qian Tong and Jiafu Su, (2021), A Prediction Model of Customer Churn considering Customer Value: An Empirical Research of Telecom Industry in China, Chongqing Technology and Business University, Hindawi, Discrete Dynamics in Nature and Society, Volume 2021, Article ID 7160527, 12 pages [8] T Vafeiadisa, K I Diamantarasb, G Sarigiannidisa , K Ch Chatzisavvas, (2015), A comparison of machine learning techniques for customer churn prediction, Department of Information Technology, TEI of Thessaloniki, GR57400, Thessaloniki, Greece, International Journal of Pure and Applied Mathematics, Volume 119 No 10 2018, 1149-1169 [9] Nasebah Almufadi, Ali Mustafa Qamar, Rehan Ullah Khan, Mohamed Tahar Ben Othman, (2019), Deep Learning-based Churn Prediction of Telecom Subscribers, Department of Computer Science, College of Computer, Qassim 57 University, Al-Mulaida, 51431, Saudi Arabia, International Journal of Engineering Research and Technology ISSN 0974-3154, Volume 12, Number 12 (2019), pp 2743-2748 [10] Junxiang Lu, (2016), Predicting Customer Churn in the Telecommunications Industry –– An Application of Survival Analysis Modeling Using SAS, Sprint Communications Company, Overland Park, Kansas, American Journal of Theoretical and Applied Statistics, Volume 8, Issue 6, November 2016, Pages: 261275 [11] Pham Thi Thu Thuy, Doan Duy Tuyen, Kim Hwa Soo (2022), Application of the promotion model based customer lifetime value to prevent customers transfer network in VNPT Lam Dong, FAIR 2022 [12]Weka - Data Mining with Open Source Machine Learning Software in Java Available from: http://www.cs.waikato.ac.nz/ml/weka/ [13] Mund, Sumit (2015), Microsoft Azure Machine Learning Packt Publishing Ltd