Xây dựng hệ thống hỗ trợ dự báo khách hàng rời mạng viễn thông luận văn thạc sĩ công nghệ thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG - XÂY DỰNG HỆ THỐNG HỖ TRỢ DỰ BÁO KHÁCH HÀNG RỜI MẠNG VIỄN THÔNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG - XÂY DỰNG HỆ THỐNG HỖ TRỢ DỰ BÁO KHÁCH HÀNG RỜI MẠNG VIỄN THÔNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Chuyên ngành: Công nghệ thông tin Mã số: 8480101 Đồng Nai, năm 2022 LỜI CẢM ƠN Trong thời gian thực luận văn, hướng dẫn tận tình giảng viên, thầy cô trường Đại học Lạc Hồng, tơi hồn thành luận văn thạc sĩ với thời gian dự kiến Có kết tơi xin chân thành gửi lời cám ơn đến - PGS.TS – Giảng viên khoa Công Nghệ Thông Tin, trường Đại Học tận tình hướng dẫn, giúp đỡ tơi suốt trình làm luận văn Sự giúp đỡ hướng dẫn nhiệt tình thầy giúp chúng tơi củng cố kiến thức hoàn thành tốt luận văn tốt nghiệp Tôi xin chân thành cám ơn thầy Quý thầy cô khoa Công Nghệ Thông Tin, trường Đại học Lạc Hồng nói riêng thầy trường Đại Học Lạc Hồng nói chung tận tình giảng dạy bảo, giúp trang bị kiến thức quý báu suốt thời gian học tập nghiên cứu Dù cố gắng liên tục nâng cao kiến thức, luận văn tránh thiếu sót hạn chế Do tơi mong nhận dẫn quý thầy cô bạn để tơi hồn thiện sai sót mà mắc phải LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày tháng Năm TÓM TẮT LUẬN VĂN Trong ngành Công nghệ thông tin, Mạng Nơron nhân tạo (Artificial Neural Networks gọi tắt Neural Networks) hệ thống mơ hình hóa cách đặc biệt cách tế bào thần kinh hoạt động não người Mạng Nơron nhân tạo ứng dụng nhiều ngành nghề, lĩnh vực khác y học, công nghiệp, viễn thông, thời tiết tài Việc sử dụng, bổ sung Mạng Nơron nhân tạo đóng vai trị quan trọng thời đại kỷ nguyên số nay, ứng dụng thương mại của Mạng Nơron nhân tạo thường tập trung vào việc giải vấn đề xử lý tín hiệu phức tạp nhận dạng mẫu Qua ta phân tích, dự đốn kiện trước, dự báo hành động xảy dựa liệu gốc đưa định tốt phục vụ đời sống người Trong năm gần đây, toán dự báo thuê bao rời mạng hấp dẫn ý nhiều nhà nghiên cứu, nhiều giải thuật đề xuất kết hợp nhằm cải tiến hiệu suất độc xác phải xử lý toán phức tạp Luận văn tập trung cải tiến thời gian thực thi đánh giá độ xác sử dụng kỹ thuật khai phá liệu hỗn hợp (Hybrid Data Mining Techniques) cách sử dụng mơ hình Cây định tăng cường hai lớp (Two-Class Boosted Decision Tree) Phương pháp mơ hình Cây định tăng cường hai lớp thể sau: Cây định thứ làm nhiệm vụ dự báo Cây định thứ hai làm nhiệm vụ sửa lỗi cho Cây định thứ Kết dự đốn dựa tồn nhóm đưa dự đốn có độ xác cao Giảng viên hướng dẫn Học viên MỤC LỤC CHƯƠNG I: GIỚI THIỆU TỔNG QUAN 1.1 Tổng quan sơ vấn đề cần nghiên cứu nước 1.2 Ý nghĩa đề tài 1.2.1 Ý nghĩa thực tiễn 1.2.2 Ý nghĩa khoa học 1.3 Mục tiêu đề tài 1.4 Đối tượng nghiên cứu 1.5 Nội dung nghiên cứu 1.6 Phương pháp nghiên cứu 1.7 Dự kiến kết 1.8 Bố cục luận văn CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Các khái niệm khai phá liệu, học máy, kỹ thuật xử lý liệu lớn phân tích dự báo 2.1.1 Khái niệm khai phá liệu học máy 2.1.2 Các khai niệm xử lý liệu lớn 2.1.2.1 Xử lý liệu phân tán 2.1.2.2 Xử lý liệu Hadoop 2.1.2.3 Xử lý liệu Workload 10 2.1.2.4 Xử lý liệu theo cụm (cluster) 10 2.1.4 Các tốn phân tích dự báo 14 2.1.4.1 Bài tốn phân tích dự báo 14 2.1.4.2 Các mô hình dự báo 15 2.1.4.3 Mất cân liệu (imbalanced dataset) 21 2.2 Khung thức dự báo thuê bao rời mạng 26 2.3 Tổng quan Azue Machine Learning phần mềm Weka [13] 28 2.3.1 Azure Machine Learning: 28 2.3.2 Giới thiệu chung Weka 28 2.4 Kết luận 28 CHƯƠNG 3: CƠNG TRÌNH LIÊN QUAN VÀ PHƯƠNG PHÁP TIẾP CẬN 29 3.1 Các cơng trình liên quan 29 3.1.1 Mạng Nơron hỗn hợp (Hybrid Neural Networks) 29 3.1.2 Mơ hình hồi quy Logic: 29 3.1.3 Mơ hình rừng ngẫu nhiên cân cải tiến (IBRF): 30 3.1.4 Kết luận: 30 3.2 Tổng quát giải thuật Cây định tăng cường lớp 30 3.3 Sơ đồ tổng quát hệ thống 30 3.4 Giải thích sơ đồ trình tự hệ thống 31 CHƯƠNG 4: THỰC NGHIỆM 32 4.1 Môi trường thực nghiệm 32 4.2 Bộ liệu thực nghiệm: 32 4.3 Các bước xây dựng thực nghiệm mơ hình dự báo thuê bao rời 33 4.3.1 Phương pháp 33 4.3.2 Phương pháp 40 4.4 Đánh giá kết mơ hình sau áp dụng hai phương pháp thực nghiệm 49 4.5 Kết luận chương 53 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 5.1 Kết đạt luận văn 54 5.2 Hướng phát triển 54 DANH MỤC HÌNH Hình 2.1 Các bước xây dựng hệ thống KPDL Hình 2.2 Mơ hình xử lý liệu theo cụm 11 2.1.3Các khái niệm phân tích liệu loại hình phân tích liệu 11 Hình 2.3 Giá trị đô phức tạp tăng từ phân tích mơ tả đến đề xuất 12 Hình 2.4 Hệ thống phân lớp tổng quát 15 Hình 2.5 Mơ hình định 16 Hình 2.6 Mơ hình định cho việc chơi Tennis 16 Hình 2.7 Bảng cross table mô tả kết thống kê chéo nhãn dự báo ground truth 23 Hình 2.8 Mơ hình xây dựng hệ thống th bao rời mạng [12] 27 Hình 3.1 Sơ đồ tổng qt mơ hình huấn luyện 31 Hình 4.1 Bảng tập liệu chưa chuẩn hóa 34 Hình 4.2 Vùng chứa Dataset (mau_train_1.csv) 34 Hình 4.3 Vùng Experiment thiết kế mơ hình 35 Hình 4.4 Tạo kết nối dataset chọn thuộc tính 35 Hình 4.5 Form chọn thuộc tính 36 Hình 4.6 Kết nối module thuộc tính EditMetadata 36 Hình 4.7 Form chọn thuộc tính dùng để gán nhãn 37 Hình 4.8 Form cấu hình thuộc tính gán nhãn 37 Hình 4.9 Form phân chia tập liệu dùng để huấn luyện test 38 Hình 4.10 Tạo kết nối giải thuật tập liệu với module huấn luyện 38 Hình 4.11 Form chọn thuộc tính gán nhãn cho module huấn luyện 39 Hình 4.12 Thực thiết lập module kết dự đốn 39 Hình 4.13 Các nút lệnh để lưu kết 39 Hình 4.14 Bảng liệu sau chuẩn hóa 41 Hình 4.15 Lựa chọn thuộc tính Weka 42 Hình 4.16 Chọn giải thuật Weka 43 Hình 4.17 Kết chọn thuộc tính quan trọng 44 Hình 4.18 Bảng số liệu sau chuẩn hóa trích lọc thuộc tính 45 Hình 4.19 Mơ hình thiết lập sau thực cài đặt 45 Hình 4.19 Kết dự đốn mơ hình 46 Hình 4.20 Cài đặt Web Service 46 Hình 4.21 Mơ hìnhWebService 47 Hình 4.22 Thực tạo WebService 47 Hình 4.23 Phát triển WebService 47 Hình 4.24 Form test kết dự báo 48 Hình 4.25 Bảng kết dự báo tập danh sách thuê bao 48 Hình 4.27 Form thống kê số liệu dự báo so với số liệu thực tế 52 DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ Viết Tắt STT Ý nghĩa CLV Customer Lifetime Value VNPT Vietnam Posts and Telecommunications Group AI Artificial Intelligence ĐHSXKD Điều Hành Sản Xuất Kinh Doanh BI Business Intelligence CSDL Cơ Sở Dữ Liệu SQL Structured Query Language AUC Area Under the Curve KPDL Khai Phá Dữ Liệu 10 ETL Extract, Tranformation, Loading 11 OLAP Online Analytical Processing 12 CRM Customer Relationship Management 13 ERP Enterprise Resource Planning 14 SMOTE Synthetic Minority Over-sampling 15 ADASYN Adaptive synthetic sampling 16 KNN K-Nearest Neighbors 17 SVM Support Vector Machine 18 CNTT Công Nghệ Thông Tin CHƯƠNG I: GIỚI THIỆU TỔNG QUAN 1.1 Tổng quan sơ vấn đề cần nghiên cứu ngồi nước Th bao rời mạng ln vấn đề “đau đầu” nhà mạng nước giới lẽ khách hàng (thuê bao) người mang lại doanh thu trì hoạt động nhà mạng Để trì phát triển hoạt động kinh doanh mình, nhà mạng phải tìm cách để phát triển thuê bao đồng thời phải tìm cách để trì hoạt động thuê bao hữu Tổng chi phí để phát triển thuê bao cao nhiều so với việc trì thuê bao hữu Để phát triển thuê bao khoản chi phí phải tốn: - Chi phí nhân cơng: 50.000/thuê bao; - Dây thuê bao: Đơn giá * chiều dài mét dây bình quân theo định mức = 900 * 150 = 135.000 VNĐ; - Modem: 900.000 VNĐ - Tổng chi phí cho thuê bao phát triển khoảng: 1.085.000 VNĐ Trong việc thực sách khuyến giảm giá cước khách hàng sử dụng lâu năm (VD: giảm giá cước kỳ hố đơn tháng sau liền kề…) nhằm mục đích giữ chân khách hàng hữu khỏi phải khoản hao hụt chi phí trên, tạo niềm tin khách hàng Bên cạnh đó, doanh thu từ thuê bao hữu (đặc biệt thuê năm) cao nhiều so với doanh thu thuê bao (theo thống kê số liệu VNPT Đồng Nai, thuê năm có doanh thu trung bình cao so thuê bao mới: doanh thu bình quân thuê bao trước ngày 31/12/2020 169.952 VNĐ, thuê bao phát triển năm 2021 123.485 VNĐ) Chính lý trên, nhà mạng giới khơng ngừng tìm kiếm giải pháp nghiên cứu phát triển ứng dụng để xác định, dự đốn sớm th bao có khả rời mạng để có biện pháp kịp thời tác động nhằm trì th bao hoạt động Ngày nay, thị trường viễn thơng tồn giới phải đối mặt với doanh thu nghiêm trọng cạnh tranh gay gắt khách hàng tiềm Để 44 Hình 4.17 Kết chọn thuộc tính quan trọng Sau thực chuẩn hóa trích lọc thuộc tính quan trọng, chúng tơi có bảng danh sách khách hàng có cấu trúc (mau_train_2.csv) dán nhãn (0:1) Hình 4.18 45 Hình 4.18 Bảng số liệu sau chuẩn hóa trích lọc thuộc tính Bước 4: Thực xây dựng lại mơ hình huấn luyện bước phương pháp 1, sau hoàn tất bước ta Hình 4.19: Hình 4.19 Mơ hình thiết lập sau thực cài đặt 46 Sau thực lưu trữ huấn luyện mơ hình cho kết dự đốn sau: Hình 4.19 Kết dự đốn mơ hình Hiện mơ hình cho accuracy 0.987 precision of 0.986 Tuy nhiên, khơng phải kết chắn Và AUC 0.998, có nghĩa dự đốn xác khoảng 99.8% theo thời gian Bước 5: Cài đặt Web service Đây bước thực xây dựng mơ hình Web service để thực tạo API với tham biến truyền vào xuất kết dự báo cho thuê bao, bước thực sau: - Tại toolbar phía cuối hình click chọn biểu tượng “Set Up Web Service” chọn “Predictive Web Service [Reccomment]” Hình 4.20 Hình 4.20 Cài đặt Web Service Sau đó, hệ thống thực xây dựng mơ hình Web Service hình bên gồm biến đầu vào đầu kết Hình 4.21: 47 Hình 4.21 Mơ hìnhWebService - Tại toolbar click chọn button “Run” để phần mềm thực tạo Webservice Hình 4.22 Hình 4.22 Thực tạo WebService - Tại toolbar click chọn button “Deploy WebService” để phát triển Webservice Hình 4.23 Hình 4.23 Phát triển WebService 48 Sau thực phát triển WebService phần mềm tạo API Form để thực nhập biến giá trị đầu vào xuất kết Hình 4.24 Hình 4.24 Form test kết dự báo Kết trả có hai giá trị cần quan tâm là: Scored Labels: - Thuê bao bị rời mạng; – Thuê bao sử dụng Scored Probabilities: 0.998668968677521 - Tỉ lệ xác suất thuê bao rời mạng Sau bảng liệu mô tả kết danh sách thuê bao dự báo Hình 4.25 Hình 4.25 Bảng kết dự báo tập danh sách thuê bao 49 4.4 Đánh giá kết mơ hình sau áp dụng hai phương pháp thực nghiệm Để đánh giá kết mơ hình có độ dự đốn tốt hay xấu phải dựa vào số sau: Do yếu tố rời mạng quan trọng dự báo, nên Positive khả rời mạng  Precision: để đo độ xác (tỷ lệ phần trăm) việc dự đoán tất dự đoán khách hàng rời mạng (bao gồm dự đoán – true positive dự đoán sai false positive) Precision = TP TP+FP + TP (True Positive): Số thuê bao rời mạng mơ hình dự đốn + FP (False Positive): Số th bao rời mạng mơ hình dự đoán sai  Recall: nhằm xác định tỷ lệ phần trăm việc dự đoán tất trường hợp thực tế khách hàng rời mạng (bao gồm dự đoán - true positive dự đoán sai - false negative) Recall = TP TP+FN + TP (True Positive): Số thuê bao rời mạng mơ hình dự đốn + FN (False Negative): Số th bao sử dụng mơ hình dự đốn sai  Accuracy: tỉ lệ phần trăm mơ hình dự đoán trong tất trường hợp khách hàng sử dụng rời mạng tập liệu kiểm thử Accuracy cao mơ hình dự đốn xác Accuracy= TP + TN TP + TN + FP + FN + TP (True Positive): Số th bao rời mạng mơ hình dự đốn + FP (False Positive): Số thuê bao rời mạng mơ hình dự đốn sai + FN (False Negative): Số th bao sử dụng mơ hình dự đốn sai + TN (False Negative): Số thuê bao sử dụng mơ hình dự đốn 50  AUC (Area Under The Curve): tỉ lệ phần trăm mơ hình dự đoán tất trường hợp khách hàng rời mạng khách hàng sử dụng Bảng đánh giá kết sau sử dụng hai phương pháp Bảng 4.4: Bảng 4.3 Bảng so sánh kết AUC phương pháp Phương pháp Accuracy Precision Recall AUC 0.982 0.974 0.961 0.995 0.987 0.986 0.980 0.998 0.005 0.012 0.019 0.003 Phương pháp 1: sử dụng tập liệu thô chưa thực cân liệu tập khách hàng gán nhãn (0:1) bị lệch lớn theo tỉ lệ (71.87% : 21.13%) chưa trích lọc thuộc tính quan trọng (13 thuộc tính) Phương pháp 2: tập liệu thực cân liệu tập khách hàng gán nhãn (0:1) theo tỉ lệ (60% : 40%) trích lọc thuộc tính quan trọng (8 thuộc tính) Tỉ lệ chênh lệch kết dự báo phương pháp 51 Qua bảng kết đánh giá sau sử dụng hai phương pháp thực mơ hình cho ta thấy việc tiền xử lý liệu quan trọng việc xây dựng mơ hình máy học Nó mang lại kết mơ hình dự đốn có độ xác cao Với kết khả quan mơ hình dự đốn theo phương pháp Mơ hình đề xuất triển khai áp dụng tập liệu thuê bao sử dụng tháng VNPT Đồng Nai tháng 1/2021 Sau tháng thống kê theo dõi so sánh với liệu thực tế, kết mơ hình cho thấy độ xác khả quan, cụ thể Bảng 4.4: Bảng 4.4 Bảng đánh giá kết so với số liệu thực tế theo tháng Mơ hình Thanh lý Dự đoán dự đoán thực tế 1/2021 1034 1252 994 96.13% 2/2021 981 991 757 77.17% 3/2021 1392 1014 751 53.95% 4/2021 1520 1191 788 51.84% 5/2021 1550 1590 1213 78.26% 6/2021 1817 1513 1152 63.40% 7/2021 1587 1537 1165 73.41% 8/2021 1613 1413 1195 74.09% Tháng Tỉ lệ Tại đại lượng accuracy, precision, recall cao (>95%), tỷ lệ dự đoán so với thực tế Bảng 4.4 lại thấp nguyên nhân sau: - Với mục đích giảm thiểu thuê bao rời muốn giữ chân khách hàng nên có trường hợp bất quy tắc việc thực lý thuê bao thuê bao đủ điều kiện lý - Khi chuẩn hoá liệu với ý đồ dự báo khách hàng có khả rời mạng nhiều tốt để tránh dự báo thiếu sót Biểu đồ đánh giá: 52 BIỂU ĐỒ TỶ LỆ DỰ BÁO THUÊ BAO RỜI MẠNG 2000 1500 1000 500 Tháng 1/2021Tháng 2/2021Tháng 3/2021Tháng 4/2021Tháng 5/2021Tháng 6/2021Tháng 7/2021Tháng 8/2021 Tổng lý Tổng dự báo Hình 4.26 Biểu đồ so sánh kết dự báo với số liệu thực tế - Form thống kê theo dõi số liệu thực tế Hình 4.27 Form thống kê số liệu dự báo so với số liệu thực tế Đánh giá kết so với thực tế:  Tháng 1/2021: : có tỉ lệ dự báo xác cao trước chưa có triển khai mơ hình dự báo th bao rời mạng nên việc chăm sóc khách hàng gặp khó khăn khơng biết khách hàng có nguy rời mạng cao để thực chăm sóc giữ chân khách hàng  Tháng 2, 3, 4, 5, 6, 7, 8/2021: Do có chủ trương giảm thuê bao rời mạng dự báo sớm khách hàng có nguy rời mạng cao, nhờ 53 phận chăm sóc khách hàng có chiến lược tổ chức chăm sóc khách hàng tốt Nên tỉ lệ dự báo xác mơ hình thấp 4.5 Kết luận chương Thơng qua kết thực nghiệm, ta kết luận Việc áp dụng mơ hình Cây định tăng cường hai lớp cho kết tốt cho toán dự báo Với sở liệu lưu trữ thông tin khách hàng báo hỏng, gọi kiểm, lý, danh bạ khách hàng, danh sách thuê bao không phát sinh lưu lượng, danh sách tập khách hàng trả trước hết hạn; để từ xây dựng tập liệu thuộc tính nguyên nhân ảnh hưởng đến nguy rời mạng khách hàng làm tập liệu huấn luyện cho mơ hình dự báo rời mạng Đồng thời tập hợp chuẩn hóa liệu mẫu huấn luyện, đặc thù tập liệu liên tục, liệu lệch nhãn nhiều nhãn nên cần xử lý phương pháp chuẩn hóa chọn lựa đặc trưng để có tỉ lệ tập train, test tốt, tránh tình trạng học dư thừa (over fitting learning) mô hình định Kết cho thấy mơ hình dự báo với thuật toán Cây định tăng cường hai lớp với có độc xác cao (99.8%) 54 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương trình bày kết đạt luận văn, rút sau tiến hành thực nghiệm hướng phát triễn luận văn 5.1 Kết đạt luận văn Q trình tìm hiểu cơng trình nghiên cứu liên quan việc xây dựng toán dự báo thuê bao rời mạng (số lớp, số lượng tập huấn luyện, số lượng tập thử, độ xác…) đạt kết sau: Xây dựng Database lưu trữ thông tin khách hàng (Báo hỏng, Gọi kiểm, Thanh lý, Danh bạ khách hàng, Danh sách thuê bao không phát sinh lưu lượng, Danh sách tập khách hàng trả trước hết hạn…) Xây tập liệu thuộc tính nguyên nhân ảnh hưởng đến nguy rời mạng khách hàng làm tập liệu huấn luyện cho mơ hình dự báo rời mạng Tập hợp chuẩn hóa liệu mẫu huấn luyện, đặc thù tập liệu liên tục, liệu lệch nhãn nhiều nhãn nên cần xử lý phương pháp chuẩn hóa chọn lựa đặc trưng để có tỉ lệ tập train, test tốt, tránh tình trạng khớp mơ hình Cây định Xây dựng mơ hình dự báo với thuật tốn Cây định tăng cường hai lớp với có độc xác cao (99.8%) 5.2 Hướng phát triển Hồn thiện cơng cụ triển khai thực tế hệ thống phân tích dự báo thuê bao rời mạng, sử dụng có hiệu việc chăm sóc giữ chân khách hàng nhằm giảm việc khách hàng rời mạng sụt giảm doanh thu VNPT Đồng Nai Tích hợp cơng cụ vào hệ thống ĐHSXKD VNPT Đồng Nai, xem cơng cụ hệ thống chăm sóc khách hàng chủ động (CEM) Ngồi ra, thường xun tối ưu mơ hình dự báo để cơng cụ dự báo hoạt động vớ tỷ lệ ngày xác TÀI LIỆU THAM KHẢO [1] M Chandar, A Laha, & P Krishna (2006), Modeling churn behavior of bank customers using predictive data mining techniques, National conference on soft computing techniques for engineering applications [2] J Burez, & D Van den Poel (2009), Handling class imbalance in customer churn prediction, Expert System with Applications, 36, 4626-4636 [3] S Olafsson, X Li, & S Wu (2008), Operations research and data mining, European Journal of Operational Research, 187, 2592-1448 [4] Model RFM phân khúc khách hàng, đăng nhập địa trang: https://phamdinhkhanh.github.io/2019/11/08/RFMModel.html, Acceesed date: Aug, 19, 2021 [5] J Ross Quinlan (1993), “Programs for Machine Learning”, Morgan Kaufmann Publishers [6] Leo Breiman, Jerome Friedmen, and Charles J Stone (1984), Classification and Regression Trees, Wadsworth International Group [7] John Ross Quinlan, Induction od decision trees, in Machine Learning 1986 pp 81-106 [8] A Idris, A Khan, YS Lee, Genetic programming and adaboosting based churn prediction for telecom, (2012) [9] PK Dalvi, SK Khandge, A Deomore, Analysis of customer churn prediction in telecom industry using decision trees and logistic regression, (2016) [10] Thomas Erl, Wajid Khattak, and Paul Buhler, BigData Fundamentals, Concepts, Drivers & Techniques (2016) [11] Y Huang, F Zhu, M Yuan, K Deng, Y Li, B Ni, Telco churn prediction with big data, (2015) [12] C.L Blake and C.J.Merz, Churn Data Set, UCI Repository of Machine Learning Databases, http://www.ics.uci.edu/~mlearn/MLrepository.html.University of California, Department of Information and Computer Science, Irvine, CA, 1998 [13] Azure Machine Learning – Introduction, How to submit: https://www.kaggle.com/pankaj1234/azure-machine-learning-introduction, Acceesed date: Aug, 19, 2021 [15] S.Y Hung, D C Yen & H.Y.Wang (2006), “Applying Data Mining to Telecom Churn Management”, Expert Systems with Applications, 31(3), 515-524 [16] Tactics to Combat Imbalanced Classes in Your Machine Learning Dataset, https://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-yourmachine-learning-dataset/, Acceesed date: Aug, 19, 2021 [17] C F Tsai, Y H Lu, “Customer churn prediction by hybrid neural networks”, Expert Systems with Applications 36, (2009) 12547–12553 [18] N Lu, H Lin, J Lu, G Zhang, “A Customer Churn Prediction Model in Telecom Industry Using Boosting”, IEEE Transactions on Industrial Informatics, vol 10, no 2, May 2014 [19] Y Xie, X Li, E W T Ngai, W Ying, “Customer churn prediction using improved balanced random forests”, Expert Systems with Applications 36 (2009) 5445–5449 LÝ LỊCH TRÍCH NGANG Họ tên: Võ Đức Vinh Ngày sinh: 09/06/1977 Nơi sinh: Biên Hòa, Đồng Nai Địa liên lạc: 685/31/2 KP4, phường Bửu Long, Biên Hòa, Đồng Nai Số điện thoại: 0918.928.938 Email: vdvinh.dni@gmail.com QUÁ TRÌNH ĐÀO TẠO Thời gian Trường đào tạo Chuyên Nghành Trình độ đào tạo 2020 – 2021 Đại Học Lạc Hồng Công Nghệ Thông Tin Thạc Sĩ Q TRÌNH CƠNG TÁC Thời gian Đơn vị cơng tác 2000-2021 VNPT Đồng Nai Vị trí Chuyên viên xử lý số liệu ... TRƯỜNG ĐẠI HỌC LẠC HỒNG - XÂY DỰNG HỆ THỐNG HỖ TRỢ DỰ BÁO KHÁCH HÀNG RỜI MẠNG VIỄN THÔNG LUẬN VĂN THẠC SĨ CƠNG NGHỆ THƠNG TIN Chun ngành: Cơng nghệ thơng tin Mã số: 8480101 Đồng Nai, năm... đề dự báo xác việc thuê bao rời mạng, nghiên cứu tập trung vào việc sau: tìm nhân tố ảnh hưởng đến khách hàng rời mạng xây dựng mơ hình cho việc dự báo khách hàng rời mạng 1.3 Mục tiêu đề tài Xây. .. thuật mạng Nơron hỗn hợp để dự báo khách hàng tiềm khách hàng rời bỏ nhà mạng dựa vào tập liệu mẫu CRM cung cấp nhà mạng American Telecom Họ xây dựng hai mơ hình hỗn hợp cách kết hợp hai mạng