Do bài tốn phân lớp dữ liệu thuê bao di động cần tìm ra lớp thuê bao rời mạng, bởi vậy khi xem xét các mơ hình cần ƣu tiên xem mức độ tin cậy của lớp CHURN, hiệu năng của các thuật tốn đối với lớp thuê bao rời mạng thể hiện nhƣ sau:
- Tổng hợp hiệu năng các phƣơng pháp phân lớp
TT Phƣơng pháp phân lớp Precision Recall F-score
1 Thuật tốn Cây quyết định 93.58 65.17 76.83
2 Thuật tốn NB 52.67 66.67 58.84
3 Thuật tốn SVM 14.28 100 24.99
Hình 3.10 – Hiệu năng các thuật tốn với lớp thuê bao rời mạng
Từ kết quả thực nghiệm, ta thấy mơ hình phân lớp xây dựng từ thuật tốn cây quyết định C4.5 cho kết quả phân lớp tốt nhất.
Về thời gian xây dựng mơ hình thuật tốn cây quyết định C4.5 cĩ thời gian xây dựng mơ hình là 0.1s, tiếp đĩ là thuật tốn NB cĩ thời gian xây dựng nhanh nhất 0.19s, thuật tốn SVM cĩ thời gian xây dựng mơ hình là 2,8s.
0 20 40 60 80 100 120
Precision Recall F-score
Thuật tốn Cây quyết định Thuật tốn NB
KẾT LUẬN
Trong giai đoạn thị trƣờng viễn thơng đã đi vào giai đoạn bão hịa nhƣ hiện nay, việc thuê bao rời mạng khơng những ảnh hƣởng đến doanh thu của nhà mạng mà cịn kéo theo hàng loạt hiệu ứng khác kèm theo. Bởi vậy dự đốn thuê bao rời mạng để đƣa ra một chiến lƣợc kinh doanh hợp lý nhằm ngăn khách hàng rời mạng là điều vơ cùng cần thiết đối với các nhà mạng.Trong luận văn này tơi đã nghiên cứu, tìm hiểu và phân tích dữ liệu thuê bao di động và đạt đƣợc kết quả sau đây.
Nội dung đã đạt đƣợc
Đƣa ra cái nhìn tổng quan về thuê bao rời mạng, khái niệm thuê bao rời mạng, các hình thức rời mạng của thuê bao.
Trình bày đƣợc lý thuyết khai phá dữ liệu, các ứng dụng khai phá dữ liệu di động, bài tốn phân lớp và dự báo.
Tìm hiểu các phƣơng pháp phân lớp dữ liệu.
Sau khi tìm hiểu và nghiên cứu lý thuyết phân lớp dữ liệu,thực nghiệm phân lớp dữ liệu di động sử dụng các thuật tốn cây quyết định C4.5, NB, SVM và đánh giá kết quả thực nghiệm.
Hƣớng tiếp cận trong tƣơng lai
Do thời gian cĩ hạn cùng với thuê bao trả trƣớc và thuê bao trả sau cĩ nhiều điểm khác biệt nhƣ hình thức thanh tốn, giá cƣớc sử dụng hay các thuê bao trả trƣớc cĩ thể rời mạng một thời gian dài trƣớc khi nhà mạng nhận ra... nên trong luận văn, bài tốn phân lớp dữ liệu thuê bao rời mạng mới thực hiện phân tích trên dữ liệu thuê bao trả sau mà chƣa thể áp dụng cho thuê bao trả trƣớc. Vì vậy xây dựng bài tốn phân lớp thuê bao rời mạng cho thuê bao trả
trƣớc là hƣớng nghiên cứu tiếp theo trong tƣơng lai và tơi tiếp tiếp tục nghiên cứu phát triển sản phẩn thành phần mền dự báo ứng dụng với nhiều loại dữ liệu khác nhau và để tích hợp trên các hệ thống khác.
TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt
[1]. Hà Quang Thụy, Phan Xuân Hiếu, Đồn Sơn, Nguyễn Trí Thành, Nguyễn Thu Trang, Nguyễn Cẩm Tú, Khai phá dữ liệu Web, NXB Giáo Dục, Hà Nội, 2009.
[2]. Nguyễn Đức Dũng, Lê Anh Cƣờng, Phân Xuân Hiếu, Lƣơng Chi Mai, Lê Hải Sơn, Học máy - Machine Learning, Viện Cơng nghệ thơng tin – Viện Hàn lâm Khoa học và Cơng nghệ Việt Nam, 2015.
[3]. PGS -TS. Ngơ Quốc Tạo, Bài giảng Khai phá dữ liệu - Đại học Cơng nghệ thơng tin và Truyền thơng - Đại Học Thái Nguyên.
Tài liệu tiếng Anh
[4]. Jiawei Han University of Illinois at Urbana-Champaign, Micheline Kamber, Jian Pei Simon Fraser University, Data Mining: Concepts and
Techniques - Third Edition, 2012.
[5]. K. H. Liao and H. E. Chueh, Applying fuzzy data mining to telecom
churn management - Intelligent Computing and Information Science, 2011.
[6]. Pushpa and G.Shobha, Social Network Analysis for Churn Prediction in
Telecom data, 2012.
[7]. J. O. Daramola, O. O Oladipupo, and G. A. Musa, A data mining process framework for churn management in mobile telecommunication industry.
[8]. E. Shaaban, Y. Helmy, A. Khedr, and M. Nasr, A proposed churn
prediction model - International Journal of Engineering Research and
Applications.
[9]. Georges D. Olle Olle and Shuqin Cai, A Hybrid Churn Prediction Model
[10]. Jiliang Tang, Salem Alelyani and Huan Liu, Feature Selection for
Classification: A Review, 2013.
[11]. Huong Xuan Nguyen, Customer Churn Prediction for the Icelandic
Mobile Telephony Market, 2011.
[12]. Clement Kirui, Li Hong, Wilson Cheruiyot and Hillary Kirui, Predicting Customer Churn in Mobile Telephony IndustryUsing Probabilistic Classifiers
in Data Mining, 2013.
[13]. Vladislav Lazarov, Marius Capota, Churn Prediction.
[14]. Ali Daud, Muhammad Akram Shaikh, and Faqir Muhammad, Pattern Mining in Telecom Data.
[15]. Sen Wu, Naidong Kang, Liu Yang, Fraudulent Behavior Forecast in Telecom IndustryBased on Data Mining Technology.
[16]. J. Burez, D. Van den Poel, Handling class imbalance in customer churn
PHỤ LỤC 1
Danh sách các thuộc tính thu thập đƣợc
TT Thuộc tính Mơ tả
1. AGE Thơng tin số tuổi của khách hàng
2. TYPE_ID Loại thuê bao
3. GENDER Giới tính
4. NUM_DATEACTIVE Số ngày hoạt động của thuê bao kê từ khi băt đầu
5. POSTCODE Bƣu cục thu của thuê bao
6. USE_SERVICE_MAX Số loại dịch vụ sử dụng lớn nhât trong 3 tháng quan sát
7. USE SERVICE MIN MONTH Tháng sử dụng dịch vụ nhỏ nhât trong 3 tháng quan sát
8. USE_SERVICE_MAX_MONTH Tháng sử dụng dịch vụ lớn nhât trong 3 tháng quan sát
9. USE_SERVICE_RATIO 1
Tỉ lệ sử dụng dịch vụ trong tháng quan sát đầu tiên so với tổng số lƣợng dịch vụ trong 3 tháng 10. USE_SERVICE_RATIO2 Tỉ lệ sử dụng dịch vụ trong tháng quan sát thứ 2 so với tổng số lƣợng dịch vụ trong 3 tháng 11. USE_SERVICE_RATIO3 Tỉ lệ sử dụng dịch vụ trong tháng quan sát thứ 3 so với tổng số lƣợng dịch vụ trong 3 tháng 12. VOI_INNET_RA1 Tỷ lệ số giây gọi nội mạng của
thuê bao trong tháng quan sát đầu tiên so với tổng số giây gọi ngoại mạng của 3 tháng quan sát
13. VOI INNET RATIO2
Tỷ lệ số giây gọi nội mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi trong tháng
14. VOI_OUTNET_RA3
Tỷ lệ số giây gọi ngoại mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi ngoại mạng của 3 tháng quan sát
15. VOI OUTNET RATIO 1
Tỷ lệ số giây gọi ngoại mạng trong tháng quan sát đầu tiên của thuê bao so với tổng số giây gọi trong tháng
16. VOI_ABROAD_RA2
Tỷ lệ số giây gọi nƣớc ngồi của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi nƣớc ngồi của 3 tháng quan sát
17. VOI_ABROAD_RATIO 1
Tỷ lệ số giây gọi ngƣớc ngồi của thuê bao trong tháng quan sát đầu tiên so với tổng số giây gọi trong tháng
18. VOI_INNET_FREQ_RA 1
Tỷ lệ số cuộc gọi nội mạng của thuê bao trong tháng quan sát đầu tiên so với tổng số cuộc gọi
ngoại mạng của 3 tháng quan sát
19. VOI_INNET_FREQ_RATIO1
Tỷ lệ số cuộc gọi nội mạng của thuê bao so với tổng số cuộc gọi trong tháng quan sát đầu tiên
20. VOI_OUTNET_FREQ_RA1
Tỷ lệ số cuộc gọi ngoại mạng của thuê bao so với tổng số cuộc gọi ngoại mạng của 3 tháng quan sát
21. VOI_OUTNET_FREQ_RATIO1
Tỷ lệ số cuộc gọi ngoại mạng của thuê bao trong tháng quan sát đầu tiên so với tổng số cuộc gọi trong tháng
22. VOI_ABROAD_FREQ_RA1
Tỷ lệ số cuộc gọi nƣớc ngồi của thuê bao trong tháng quan sát đầu tiên so với tổng số cuộc gọi nƣớc ngồi của 3 tháng quan sát
23. VOI_ABROAD_FREQ_RATIO1
Tỷ lệ số cuộc gọi ngƣớc ngồi của thuê bao so với tổng số cuộc gọi trong tháng
24. SMS RA1
Tỷ lệ số tin nhắn của thuê bao tháng quan sát đầu tiên so với tổng số tin nhắn trong 3 tháng
25. VOI INNET RA2
Tỷ lệ số giây gọi nội mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi
ngoại mạng của 3 tháng quan sát
26.
VOI_INNET_RATIO2
Tỷ lệ số giây gọi nội mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi trong tháng
27.
VOI_OUTNET_RA2
Tỷ lệ số giây gọi ngoại mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi ngoại mạng của 3 tháng quan sát
28.
VOI_OUTNET_RATIO2
Tỷ lệ số giây gọi ngoại mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi trong tháng
29.
VOI_ABROAD_RA2
Tỷ lệ số giây gọi nƣớc ngồi của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi nƣớc ngồi của 3 tháng quan sát
30.
VOI_ABROAD_RATIO2
Tỷ lệ số giây gọi ngƣớc ngồi của thuê bao trong tháng quan sát thứ 2 so với tổng số giây gọi trong tháng
31.
VOI_INNET_FREQ_RA2
Tỷ lệ số cuộc gọi nội mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số cuộc gọi ngoại mạng của 3 tháng quan sát
thuê bao trong tháng quan sát thứ 2 so với tổng số cuộc gọi trong tháng
33.
VOI_OUTNET_FREQ_RA2
Tỷ lệ số cuộc gọi ngoại mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số cuộc gọi ngoại mạng của 3 tháng quan sát
34.
VOI_OUTNET_FREQ_RATIO2
Tỷ lệ số cuộc gọi ngoại mạng của thuê bao trong tháng quan sát thứ 2 so với tổng số cuộc gọi trong tháng
35.
VOI_ABROAD_FREQ_RA2
Tỷ lệ số cuộc gọi nƣớc ngồi của thuê bao trong tháng quan sát thứ 2 so với tổng số cuộc gọi nƣớc ngồi của 3 tháng quan sát
36.
VOI_ABROAD_FREQ_RATIO2
Tỷ lệ số cuộc gọi ngƣớc ngồi của thuê bao trong tháng quan sát thứ 2 so với tổng số cuộc gọi trong tháng
37.
SMS_RA2
Tỷ lệ số tin nhắn của thuê bao tháng quan sát thứ 2 so với tổng số tin nhắn trong 3 tháng
38.
VOI_INNET_RA3
Tỷ lệ số giây gọi nội mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi ngoại mạng của 3 tháng quan sát
39.
VOI_INNET_RATIO3
Tỷ lệ số giây gọi nội mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi trong tháng
40.
VOI_OUTNET_RA3
Tỷ lệ số giây gọi ngoại mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi ngoại mạng của 3 tháng quan sát
41.
VOI_OUTNET_RATIO3
Tỷ lệ số giây gọi ngoại mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi trong tháng
42.
VOI_ABROAD_RA3
Tỷ lệ số giây gọi nƣớc ngồi của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi nƣớc ngồi của 3 tháng quan sát
43.
VOI_ABROAD_RATIO3
Tỷ lệ số giây gọi ngƣớc ngồi của thuê bao trong tháng quan sát thứ 3 so với tổng số giây gọi trong tháng
44.
VOI_INNET_FREQ_RA3
Tỷ lệ số cuộc gọi nội mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số cuộc gọi ngoại mạng của 3 tháng quan sát 45.
VOI_INNET_FREQ_RATIO3
Tỷ lệ số cuộc gọi nội mạng của thuê bao trong tháng quan sát
thứ 3 so với tổng số cuộc gọi trong tháng
46.
VOI_OUTNET_FREQ_RA3
Tỷ lệ số cuộc gọi ngoại mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số cuộc gọi ngoại mạng của 3 tháng quan sát
47.
VOI_OUTNET_FREQ_RATIO3
Tỷ lệ số cuộc gọi ngoại mạng của thuê bao trong tháng quan sát thứ 3 so với tổng số cuộc gọi trong tháng
48.
VOI_ABROAD_FREQ_RA3
Tỷ lệ số cuộc gọi nƣớc ngồi của thuê bao trong tháng quan sát thứ 3 so với tổng số cuộc gọi nƣớc ngồi của 3 tháng quan sát
49.
VOI_ABROAD_FREQ_RATIO3
Tỷ lệ số cuộc gọi ngƣớc ngồi của thuê bao trong tháng quan sát thứ 3 so với tổng số cuộc gọi trong tháng quan sát thứ 3
50.
SMS_RA3
Tỷ lệ số tin nhắn của thuê bao trong tháng quan sát thứ 3 so với tổng số tin nhắn trong 3 tháng 51. VOI_INNET_MAXM Tháng cĩ số lƣợng giây gọi nội mạng lớn nhất
52. VOI_INNET_FREQ_MAXM Tháng cĩ số lƣợng cuộc gọi nội mạng lớn nhất 53.
ngoại mạng lớn nhất
54. VOI_OUTET_FREQ_MAXM Tháng cĩ số lƣợng cuộc gọi ngoại mạng lớn
55. VOI_ABROAD_MAXM Tháng cĩ số lƣợng giây gọi quốc tế lớn nhất
56. VOI_ABROAD_FREQ_MAXM Tháng cĩ số lƣợng cuộc gọi quốc tế lớn nhất
57. VOI_INNET_MINM Tháng cĩ số lƣợng giây gọi nội mạng nhỏ nhất
58. VOI_INNET_FREQ_MINM Tháng cĩ số lƣợng cuộc gọi nội mạng nhỏ nhất
59. VOI_OUTNET_MINM Tháng cĩ số lƣợng giây gọi ngoại mạng nhỏ nhất 60. VOI_OUTET_FREQ_MINM Tháng cĩ số lƣợng cuộc gọi ngoại mạng nhỏ nhất
61. VOI_ABROAD_MINM Tháng cĩ số lƣợng giây gọi quốc tế nhỏ nhất
62. VOI_ABROAD_FREQ_MINM Tháng cĩ số lƣợng cuộc gọi quốc tế nhỏ nhất
63. SMS_MAXM Tháng cĩ số lƣợng SMS lớn nhất
64. SMS_MINM Tháng cĩ số lƣợng SMS bé nhất
65. DATA_MAXM Tháng cĩ dung lƣợng data lớn nhất
66. DATA_MINM Tháng cĩ dung lƣợng data nhỏ nhất 67. VOI_MAXM Tháng cĩ số giây (tất cả các cuộc
gọi) tối đa
68. VOI_FREQ_MAXM Tháng cĩ số cuộc gọi lớn nhất 69. VOI_MINM Tháng cĩ số giây (tất cả các cuộc gọi) nhỏ nhất 70. VOI_FREQ_MINM Tháng cĩ số cuộc gọi nhỏ nhất
71.
TCHARGE_INNET_RATIO1
Tỷ lệ mức tiền trả các cuộc gọi nội mạng so với mức cƣớc phát sinh trong tháng quan sát đầu tiên
72.
TCHARGE_OUTNET_RATIO1
Tỷ lệ mức tiền trả các cuộc gọi ngoại mạng so với mức cƣớc phát sinh trong tháng quan sát đầu tiên
73.
TCHARGE_ABROAD_RATIO1
Tỷ lệ mức tiền trả các cuộc gọi quốc tế so với mức cƣớc phát sinh trong tháng quan sát đầu tiên
74.
TCHARGE_SMS_RATIO1
Tỷ lệ mức tiền trả SMS so với mức cƣớc phát sinh trong tháng quan sát đầu tiên
75.
TCHARGE_DATA_RATIO1
Tỷ lệ mức tiền trả Data so với mức cƣớc phát sinh trong tháng quan sát đầu tiên
76.
TCHARGE_INNET_RATIO2
Tỷ lệ mức tiền trả các cuộc gọi nội mạng so với mức cƣớc phát sinh trong tháng quan sát thứ 2
77.
TCHARGE_OUTNET_RATIO2
Tỷ lệ mức tiền trả các cuộc gọi ngoại mạng so với mức cƣớc phát sinh trong tháng quan sát thứ 2
78.
TCHARGE_ABROAD_RATIO2
Tỷ lệ mức tiền trả các cuộc gọi quốc tế so với mức cƣớc phát sinh trong tháng quan sát thứ 2
79. TCHARGE_SMS_RATIO2 Tỷ lệ mức tiền trả SMS so với mức cƣớc phát sinh trong tháng quan sát thứ 2 80. TCHARGE_DATA_RATIO2
Tỷ lệ mức tiền trả Data so với mức cƣớc phát sinh trong tháng quan sát thứ 2
81.
TCHARGE_INNET_RATIO3
Tỷ lệ mức tiền trả các cuộc gọi nội mạng so với mức cƣớc phát sinh trong tháng quan sát thứ 3
82.
TCHARGE_OUTNET_RATIO3
Tỷ lệ mức tiền trả các cuộc gọi ngoại mạng so với mức cƣớc phát sinh trong tháng quan sát thứ 3
83.
TCHARGE_ABROAD_RATIO3
Tỷ lệ mức tiền trả các cuộc gọi quốc tế so với mức cƣớc phát sinh trong tháng quan sát thứ 3
84.
TCHARGE_SMS_RATIO3
Tỷ lệ mức tiền trả SMS so với mức cƣớc phát sinh trong tháng quan sát thứ 3
85.
TCHARGE_DATA_RATIO3
Tỷ lệ mức tiền trả Data so với mức cƣớc phát sinh trong tháng quan sát thứ 3
86.
TCHARGE_INNET_MAXM
Tháng cĩ mức cƣớc phát sinh gọi nội mạng cao nhất
87.
TCHARGE_OUTNET_MAXM
Tháng cĩ mức cƣớc phát sinh gọi ngoại mạng cao nhất 88.
TCHARGE_ABROAD_MAXM
Tháng cĩ mức cƣớc phát sinh gọi quốc tế cao nhất
89. TCHARGE_SMS_MAXM Tháng cĩ mức cƣớc phát sinh SMS cao nhất
90. TCHARGE_DATA_MAXM Tháng cĩ mức cƣớc phát sinh Data cao nhất
91. TCHARGE_INNET_MINM Tháng cĩ mức cƣớc phát sinh gọi nội mạng thấp nhất 92. TCHARGE_OUTNET_MINM Tháng cĩ mức cƣớc phát sinh gọi ngoại mạng thấp nhất 93. TCHARGE_ABROAD_MINM Tháng cĩ mức cƣớc phát sinh gọi quốc tế thấp nhất 94. TCHARGE_SMS_MINM Tháng cĩ mức cƣớc phát sinh SMS thấp nhất
95. TCHARGE_DATA_MINM Tháng cĩ mức cƣớc phát sinh Data thấp nhất
96. TCHARGE_MAXM Tháng cĩ mức cƣớc phát sinh cao nhất 97. TCHARGE_MINM Tháng cĩ mức cƣớc phát sinh
thấp nhất
98. PROMO_MAXM Tháng cĩ tiền khuyến mại cao nhất
99. PROMO_MINM Tháng cĩ tiền cƣớc khuyến mại thấp nhất
100. BILL_MAXM Tháng cĩ hĩa đơn thanh tốn cao nhất
PHỤ LỤC 2
Danh sách các thuộc tính đƣợc lựa chọn
TT Thuộc tính Mơ tả
1.
VOI_OUTNET_RATIO1
Tỷ lệ số giây gọi ngoại mạng trong tháng quan sát đầu tiên của thuê bao so với tổng số giây gọi trong tháng
2.
NUM_DATEACTIVE
Số ngày hoạt động của thuê bao kể từ khi bắt đầu
3.
SMS_RA2
Tỷ lệ số tin nhắn của thuê bao tháng quan sát thứ 2 so với tổng