Áp dụng kỹ thuật khai phá dữ liệu dự báo thuê bao rời mạng trong mạng di động (tóm tắt trích đoạn)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC TUÂN ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC TUÂN ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM Hà Nội - 2016 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS.Nguyễn Hà Nam, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, người thầy dành nhiều thời gian tận tình bảo, hướng dẫn, giúp đỡ suốt trình tìm hiểu, nghiên cứu Thầy người định hướng đưa nhiều góp ý quý báu trình thực luận văn Tôi xin chân thành cảm ơn thầy, cô khoa Công nghệ thông tin – Trường Đại học Công nghệ - ĐHQGHN cung cấp cho kiến thức tạo cho điều kiện thuận lợi suốt trình học tập trường Tôi bày tỏ lòng biết ơn sự giúp đỡ lãnh đạo quan, đồng nghiệp cung cấp liệu, tài liệu cho lời khuyên quý báu Tôi xin cảm ơn gia đình, người thân, bạn bè thành viên nhóm nghiên cứu động viên tạo điều kiện tốt cho Tôi xin chân thành cảm ơn! Hà Nội, tháng năm 2016 Họ tên Nguyễn Ngọc Tuân LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu riêng tôi, thực sự hướng dẫn PGS.TS Nguyễn Hà Nam Các kết nêu luận văn trung thực chưa công bố công trình khác Hà Nội, tháng năm 2016 Họ tên Nguyễn Ngọc Tuân MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ LỜI MỞ ĐẦU Chương Giới thiệu tổng quan mạng di động kiến thức sở liên quan 1.1 Giới thiệu mạng di động 1.2 Sơ lược tình hình nghiên cứu giới 1.3 Phát biểu toán 11 1.3.1 Chu trình thuê bao di động 11 1.3.2 Phát biểu toán 13 1.4 Kết luận chương 13 Chương 2.1 Khai phá liệu kỹ thuật phân tích dự báo 14 Khai phá liệu 14 2.1.1 Khái niệm KPDL 14 2.1.2 Những nhóm toán KPDL 15 2.1.3 Các bước xây dựng giải pháp KPDL 16 2.1.4 Ứng dụng KPDL viễn thông 17 2.2 Một số kỹ thuật KPDL phân lớp, dự báo 18 2.2.1 Cây định 18 2.2.2 Phân lớp Naïve Bayes 22 2.2.3 Mạng nơ ron nhân tạo 23 2.2.4 Luật kết hợp 24 2.2.5 Đánh giá độ xác thuật toán 27 2.3 Giới thiệu công cụ weka 28 2.4 Kết luận chương 28 Chương Giải pháp phát thuê bao di động có khả rời mạng 29 3.1 Giải pháp chung: 29 3.2 Giải pháp mạng MobiFone 29 3.3 Giải pháp đề xuất 30 3.3.1 Giải pháp đề xuất dùng kỹ thuật khai phá liệu 30 3.3.2 Giải pháp đề xuất sau cải tiến 30 3.4 Mô hình đề xuất áp dụng thực tế 31 Chương Thực nghiệm đánh giá kết 33 4.1 Chuẩn bị liệu 33 4.2 Mô tả liệu thực nghiệm 34 4.3 Kết thực nghiệm theo phương pháp 35 4.4 Kết thực nghiệm dựa khai phá liệu 37 4.4.1 Kết thực nghiệm dựa giải pháp khai phá liệu 37 4.4.2 Kết thực nghiệm dựa khai phá liệu cải tiến 41 4.5 So sánh đánh giá kết 47 4.6 Kết luận chương 49 KẾT LUẬN 50 Phụ lục THÔNG TIN BỘ DỮ LIỆU 52 PHỤ LỤC PHÂN TÍCH ĐĂC TRƯNG BỘ DỮ LIỆU THỰC NGHIỆM 55 Nhóm 55 Nhóm 55 Nhóm 56 Nhóm 57 Nhóm 58 Phụ lục Đặc trưng phân lớp giải pháp MobiFone áp dụng 59 Nhóm 59 Nhóm 2: 59 Nhóm 3: 59 Nhóm 4: 59 Nhóm 5: 60 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Chữ viết tắt Ý nghĩa KPDL Khai phá liệu CSDL Cơ sở liệu OLAP Online analytical processing MobiFone Tổng công ty Viễn thông MobiFone VLR Visitor Location Register Tổng đài ghi nhận đăng nhập mạng thuê bao di động 3K3D_VLR Chỉ tiêu xác định thuê bao tháng có > ngày nhập mạng VLR phát sinh doanh thu >3000 GSM Global System for Mobile Communications Mạng thông tin di động CDR Call Data Record CLV Giá trị vòng đời khách hàng (custommer lifecycle value) DANH MỤC CÁC BẢNG Bảng 2-1 Các độ đo xác 27 Bảng 4-1 Nhóm thuê bao theo đặc trưng 34 Bảng 4-2 Các nhóm liệu mẫu 35 Bảng 4-3 Tổng hợp kết phương pháp 37 Bảng 4-4 Bảng tổng hợp kết theo giải pháp khai phá liệu 41 Bảng 4-5 Tổng hợp độ xác giải pháp đề xuất 47 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Biểu đồ 4-1 So sánh độ đo Accuracy ba giải pháp 48 Biểu đồ 4-2 So sánh thời gian xây dựng mô hình giải pháp đề xuất đề xuất cải tiến 48 Biểu đồ 4-3 So sánh thời gian dự báo 49 Hình 1-1 Thị phần thuê bao di động tính đến 2013 [2] Hình 1-2 Vòng đời thuê bao 12 Hình 2-1 Các bước xây dựng hệ thống KPDL [1] 14 Hình 2-2 Biểu diễn định 18 Hình 2-3 Cây định cho việc chơi Tennis 19 Hình 2-4 Mô hình mạng nơron nhiều lớp 23 Hình 2-5 Tiến trình học 24 Hình 3-1 Giải pháp chung cho toán dự báo thuê bao rời mạng 29 Hình 3-2 Giải pháp MobiFone áp dụng 30 Hình 3-3 Giải pháp đề xuất dùng kỹ thuật khai phá liệu 30 Hình 3-4 Giải pháp đề xuất cải tiến .30 Hình 3-5 Mô hình đề xuất áp dụng thực tế 31 Hình 4-1 Kết nhóm giải pháp đề xuất 38 Hình 4-2 Kết nhóm giải pháp đề xuất 39 Hình 4-3 Kết nhóm giải pháp đề xuất 39 Hình 4-4 Kết nhóm giải pháp đề xuất 40 Hình 4-5 Kết nhóm giải pháp đề xuất 40 Hình 4-6 Kết nhóm giải pháp đề xuất cải tiến thử nghiệm 42 Hình 4-7 Kết nhóm giải pháp đề xuất cải tiến sau tối ưu 43 Hình 4-8 Kết nhóm giải pháp đề xuất cải tiến 44 Hình 4-9 Kết nhóm giải pháp đề xuất cải tiến 45 Hình 4-10 Kết nhóm giải pháp đề xuất sau cải tiến 46 Hình 4-11 Kết nhóm giải pháp đề xuất cải tiến 47 LỜI MỞ ĐẦU Thuê bao rời mạng vấn đề “đau đầu” nhà mạng nước giới lẽ khách hàng (thuê bao) người mang lại doanh thu trì hoạt động nhà mạng Để trì phát triển hoạt động kinh doanh mình, nhà mạng phải tìm cách để phát triển thuê bao đồng thời phải tìm cách để trì hoạt động thuê bao hữu Theo nghiên cứu thực tế triển khai nhà mạng cho thấy, tổng chi phí để phát triển thuê bao cao nhiều so với việc trì thuê bao hữu Trong đó, doanh thu từ thuê bao hữu (đặc biệt thuê năm) cao nhiều so với doanh thu thuê bao (theo thống kê MobiFone thuê năm có doanh thu trung bình cao 48% so thuê bao mới) Chính lý trên, nhà mạng giới không ngừng tìm kiếm giải pháp nghiên cứu phát triển ứng dụng để xác định, dự đoán sớm thuê bao có khả rời mạng để có biện pháp kịp thời tác động nhằm trì thuê bao hoạt động Xuất phát từ yêu cầu đặt đơn vị mình, thực đề tài luận văn “ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG” Luận văn sâu vào việc áp dụng kỹ thuật khai phá liệu từ hành vi sử dụng thuê bao di động từ dự báo thuê bao có khả rời mạng Luận văn gồm có phần mở đầu, kết luận 04 chương, cụ thể sau: Chương 1: Giới thiệu tổng quan mạng di động vấn đề liên quan Chương trình bày tổng quan mạng di động, thuê bao rời mạng Phát biểu toán nghiên cứu liên quan Chương 2: Khai phá liệu kỹ thuật phân tích dự báo Nghiên cứu sở lý thuyết KPDL, vấn đề liên quan đến KPDL toán dự báo thuê bao rời mạng Tìm hiểu kỹ thuật khai phá liệu sử dụng toán phân lớp, dự báo (chuẩn bị liệu, lựa chọn thuộc tính, phân tích đặc trưng, định, …) áp dụng kỹ thuật KPDL ứng dụng WEKA Chương 3: Giải pháp phát thuê bao di động có khả rời mạng Các phương pháp để phát thuê bao di động có khả rời mạng bao gồm kỹ thuật dựa vào đặc trưng thuê bao, phương pháp ứng dụng kỹ thuật khai phá liệu Chương 4: Thực nghiệm đánh giá kết Nội dung chủ yếu áp dụng mô hình tìm hiểu vào việc dự báo thuê bao rời mạng Trước tiên áp dụng kỹ thuật toàn liệu chuẩn bị với mô hình phân tích đặc trưng, định đánh giá Tiếp theo sử dụng kỹ thuật lựa chọn thuộc tính để cải tiến tốc độ xử lý đánh giá độ xác mô hình dự báo Cuối tiến hành đánh giá kết dự báo mô hình đưa mô hình dự báo khuyến nghị để áp dụng vào toán thực tế Chương Giới thiệu tổng quan mạng di động kiến thức sở liên quan 1.1 Giới thiệu mạng di động Hai mươi năm qua ghi nhận thời gian dài phát triển sôi động, vượt bậc ngành công nghiệp viễn thông nói chung thông tin di động nói riêng Được thành lập từ năm 1993, sau 22 năm phát triển, Tổng Công ty Viễn thông MobiFone (tiền thân Công ty Thông tin di động), từ doanh nghiệp cỡ vừa nhỏ, phát triển trở thành doanh nghiệp lớn, hàng đầu Việt Nam, có doanh thu lên tới 40.000 tỷ, lợi nhuận 6.000 tỷ VNĐ hàng năm cung cấp dịch vụ viễn thông di động cho 20 triệu khách hàng sử dụng thường xuyên Thương hiệu MobiFone trở thành thương hiệu có uy tín hàng đầu Bước sang năm đầu thập kỷ mới, với sự bão hòa số lượng thuê bao toàn thị trường, thách thức dần trở nên thực tế hơn, đòi hỏi MobiFone phải có sự theo dõi sát với tình hình kinh doanh Trong giai đoạn bùng nổ thập niên đầu kỷ 21, việc phát triển thuê bao dễ dàng gần bổ sung thêm trạm có thêm thuê bao, đến năm đầu thập kỷ thứ hai, số lượng thuê bao toàn thị trường trở nên bão hòa, mạng lưới phủ sóng gần khắp quốc gia, khách hàng tiềm có hay nhiều thuê bao, việc phát triển thuê bao trở nên khó khăn hết Các nhà cung cấp dịch vụ viễn thông cạnh tranh với gay gắt, liệt, giành giật thuê bao, bao gồm thuê bao sử dụng dịch vụ mạng đối thủ Chính vậy, không việc phát triển thuê bao mà việc giữ thuê bao trở nên cấp bách Hình 1-1 Thị phần thuê bao di động tính đến 2013 [2] 1.2 Sơ lược tình hình nghiên cứu giới Xu hướng khách hàng ngừng sử dụng sản phẩm/dịch vụ công ty khoảng thời gian định định nghĩa khách hàng rời mạng Chandar, Laha, &Krishna [5] Các công ty muốn có thêm nhiều khách hàng tốt Mặc dù vậy, qua thời gian, tỷ lệ khách hàng / khách hàng rời mạng có xu hướng tiến tới Vì vậy, tác động rời mạng ngày trở nên mạnh mẽ cần quan tâm Việc rời mạng thường gắn liền với vòng đời ngành, ngành giai đoạn phát triển, việc bán hàng tăng trưởng bùng nổ, số khách hàng vượt xa số khách hàng rời mạng, giai đoạn bão hòa, công ty tập trung vào việc giảm tỉ lệ rời mạng Thời điểm khách hàng rời mạng cho biết khách hàng gắn bó với công ty bao lâu, giá trị vòng đời khách hàng (CLV) công ty CLV tính tổng doanh thu mà Công ty thu từ khách hàng suốt vòng đời khách hàng trừ tổng chi phí thu hút khách hàng, bán hàng, dịch vụ khách hàng (quy tiền) Các nghiên cứu trước đưa khái niệm khách hàng rời mạng từ nhiều quan điểm khác Theo Olafsson, Li, Wu[10], có loại rời mạng khác Loại thứ rời mạng chủ động (nghĩa khách hàng chủ động chọn dừng sử dụng dịch vụ) Loại thứ hai rời mạng bị động (nghĩa khách hàng không khách hàng tốt công ty lựa chọn dừng mối quan hệ này) Burez Van den Poel [9] chia rời mạng chủ động thành nhóm: Rời mạng vấn đề thương mại rời mạng vấn đề tài Rời mạng vấn đề thương mại trường hợp khách hàng không gia hạn hợp đồng có thời hạn cố định họ hợp đồng hết hạn Rời mạng vấn đề tài trường hợp khách hàng ngừng toán trình thực hợp đồng mà họ bị ràng buộc Ngày nay, khách hàng rời mạng trở thành vấn đề quan tâm công ty tất lĩnh vực công ty buộc phải hành động để xử lý vấn đề Xem xét tỷ lệ rời mạng ngành khác nhau, nhận thấy ngành viễn thông ngành có tỉ lệ rời mạng cao với tỉ lệ rời mạng trung bình hàng năm từ 20% đến 40% Khách hàng rời mạng lĩnh vực viễn thông hiểu khách hàng chuyển từ nhà cung cấp sang nhà cung cấp khác Có cách tiếp cận việc quản lý rời mạng Cách tiếp cận thứ tiếp cận mục tiêu dựa vào sản phẩm trội truyền thông rộng rãi để tăng lòng trung thành trì khách hàng Cách tiếp cận thứ hai tiếp cận có mục tiêu dựa vào việc xác định khách hàng có khả rời mạng, sau cung cấp cho họ giá trị khuyến khích trực tiếp (khuyến mại) tạo gói dịch vụ phù hợp cho khách hàng để giữ họ lại 10 Cách tiếp cận có mục tiêu gồm loại: bị động chủ động Với cách tiếp cận bị động, công ty chờ khách hàng liên hệ với công ty để hủy dịch vụ, công ty sau đưa cho khách hàng sách khuyến khích, ví dụ khuyến mại giảm giá, để giữ khách hàng lại Với cách tiếp cận chủ động, công ty cố gắng xác định khách hàng có khả rời mạng thời gian ngắn Sau đó, công ty thực chương trình sách đặc biệt để giữ cho khách hàng không rời mạng Cách tiếp cận chủ động có lợi ích chi phí khuyến khích thấp (bởi phần khuyến khích không cần thiết phải cao thời điểm khách hàng định rời mạng rồi) khách hàng không chuẩn bị sẵn để thương lượng có mức khuyến khích tốt với lý rời mạng Tuy nhiên, cách tiếp cận gây lãng phí việc dự đoán rời mạng không xác, sau công ty phải lãng phí lượng lớn chi phí để khuyến khích khách hàng thực tế lại với mạng Để giải vấn đề này, nhiều nỗ lực thực để có nhìn xác rời mạng Nhìn chung, nghiên cứu lĩnh vực tập trung mục đích sau: tìm nhân tố ảnh hưởng đến khách hàng rời mạng, xây dựng mô hình cho việc dự đoán khách hàng rời mạng 1.3 Phát biểu toán 1.3.1 Chu trình thuê bao di động Rời mạng thường phân thành loại: rời mạng chủ động rời mạng bị động Rời mạng chủ động trường hợp khách hàng chọn để rời mạng, việc rời mạng lựa chọn khách hàng Ví dụ, khách hàng chuyển sang mạng đối thủ chuyển đổi sang hợp đồng thuê bao trả sau Rời mạng bị động trường hợp khách hàng bị nhà cung cấp ngừng cung cấp dịch vụ, thường lý gian lận nợ cước Rời mạng lý gian lận dường xảy Rời mạng nợ cước xảy với thuê bao trả sau Như đề cập trên, nghiên cứu này, tập trung vào vấn đề rời mạng thuê bao trả trước Vì vậy, rời mạng bị động xảy khách hàng không nạp lại tiền khoảng thời gian đủ dài theo quy định Một vấn đề quan trọng thuê bao trả trước thiếu định nghĩa đủ rõ ràng Khi xem xét rời mạng thuê bao trả sau, ngày thuê bao bị khóa chiều (ngày thuê bao ngừng kết nối với mạng) ngày rời mạng, ngày thuê bao thực sự ngừng sử dụng dịch vụ nhà cung cấp Tuy nhiên, trường hợp thuê bao trả trước, ngày khóa chiều không thực sự ngày rời mạng Điều có 11 TÀI LIỆU THAM KHẢO Tiếng Việt [1] [2] [3] Phan Xuân Hiếu (2013),Bài giảng môn học KPDL kho liệu, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Bộ Thông tin Truyền thông (2014),Sách Trắng Công nghệ thông tin Truyền thông (CNTT-TT) Việt Nam 2014, Nhà xuất Thông tin Truyền thông, Hà nội Hà Quang Thụy (2010),Bài giảng môn học Kho liệu KPDL, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Tiếng Anh [4] [5] [6] [7] [8] [9] [10] [11] Leo Breiman, Jerome Friedmen, and Charles J Stone (1984),Classification and Regression Trees, Wadsworth International Group M Chandar, Laha, A., & Krishna, P (2006),Modeling churn behavior of bank customers using predictive data mining techniques, National conference on soft computing techniques for engineering applications Jiawei Han and Micheline Kamber (2012),Data Mining Concepts and Techniques, Third Edition ed Elsevier Inc John Ross Quinlan (1993),C4.5: Programs for Machine Learning, Morgan Kaufmann Publishers John Ross Quinlan, Induction of decision trees, in Machine Learning 1986 p 81-106 J Burez, & Van den Poel, D (2009), Handling class imbalance in customer churn prediction, Expert System with Applications,36, 4626-4636 S Olafsson, Li, X., & Wu, S (2008), Operations research and data mining, European Journal of Operational Research,187, 2592-1448 Weka - Data Mining with Open Source Machine Learning Software in Java Available from: http://www.cs.waikato.ac.nz/ml/weka/ 51 ... Giải pháp phát thuê bao di động có khả rời mạng Các phương pháp để phát thuê bao di động có khả rời mạng bao gồm kỹ thuật dựa vào đặc trưng thuê bao, phương pháp ứng dụng kỹ thuật khai phá liệu. .. thuê bao hoạt động Xuất phát từ yêu cầu đặt đơn vị mình, thực đề tài luận văn ÁP DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU DỰ BÁO THUÊ BAO RỜI MẠNG TRONG MẠNG DI ĐỘNG” Luận văn sâu vào việc áp dụng kỹ. .. hàng rời mạng 1.3 Phát biểu toán 1.3.1 Chu trình thuê bao di động Rời mạng thường phân thành loại: rời mạng chủ động rời mạng bị động Rời mạng chủ động trường hợp khách hàng chọn để rời mạng,