Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA  LÊ TRƯƠNG TRỌNG DUY DỰ BÁO THUÊ BAO RỜI BỎ NHÀ MẠNG DỰA VÀO HỌC MÁY CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ CHUYÊN NGÀNH: 60.48.01 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh Tháng 08 năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – HCM Cán hướng dẫn khoa học: PGS TS Dương Tuấn Anh Cán chấm nhận xét 1:PGS.TS Đỗ Phúc Cán chấm nhận xét 2: TS.Nguyễn Đức Cường Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 17 tháng 07 năm 2018 Thành phần hội đồng đánh giá luận văn thạc sĩ gồm: 1.GS.TS.Phan Thị Tươi 2.TS.Nguyễn Hồ Mẫn Rạng PGS.TS Đỗ Phúc TS.Nguyễn Đức Cường 5.TS.Phạm Văn Chung Xác nhận Chủ tịch Hội đồng đánh giá luận văn Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH & KHMT ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Lê Trương Trọng Duy MSHV:7140227 Ngày, tháng, năm sinh: 22/10/1989 Nơi sinh: TPHCM Ngành: Khoa Học Máy Tính Mã số : 60.48.01 I TÊN ĐỀ TÀI: Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy II VÀ NỘI DUNG: Nhiệm vụ :Đề xuất mơ hình để giải toán dự báo thuê bao rời bỏ nhà mạng dựa vào học máy Nội dung : 1/Nghiên cứu lý thuyết khai phá liệu,các kỹ thuật tốn khai phá liệu học máy,các mơ hình mạng Nơron,Cây định 2/Hiện thực mơ hình hỗn hợp mạng Noron + Cây định dựa vào việc kết hợp kỹ thuật : Lựa chọn thuộc tính,thu giảm tập huấn luyện phân lớp liệu 3/Thực nghiệm việc so sánh đánh giá kết mô hình mạng Nơron + định với mơ hình mạng Nơron + mạng Nơron III NGÀY GIAO NHIỆM VỤ : 26/02/2018 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 17/06/2018 V CÁN BỘ HƯỚNG DẪN : PGS.TS Dương Tuấn Anh Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) TRƯỞNG KHOA KH & KTMT (Họ tên chữ ký) LỜI CẢM ƠN Trong thời gian thực luận văn, hướng dẫn tận tình các giảng viên, thầy cô trường Đại học Bách Khoa Tp.HCM, tơi hồn thành luận văn thạc sĩ với thời gian dự kiến Có kết quả tơi xin chân thành gởi lời cám ơn đến - PGS TS Dương Tuấn Anh – Giảng viên khoa Khoa Học Máy Tính, trường Đại Học Bách Khoa Tp.HCM tận tình hướng dẫn, giúp đỡ tơi suốt q trình làm luận văn Sự giúp đỡ hướng dẫn nhiệt tình thầy giúp tơi củng cố kiến thức hồn thành tốt luận văn tốt nghiệp Tơi xin chân thành cám ơn thầy - Quý thầy cô khoa Khoa Học Máy Tính, trường Đại học Bách Khoa Tp.HCM nói riêng thầy Trường Đại Học Bách Khoa Tp.HCM nói chung tận tình giảng dạy bảo, giúp trang bị kiến thức quý báu suốt thời gian học tập nghiên cứu Dù cố gắng liên tục nâng cao kiến thức, luận văn tránh thiếu sót hạn chế Do tơi mong nhận dẫn quý thầy bạn để tơi hồn thiện sai sót mà mình mắc phải i TĨM TẮT LUẬN VĂN Trong ngành Công nghệ thông tin, Mạng Nơron nhân tạo (Artificial Neural Networks gọi tắt Neural Networks) hệ thống mơ hình hóa cách đặc biệt cách tế bào thần kinh hoạt động não người Mạng Nơron nhân tạo ứng dụng nhiều ngành nghề, lĩnh vực khác y học, công nghiệp, viễn thông, thời tiết tài chính Việc sử dụng,bổ sung Mạng Nơron nhân tạo đóng vai trị quan trọng thời đại kỷ nguyên số nay, ứng dụng thương mại của Mạng Nơron nhân tạo thường tập trung vào việc giải vấn đề xử lý tín hiệu phức tạp nhận dạng mẫu Qua ta phân tích, dự đoán các kiện trước, dự báo hành động xảy dựa liệu gốc đưa định tốt phục vụ đời sống người Trong năm gần đây, toán dự báo thuê bao rời bỏ nhà mạng hấp dẫn ý nhiều nhà nghiên cứu, nhiều giải thuật đề xuất kết hợp nhằm cải tiến hiệu suất độ xác phải xử lý tốn phức tạp Trong luận văn này, khảo sát hướng tiếp cận để cải tiến thời gian thực thi đánh giá độ xác sử dụng kỹ thuật khai phá liệu hỗn hợp (Hybrid Data Mining Techniques) cách kết hợp hai mơ hình Mạng Nơron nhân tạo (ANN)+ Cây định (Decision Tree) so sánh với mơ hình hỗn hợp Mạng Nơron nhân tạo(ANN1) + Mạng Nơron nhân tạo(ANN2) Phương pháp kết hợp hai mơ hình Mạng Nơron nhân tạo (ANN) + Cây định (Decision Tree) thực để cải thiện thời gian thực thi sử dụng mơ hình hỗn hợp Mạng Nơron nhân tạo (ANN1)+ Mạng Nơron nhân tạo(ANN2), mơ hình Mạng Nơron nhân tạo làm nhiệm vụ thu giảm tập huấn luyện, cịn mơ hình Cây định làm nhiệm vụ dự báo Các kết quả thực nghiệm chứng minh hiệu quả giải thuật kết hợp ANN+ Decision Tree cho kết quả với thời gian thực thi nhanh giải thuật kết hợp ANN+ANN.Trong đó, hai mơ hình cho kết quả độ xác tốt mô hình ANN đơn lẻ ii ABSTRACT In information technology, an Artificial Neural Network (ANN) is a system which models specially the operation of neurons in the human brain Neural networks have been applied in many different domains such as medicine, industries, telecom, weather and finance Applying Artificial Neural Networks plays an important role in this generation, Commercial applications of these technologies generally focus on solving complex signal processing or pattern recognition problems.Its method based on datasets can help us for analyzing, predict events and have better decision making In recent years, customer churn prediction has attracted the attention of many researchers, many algorithms have been proposed and combine to improve the performance and the accuracy when dealing with this complex problem In this thesis, we explore an approach to improving excution time and rating the accuracy of two model When using hybrid data mining techniques by combining two models of Artificial neural network (ANN) + Decision Tree and compare the result with the combination of two models of Artificial Neural Networks (ANN) + Artificial Neural Networks (ANN) A combination of two models: Artificial Neural Network (ANN) + Decision Tree was implemented to improve excuting time enhancement better than using the hybrid model of combining Artificial Neural Network model (ANN1) + Artificial Neural Network model (ANN2) , in which the ANN model performs the data reduction task, while Decision Tree model will be the task of prediction The experimental results show that the efficiency of the combine Decision Tree + ANN algorithm will have the result of excuting time better than the combined ANN + ANN algorithm.But both of two models perform the better accuracy than single ANN model iii LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết quả tham khảo từ cơng trình khác ghi rõ luận văn, các công việc trình bày luận văn chính tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày 16 tháng 06 năm 2018 Lê Trương Trọng Duy iv DANH MỤC HÌNH Hình II-1 Các bước xây dựng hệ thống khai phá liệu Hình II-2 Hệ thống phân lớp tổng quát .9 Hình II-3 Cấu trúc nơron nhân tạo 12 Hình II-4 Cấu trúc mạng perceptron nhiều lớp 13 Hình II-5 Minh họa giải thuật K- NN .21 Hình II-6 Biểu diễn định bản 22 Hình II-7 Cây định cho việc chơi Tennis 23 Hình II-8 Bốn bước bản q trình lựa chọn thuộc tính phù hợp .29 Hình II-9 Mơ hình Filter 30 Hình II-10 Mơ hình Wrapper 31 Hình II-11 Mơ hình xây dựng hệ thống th bao rời bỏ nhà mạng [13] 38 Hình IV-1 Sơ đồ tổng quát hệ thống Mạng Nơron + Cây định .45 Hình IV-2 Sơ đồ tổng quát hệ thống Mạng Nơron + Mạng Nơron 46 Hình V-1 Dữ liệu sau chuẩn hóa .52 Hình V-2 Lựa chọn thuộc tính WEKA 53 Hình V-3 Cấu hình phương pháp đánh giá thuộc tính WrapperSubsetEval WEKA 53 Hình V-4 Cấu hình Tree sử dụng thuật tốn J48(C4.5)trên WrapperSubsetEval .54 Hình V-5 Cấu hình Search Method với phương pháp GreedyStepwise 55 Hình V-6 Các thuộc tính trước lọc lựa chọn thuộc tính 55 Hình V-7 Các thuộc tính cịn lại lọc lựa chọn thuộc tính 56 Hình V-8 Các cơng thức để đánh giá mơ hình 58 Hình V-9 Xây dựng Cây định Python .59 Hình V-10 Confusion Matrix ANN1 thực nghiệm phương pháp ANN1 + ANN2 báo .62 Hình V-11 Kết quả thực nghiệm hàm lỗi trung bình sử dụng mơ hình Mạng Nơron + Cây định 64 v DANH MỤC BẢNG Bảng V-1 Hidden Unit thực nghiệm có kết quả tốt .57 Bảng V-2 Confusion Matrix Mạng Nơron 58 Bảng V-3 Kết quả thực thi thời gian thực thi Cây định ứng với liệu Mạng Nơron trên: .60 Bảng V-4 Thực nghiệm mơ hình Mạng Nơron + Mạng Nơron .63 Bảng V-5 Bảng so sánh tổng thể mơ hình Mạng Nơron+Cây định Mạng Nơron+Mạng Mạng Nơron 63 vi MỤC LỤC LỜI CẢM ƠN .i TÓM TẮT LUẬN VĂN ii ABSTRACT iii LỜI CAM ĐOAN iv DANH MỤC HÌNH v DANH MỤC BẢNG vi MỤC LỤC vii CHƯƠNG I GIỚI THIỆU TỔNG QUAN VỀ ĐỀ TÀI I.1 Động nghiên cứu I.2 Ý nghĩa đề tài I.2.1 Ý nghĩa thực tiễn I.2.2 Ý nghĩa khoa học .2 I.3 Mục tiêu nghiên cứu .3 I.4 Giới hạn đề tài I.5 Những kết quả đạt luận văn .3 I.6 Bố cục luận văn CHƯƠNG II CƠ SỞ LÝ THUYẾT II.1 Khai phá liệu, học máy kỹ thuật phân tích dự báo .6 II.1.1 Khái niệm Khai phá liệu học máy II.1.2 Những nhóm tốn Khai phá liệu II.1.3 Một số kỹ thuật dự báo sử dụng học máy 11 II.1.4 Các phương pháp lựa chọn đặc trưng (Feature Selection) 28 II.2 Mơ hình tốn lựa chọn thuộc tính .30 II.2.1 Các mơ hình lựa chọn thuộc tính 30 II.2.2 Đánh giá hai mơ hình Filter Wrapper 31 II.2.3 Các giải thuật lưa chọn thuộc tính 32 II.3 Khung thức dự báo thuê bao rời bỏ nhà mạng 37 II.4 Giới thiệu công cụ Weka 39 vii Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | lượng Số 16 24 32 40 96,0085% 96,0032% 96, 1993% 96,1123% 1,3076 giây 1,326 giây 1,437082giây 1,38884 Hidden Unit ứng với Mạng Nơron Độ 96,16978% xác mô hinh Cây định Thời gian 1,3074 giây thực thi mơ hình Cây giây định Bảng V-3 Kết thực thi thời gian thực thi của Cây định ứng với liệu Mạng Nơron trên: V.3.4 Đánh giá mơ hình - Hồn thành kết thực nghiệm Sau sử dụng mơ hình hỗn hợp Mạng Nơron + Cây định (lần đầu để biên tập, lựa chọn đặc trưng thu giảm tập huấn luyện, lần sau để phân lớp dự báo) cho tập liệu 3333 bản ghi huấn luyện chúng tơi đạt kết quả khả quan mơ hình dự đoán 96 % tập liệu đầu vào mà thời gian thực thi có giây Đây kết quả tốt dựa vào mơ hình chúng tơi tiếp tục áp dụng cho liệu thực tế khác Việc nhận xét tổng quan dựa vào các đặc thù tập liệu quan trọng trình thử thực nghiệm để đưa các thông số đánh giá dành riêng cho tập liệu Do tính chất mạng Nơron khơng làm việc dựa kiểu liệu rời rạc mà làm việc dựa kiểu liệu kiểu số thực, nên ta phải dùng 60 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | hàm Sigmoid để ánh xạ giá trị [0,1], sau chuyển đổi thành xác suất tương ứng, thỏa mãn số đặc tính khác mạng Nơron xấp xỉ hàm liên tục định nghĩa miền có giới hạn hàm tập hợp hữu hạn các điểm rời rạc Cây định có khuyết điểm phải sử dụng tất cả thuộc tính tập liệu phân hoạch có trường hợp phân hoạch không nên ta bắt buộc phải chấp nhận hàm lỗi phải xử lý liệu tránh tình trạng khớp so với liệu gốc Cây định V.4 So sánh mơ hình hỗn hợp ANN + Decision Tree với mơ hình ANN + ANN trước Dựa vào tham khảo các công trình trước Danh mục tài liệu tham khảo, với nghiên cứu thực nghiệm rút từ mơ hình hỗn hợp Mạng Nơron1 + Mạng Nơron2 đề xuất Tsai Lu, năm 2009 [7] kết quả thực mơ hình mạng Nơron đơn lẻ báo A.Sharma, P K.Panigrahi, năm 2011[16], cải tiến việc sử dụng Cây định làm mơ hình dự báo, cho kết quả tốt thời gian thực thi độ xác cao, sử dụng thêm mạng Nơron làm mơ hình dự báo Ta sử dụng tỉ lệ chia tập liệu train, test mơ hình mạng Nơron1 50:50 việc chuẩn hóa tiền xử lý liệu, từ dẫn đến việc thay đổi độ xác tốt độ xác báo mà Confusion Matrix báo A.Sharma, P.K.Panigrahi ([16])đã thống kê (Tập liệu báo tập liệu sử dụng, nên khách quan việc so sánh hiệu độ xác): 61 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | Hình V-10 Confusion Matrix của ANN1 thực nghiệm phương pháp ANN1 + ANN2 của báo Do có tiền đề mơ hình Mạng Nơron cho kết quả tốt Mạng Nơron đơn lẻ báo A Sharma, P K Panigrahi ([16]) chúng tơi có sử dụng phương pháp chuẩn hóa liệu phương pháp lựa chọn đặc trưng nên tập liệu lọc liệu dư thừa thu giảm tập huấn luyện, nên việc sử dụng mơ hình Cây định Mạng Nơron lại có kết quả xác việc sử dụng mơ hình Mạng Nơron đơn lẻ làm mơ hình dự báo Sau đây, chúng tơi thực nghiệm thống kê độ xác thời gian thực thi sử dụng mơ hình hỗn hợp Mạng Nơron + Mạng Nơron.Ngồi chúng tơi thực nghiệm so sánh trực tiếp mơ hình Mạng Nơron + Cây định với mơ hình Mạng Nơron+Mạng Nơron thời gian thực thi,thời gian để huấn luyện độ xác tập liệu này, với tỉ lệ phân chia tập train, test 50:50 sử dụng kết quả thu cho qua Mạng Nơron Chúng đành giá dựa kết quả trung bình kết quả tốt Đây chính kết quả đánh giá chính luận văn 62 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | Số lượng Hidden 16 24 32 40 95,86485% 95,56771% 95, 8961% 95,8347% Thời gian thực 10,3948 giây 9,5912 giây 9,9037 giây 10,8256giây 10,1456 giây Unit ứng với Mạng Nơron Độ xác 95,8429% mơ hình Mạng Nơron+ Mạng Nơron thi mô hinh Mạng Nơron + Mạng Nơron Bảng V-4 Thực nghiệm mơ hình Mạng Nơron + Mạng Nơron Mơ hình Mạng Nơron+Cây định MạngNơron1+Mạng Nơron2 Độ xác trung bình 96.09816% Thời gian huấn luyện trung bình 36 phút22,2 giây+1phút2 giây 95.85986% 38 phút20 giây+41 phút 53giây Thời gian thực thi trung 0.10618 giây 11.17218 giây Tổng thời gian cho cả 37 phút 23 giây 72 phút 18 giây mơ hình trung bình Bảng V-5 Bảng so sánh tổng thể mơ hình Mạng Nơron+Cây định Mạng Nơron+Mạng Mạng Nơron Như vậy, ta thấy mô hình Mạng Nơron + Cây định có thời gian huấn luyện nhanh mô hình Mạng Nơron + Mạng Nơron nhiều, đặc thù Cây định đơn các hàm điều kiện If-else không cần phải Huấn luyện lại lần mô hình Mạng Nơron +Mạng Nơron Và theo thực nghiệm độ xác mơ hình Mạng Nơron + Cây định tốt hơn, tính chất 63 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | tập liệu liên tục,nên phù hợp với mơ hình Mạng Nơron + Mạng Nơron mơ hình Mạng Nơron + Cây định, mơ hình Cây định làm việc tốt với liệu liên tục Ngoài ra, hình V-11 cho ta thấy độ giảm hàm lỗi chạy ANN, hàm lỗi cải tiến nhiều Hình V-11 Kết thực nghiệm hàm lỗi trung bình sử dụng mơ hình Mạng Nơron + Cây định V.5 Kết luận chương: Thông qua kết quả thực nghiệm, ta kết luận  Việc áp dụng mơ hình hỗn hợp Mạng Nơron + Cây định cho kết quả cải tiến thời gian thực thi khả phân hoạch tốt so với so với mô 64 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | hình hỗn hợp Nơron + Mạng Nơron, tốt nhiều so với mơ hình Mạng Nơron đơn lẻ  Nhìn chung, liệu có kích thước trung bình (đặc biệt với liệu có kích thước tập huấn luyện tập thử lớn kích thước tập huấn luyện nhỏ so với kích thước tập thử) phải tránh tượng khớp DecisionTree việc liệu rời rạc môi trường tốt cho phân hoạch DecisionTree, cho kết quả hiệu thời gian cải thiện tốt ta áp dụng thêm phương pháp chuẩn hóa liệu có phương pháp lựa chọn đặc trưng để thu giảm tập huấn luyện tiền xử lý liệu việc phân chia tập train, tập test ảnh hưởng lớn đến mơ hình dự báo lúc sau  Chúng tơi thực thực nghiệm mơ hình dự báo thuê bao rời khỏi nhà mạng dựa vào học máy mơ hình hỗn hợp Mạng Nơron + Cây định, kết quả dự báo có độ chính xác 96% thời gian thực thi nửa so với mơ hình Mạng Nơron + Mạng Nơron, kết quả tốt cho phép chúng tơi áp dụng kết quả đề tài thực tế 65 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | CHƯƠNG VI KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương trình bày kết quả đạt luận văn, rút sau tiến hành thực nghiệm, vài điểm chưa thực luận văn hướng phát triển luận văn VI.1 Những kết đạt của luận văn Qua q trình tìm hiểu cơng trình nghiên cứu liên quan việc xây dựng cải tiến mô hình hỗp hợp mạng Nơron + Cây định dùng cho toán dự báo thuê bao rời bỏ nhà mạng (số lớp, số lượng tập huấn luyện, số lượng tập thử, độ xác, hiệu ), chúng tơi đạt kết quả sau: Đề xuất mơ hình mới,kết hợp kỹ thuật: Lựa chọn thuộc tính,thu giảm tập huấn luyện phân lớp liệu,áp dụng vào liệu chuẩn UCI,xây dựng mơ hình dự báo mới,có độ xác phân lớp cao(hơn 96%),và có thời gian huấn luyện thực thi nhanh mơ hình cũ.Ngồi ra,việc áp dụng mơ hình khai phá liệu kết hợp kỹ thuật cho thấy khả ứng dụng cao tính tối ưu xử lý tốn dự báo th bao rời bỏ nhà mạng.Với mơ hình hổn hợp trên,chúng tơi cải tiến độ xác thu giảm tập huấn luyện lựa chọn thuộc tính,cùng với xử lý liệu mang tính liên tục * Việc lựa chọn tḥc tính thu giảm tập huấn luyện có tác đợng nhiều đến mơ hình khơng có lựa chọn tḥc tính thu giảm tập huấn luyện,nó cải thiện đợ xác,tớc đợ huấn luyện tớc đợ thực thi,đây là đóng góp của luận văn này  Về độ chính xác: Việc áp dụng mơ hình hỗn hợp Mạng Nơron+Cây định hầu hết cho kết quả độ xác phân lớp cao thời gian thực thi tốt so với mơ hình hỗn hợp Mạng Nơron+Mạng Nơron hỗn hợp Ngồi ra, mơ hình mạng Nơron hỗn hợp cho kết quả tốt nhiều mô hình ANN đơn lẻ 66 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy |  Về đặc thù tập liệu: Do đặc thù tập liệu liệu liên tục, liệu lệch nhãn False nhiều nhãn True nhiều nên cần xử lý các phương pháp chuẩn hóa chọn lựa đặc trưng để có tỉ lệ tập train, test prediction tốt, tránh xảy tình trạng q khớp mơ hình Cây định, cải thiện độ xác phân lớp khả loại bỏ liệu dư thừa mạng Nơron VI.2 Hướng phát triển Luận văn thực hiện thực thực nghiệm cải tiến mô hình Nơron + Mạng Nơron mơ hình mạng Nơron + Cây định Do hướng phát triển đề tài tập trung vào vấn đề sau đây:  Thực áp dụng phương pháp sử dụng mô hình Mạng Nơron+Cây định cải tiến để áp dụng cho mô hình thực tế  Vì tính xác việc dự đoán cao, nên kiến nghị ứng dụng các phân tích vào việc dự đoán thuê bao rời mạng các công ty viễn thông Đờng thời kỹ thuật áp dụng với các ngành nghề khác Bài toán dự đoán thuê bao rời mạng phát triển thành toán dựa đoán thời điểm thuê bao rời mạng, toán phân lớp khách hàng, toán dự đoán doanh thu 67 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | 68 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | TÀI LIỆU THAM KHẢO [1] D T Anh, Bài giảng “Overview on Pattern Recognition and Machine Learning”, môn Nhận dạng mẫu Học Máy, Khoa Khoa Học Kỹ Thuật Máy Tính, Đại Học Bách Khoa Tp Hờ Chí Minh, 2015 [2] M Chandar, A Laha & P Krishna, (2006), “Modeling churn behavior of bank customers using predictive data mining techniques”, National conference on soft computing techniques for engineering applications [3] S Olafsson, X Li & S Wu, (2008), “ Operations research and data mining”, European Journal of Operational Research, 187, 2592-1448 [4] J Burez & D Van den Poel, (2009), “ Handling class imbalance in customer churn prediction”, Expert System with Applications, 36, 4626-4636 [5] D Montana and L Davis, (1989), “Training feedforward neural networks using genetic algorithms”, In Proceedings of the Eleventh International Joint Conference on Artificial Intelligence, 762-767, Morgan Kaufmann, San Mateo, CA [6] M.C Nelson and W.T Illingworth, (1991), A Practical Guide to Neural Nets, Reading, MA: Addison-Wesley [7] C F Tsai, Y H Lu, “Customer churn prediction by hybrid neural networks”, Expert Systems with Applications 36 (2009) 12547–12553 [8] N Lu, H Lin, J Lu, G Zhang, “A Customer Churn Prediction Model in Telecom Industry Using Boosting”, IEEE Transactions on Industrial Informatics, vol 10, no 2, May 2014 [9] B He, Y Shi, Q Wan, X Zhao, “Prediction of customer attrition of commercial banks based on SVM model”, Proceedings of 2nd International Conference on Information Technology and Quantitative Management (ITQM), Procedia Computer Science 31 ( 2014 ) 423 – 430 69 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | [10] H Lee, Y Lee, H Cho, K Im, Y S Kim, “Mining churning behaviors and developing retention strategies based on a partial least squares (PLS) model”, Decision Support System 52 (2011) 207–216 [11] Y Xie, X Li, E W T Ngai, W Ying, “Customer churn prediction using improved balanced random forests”, Expert Systems with Applications 36 (2009) 5445–5449 [12] http://www.kdd.com [13] C L Blake and C J Merz, Churn Data Set , UCI Repository of Machine Learning Databases, http://www.ics.uci.edu/~mlearn/MLrepository.html.University of California, Department of Information and Computer Science, Irvine, CA, 1998 [14] Clementine data mining workbench, http://www.spss.com/clementine [15] S Y Hung, D C Yen & H Y Wang, (2006), “Applying data mining to telecomm churn management”, Expert Systems with Applications, 31(3), 515–524 [16] A Sharma, P K Panigrahi (2011), “A Neural Network based Approach for Predicting Customer Churn in Cellular Network Services”, International Journal of Computer Applications (0975-8887) [17] Han, J Kamber, M Jian, J (2012), “Data Mining Concepts and Techniques”, Elseviel [18] Weka – Data Mining with Open Source Machine Learning Solfware in Java Available from: http://www.cs.waikato.ac.nz/ml/weka/ [19] J Ross Quinlan (1993), “Programs for Machine Learning”, Morgan Kaufmann Publishers [20] Leo Breiman, Jerome Friedmen, and Charles J Stone (1984),Classification and Regression Trees, Wadsworth International Group [21] John Ross Quinlan, Induction of decision trees, in Machine Learning 1986.p 81-106 70 Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | PHỤ LỤC A BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Viết tắt Classification Phân lớp Classifier Bộ phân lớp k-Nearest Neighbor k-lân cận gần k-NN Artificial Neural Network Mạng nơ-ron nhân tạo ANN Decision Tree Cây định Training Set Tập huấn luyện Prediction Dự báo Support Vector Machine Máy véc-tơ hỗ trợ Test Sample Mẫu thử Design Sample Mãu thiết kế Clustering Gom cụm Unsupervised Learning Học không giám sát Avarage-Loss Hàm lỗi trung bình Accuracy Độ chính xác Error rate Tỉ lệ lỗi phân lớp A SVM Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | LÝ LỊCH TRÍCH NGANG Họ tên: Lê Trương Trọng Duy Ngày sinh: 22/10/1989 Nơi sinh: Tp HCM Địa liên lạc: 572A/11 Trần Hưng Đạo, P2, Q5, Tp HCM a Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | QUÁ TRÌNH ĐÀO TẠO Thời gian Trường đào tạo Chun ngành Trình đợ đào tạo 2007-2011 Đại học KHTN Tp Toán Tin Cử nhân Đại Học Bách Khoa Học Máy Thạc Sĩ Khoa Tp Hờ Chí Tính Hờ Chí Minh 2014-2018 Minh b Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | QUÁ TRÌNH CƠNG TÁC Thời gian Đơn vị cơng tác Vị trí 6/2011 –2/2012 Cơng Ty Dintsen Việt Nam Lập trình viên 2/2012-1/2015 Bệnh viện Ung Bướu TPHCM IT tổng hợp 2/2015 đến BIDV chi nhánh Sở Giao Dịch IT-Data Science c ... văn Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | PHẦN TÀI LIỆU THAM KHẢO PHẦN PHỤ LỤC Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | CHƯƠNG II CƠ SỞ LÝ THUYẾT Để giải tốn xây dựng... Khoa Học Máy Tính Mã số : 60.48.01 I TÊN ĐỀ TÀI: Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy II VÀ NỘI DUNG: Nhiệm vụ :Đề xuất mơ hình để giải toán dự báo thuê bao rời bỏ nhà mạng. .. thơng.Nếu dự báo th bao có ý định rời bỏ nhà mạng doanh nghiệp viễn thơng có sách, chiến lược khuyến kết hợp để giữ thuê bao lại Dự báo thuê bao rời bỏ nhà mạng dựa vào học máy | I.2 Ý nghĩa