Hệ hỗ trợ quyết định kinh doanh dịch vụ viễn thông theo xu hướng khách hàng ở tây ninh

i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Nếu không đã nêu trên, xin hoàn toàn chịu trách nhiệm về đề tài Tp HCM, ngày 15 tháng 07 năm 2022 Học viên thực luận văn Lê Đức Hịa Bình ii LỜI CẢM ƠN Trong thời gian thực luận văn tốt nghiệp, hướng dẫn tận tình giáo viên hướng dẫn phía nhà trường tạo điều kiện thuận lợi, tơi đã có q trình nghiên cứu, tìm hiểu học tập nghiêm túc để hồn thành đề tài Kết thu không nỗ lực cá nhân tơi mà cịn có giúp đỡ q thầy cơ, gia đình bạn Tôi xin chân thành cảm ơn TS Tân Hạnh Thầy đã hướng dẫn, hỗ trợ tơi hồn thành tốt luận văn về phương pháp, lý luận nội dung luận văn Cảm ơn Bán Giám Hiệu, Khoa Đào Tạo Sau Đại Học, Phòng Đào Tạo & KHCN – Học Viện Cơng Nghệ Bưu Chính Viễn Thơng sở Tp HCM đã quan tâm, tạo điều kiện giúp hoàn thành luận văn tốt nghiệp Cám ơn Ban giám đốc đồng nghiệp Viễn thông Tây Ninh đã hỗ trợ, giúp đỡ tơi suốt q trình thực luận văn Trong trình thực trình bày khơng thể tránh khỏi hạn chế, tơi mong nhận góp ý, nhận xét phê bình q thầy bạn để hoàn thiện kiến thức thân Tp HCM, ngày 15 tháng 07 năm 2022 Học viên thực luận văn Lê Đức Hịa Bình iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT vi DANH SÁCH HÌNH VẼ vii DANH SÁCH BẢNG viii MỞ ĐẦU CHƯƠNG - CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU CÓ LIÊN QUAN 1.1 Tổng quan học máy 1.1.1 Khái niệm 1.1.2 Phân loại kỹ thuật học máy 1.2 Bài toán phân lớp liệu 1.2.1 Khái niệm phân lớp liệu toán phân lớp liệu 1.2.2 Các bước giải toán phân lớp liệu 1.2.3 Các độ đo để đánh giá mơ hình phân lớp liệu 10 1.3 Thuật toán Cây định 11 1.3.1 Giới thiệu phương pháp 11 1.3.2 Thuật toán Rừng ngẫu nhiên 15 1.4 Các cơng trình nghiên cứu liên quan 17 1.4.1.Model based collaborative filtering 18 1.4.2 A Survey of Collaborative Filtering Techniques 18 1.4.3 Collaborative Filtering for Multi-class Data Using Belief Nets 19 1.4.4 An intelligent decision support system for production planning based on machine learning 19 1.4.5 Machine learning based decision support systems (DSS) for heart disease diagnosis 20 iv 1.5 Thư viện Scikit-learn 21 1.6 Pycharm 22 1.6.1 Giới thiệu 22 1.6.2 Các tính Pycharm 22 CHƯƠNG – PHƯƠNG PHÁP KHUYẾN NGHỊ GĨI CƯỚC 24 2.1 Phân tích yếu tố ảnh hưởng tới gói cước phù hợp với khách hàng 24 2.1.1 Các yếu tố khách hàng 24 2.1.2 Các yếu tố chất lượng dịch vụ 24 2.2 Mô hình dự đốn gói cước cho khách hàng 25 2.3 Sử dụng thuật toán phân lớp Rừng ngẫu nhiên thông qua thư viện Scikit-learn 26 2.4 Sử dụng Pycharm để xây dựng ứng dụng web 29 CHƯƠNG - XÂY DỰNG MƠ HÌNH 30 3.1 Dữ liệu 31 3.1.1 Thu thập liệu 31 3.1.2 Xử lý liệu 33 3.1.3 Mã hóa liệu 34 3.2 Xây dựng mơ hình khuyến nghị gói cước dựa vào thuật toán rừng ngẫu nhiên 34 3.2.1 Lấy mẫu liệu cho việc xây dựng định rừng ngẫu nhiên 35 3.2.2 Xây dựng định rừng ngẫu nhiên 37 3.2.3 Xây dựng rừng ngẫu nhiên 39 3.3 Xây dựng ứng dụng web 40 CHƯƠNG – PHÂN TÍCH VÀ ĐÁNH GIÁ 42 4.1 Phân tích độ xác mơ hình 42 4.2 Xác định mức độ quan trọng thuộc tính 45 CHƯƠNG - KẾT LUẬN 48 5.1 Kết đạt 48 v 5.1.1 Về mặt lý thuyết 48 5.1.2 Về mặt thực tiễn 48 5.2 Hạn chế 49 5.3 Hướng phát triển 49 DANH MỤC TÀI LIỆU THAM KHẢO 51 vi DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt AI Artificial Intelligence Trí tuệ nhân tạo PDF Portable Document Format Định dạng văn đơn giản RF Random Forest Rừng ngẫu nhiên ANN Artificial Neural Network Mạng nơ-ron nhân tạo CSDL Database Cơ sở liệu CNTT Information Technology Công nghệ thông tin SVM Support Vector Machines Máy véc tơ hỗ trợ BTS Bug Tracking System Hệ thống kiểm tra cố CQĐ Decision Tree Cây định vii DANH SÁCH HÌNH VẼ Số hiệu Tên hình vẽ Trang Hình 1.1 Giai đoạn xây dựng mơ hình phân lớp liệu Hình 1.2 Quá trình kiểm tra đánh giá mơ hình phân lớp liệu Hình 1.3 Mơ hình định 12 Hình 1.4 Thuật tốn rừng ngẫu nhiên 16 Hình 2.1 Mơ hình thực nghiệm dự đốn 25 Hình 3.1 Lưu đồ giải thuật xây dựng rừng ngẫu nhiên 31 Hình 3.2 Dữ liệu thơng tin khách hàng thu thập từ hệ thống ĐHSXKD 32 Hình 3.3 Dữ liệu sau Import 33 Hình 3.4 Dữ liệu mã hóa phương pháp Label Encoder 35 Hình 3.5 Tập liệu 1000 mẫu thơng tin khách hàng 36 Hình 3.6 Hình 3.7 Hình 3.8 Hình 3.9 Tập huấn luyện định với 800 mẫu lấy ngẫu nhiên Tập thử nghiệm với 200 mẫu lại để đánh giá định Cây định xây dựng mẫu huyến luyện ngẫu nhiên thứ Cây định xây dựng mẫu huyến luyện ngẫu nhiên thứ hai 35 35 39 40 Hình 3.10 Một ví dụ rừng ngẫu nhiên với định 41 Hình 3.11 Giao diện ứng dụng web 42 Hình 4.1 Kết mức độ quan trọng thuộc tính 46 Hình 4.2 Biểu đồ mức độ quan trọng thuộc tính 46 viii DANH SÁCH BẢNG Số hiệu Tên Bảng Trang Bảng 3.1 Bảng số trường ý nghĩa trường liệu 33 Bảng 4.1 Ma trận hỗn loạn 42 Bảng 4.2 Giá trị Accuracy Score với hai tham số quan trọng rừng ngẫu nhiên 45 MỞ ĐẦU Đặt vấn đề Trong dòng chảy liên tục thời đại, xu phát triển ngành Viễn thơng dự đốn khơng thể tránh khỏi Trước tình hình đó, quốc gia phát triển Việt Nam có nhiều điều kiện thuận lợi để phát triển ngành tương lai Với xu hướng phát triển ngành viễn thông trên, nên lã lĩnh vực hấp dẫn cho doanh nghiệp phát triển, thuận lợi nhiều nhiều thách thức, doanh nghiệp canh tranh liệt để thu hút khách hàng, giành thị phần Nếu khơng liên tục thay đổi thích ứng với thị trường việc bị đào thải đều tất yếu Trong doanh nghiệp, đặc biệt VNPT việc tìm kiếm khách hàng mục tiêu quan trọng để đảm bảo doanh thu lợi nhuận cho doanh nghiệp Việc khách hàng hài lòng sau sử dụng dịch vụ phụ thuộc vào nhiều yếu tố khách quan chủ quan Trong tư vấn cho khách hàng gói cước phù hợp quan trọng Việc lâu thường xuyên phân tích, nhiên thực biện pháp thủ công, thô sơ nhiều thời gian, đòi hỏi người phân tích phải có chun mơn tương đối tốt, độ xác mang lại tương đối khơng cao Do để có biện pháp phấn tích khoa học đại khắc phục tồn đã mô tả, đề tài hồn thiện nhiều người sử dụng Trong báo cáo sử phương pháp học máy để phân tích dự đốn yếu tố ảnh hưởng đến gói cước sử dụng dịch vụ khách hàng VNPT Tây Ninh Kết tư vấn xác, nhanh giúp doanh nghiệp phát triển khách hàng mới, đảm bảo chất lượng dịch vụ phù hợp với nhu cầu sử dụng khách hàng Đó lý luận văn chọn đề tài: “Hỗ trợ định kinh doanh dịch vụ Viễn thông theo xu hướng khách hàng Tây Ninh” Mục đích nghiên cứu Mục đích nghiên cứu phân tích liệu khách hàng thu thập VNPT Tây Ninh: - Xác định yếu tố có ảnh hưởng đến gói cước phù hợp với khách hàng - Phân tích ảnh hưởng yếu tố đến gói cước mà khách hàng cần đăng ký - Đề xuất gói cước cho khách hàng học máy Đối tượng phạm vi nghiên cứu Đối tượng, phạm vi nghiên cứu sở liệu thực tế thu thập từ tập khách hàng hữu sử dụng dịch vụ Internet VNPT Tây Ninh Nghiên cứu phương pháp xử lý, phân tích liệu, phương pháp học máy phù hợp với liệu đề tài, nên tảng Python Phương pháp nghiên cứu Phương pháp nghiên cứu lý thuyết: - Tổng hợp, nghiên cứu tài liệu về xử lý, mã hóa, phân tích liệu, học máy, kỹ thuật lập trình - Sử dụng phương pháp nghiên cứu phân tích liệu, phương pháp dự đoán phương pháp thực nghiệm để so sánh, đánh giá phân tích kết đạt Phương pháp nghiên cứu thực nghiệm: sau nghiên cứu lý thuyết, toán tiến hành đề xuất mơ hình khuyến nghị gói cước cho khách hàng.Đánh giá kết đạt được; công bố kết nghiên cứu 39 Hình 3.9: Cây định xây dựng mẫu huyến luyện ngẫu nhiên thứ hai 3.2.3 Xây dựng rừng ngẫu nhiên Cây định sau xây dựng xong thỏa giá trị đánh giá ban đầu cập nhật vào rừng ngẫu nhiên R Việc đánh giá dựa tập thử nghiệm E giá trị đánh giá σ Độ xác định, cụ thể giá trị F1 Score tính dựa vào kết phân loại tập thử nghiệm E, Accuracy Score > 0.8 đưa vào rừng ngẫu nhiên ngược lại Tồn q trình lấy mẫu ngẫu nhiên liệu xây dựng định thực lặp lại tạo thêm rừng ngẫu nhiên đạt đủ số lượng theo cài đặt ban đầu Sau kết thúc thu mơ hình rừng ngẫu nhiên gồm nhiều định tối ưu xây dựng tập mẫu lấy ngẫu nhiên từ tập dataset ban đầu 40 Hình 3.10: Một ví dụ rừng ngẫu nhiên với định 3.3 Xây dựng ứng dụng web Sử dụng kết mơ hình khuyến nghị gói cước dựa rừng ngẫu nhiên xây dựng mục 3.2 để đưa vào ứng dụng web xây dựng môi trường Pycharm Ứng dụng web thiết kế để khách hàng nhân viên VNPT nhập thơng tin cần thiết thuộc tính phân lớp mơ hình rừng ngẫu nhiên như: Tuổi khách hàng, Tốc độ mong muốn, Đơn vị cung cấp, Loại khách hàng, Nhóm khách hàng, nhu cầu dùng IP tĩnh 41 Giao diện ứng dụng web xây dựng sau: Hình 3.11: Giao diện ứng dụng web 42 CHƯƠNG – PHÂN TÍCH VÀ ĐÁNH GIÁ 4.1 Phân tích độ xác mơ hình Để đánh giá độ xác mơ hình đã xây dựng ta dựa vào kết phân lớp tập thử nghiệm tập liệu trích xuất từ tập dataset ban đầu với 1000 mẫu thông tin khách hàng xây dựng thủ cơng, trường thuộc tích gói cước chọn từ kinh nghiệm chuyên viên tư vấn bán hàng có kinh nghiệm kết phù hợp với khách hàng Ta có ma trận hỗn loạn sau: Home Home T1 F21 F31 F41 F51 F61 Home F12 T2 F32 F42 F52 F62 Home Gói cước thực tế khách hàng Home Home TV Home TV Home F13 F23 T3 F43 F53 F63 F14 F24 F34 T4 F54 F64 F15 F25 F35 F45 T5 F65 F16 F26 F36 F46 F56 T6 Home TV Home TV Home TV Gói cước thơng qua mơ hình Khuyến nghị gói cước Bảng 4.1: Ma trận hỗn loạn Home TV 43 Trong đó: - Ti số lượng khách hàng có gói cước thơng qua mơ hình Khuyến nghị gói cước với gói cước thực tế (i = 1, 2, 3, 4, 5, 6) - Fij số lượng khách hàng có gói cước thơng qua mơ hình Khuyến nghị gói cước khơng với gói cước thực tế (i, j = 1, 2, 3, 4, 5, 6) Giá trị Accuracy Score dùng để đánh giá mơ hình tính sau: Accuracy Score = 𝛴 Ti 𝛴 Fij+𝛴 Ti Với tập thử nghiệm 1000 mẫu thông tin khách hàng lấy ngẫu nhiên từ tập dataset sau xây dựng gói cước thủ cơng ta có thơng tin sau: - Tổng số khách hàng 1000 - Số khách hàng dùng gói Home 278 - Số khách hàng dùng gói Home 153 - Số khách hàng dùng gói Home 37 - Số khách hàng dùng gói Home TV 369 - Số khách hàng dùng gói Home TV 159 - Số khách hàng dùng gói Home TV Thực dự đốn gói cước cho 1000 khách hàng thơng qua mơ hình rừng ngẫu nhiên đã xây dựng, kết dự đốn gói cước khuyến nghị cho khách hàng lần chạy thử nghiệm sau: - Số khách hàng thực tế dùng gói Home mơ hình khuyến nghị 266 Số khách hàng thực tế dùng gói Home bị mơ hình khuyến nghị không 12 44 - Số khách hàng thực tế dùng gói Home mơ hình khuyến nghị 138 Số khách hàng thực tế dùng gói Home bị mơ hình khuyến nghị không 15 - Số khách hàng thực tế dùng gói Home mơ hình khuyến nghị 30 Số khách hàng thực tế dùng gói Home bị mơ hình khuyến nghị khơng - Số khách hàng thực tế dùng gói Home TV mơ hình khuyến nghị 304 Số khách hàng thực tế dùng gói Home bị mơ hình khuyến nghị khơng 65 - Số khách hàng thực tế dùng gói Home TV mơ hình khuyến nghị 145 Số khách hàng thực tế dùng gói Home TV bị mơ hình khuyến nghị không 14 - Số khách hàng thực tế dùng gói Home TV mơ hình khuyến nghị Số khách hàng thực tế dùng gói Home TV bị mơ hình khuyến nghị khơng Theo kết ta có: Accuracy Score = 266+138+30+304+145+2 1000 = 88.5% Để đánh giá mức độ ảnh hưởng tham số quan trọng trình xây dựng rừng ngẫu nhiên max_depth (độ sâu định) n_ estimators (số lượng định rừng ngẫu nhiên), thử nghiệm thực 10 lần kết thu dựa giá trị trung bình lần chạy bảng kết đánh giá sau 45 Bảng 4.2: Giá trị Accuracy Score với hai tham số quan trọng rừng ngẫu nhiên max_depth\n_estimators 20 30 50 100 200 10 15 20 25 88.28 88.42 88.23 87.74 87.32 88.28 88.51 88.25 87.79 87.45 88.39 88.43 88.32 87.64 87.54 88.31 88.47 88.31 87.56 87.36 88.3 88.39 88.27 87.46 87.31 Dựa vào số đánh giá độ xác mơ hình đưa nhận định sau: - Mơ hình cho độ xác cao với giá trị max_depth = 10, giá trị n_estimators = 30 với giá trị Accuracy Score = 88.51% - Số lượng thuộc tính khách hàng cịn nên chưa tạo bao qt cho mơ hình nên độ xác mơ hình cịn chưa thực cao Việc sử dụng thuộc tính thơng tin khách hàng dẫn đến trường hợp thuộc tính thực chưa ảnh hưởng đến việc lựa chọn gói cước cho khách hàng lại có giá trị ảnh hưởng cao mơ hình khuyến nghị gói cước Vì ta tiến hành đánh giá mức độ quan trọng thuộc tính mơ hình để xác định thuộc tính ảnh hưởng đến kết khuyến nghị gói cước có phải yếu tố thực tế mang tính định đến việc lựa chọn gói cước cho khách hàng hay khơng 4.2 Xác định mức độ quan trọng thuộc tính Mức độ quan trọng thuộc tính xác định độ giảm số gini nút trình xây dựng định Độ giảm số gini nhiều ứng với mức độ quan trọng thuộc tính cao 46 Việc đánh giá mức độ quan trọng thuộc tính cho phép phân tích vai trị thuộc tính việc xây dựng mơ hình phân lớp Trong luận văn mức độ quan trọng thuộc tính thể qua kết sau Hình 4.1: Kết mức độ quan trọng thuộc tính Hình 4.2: Biểu đồ mức độ quan trọng thuộc tính 47 Như kết thể qua hình ảnh bên trên, thuộc tính TOC_DO ảnh hưởng đến 73.56% kết gói cước khuyến nghị cho khách hàng Điều hoàn toàn với thực tế chuyên gia tư vấn bán hàng ưu tiên gói cước có băng thơng phù hợp với nhu cầu sử dụng khách hàng thuộc tính khác sử dụng mơ hình khuyến nghị đã xây dựng Thuộc tính quan trọng thứ hai NAM_DK với 18.71%, năm khách hàng đăng ký sử dụng dịch vụ đóng vai trị quan trọng việc định gói cước mà khách hàng sử dụng cho thấy việc áp dụng sách kinh doanh cho gói cước giai đoạn khác khác Trong năm có gói cước ưa chuộng đặc biệt phổ biến gói cước cịn lại Các thuộc tính cịn lại khơng ảnh hưởng nhiều đến gói cước chọn để khuyến nghị cho khách hàng Điều giải thích tập liệu thông tin khách hàng năm từ 2015-2021 chưa tập trung tư vấn cung cấp gói cước phù hợp với đặc tính riêng biệt khách hàng mà tập trung vào nhu cầu băng thông khách hàng cần sử dụng Đây điểm cần phải thay đổi việc tư vấn bán hàng để mang lại trải nghiệm tuyệt với khách hàng sử dụng dịch vụ Internet VNPT cung cấp 48 CHƯƠNG - KẾT LUẬN 5.1 Kết đạt 5.1.1 Về mặt lý thuyết Khai thác tập liệu thông tin khách hàng sử dụng Internet VNPT Tây Ninh để xây dựng mơ hình Khuyến nghị gói cước cho khách hàng Ứng dụng Trí tuệ nhân tạo (AI), Machine Learning, thuật tốn học máy vào việc khuyến nghị gói cước cho khách hàng Khai thác thuật toán phân lớp liệu, cụ thể mơ hình định rừng ngẫu nhiên Nắm bắt trình xây dựng định dựa giá trị gini index hay entropy trình xây dựng rừng ngẫu nhiên dựa định Ứng dụng thư viện scikit-learn nền tảng python vào việc nghiên cứu vấn đề học máy, sử dụng tham số để tối ưu mơ hình rừng ngẫu nhiên xây dựng 5.1.2 Về mặt thực tiễn Luận văn đã đưa giải pháp khuyến nghị gói cước phù hợp với khách hàng sử dụng dịch vụ Internet VNPT dựa vào việc phân tích tập liệu khách hàng có Việc tiền đề để xây dựng công cụ tư vấn bán hàng tự động thay cách tư vấn truyền thống nhân công thời gian nhân lực đơi lại cho kết gói cước tư vấn cho khách hàng chưa thực phù hợp với khách hàng nhân viên chưa có kinh nghiệm Mơ hình hỗ trợ khách hàng chủ động tìm kiếm gói cước phù hợp với thân cung cấp thông tin cần thiết để chọn gói cước phù hợp 49 Xây dựng thành cơng mơ hình khuyến nghị gói cước, phân tích đánh giá mơ hình xây dựng để hiểu rõ về yếu tố ảnh hưởng đến việc lựa chọn gói cước phù hợp cho khách hàng Từ rút điểm cịn thiếu sót để tiến hành thay đổi công tác thực thực tế để mang lại trải nghiệm tốt cho khách hàng sử dụng dịch vụ Internet VNPT 5.2 Hạn chế Kết khuyến nghị gói cước đạt mức tốt chưa thật cao Kết đạt chưa bao quát hết trường hợp Dữ liệu thông tin khách hàng cần bổ sung thêm thuộc tính thực tế tác động đến việc lựa chọn gói cước khách hàng số lượng thiết bị cần sử dụng Internet, sở hạ tầng lắp đặt (nhà cấp 4, nhà lầu, nhà trọ ), mục đích sử dụng lắp đặt Internet Mơ hình rừng ngẫu nhiên luận văn mức bản, chưa phân tích sâu vào tham số để phù hợp với mơ hình liệu thơng tin khách hàng sử dụng Internet VNPT Kết giải pháp học máy phụ thuộc khơng giải thuật học máy mà cịn liệu sử dụng Bộ liệu khơng chứa nhiều thuộc tính có giá trị cho việc khuyến nghị gói cước phù hợp đến khách hàng cần phải tiếp nhận thêm thơng thơng tin cần thiết khác khách hàng để tư vấn gói cước phù hợp so với 5.3 Hướng phát triển Điều chỉnh công tác tư vấn bán hàng sang hướng tối ưu hóa trải nghiệm cho khách hàng hơn, thu thập thêm thơng tin mang tính cá nhân hóa với khách hàng số lượng thiết bị cần sử dụng Internet, sở hạ tầng lắp đặt (nhà cấp 4, nhà lầu, nhà trọ ), mục đích sử dụng lắp đặt Internet để chọn gói cước phù hợp Sau sử dụng tập liệu với thuộc tính bổ sung để xây dựng lại mơ hình khuyến nghị gói cước phù hợp với nhu cầu sử dụng 50 khách hàng Từ gia tăng trải nghiệm khách hàng sử dụng dịch vụ VNPT Tiến hành áp dụng giúp hỗ trợ việc tư vấn bán hàng cho nhân viên kinh doanh mới, bán hàng online website nền tảng thông tin số khác Viễn thông Tây Ninh Với mục đích thực tư vấn gói cước phù hợp, nhanh chóng có độ tin cậy cao với khách hàng riêng biệt Nghiên cứu bổ sung yếu tố ảnh hưởng đến việc lựa chọn gói cước phù hợp cho khách hàng sau áp dụng, bổ sung vào thuộc tính ban đầu để xây dựng lại mơ hình khuyến nghị phù hợp có độ xác cao 51 DANH MỤC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Hoàng Ngọc Thanh, Trần Văn Lăng, Hoàng Tùng (2016), “Một tiếp cận máy học để phân lớp kiểu công hệ thống phát xâm nhập mạng”, Kỷ yếu Hội nghị khoa học Quốc gia FAIR’9, T 502-507 [2] Nguyễn Thị Thanh Hương, Đoàn Minh Trung (2018), “Áp dụng thuật toán phân loại Random Forest để xây dựng đồ sử dụng đất/thảm phủ tỉnh Đắk Lắk dựa vào ảnh vệ tinh Landsat OLI”, Tạp chí Nơng nghiệp & Phát triển nơng thơn, T 122-129 [3] Dang N H Thanh, Nguyen Quoc Hung, Tran Le Phuc Thinh (2020), “Một góc nhìn từ tốn phân lớp liệu: Thang điểm đánh giá quan trọng?”, Kỷ yếu hội thảo khoa học quốc gia Hệ thống thông tin kinh doanh quản lý ISBM20, T 276-279 [4] Đỗ Thị Lương (2019), “Nghiên cứu số thuật toán học máy để phân lớp liệu thử nghiệm”, Hà Nội, 62 trang [5] Nguyễn Thị Thùy Linh (2005), “Nghiên cứu thuật toán phân lớp liệu dựa định”, Hà Nội, T 21-27 [6] Đỗ Trung Tuấn (2010), “Nhập mơn trí tuệ nhân tạo”, Nhà xuất Đại học quốc gia Hà Nội [7] Nguyễn Ngọc Tuân (2016), “Áp dụng khái liệu dư báo thuê bao rời mạng mạng năm di động”, Đại học công nghệ-Đại học quốc Hà Nội [8] Nguyễn Thành Phúc (2019), “Phân tích dự báo sản lượng dịch vụ chuyển phát Bưu điện tỉnh Bình Dương” năm 2019, Đại học Thủ Dầu Một-UBND tỉnh Bình Dương [9] Đồn Văn Tâm (2019), “Xây dựng mơ hình dự đốn khách hàng tiềm cho gói cước mạng di động”, Đại học cơng nghệ - Đại học quốc gia Hà Nội 52 [10] Trần Hữu Nam (2000), “Nghiên cứu ứng dụng phương pháp dự báo giáo dục - đào tạo”, Viện Nghiên cứu phát triển giáo dục Tiếng Anh [11] O’Sullivan, Dympna, et al (2008), “Using Secondary Knowledge to Support Decision Tree Classification of Retrospective Clinical Data”, Mining Complex Data (2008), pp 238-251 [12] Christopher J.C Burges (2000), “A Tutorial on Support Vector Machines for Pattern Recognition”, Kluwer Academic Publishers, Boston [13] Sunil Kumar, Saroj Ratnoo, Renu Bala (2020), “Enhanced Decision Tree Algorithm for Discovery of Exceptions”, Department of Computer Science & Engineering, Guru Jambheshwar University of Science & Technology, Hisar, Haryana, India, pp 3-7 [14] M Uddin, R Stadler, and A Clemm (2013), “A Query Language for Network Search”, Proceedings of the 13th IFIP/IEEE International Symposium on Integrated Network Management (IM’13) IEEE, pp 109– 117 [15] W Zhou, L Tang, C Zeng, T Li, L Shwartz, and G Y Grabarnik (2016), “Resolution recommendation for event tickets in service management”, IEEE Transactions on Network and Service Management, vol 13, no 4, pp 954–967, Available: https://doi.org/10.1109/TNSM.2016.2587807 [16] D Hausheer and C Morariu (2008), “Distributed Test-Lab: EMANICSLab”, University of Zurich, Switzerland, The 2nd International Summer School on Network and Service Management (ISSNSM’08) [17] L Breiman (2001), “Random Forests”, Machine Learning, vol 45, no 1, pp 5–32 [18] Gilles Louppe, “Understanding Random Forest from theory to pratic”, University of Liège, Faculty of Applied Sciences, Department of Electrical Engineering & Computer Science, pp 55-115 53 [19] S Chatrchyan, V Khachatryan, A Sirunyan, A Tumasyan, W Adam, E Aguilo, T Bergauer, M Dragicevic, J Erö, C Fabjan (2012) "Observation of a new boson at a mass of 125 GeV with the CMS experiment at the LHC", Physics Letters B, pp [20] A Criminisi and J Shotton (2013), "Decision Forests for Computer Vision and Medical Image Analysis" Springer, pp 2, 39, 106 and 107 [21] D Ferrucci, E Brown, J Chu-Carroll, J Fan, D Gondek, A Kalyanpur, A Lally, J W Murdock, E Nyberg, J Prager (2010), "Building Watson: An overview of the Deep QA project", AI magazine, 31(3):59–79 [22] https://cdspninhthuan.edu.vn/, truy cập ngày 02/01/2022 [23] https://viblo.asia/, truy cập ngày 10/02/2022 [24] https://machinelearningcoban.com/, truy cập ngày 15/02/2022 [25] https://vi.wikipedia.org/, truy cập ngày 20/02/2022 [26] https://www.coursera.org/, truy cập ngày 20/02/2022 [27] https://scikit-learn.org/, truy cập ngày 27/02/2022