Chuyên ngành kinh tế dữ liệu nâng cao hiệu quả dự báo khách hàng rời bỏ dịch vụ ngân hàng sử dụng mô hình học sâu kỹ thuật học kết hợp

BỘ KẾ HOẠCH VÀ ĐẦU TƯ HỌC VIỆN CHÍNH SÁCH VÀ PHÁT TRIỂN - - KHÓA LUẬN TỐT NGHIỆP ĐỀ TÀI: NÂNG CAO HIỆU QUẢ DỰ BÁO KHÁCH HÀNG RỜI BỎ DỊCH VỤ NGÂN HÀNG SỬ DỤNG MƠ HÌNH HỌC SÂU - KỸ THUẬT HỌC KẾT HỢP Sinh viên thực hiện: Trương Hải Nam Lớp: KTDL10 MSV: 7103101334 Giáo viên hướng dẫn: ThS Bùi Minh Thành Hà Nội – 2023 LỜI CAM ĐOAN Tôi xin cam đoan Khóa luận với đề tài “Nâng Cao Hiệu Quả Dự Báo Khách Hàng Rời Bỏ Dịch Vụ Ngân Hàng Sử Dụng Mơ Hình Học Sâu - Kỹ Thuật Học Kết Hợp” tự thân thực hiện, nghiên cứu có hỗ trợ giáo viên hướng dẫn q trình nghiên cứu khơng có chép cơng trình nghiên cứu người khác Các số liệu Khóa luận sử dụng trung thực trích dẫn rõ ràng Nếu sai tơi xin hồn tồn chịu trách nhiệm Hà Nội, tháng năm 2023 Sinh viên Trương Hải Nam LỜI CẢM ƠN Để hồn thành xuất sắc khóa luận, tơi xin gửi lời cảm ơn chân thành đến Ban Giám đốc Học viện Chính sách Phát triển, q thầy Khoa Kinh Tế Số - Học viện Chính sách Phát triển tạo điều kiện thuận lợi để hồn thành Khóa luận Trong q trình thu thập thông tin số liệu liên quan, nhận dẫn giúp đỡ, hỗ trợ tận tình ThS Bùi Minh Thành giảng viên khác khoa Kinh Tế Số - Học viện Chính sách Phát triển Với điều kiện thời gian kinh nghiệm cịn hạn chế, q trình hồn thiện Khóa luận, tơi khơng thể tránh khỏi sai sót, mong nhận bảo để đề tài hồn thiện Tơi xin chân thành cảm ơn! Hà Nội, tháng năm 2023 Sinh viên Trương Hải Nam MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC VIẾT TẮT DANH MỤC BẢNG DANH MỤC HÌNH - BIỂU MỞ ĐẦU Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 4 Phương pháp nghiên cứu Kết cấu khóa luận CHƯƠNG 1: CỞ SỞ LÝ THUYẾT KỸ THUẬT HỌC KẾT HỢP MƠ HÌNH HỌC SÂU 1.1 Khái quát Học máy 1.2 Các mơ hình phân loại Học máy 1.2.1 K láng giềng gần 1.2.2 Máy học hỗ trợ vector (SVM) 10 1.2.3 Hồi quy Logistic 11 1.2.4 Cây định 13 1.2.5 Linear Discriminant Analysis 15 1.2.6 Gaussian Naive Bayes 18 1.3 Hiện tượng cân liệu 21 1.3.1 Khái niệm cân liệu 21 1.3.2 Các phương pháp xử lý liệu cân 21 1.4 Kỹ thuật học kết hợp 25 1.4.1 Khái niệm kỹ thuật học kết hợp 25 1.4.2 Các biến thể kỹ thuật học kết hợp 26 1.5 Mạng neural học sâu 29 1.5.1 Khái niệm mạng neural học sâu 29 1.5.2 Các hàm kích hoạt mạng neural học sâu 30 1.5 Các độ đo hiệu mơ hình phân loại 34 KẾT LUẬN CHƯƠNG 37 CHƯƠNG 2: MƠ HÌNH ĐỀ XUẤT GIẢI QUYẾT BÀI TỐN 38 2.1 Mơ hình đề xuất 38 2.2 Cấu trúc phân lớp Mức 41 2.3 Cấu trúc phân lớp Mức 43 2.4 Bộ liệu nghiên cứu 44 2.5 Chuẩn bị liệu 48 KẾT LUẬN CHƯƠNG 52 CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM MƠ HÌNH VÀ ĐỀ XUẤT 53 3.1 Kết thực nghiệm mơ hình 53 3.1.1 Kết phân lớp Mức 53 3.1.2 Kết phân lớp Mức 54 3.1.3 Kết mơ hình đề xuất 55 3.1.4 So sánh mơ hình đề xuất với nghiên cứu khác 56 3.2 Đề xuất nâng cao khả giữ chân khách hàng 57 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 62 I Tài liệu nghiên cứu 62 II Trang Web 64 DANH MỤC VIẾT TẮT STT Chữ viết tắt Tên đầy đủ tiếng anh Tên đầu đủ tiếng việt KNN K-nearest neighbors K láng giềng gần SVM Support Vector Machines Máy hỗ trợ vector LR Logictis Regression Hồi quy logistics DT Decision tree Cây định LDA GB Gaussian Naive Bayes DNN Deep Neural Network Linear Discriminant Analysis Mạng học sâu DANH MỤC BẢNG Bảng 1.2 Hàm Kernel SVM Bảng 2.1 Các tham số mơ hình sở Bảng 2.2 Các phân loại chọn Bảng 2.3 Mô tả liệu thực nghiệm Bảng 2.4 Dữ liệu mẫu minh họa (5 dòng đầu) Bảng 2.5 Thể kết thống kê liệu Bảng 2.6 Dữ liệu sau chuẩn hóa Bảng 3.1 Kết phân lớp Mức Bảng 3.2 Kết phân lớp Mức Bảng 3.3 Kết mơ hình đề xuất Bảng 3.4 So sánh mơ hình đề xuất với nghiên cứu khác DANH MỤC HÌNH - BIỂU Hình 1.1 Ví dụ Thuật tốn K láng giềng gần Hình 1.2 Ví dụ hàm RBF SVM Hình 1.3 Hàm Sigmoid Hình 1.4 Thuật tốn Cây định Hình 1.5 Thuật tốn Linear Discriminant Analysis Hình 1.6 Thuật tốn Gaussian Naive Bayes Hình 1.7 Phương pháp Undersampling Hình 1.8 Phương pháp Oversampling Hình 1.9 Ví dụ Phương pháp SMOTE Hình 1.10 Mơ hình tổng quan Kỹ thuật học kết hợp Hình 1.11 Mơ hình tổng có trọng số tuyến tính Hình 1.12 Cấu trúc DNN Hình 1.13 Hàm ReLU Hình 1.14 Hàm Leaky ReLU Hình 1.15 Hàm Tanh Hình 1.16 Hàm Sigmoid Hình 2.1 Biểu diễn đồ thị phương pháp Stacking Hình 2.2 Biểu diễn sơ đồ mơ hình cấp sở Hình 2.3 Mơ hình đề xuất có kiến trúc khóa luận Hình 2.4 Hệ số tương quan trường liệu Hình 2.5 Dữ liệu trước sau phương pháp SMOTE Tomek MỞ ĐẦU Tính cấp thiết đề tài Hiện nay, song hành với phát triển ngày nhanh chóng tảng cơng nghệ thơng tin, đại diện Blockchain, IOT, AI… ngân hành thương mại đồng thời nắm bắt với xu hướng phát triển chung lĩnh vực Đi với sóng chuyển đổi số ngân hàng thương mại làm ngân hành có thay đổi lớn phức tạp, đồng thời phải đối mặt với nhiều thách thức thời Cuộc chạy đua để giữ chân khách hàng ngân hàng thương mại ngày thêm căng thẳng, ngân hàng đưa sách riêng họ để cụ thể hóa sách đến khách hàng có ý định ngưng sử dụng dịch vụ câu chuyện khác Nếu ngân hàng đợi chờ đến khách hàng rời bỏ dịch vụ họ khó để giữ chân họ tiếp tục với dịch vụ Điều tạo cho ngân hàng thách thức phải dự đốn trước khách hàng rời bỏ dịch vụ tương lai Với phát triển ngành khoa học liệu vào năm gần giúp giải nhiều toán khác lựa chọn đắn ngân hàng để giải toán rời bỏ dịch vụ họ, với nguồn liệu dồi từ khách hàng giúp việc dự đốn trở lên sác Bài nghiên cứu ứng dụng machine learning vào việc dự đoán khách hàng rời bỏ làm giúp ngân hàng có phương pháp để đưa sách nhằm giữ chân khách hàng đến với khách hàng có ý định rời bỏ dịch vụ Kết luận, khóa luận nhằm mục đích tìm phương pháp tốt để dự đốn khả rời bỏ dịch vụ khách hàng từ giúp ngân hàng có biện pháp kịp thời để giữ chân khách hàng gắn bó với dịch vụ SMOTE phương pháp tạo liệu cách tạo mẫu nhân tạo tập liệu thiểu số cách tìm mẫu gần tạo mẫu nằm điểm Các mẫu nhân tạo tạo để giảm thiểu thiếu cân tập liệu Tuy nhiên, phương pháp SMOTE tạo mẫu nhân tạo gần với mẫu thiểu số khơng gian đặc trưng, dẫn đến tình trạng overfitting Do đó, phương pháp SMOTE Tomek kết hợp phương pháp SMOTE với phương pháp Tomek để giảm thiểu tượng overfitting Phương pháp Tomek sử dụng để loại bỏ mẫu gần tập liệu Các mẫu gần tập liệu gọi Tomek links Các Tomek links loại bỏ để giảm thiểu chồng chéo lớp cải thiện độ xác mơ hình Vì vậy, phương pháp SMOTE Tomek sử dụng phương pháp SMOTE để tạo liệu cho mẫu thiểu số phương pháp Tomek để loại bỏ Tomek links tập liệu Kết tập liệu cân giảm thiểu overfitting, cải thiện độ xác mơ hình phân loại Hình 2.5: Dữ liệu trước sau phương pháp SMOTE Tomek Nguồn: Khóa luận Tồn liệu chia thành hai tập liệu tập huấn luyện (80%) tập thử nghiệm (20%) Việc chia hai tập liệu theo tỷ lệ 80:20 giúp mơ hình đạt 50 hiệu tốt tỷ lệ liệu huấn luyện dẫn đến phương sai lớn ước tính tham số mơ hình, liệu thử nghiệm dẫn đến phương sai lớn hiệu suất mơ hình Vì mục tiêu để đảm bảo liệu chia thành tập huấn luyện thử nghiệm dẫn đến phương sai không cao, nên lựa chọn tỷ lệ 80:20 [18] 51 KẾT LUẬN CHƯƠNG Chương giới thiệu đề xuất mơ hình học kết hợp với tầng để giải toán phân loại Tầng mơ hình gồm phân lớp DNN, sử dụng làm mơ hình sở Điều giúp tăng cường khả phân loại mơ hình cách kết hợp mơ hình phân loại có tính linh hoạt cao, học đặc trưng phức tạp tập liệu Trong chương 2, giới thiệu cấu trúc phân lớp DNN tham số quan trọng hàm kích hoạt hàm tối ưu Nhờ sử dụng phân lớp DNN, mô hình có khả học đặc trưng phức tạp giải tốn phân loại có độ phức tạp cao Tầng mơ hình phân lớp SVM, KNN, LR, DT, LDA GB Điều giúp đưa kết phân loại xác cách kết hợp mơ hình phân loại khác để giảm thiểu sai sót khả bị thiên vị Ngồi ra, chương 2, giới thiệu liệu thực nghiệm bước chuẩn bị liệu Điều quan trọng để đảm bảo mô hình đề xuất hoạt động tốt tập liệu thực tế Bằng cách sử dụng liệu thực nghiệm, đánh giá hiệu suất mơ hình tinh chỉnh tham số để đưa kết phân loại xác Từ làm sở cho trình thực nghiệm đưa kết nhận xét chương 3: Kết Quả Thực Nghiệm Mơ Hình Và Đề Xuất 52 CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM MƠ HÌNH VÀ ĐỀ XUẤT 3.1 Kết thực nghiệm mơ hình 3.1.1 Kết phân lớp Mức Trong khóa luận sử dụng phân lớp mức mơ hình DNN có hàm kích hoạt hàm tối ưu khác nhau, tạo đa dạng q trình dự đốn, mơ hình cần đào tạo với tập liệu huấn luyện, từ có thể thử nghiệm, đánh giá kết dự báo từ mơ hình Bảng 3.1 Kết phân lớp Mức DNN DNN DNN Accuracy 0.950 0.953 0.917 Recall 0.957 0.967 0.930 Precision 0.945 0.940 0.906 ROC 0.950 0.953 0.917 Nguồn: Khóa luận Dựa theo kết bảng 3.1.1, thấy DNN DNN có hiệu suất tương đối cao với độ xác (accuracy) 0.950 0.953 Tuy nhiên, DNN có hiệu suất thấp so với hai mơ hình cịn lại, với độ xác đạt 0.917 Ngồi ra, DNN có độ nhạy (recall) cao so với DNN DNN 3, với giá trị đạt 0.967 Trong đó, DNN DNN có độ xác dự đoán dương (precision) cao DNN Đối với ROC, mơ hình DNN DNN có kết tương đương, DNN có kết thấp Tổng quan, xét độ xác, DNN có hiệu 53 suất tốt Tuy nhiên, quan tâm đến độ nhạy, DNN mơ hình tốt 3.1.2 Kết phân lớp Mức Bộ phân lớp Mức có nhiệm vụ học kết dự đoán từ phân lớp mức từ đưa kết dự đốn cuối mơ hình đề xuất, khóa luận tiến hành huấn luyện với phân lớp nên phần 2.3 Từ tìm mơ hình có khả phân loại tốt Bảng 3.2 Kết phân lớp Mức Độ đo hiệu Bộ phân loại Accuracy Precision Recall ROC LR 0.7177 0.7209 0.708 0.7177 LDA 0.7162 0.7197 0.7054 0.7161 KNN 0.8595 0.8078 0.9425 0.8597 DT 0.8343 0.8313 0.8377 0.8344 GaussianNB 0.7588 0.7623 0.7502 0.7588 SVM 0.8315 0.8295 0.8332 0.8315 Nguồn: Khóa luận Từ kết phân loại bảng 3.1.2 nhận thấy phân loại KNN có hiệu tốt với độ xác (accuracy) lên tới 85.95%, độ phủ (recall) cao (94.25%), độ xác phân loại mẫu dương tính (precision) đạt 80.78%, số ROC 85.97% Từ kết khóa luận tiến hành sử dụng phân loại KNN làm phân loại mức mơ hình đề xuất 54 3.1.3 Kết mơ hình đề xuất Bảng 3.3 Kết mơ hình đề xuất Bộ phân loại mức Bộ phân loại Chỉ số DNN DNN DNN DNN-KNN Accuracy 0.950 0.953 0.950 0.975 Recall 0.957 0.967 0.957 0.972 Precision 0.945 0.940 0.945 0.978 ROC 0.950 0.953 0.950 0.975 Nguồn: Khóa luận Dựa số đánh giá bảng 3.1.3, thấy mơ hình đề xuất DNN-KNN có kết tốt với độ xác, độ nhạy độ chuẩn xác lớn so với phân loại DNN cịn lại Mơ hình đề xuất cho thấy ưu điểm khả dự đoán vượt trội mơ hình phân loại đơn lẻ, nhờ tận dụng ưu điểm hai phân loại DNN KNN Khả học phi tuyến tính khả học dựa mẫu DNN, giúp mơ hình có khả phân loại xác tập liệu phức tạp có tính phi tuyến tính Khả áp dụng KNN việc phân loại mẫu, giúp mơ hình xác định lớp mẫu cách so sánh với mẫu lân cận gần tập liệu huấn luyện Với kết hợp hai phân loại này, mơ hình đề xuất có khả đạt độ xác cao việc phân loại mẫu, đồng thời cịn có khả tự động học đặc trưng phức tạp liệu tối ưu hóa tham số mơ hình 55 Ngồi ra, mơ hình đề xuất cịn có khả xử lý tập liệu có kích thước lớn có tính phân bố khơng đồng ➢ Từ nhận định mơ hình đề xuất mơ hình cho kết tốt số đánh giá, đặc biệt với số accuracy ROC ➢ Từ trình thực nghiệm thấy mơ hình đề xuất mang lại độ tin cậy cao vượt trội so với mơ hình độc lập Với các thực nghiệm thấy khả dự đốn mơ hình phân loại xác có để ứng dụng để dự đốn khách hàng rời bỏ hay khơng tương lai 3.1.4 So sánh mơ hình đề xuất với nghiên cứu khác Khóa luận tiến hành so sánh mơ hình đề xuất khóa luận kỹ thuật nghiên cứu [19] [20] tập liệu thực nghiệm Từ có Bảng 3.1.3 thể kết thử nghiệm mô hình đề xuất từ thấy mơ hình đề xuất có hiệu suất đánh giá cao tất số đánh giá nằm trê mức 97%, cho thấy mơ hình có ổn định khơng có chênh lệnh số đánh giá Bảng 3.4 So sánh mơ hình đề xuất với nghiên cứu khác Độ đo hiệu Bộ phân loại Accuracy Precision Recall F1-score DNN [20] 0.858 0.8827 0.9492 0.9147 XGBoost [19] 0.868 0.8795 0.9673 0.9213 KNN [19] 0.838 0.8603 0.9516 0.9036 DNN-KNN 0.975 0.9717 0.9785 0.9751 Nguồn: Khóa luận 56 3.2 Đề xuất nâng cao khả giữ chân khách hàng Khi mơ hình dự đốn khách hàng có ý định rời bỏ, việc giữ chân khách hàng trở thành yếu tố quan trọng để giữ vững phát triển doanh nghiệp Để thực điều này, doanh nghiệp cần tăng cường dịch vụ chăm sóc khách hàng, tăng tính tương tác với khách hàng, cải thiện sản phẩm dịch vụ mình, cung cấp ưu đãi khuyến hấp dẫn, tăng tính đa dạng sản phẩm dịch vụ • Trong số yếu tố này, dịch vụ chăm sóc khách hàng yếu tố quan trọng Khách hàng muốn cảm thấy quan tâm giúp đỡ gặp vấn đề trình sử dụng sản phẩm dịch vụ Vì vậy, đảm bảo dịch vụ chăm sóc khách hàng bạn ln đáp ứng yêu cầu mong muốn khách hàng, đồng thời cung cấp giải pháp cho vấn đề khách hàng nhanh chóng hiệu điều vơ quan trọng • Thứ hai, tăng tính tương tác với khách hàng thông qua phương tiện truyền thông xã hội email marketing yếu tố quan trọng giúp giữ chân khách hàng Các doanh nghiệp cần tạo môi trường tương tác tích cực với khách hàng, để khách hàng cảm thấy gần gũi liên tục kết nối với doanh nghiệp Việc tương tác thường xuyên với khách hàng giúp họ cảm thấy quan tâm ý từ phía doanh nghiệp • Thứ ba, cải thiện sản phẩm dịch vụ bạn yếu tố quan trọng việc giữ chân khách hàng Để đáp ứng nhu cầu thay đổi khách hàng, doanh nghiệp cần cải thiện phát triển sản phẩm dịch vụ liên tục Các doanh nghiệp cần tìm hiểu vấn đề thách thức mà khách hàng phải đối mặt đáp ứng chúng cách hiệu để giữ chân khách hàng 57 • Thứ tư, để giữ chân khách hàng, cung cấp ưu đãi khuyến hấp dẫn cách hiệu để khuyến khích khách hàng tiếp tục sử dụng sản phẩm dịch vụ bạn Điều bao gồm chương trình khuyến mãi, giảm giá, tặng quà, voucher, điểm thưởng Những ưu đãi không giúp khách hàng cảm thấy đánh giá cao, mà tạo kết nối lòng trung thành khách hàng doanh nghiệp Ngoài ra, cách khác để giữ chân khách hàng đưa lời khuyên hữu ích cho khách hàng, giúp họ tận dụng tối đa sản phẩm dịch vụ bạn Việc đưa lời khuyên tốt giúp khách hàng cảm thấy họ quan tâm đánh giá cao, từ cảm thấy hài lòng sẵn sàng tiếp tục sử dụng sản phẩm dịch vụ bạn Bên cạnh đó, bạn tạo khảo sát tìm hiểu ý kiến khách hàng để nắm bắt thông tin cần thiết cải thiện sản phẩm dịch vụ mình.Nếu khách hàng trải nghiệm tốt với sản phẩm dịch vụ bạn, họ trở thành nhân viên quảng cáo miễn phí cho bạn Họ giới thiệu sản phẩm dịch vụ bạn cho bạn bè, người thân đồng nghiệp họ, giúp bạn thu hút nhiều khách hàng Vì vậy, đảm bảo sản phẩm dịch vụ bạn đáp ứng nhu cầu mong muốn khách hàng Cuối cùng, cập nhật theo dõi thông tin khách hàng thường xuyên Nếu khách hàng có thắc mắc khiếu nại nào, đảm bảo bạn giải chúng cách nhanh chóng hiệu Điều giúp khách hàng cảm thấy quan tâm đánh giá cao, giúp bạn giữ chân họ thời gian dài.Trên số ý tưởng cách thức giúp giữ chân khách hàng hiệu sau mơ hình dự đốn khách hàng có ý định rời bỏ Tuy nhiên, việc giữ chân khách hàng trình khơng ngừng nghỉ địi hỏi cải thiện liên tục Do đó, ln đổi nâng cao chất lượng sản phẩm dịch vụ bạn để giữ quan tâm tín nhiệm khách hàng 58 KẾT LUẬN CHƯƠNG Trong chương3, khóa luận tiến hành thực nghiệm phân lớp tầng so sánh phân lớp tầng để tìm phân loại có hiệu tốt Kết cho thấy, phân loại KNN đạt độ xác cao lên tới 85.95%, độ phủ cao (94.25%), độ xác phân loại mẫu dương tính đạt 80.78%, số ROC 85.97% Chọn KNN làm phân lớp tầng giúp đạt kết tốt với mơ hình DNN-KNN, độ xác đạt 97.5% Kết thực nghiệm so sánh với nghiên cứu khác cho thấy mơ hình DNN-KNN đạt kết tốt so với mô hình khác DNN [20], XGBoost [19], KNN [19] Điều cho thấy mơ hình đề xuất hiệu áp dụng để giải toán nhận khách hàng rời bỏ cách xác Ngồi ra, khóa luận đề xuất số giải pháp để giữ chân khách hàng tăng cường dịch vụ chăm sóc khách hàng, tăng tính tương tác với khách hàng, cải thiện sản phẩm dịch vụ, cung cấp ưu đãi khuyến mãi, tăng tính đa dạng sản phẩm dịch vụ 59 KẾT LUẬN Ứng dụng học máy dự đoán khách hàng rời bỏ cần thiết giúp doanh nghiệp xác định trước khách hàng có nguy chuyển sang đối thủ ngừng sử dụng dịch vụ Việc áp dụng mô hình học máy giúp tăng khả dự đốn khách hàng rời bỏ đưa định kinh doanh xác hơn, giúp giảm thiểu chi phí tăng doanh thu cho doanh nghiệp Ngoài ra, học máy cịn có khả tự động hóa quy trình phân tích liệu, giúp tiết kiệm thời gian cơng sức nhân viên phân tích liệu Mơ hình học máy cịn có khả học tập liên tục cải thiện dựa liệu mới, giúp đưa dự đốn xác theo thời gian Các mơ hình học máy cịn áp dụng nhiều lĩnh vực khác y tế, tài chính, thương mại điện tử, v.v., giúp đưa định kinh doanh xác hiệu Vì vậy, việc ứng dụng học máy dự đoán khách hàng rời bỏ xu hướng bỏ qua thời đại công nghệ 4.0 Qua trình nghiên cứu học máy, kỹ thuật học sâu kỹ thuật học kết hợp Em hồn thiện khóa luận với đề tài “Nâng Cao Hiệu Quả Dự Báo Khách Hàng Rời Bỏ Dịch Vụ Ngân Hàng Sử Dụng Kỹ Thuật Học Kết Hợp Mô Hình Học Sâu”, khóa luận hồn thiện nội dung sau: • Tổng quan Học máy, kỹ thuật học sâu kỹ thuật học kết hợp • Tổng quan mơ hình phân loại học máy phân loại với học sâu • Khái quát tượng cân • Đề xuất mơ hình dự đoán khách hàng rời bỏ việc kết hợp kỹ thuật học sâu kỹ thuật học kết hợp Tất nghiên cứu có hạn chế khóa luận em khơng phải ngoại lệ Trong trình thực nghiên cứu, em cố gắng tìm hiểu áp dụng kiến thức kỹ học để đưa kết tốt Tuy 60 nhiên, giới hạn thời gian, kiến thức tài nguyên, em khơng thể hồn thành nghiên cứu cách hồn hảo Vì vậy, em mong muốn nhận góp ý, nhận xét từ giảng viên, chuyên gia lĩnh vực để em hồn thiện nghiên cứu Những ý kiến đóng góp giúp em hiểu rõ điểm mạnh, điểm yếu khóa luận, từ tìm cách khắc phục hạn chế Ngồi ra, em mong muốn nghiên cứu đóng góp tích cực đến việc phát triển ứng dụng mơ hình học máy lĩnh vực khác Với phát triển không ngừng công nghệ thơng tin, thuật tốn học máy ứng dụng rộng rãi nhiều lĩnh vực khác y tế, tài chính, kinh doanh, quản lý Những kết nghiên cứu hy vọng có ích cho người làm việc lĩnh vực đóng góp phần nhỏ vào phát triển xã hội Khóa luận bước ngoặt quan trọng đánh dấu kết thúc chặng đường đại học em bước khởi đầu để em tiếp tục phát triển nghiệp tương lai Em hy vọng khóa luận đánh giá cao đóng góp phần nhỏ vào phát triển ngành kinh tế số 61 TÀI LIỆU THAM KHẢO I Tài liệu nghiên cứu [1] Altman, Naomi S “An Introduction to Kernel and Nearest-Neighbor Nonparametric Regression.” The American Statistician 46 (1992): 175-185 [2] Vũ Hữu Tiệp Machine Learning Cơ Bản (2020): 118-119 [3] Müller, Andreas and Sarah Guido “Introduction to Machine Learning with Python: A Guide for Data Scientists.” (2016) [4] litto, Renata & Amaral, Antonia & Oliveira, Leticia & Serrano, Helena & Seger, Karin & Guilherme, Pablo & Di Domenico, Maikon & Christensen, Ana & Lourenỗo, Luciana & Tavares, Marcos & Borges, Michela (2019) Atlantic West Ophiothrix spp in the scope of integrative taxonomy: Confirming the existence of Ophiothrix trindadensis Tommasi, 1970 PLOS ONE 14 e0210331 10.1371/journal.pone.0210331 [5] Raizada, Rajeev & Lee, Yune (2013) Smoothness without Smoothing: Why Gaussian Naive Bayes Is Not Naive for Multi-Subject Searchlight Studies PloS one e69566 10.1371/journal.pone.0069566 [6] Schubach, Max & Re, Matteo & Robinson, Peter & Valentini, Giorgio (2017) Imbalance-Aware Machine Learning for Predicting Rare and Common DiseaseAssociated Non-Coding Variants Scientific Reports 10.1038/s41598-01703011-5 [7] Massaoudi, Mohamed et al “A novel stacked generalization ensemble-based hybrid LGBM-XGB-MLP model for Short-Term Load Forecasting.” Energy (2021): n pag 62 [8] Bayraci, Selỗuk and Orkun Susuz A Deep Neural Network (DNN) based classification model in application to loan default prediction.” Theoretical and Applied Economics (2019): 75-84 [9] R Collobert “Large Scale Machine Learning” PhD thesis, Universite de Paris VI, LIP6, 2004 [10] J D Kelleher, B M Namee, and A D’Arcy, “Fundamentals of machine learning for predictive data analytics: Algorithms, worked examples, and case studies,” 2015 [11] T Fawcett, “An introduction to roc analysis,” Pattern Recognition Letters, vol 27, no 8, pp 861–874, 2006, rOC Analysis in Pattern Recognition [12] Ting, Kai Ming and Ian H Witten “Issues in Stacked Generalization.” J Artif Intell Res 10 (1999): 271-289 [13] Wolpert, David H “Stacked generalization.” Neural Networks (1992): 241259 [14] Breiman, L “Stacked regressions.” Machine Learning 24 (1996): 49-64 [15] Smyth, Padhraic and David H Wolpert “Stacked Density Estimation.” NIPS (1997) [16] Massaoudi, Mohamed et al “A novel stacked generalization ensemble-based hybrid LGBM-XGB-MLP model for Short-Term Load Forecasting.” Energy (2021): n pag [17] Bank Turnover Dataset.https://www.kaggle.com/datasets/barelydedicated/bankcustomer-churn-modeling 63 [18] Sina E Charandabi (2020) “Prediction of Customer Churn in Banking Industry.” Department of Decision Science, LeBow College of Business, Drexel University [19] H Dalmia, C V S S Nikil, and S Kumar, “Churning of bank customers using supervised learning,” 2020 [20] E Domingos, B Ojeme, and O Daramola, “Experimental analysis of hyperparameters for deep learning-based churn prediction in the banking sector,” Comput., vol 9, p 34, 2021 II Trang Web [2.1] https://www.dotnetlovers.com/ /215/k-nearest-neighbors-knn [2.2] https://www.hackerearth.com/ /simple-tutorial-svm / [2.3] https://towardsdatascience.com/activation-functions-neural-networks1cbd9f8d91d6 [2.4] https://www.lucidchart.com/pages/templates/vertical-decision-tree-example [2.5] https://dataaspirant.com/ [2.6] https://towardsdatascience.com/a-laymans-guide-to-deep-neural-networksddcea24847fb [2.7] https://medium.com/@kanchansarkar/relu-not-a-differentiable-function-whyused-in-gradient-based-optimization-7fef3a4cecec [2.8] https://builtin.com/machine-learning/activation-functions-deep-learning 64