Ứng dụng học máy trong dự báo vỡ nợ tại ngân hàng thương mại cổ phần quốc tế việt nam

NGÂN HÀNG NHÀ NƯỚC VIỆT NAM BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGÂN HÀNG TP.HCM ỨNG DỤNG HỌC MÁY TRONG DỰ BÁO VỠ NỢ TẠI NGÂN HÀNG THƯƠNG MẠI CỔ PHẦN QUỐC TẾ VIỆT NAM Sinh viên: Nguyễn Minh Hiếu MSSV: 030805170097 Lớp: HQ5-GE08 Khóa học: 2017 – 2021 GVHD: ThS Trần Kim Long Thành phố Hồ Chí Minh, Tháng 09 năm 2021 LỜI CAM ĐOAN Tơi xin cam đoan nội dung viết khoá luận với đề tài “Ứng dụng học máy dự báo vỡ nợ Ngân hàng TMCP Quốc Tế Việt Nam” cơng trình nghiên cứu thân kết sau tháng thực với hướng dẫn ThS Trần Kim Long Các liệu thông tin khố luận hồn tồn trung thực phù hợp với quy định ngân hàng Tôi xin chịu hoàn toàn trách nhiệm lời cam đoan vấn đề liên quan đến khoá luận Tác giả Nguyễn Minh Hiếu MỤC LỤC MỤC LỤC DANH MỤC BẢNG VÀ HÌNH DANH MỤC CÁC TỪ VIẾT TẮT CHƯƠNG TỔNG QUAN VỀ NGHIÊN CỨU 1.1 Lý chọn đề tài 1.2 Mục tiêu nghiên cứu 1.2.1 Mục tiêu nghiên cứu tổng quát 1.2.2 Các câu hỏi nghiên cứu 1.3 Phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Những đóng góp đề tài 1.6 Quy trình nghiên cứu 1.7 Cấu trúc đề tài CHƯƠNG CƠ SỞ LÝ THUYẾT VÀ CÁC BẰNG CHỨNG THỰC NGHIỆM VỀ VẤN ĐỀ NGHIÊN CỨU 10 2.1 Khái niệm vỡ nợ 10 2.2 Ảnh hưởng vỡ nợ với ngân hàng 11 2.3 Các yếu tố dẫn đến khả vỡ nợ khoản vay 12 2.3.1 Yếu tố thông tin pháp lý khách hàng 12 2.3.2 Yếu tố hoàn cảnh sống khách hàng 13 2.3.3 Yếu tố tài khách hàng 13 2.3.4 Yếu tố hành vi khách hàng 14 2.4 Khái quát học máy 14 2.5 Các phương pháp phân loại dự báo vỡ nợ 15 2.5.1 Phương pháp rừng ngẫu nhiên 15 2.5.2 Phương pháp hồi quy logistic 16 2.5.3 Phương pháp định 17 2.6 Tổng quan nghiên cứu trước 17 2.6.1 Các nghiên cứu nước 17 2.6.2 Các nghiên cứu nước 20 CHƯƠNG PHƯƠNG PHÁP NGHIÊN CỨU 22 3.1 Phương pháp nghiên cứu quy trình nghiên cứu 22 3.1.1 Phương pháp nghiên cứu 22 3.1.2 Quy trình nghiên cứu 22 3.2 Phương pháp thu thập liệu 22 3.3 Biến nghiên cứu 22 3.4 Phương pháp phân tích liệu 23 3.4.1 Phương pháp rừng ngẫu nhiên 23 3.4.2 Phương pháp định 24 3.4.3 Phương pháp hồi quy logistic 25 3.4.4 Các phương pháp đánh giá hiệu mơ hình dự báo 26 3.4.4.1 Confusion matrix 26 3.4.4.2 Sensitivity Specificity 26 3.4.4.3 Accuracy (Precision) 26 3.4.4.4 F1-Score 27 3.4.4.5 Khu vực đường cong (AUC) 27 3.5 Chuẩn bị tiền xử lý liệu 28 3.5.1 Kỹ thuật phân loại 28 3.5.2 Xác định mẫu xây dựng mẫu kiểm định 29 CHƯƠNG KẾT QUẢ NGHIÊN CỨU 30 4.1 Thống kê mô tả 30 4.2 Kết dự báo phương pháp 32 4.2.1 Kết phân loại phương pháp rừng ngẫu nhiên 32 4.2.2 Kết phân loại phương pháp định 33 4.2.3 Kết phân loại phương pháp hồi quy logistic 34 4.2.4 So sánh phương pháp phân loại 35 4.2.5 Thảo luận kết 36 4.2.6 Giới hạn định hướng nghiên cứu 37 CHƯƠNG KẾT LUẬN 38 TÀI LIỆU THAM KHẢO 40 PHỤ LỤC – KẾT QUẢ CHẠY MƠ HÌNH 47 DANH MỤC BẢNG VÀ HÌNH Bảng 3.1 Biến nghiên cứu khả vỡ nợ khách hàng 22 Bảng 3.2 Mẫu xây dựng mẫu kiểm định 29 Bảng 4.1 Thống kê mô tả biến phân loại 30 Bảng 4.2 Mức độ dự báo phương pháp rừng ngẫu nhiên 33 Bảng 4.3 Mức độ dự báo phương pháp định 34 Bảng 4.4 Kết phương pháp hồi quy logistic 34 Bảng 4.5 Mức độ dự báo phương pháp hồi quy logistic 35 Bảng 4.6 So sánh kết dự báo phương pháp 36 Hình 3.1 Quy trình nghiên cứu 22 Hình 3.2 Đồ thị chứa ROC phân loại ngẫu nhiên hai phân loại hoạt động tốt 28 Hình 4.1 Mức độ quan trọng biến phương pháp rừng ngẫu nhiên 32 Hình 4.2 Kết phương pháp định 33 Hình 4.4 Đường cong ROC cho phương pháp khác 36 DANH MỤC CÁC TỪ VIẾT TẮT ACPR Cơ quan giám sát hành Pháp AUC Area under the curve – Diện tích đường cong FI Tổ chức tài VIB Văn Thánh Ngân hàng TMCP Quốc tế Việt Nam – Chi nhánh Sài Gòn – Phòng Giao dịch Văn Thánh CHƯƠNG TỔNG QUAN VỀ NGHIÊN CỨU 1.1 Lý chọn đề tài Trong năm gần đây, hoạt động cho vay ngân hàng phát triển mạnh, kèm với phát triển tiềm ẩn nguy rủi ro vỡ nợ khách hàng Việc đánh giá rủi ro tín dụng khách hàng cá nhân vấn đề quan trọng quản lý rủi ro ngân hàng, điều góp phần quan trọng việc tạo định: ngân hàng có nên cho khách hàng vay hay khơng (Lou & Wang, 2013) Do số lượng khách hàng vay tiềm lớn, phương pháp chấm điểm thủ cơng, ngân hàng nên áp dụng mơ hình hay thuật tốn việc phân tích mức độ tín nhiệm khách hàng (Khandani cộng sự, 2010) Trên thực tế, Twala (2010) nhiều ngân hàng lớn giới phát triển thuật tốn thơng minh tự động để lập mơ hình rủi ro tín dụng, cung cấp thông tin quan trọng cho việc định điển hình học máy (machine learning) Học máy chương trình máy tính lập trình để học hỏi kinh nghiệm từ tác vụ, từ đưa dự đốn xác cải thiện hiệu suất (Cooper cộng sự, 1997) Trong bối cảnh nghiên cứu rủi ro tín dụng sử dụng kỹ thuật học máy, số nghiên cứu đưa nhiều hướng phân tích mức độ rủi ro mơ hình liệu cụ thể Tuy nhiên, nghiên cứu chưa xác định kỹ thuật dự báo rủi ro tín dụng dự báo mức độ xác cao (Dastile cộng sự, 2020) Mục tiêu nghiên cứu giúp cải thiện khả dự đoán phương pháp học máy dựa kỹ thuật “classification” “cross validation” giúp cho mơ hình dễ dàng giải thích Từ đó, mục đích tiếp cận tác giả nhằm đề xuất phương pháp chấm điểm tín dụng phù hợp dự báo rủi ro tín dụng ngân hàng Việc sử dụng các phương pháp học máy để chấm điểm tín dụng xuất từ năm 1960, hoạt động kinh doanh thẻ tín dụng xuất cần có quy trình định tự động Đến năm 1970, sau điểm tín dụng chấp nhận hồn tồn, chúng sử dụng rộng rãi hầu hết ngân hàng công ty cho vay khác Các phương pháp khác sử dụng học máy bao gồm phương pháp “Discriminant functions” Altman (1968), “Proportional hazards” Stepanova and Thomas (2001), “Hồi quy logistic” Steenackers Goovaerts (1989), nhiều phương pháp khác Sau đó, mơ hình hồi quy logistic dần trở thành mơ hình chấm điểm tiêu chuẩn ngành tín dụng, chủ yếu tính đơn giản khả diễn giải chúng Hầu hết ngân hàng giới sử dụng mơ hình này, đặc biệt phận tín dụng, mơ hình hồi quy logistic sử dụng để chấm điểm tín dụng khách hàng cá nhân có nhu cầu vay vốn Chấm điểm tín dụng lĩnh vực áp dụng kỹ thuật học máy ngành kinh tế Một số phương pháp sử dụng Cây định (Makowski, 1985; Srinivasan Kim, 1987), Neural networks (NN) (Tam Kiang, 1992), Support Vector Machine (Van Gestel cộng sự, 2003) Tại thời điểm này, việc tăng mức độ xác (so với mơ hình hồi quy logistic tiêu chuẩn) để đánh giá độ tin cậy dường bị hạn chế (các khảo sát Thomas cộng sự, 2000 Van Gestel cộng sự, 2003) Tuy nhiên, hiệu suất mơ hình chấm điểm dựa học máy cải thiện đáng kể từ áp dụng phương pháp tổng hợp, đặc biệt phương pháp “Packing” phương pháp “Reinforcement” (Paleologo et al, 2010) so sánh 41 thuật toán với tiêu chí đánh giá khác liệu chấm điểm tín dụng Họ xác nhận phương pháp rừng ngẫu nhiên Breiman (2001) phần lớn vượt trội hồi quy logistic dần trở thành phương pháp tiêu chuẩn chấm điểm tín dụng (Grennepois cộng sự, 2018) Trong nhiều thập kỷ qua, kỹ thuật học máy ngày nhiều ngân hàng tổ chức tín dụng khác sử dụng để dự báo rủi ro tín dụng (ACPR, 2020) Tuy nhiên, hạn chế kỹ thuật học máy xét duyệt tín dụng ngành tài – ngân hàng đến từ việc chúng thiếu khả giải thích diễn giải Điều mối quan tâm quan quản lý tài (đặc biệt chấm điểm tín dụng) khả quản lý “AI” diễn giải kỹ thuật học máy Nhìn chung, nghiên cứu lĩnh vực thực nhiều quốc gia khác giới Việt Nam mẻ, chưa phổ biến nhiều Các nghiên cứu ứng dụng giúp dự báo vỡ nợ hạn chế nên em định chọn đề tài “Ứng dụng học máy dự báo vỡ nợ Ngân hàng thương mại cổ phần Quốc Tế Việt Nam” để phần tìm mặt tích cực hạn chế, đưa số đề xuất giúp ứng dụng phát triển 1.2 Mục tiêu nghiên cứu 1.2.1 Mục tiêu nghiên cứu tổng quát Mục tiêu nghiên cứu tổng quát đề tài ứng dụng học máy dự báo vỡ nợ Ngân hàng TMCP Quốc Tế Việt Nam, từ đề xuất khuyến nghị nhằm hạn chế rủi ro tín dụng khách hàng cá nhân Ngân hàng TMCP Quốc Tế Việt Nam 1.2.2 Các câu hỏi nghiên cứu Tổng quan ứng dụng học máy dự báo rủi ro vỡ nợ? Những biện pháp giúp hạn chế rủi ro tín dụng khách hàng cá nhân Ngân hang TMCP Quốc tế Việt Nam? 1.3 Phạm vi nghiên cứu Đề tài sử dụng liệu thứ cấp thu thập từ nghiên cứu thực nghiệm, tài liệu, văn báo cáo, nguồn tài liệu tham khảo tin cậy tổ chức ngồi nước rủi ro tín dụng khách hàng cá nhân ngân hàng thương mại khoảng thời gian từ năm 2010 – 2020 Và tác giả tiến hành phân tích báo cáo hàng ngày Ngân hàng TMCP Quốc Tế Việt Nam thời gian từ 2019 – 2020 Về không gian: Nghiên cứu tiến hành khách hàng cá nhân Ngân hàng TMCP Quốc Tế Việt Nam – Chi nhánh Sài Gòn – Phòng Giao dịch Văn Thánh Về thời gian: Báo cáo nợ báo cáo kinh doanh Ngân hàng TMCP Quốc Tế Việt Nam – Chi nhánh Sài Gòn – Phòng Giao dịch Văn Thánh thời gian 2019 – 2020 1.4 Phương pháp nghiên cứu Dữ liệu xử lý chương trình Microsoft Excel R, với phương pháp phân tích sử dụng mơ hình rừng ngẫu nhiên, định, hồi quy logistic, thống kê mô tả kỹ thuật lấy mẫu lớp cân 1.5 Những đóng góp đề tài Bài nghiên cứu giúp cải thiện chất lượng dịch vụ Ngân hàng TMCP Quốc Tế Việt Nam tương lai tài Ngân hàng Dựa kết thu được, nghiên cứu trở thành tài liệu phân tích Ngân hàng TMCP Quốc Tế Việt Nam việc xác định mức độ quan tâm khách hàng tiềm Ngân hàng tương lai 1.6 Quy trình nghiên cứu Bước 1: Xây dựng đề tài, lên ý tưởng, kế hoạch cho nghiên cứu Bước 2: Làm đề cương nghiên cứu Bước 3: Tìm tài liệu nghiên cứu phân loại tài liệu phục vụ cho nghiên cứu, từ xây dựng đề cương riêng DeMaris, A., & Selman, S H (2013) Logistic regression In Converting Data into Evidence (pp 115-136) Springer, New York, NY Available at https://doi.org/10.1007/978-1-46147792-1_7 Donges, N (2019) A complete guide to the random forest algorithm Built In, 16 Edward, A (1968) Financial ratios, discriminant analysis and the prediction of corporate bankruptcy Journal of Finance, 23(4), 589-607 Available at https://doi.org/10.2307/2978933 Fawcett, T (2006) An introduction to ROC analysis Pattern recognition letters, 27(8), 861-874 Available at https://doi.org/10.1016/j.patrec.2005.10.010 Fofack, H (2005) Nonperforming loans in Sub-Saharan Africa Galindo, J., & Tamayo, P (2000) Credit risk assessment using statistical and machine learning: basic methodology and risk modeling applications Computational Economics, 15(1), 107143 Available at https://doi.org/10.1023/A:1008699112516 Grennepois, N., Alvirescu, M A., & Bombail, M (2018) Using Random Forest for credit risk models Deloitte Risk Advisory Jacobson, T., & Roszbach, K (2003) Bank lending policy, credit scoring and value-at-risk Journal of banking & finance, 27(4), 615-633 Available at https://doi.org/10.1016/S03784266(01)00254-0 Jaquette, O., & Hillman, N W (2015) Paying for default: Change over time in the share of federal financial aid sent to institutions with high student loan default rates Journal of Student Financial Aid, 45(1), Available at https://ir.library.louisville.edu/jsfa/vol45/iss1/2/ Karim, M Z., Chan, S G., & Hassan, S (2010) Bank efficiency and non-performing loans: Evidence from Malaysia and Singapore Prague Economic Papers, 2(1) Available at https://www.academia.edu/728779/Bank_Efficiency_And_Non_Performing_Loans_Evid ence_From_Malaysia_And_Singapore?auto=citations&from=cover_page Keenan, S., 1999 Historical default rates of corporate bond issuers 1920-1998, Moody’s Investor Service, Global Credit Research, January 1999 42 Khandani, A E., Kim, A J., & Lo, A W (2010) Consumer credit-risk models via machinelearning algorithms Journal of Banking & Finance, 34(11), 2767-2787 Available at https://doi.org/10.1016/j.jbankfin.2010.06.001 Kim, D S., & Shin, S (2021) The economic explainability of machine learning and standard econometric models-an application to the US mortgage default risk International Journal of Strategic Property Management, 25(5), 396-412 Available at https://doi.org/10.3846/ijspm.2021.15129 Kočenda, E., & Vojtek, M (2011) Default predictors in retail credit scoring: Evidence from Czech banking data Emerging Markets Finance and Trade, 47(6), 80-98 Available at https://doi.org/10.2753/REE1540-496X470605 Lalkhen, A G., & McCluskey, A (2008) Clinical tests: sensitivity and specificity Continuing education in anaesthesia critical care & pain, 8(6), 221-223 Available at https://doi.org/10.1093/bjaceaccp/mkn041 Liaw, A., & Wiener, M (2002) Classification and regression by randomForest R news, 2(3), 18-22 Available at https://cogns.northwestern.edu/cbmg/LiawAndWiener2002.pdf Lou, K R., & Wang, W C (2013) Optimal trade credit and order quantity when trade credit impacts on both demand rate and default risk Journal of the Operational Research Society, 64(10), 1551-1556 Available at https://doi.org/10.1057/jors.2012.134 Maalouf, M (2011) Logistic regression in data analysis: an overview International Journal of Data Analysis Techniques and Strategies, 3(3), 281-299 Available at https://doi.org/10.1504/IJDATS.2011.041335 Makowski, P (1985) Credit scoring branches out The Credit World, 75(1), 30–37 Mensah, C., Raphael, G., Dorcas, O., & Kwadwo, B Y (2013) The relationship between loan default and repayment schedule in microfinance institutions in Ghana: A case study of Sinapi Aba Trust Research Journal of Finance and Accounting, 4(19), 165-75 Available at https://core.ac.uk/download/pdf/234629751.pdf Moffatt, P G (2005) Hurdle models of loan default Journal of the operational research society, 56(9), 1063-1071 Available at https://doi.org/10.1057/palgrave.jors.2601922 43 Neema, S., & Soibam, B (2017) The comparison of machine learning methods to achieve most cost-effective prediction for credit card default Journal of Management Science and Business Intelligence, 2(2), 36-41 Available at https://doi.org/10.5281/zenodo.851527 Ojiako, I A., & Ogbukwa, B C (2012) Economic analysis of loan repayment capacity of smallholder cooperative farmers in Yewa North Local Government Area of Ogun State, Nigeria African Journal of Agricultural Research, 7(13), 2051-2062 Available at https://doi.org/10.5897/AJAR11.1302 Oni, O A., Oladele, O I., & Oyewole, I K (2005) Analysis of factors influencing loan default among poultry farmers in Ogun State Nigeria Journal of Central European Agriculture, 6(4), 619-624 Available at https://hrcak.srce.hr/17331 Paleologo, G., Elisseeff, A., & Antonini, G (2010) Subagging for credit scoring models European journal of operational research, 201(2), 490-499 Available at https://doi.org/10.1016/j.ejor.2009.03.008 Petropoulos, A., Siakoulis, V., Stavroulakis, E., & Vlachogiannakis, N E (2020) Predicting bank insolvencies using machine learning techniques International Journal of Forecasting, 36(3), 1092-1113 Available at https://doi.org/10.1016/j.ijforecast.2019.11.005 Pregibon, D (1981) Logistic regression diagnostics The annals of statistics, 9(4), 705-724 Available at https://doi.org/10.1214/aos/1176345513 Quinlan, J R (1986) Induction of decision trees Machine learning, 1(1), 81-106 Available at https://doi.org/10.1007/bf00116251 Rokach, L., & Maimon, O (2005) Decision trees In Data mining and knowledge discovery handbook (pp 165-192) Springer, Boston, MA Available at https://doi.org/10.1007/0387-25465-x_9 Rymarczyk, T., Kozłowski, E., Kłosowski, G., & Niderla, K (2019) Logistic regression for machine learning in process tomography Sensors, 19(15), 3400 Available at https://doi.org/10.3390/s19153400 Saltelli, A (2002) Sensitivity analysis for importance assessment Risk analysis, 22(3), 579-590 Available at https://doi.org/10.1111/0272-4332.00040 Schuermann, T (2004) What we know about loss given default? Available at https://doi.org/10.2139/ssrn.525702 44 Shalev-Shwartz, S., & Ben-David, S (2014) Understanding machine learning: From theory to algorithms Cambridge university press Available at http://103.47.12.35/bitstream/handle/1/1069/understanding-machine-learning-theoryalgorithms.pdf?sequence=1&isAllowed=y Son, Y., Byun, H., & Lee, J (2016) Nonparametric machine learning models for predicting the credit default swaps: An empirical study Expert Systems with Applications, 58, 210-220 Available at https://doi.org/10.1016/j.eswa.2019.05.028 Soofi, A A., & Awan, A (2017) Classification techniques in machine learning: applications and issues Journal of Basic and Applied Sciences, 13, 459-465 Available at https://pdfs.semanticscholar.org/2678/e213cec548d278879ceaf01582ee8913cc3f.pdf Srinivasan, V., & Kim, Y H (1987) Credit granting: A comparative analysis of classification procedures The Journal of Finance, 42(3), 665-681 Available at https://doi.org/10.1111/j.1540-6261.1987.tb04576.x Steenackers, A., & Goovaerts, M (1989) A credit scoring model for personal loans Insurance: Mathematics & Economics, 8(1), 31-34 Available at https://doi.org/10.1016/01676687(89)90044-9 Stepanova, M., & Thomas, L C (2001) PHAB scores: proportional hazards analysis behavioural scores Journal of the Operational Research Society, 52(9), 1007-1016 Available at https://doi.org/10.1057/palgrave.jors.2601189 Svetnik, V., Liaw, A., Tong, C., Culberson, J C., Sheridan, R P., & Feuston, B P (2003) Random forest: a classification and regression tool for compound classification and QSAR modeling Journal of chemical information and computer sciences, 43(6), 1947-1958 Available at https://pubs.acs.org/doi/abs/10.1021/ci034160g Sy, W N (2007) A causal framework for credit default theory Australian Prudential Regulation Authority Working Paper Available at https://doi.org/10.2139/ssrn.2389605 Tam, K Y., & Kiang, M Y (1992) Managerial applications of neural networks: the case of bank failure predictions Management science, 38(7), 926-947 Available at https://doi.org/10.1287/mnsc.38.7.926 Thomas, M., Sing, H., Belenky, G., Holcomb, H., Mayberg, H., Dannals, R., & Redmond, D (2000) Neural basis of alertness and cognitive performance impairments during sleepiness 45 I Effects of 24 h of sleep deprivation on waking human regional brain activity Journal of sleep research, 9(4), 335-352 Available at https://doi.org/10.1046/j.1365- 2869.2000.00225.x Tiwari, A K (2018) Machine learning application in loan default prediction Machine Learning, 4(5) Available at https://media.neliti.com/media/publications/342392-machine-learningapplication-in-loan-def-72ea0cf3.pdf Townsend, J T (1971) Theoretical analysis of an alphabetic confusion matrix Perception & Psychophysics, 9(1), 40-50 Available at https://doi.org/10.3758/BF03213026 Twala, B (2010) Multiple classifier application to credit risk assessment Expert systems with applications, 37(4), 3326-3336 Available at https://doi.org/10.1016/j.eswa.2009.10.018 Van Gestel, T., Baesens, B., Suykens, J., Espinoza, M., Baestaens, D E., Vanthienen, J., & De Moor, B (2003, March) Bankruptcy prediction with least squares support vector machine classifiers In 2003 IEEE International Conference on Computational Intelligence for Financial Engineering, 2003 Proceedings (pp 1-8) IEEE Available at https://doi.org/10.1109/cifer.2003.1196234 Van Liebergen, B (2017) Machine learning: a revolution in risk management and compliance? Journal of Financial Transformation, 45, 60-67 Available at https://ideas.repec.org/a/ris/jofitr/1592.html Wagner, H (2017) Default definition under Basel Intelligent credit scoring: Building and implementing better credit risk scorecards, 119-130 Available at https://doi.org/10.1002/9781119282396.ch7 Ward, T J., & Foster, B P (1997) A note on selecting a response measure for financial distress Journal of Business Finance & Accounting, 24(6), 869-879 Available at https://doi.org/10.1111/14685957.00138 Widiastuti, J (2018) KLASIFIKASI PEMBIAYAAN WARUNG MIKRO MENGGUNAKAN METODE RANDOM FOREST DENGAN TEKNIK SAMPLING KELAS IMBALANCED (Studi Kasus: Data Nasabah Pembiayaan Warung Mikro Bank Syariah Mandiri KC Jambi) Available at https://dspace.uii.ac.id/handle/123456789/7690 Zuech, R., Hancock, J., & Khoshgoftaar, T M (2021) Detecting web attacks using random undersampling and ensemble learners Journal of Big Data, 8(1), 1-20 Available at https://doi.org/10.1186/s40537-021-00460-8 46 PHỤ LỤC – KẾT QUẢ CHẠY MƠ HÌNH # Thư viện library(caret) library(caTools) library(rpart) library(rpart.plot) library(tidyverse) library(MLmetrics) library(randomForest) library(skimr) library(ggpubr) library(rsample) library(ROCR) library(psych) library(knitr) # Nhập liệu DATA