Dự báo khả năng đăng ký tiền gửi của khách hàng tại một ngân hàng bồ đào nha

lOMoARcPSD|21911340 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH KHOA CƠNG NGHỆ THƠNG TIN TIỂU LUẬN BỘ MÔN: KHOA HỌC DỮ LIỆU TÊN ĐỀ TÀI: DỰ BÁO KHẢ NĂNG ĐĂNG KÝ TIỀN GỬI CỦA KHÁCH HÀNG TẠI MỘT NGÂN HÀNG BỒ ĐÀO NHA GV hướng dẫn: ThS Trương Việt Phương TP Hồ Chí Minh – 2022 lOMoARcPSD|21911340 LỜI MỞ ĐẦU Trong giới số ngày nay, cơng nghệ đóng vai trị quan trọng trình chuyển đổi phát triển doanh nghiệp Các doanh nghiệp dù có quy mơ lớn hay bé sử dụng ứng dụng cơng nghệ thơng tin để thích ứng với giới thay đổi đồng thời tạo cho lợi cạnh tranh hội để phát triển Tại Việt Nam, doanh nghiệp ngày đẩy mạnh hoạt động kinh doanh nhờ vào ứng dụng cơng nghệ thông tin, điều làm cho môn khoa học liệu dần trở nên quen thuộc Chúng em tìm thấy liệu Bank Marketing ngân hàng Bồ Đào Nha định thực đề tài việc tiến hành phân tích liệu từ nhận xét, đánh giá, đưa dự đốn liệu khách hàng có đăng ký khoản tiền gửi có kỳ hạn hay khơng Qua đó, nhóm em đề xuất phương án tăng tỷ lệ phần trăm khả đăng ký khoản tiền gửi ngân hàng sau chiến dịch tiếp thị trực tiếp Chúng em thực tiểu luận thông qua công cụ Orange lOMoARcPSD|21911340 LỜI CẢM ƠN Sau thời gian học tập, nghiên cứu, để thực hoàn thành báo cáo với chủ đề “Dự báo khả đăng ký tiền gửi khách hàng ngân hàng Bồ Đào Nha” khơng có cố gắng đóng góp thành viên nhóm mà cịn nhờ đến hướng dẫn, bảo tận tình từ giảng viên môn Chúng em xin bày tỏ lòng biết ơn sâu sắc đến Thầy Trương Việt Phương – Giảng viên môn Khoa học liệu khoa Công nghệ thông tin, cảm ơn thầy tận tình hướng dẫn, dạy chúng em kiến thức liên quan trình học tập phương pháp, cách thức tiến hành nghiên cứu để chúng em hồn thành Trong gần tháng qua, nhóm chúng em cố gắng vận dụng kiến thức mà thầy dạy để hoàn thành báo cáo cách hoàn thiện Mặc dù cố gắng nhiều trình thực hiện, nhiên báo cáo khơng tránh khỏi thiếu sót Chúng em mong nhận thông cảm đóng góp quý báu từ thầy Một lần chúng em xin chân thành cảm ơn! lOMoARcPSD|21911340 BẢNG PHÂN CƠNG NHIỆM VỤ Vai trị Trưởng nhóm Thành viên Thành viên Thành viên Thành viên Họ tên & MSSV Nhiệm vụ Trương Thị Ngọc Minh – Thu thập, chạy liệu, đánh giá 31211021342 kết mơ hình, viết chương Nguyễn Thị Anh Thư – Thu thập lý thuyết, viết chương 2, 3, 31211021484 hoàn thiện viết Thiều Ngọc Yến Nhi – Thu thập lý thuyết, viết chương 31211025662 mục I, II, III, chương Lôi Ngọc Phương Quỳnh Thu thập lý thuyết, viết chương – 31211026157 mục IV, chương Lê Thanh Giàu – Thu thập lý thuyết, viết chương 31211024216 mục IV, chương Tỉ lệ tham gia 100% 100% 100% 100% 100% lOMoARcPSD|21911340 MỤC LỤC CHƯƠNG 1: TỔNG QUAN I Tổng quan II Lý chọn đề tài III Mục tiêu nghiên cứu phạm vi nghiên cứu IV Đối tượng nghiên cứu mô tả biến V Tổng quan lý thuyết nghiên cứu 10 Tiền xử lý liệu 10 Phân cụm 12 Phân lớp 13 CHƯƠNG 2: QUY TRÌNH THỰC HIỆN VÀ KẾT QUẢ 14 I BÀI TOÁN TIỀN XỬ LÝ DỮ LIỆU .14 II PHÂN CỤM DỮ LIỆU 19 Phương pháp Hierarchical clustering 19 Phương pháp k-Means 27 III PHÂN LỚP DỮ LIỆU 30 Đánh giá mơ hình phân lớp: 30 Dự báo .33 CHƯƠNG 3: KẾT LUẬN 34 I Kết luận 34 II Hướng phát triển 35 III Các yếu tố ảnh hưởng khác 36 TÀI LIỆU THAM KHẢO 38 lOMoARcPSD|21911340 DANH MỤC HÌNH ẢNH Hình 1: Mơ hình tềền xử lý liệu theo Orange 15 Hình 2: Kềết xử lý “role” cho thuộc tnh 16 Hình 3: Dữ liệu Data table từ Orange 17 Hình 4: Dữ liệu từ Feature Statstcs theo Orange 17 Hình 5: Kềết xử lý độ phụ thuộc biềến 18 Hình : Kềết xử lý loại bỏ biềến không phù hợp .19 Hình : Kềết xử lý độ phụ thuộc biềến sau loại bỏ biềến 20 Hình : Mơ hình tổng hợp toán phân cụm liệu theo Orange 20 Hình : Kềết phân cụm phương pháp Hierarchical Clustering theo Average .21 Hình 10 :Chỉ sơế Silhouete theo Average 22 Hình 11 :Kềết phân cụm phương pháp Hierarchical Clustering theo Ward 22 Hình 12 :Chỉ sơế Silhouete theo Ward 23 Hình 13: Kềết phân cụm phương pháp Hierarchical Clustering theo Average 24 Hình 14 :Chỉ sôế Silhouete theo Average 25 Hình 15: Kềết phân cụm phương pháp Hierarchical Clustering theo Ward 25 Hình 16 :Chỉ sơế Silhouete theo Average 27 Hình 17: Kềết phân cụm theo Hierarchical clustering dạng Excel 28 Hình 18: Kềết PivotTable theo Hierarchical Clustering 28 Hình 19: Bảng kềết phân cụm bằềng phương pháp k-Means 28 Hình 20 :Chỉ sôế Silhouete theo phương pháp k-Means .30 Hình 21: Kềết phân cụm theo k-Means dạng Excel .31 Hình 22: Kềết PivotTable theo Excel 31 Hình 23: Mơ hình tổng thể dự báo phân lớp liệu theo Orange .31 Hình 24: Kềết Test and Score theo Orange 32 Hình 25 : Kềết phương pháp Tree từ Orange 33 Hình 26: Kếết phương pháp SVM từ Orange 33 Hình 27: Kềết phương pháp Logistc Regression từ Orange 34 Hình 28 : Đơề thị ROC Orange 35 Hình 29: Chỗi thao tác tềến hành thử nghiệm mơ hình .35 Hình 30: Kềết dự báo dạng Excel 36 Hình 31: Kềết Rank theo Orange 37 lOMoARcPSD|21911340 CHƯƠNG 1: TỔNG QUAN I Tổng quan Trong hoạt động kinh doanh, ngân hàng thường phải đối diện với rủi ro ln phải có biện pháp tăng trưởng vốn để đảm bảo tồn phát triển Trong nghiên cứu này, nhóm tiến hành tiền xử lý liệu; phân lớp với phương pháp Decision Tree, SVM, Logistic Regression; tiến hành phân cụm liệu với phương pháp Hierarchical K-means Dựa vào kết nghiên cứu nhóm đưa số giải pháp việc thu hút khách hàng đăng ký tiền gửi ngân hàng II Lý chọn đề tài Với hội nhập kinh tế ngày sâu rộng với nhu cầu sử dụng vốn tăng cao, việc ngân hàng huy động tiền gửi để bổ sung nguồn vốn điều tránh khỏi Tuy nhiên với cạnh tranh gay gắt ngân hàng thị trường, khó đảm bảo huy động đủ vốn mục tiêu ban đầu Nhận thấy vấn đề diễn ra, nhóm định tiến hành nghiên cứu chủ đề “ Dự báo khả đăng ký tiền gửi khách hàng” III Mục tiêu nghiên cứu phạm vi nghiên cứu - Mục tiêu nghiên cứu thiết lập mơ hình dự đốn khách hàng có đăng ký khoản tiền gửi tương lai hay không - Phạm vi nghiên cứu đề tài liệu từ chiến dịch tiếp thị trực tiếp (phone calls) ngân hàng Bồ Đào Nha IV Đối tượng nghiên cứu mô tả biến Các yếu tố ảnh hưởng đến khả đăng ký khoản tiền gửi bao gồm biến phụ thuộc Y: Subscribe (Đăng ký) 20 biến độc lập X Sơ lược thuộc tính: Bộ liệu bao gồm 4119 mẫu 21 thuộc tính:  Các biến đầu vào lOMoARcPSD|21911340 Dữ liệu khách hàng ngân hàng age job marital education Biến định lượng Tuổi Công việc quản trị viên (admin), người lao động phổ thông (blue-collar), doanh nhân (entrepreneur), người giúp việc (housemaid), nhà quản lý (management), người hưu (retired), lao động tự (selfemployed), người làm dịch vụ (services), học sinh (student), kỹ thuật viên (technician), thất nghiệp (unemployed), chưa biết (unknown) ly hôn (divorced), kết Tình trạng (married), độc thân (single), chưa nhân biết (unknown) Trình độ học vấn năm tiểu học (basic.4y), năm tiểu học (basic.6y), trung học sở (basic.9y), trung học phổ thông (high school), không học (illiterate), đại học (professional.course), tốt nghiệp (university.degree), chưa biết (unknown) Biến định tính Biến định tính Biến định tính default Tình trạng tín giá trị có (yes), khơng (no), chưa dụng có vỡ nợ biết (unknown) hay khơng Biến định tính housing Có khoản vay giá trị có (yes), không (no), chưa mua nhà biết (unknown) không Biến định tính loan Có khoản vay giá trị có (yes), khơng (no), chưa cá nhân biết (unknown) khơng? Biến định tính Liên quan đến lần liên hệ cuối chiến dịch lOMoARcPSD|21911340 11 contact month điện thoại di động (cellular) điện thoại bàn (telephone) Biến định tính Tháng liên hệ cuối jan, feb, mar, apr, may, jun, jul, năm tính aug, sep oct, nov, dec từ tháng đến tháng 12 Biến định tính Kiểu liên lạc day_of_week Ngày liên hệ cuối tuần gồm thứ hai (mon), thứ ba (tue), thứ tư (wed), thứ năm (thu), thứ sáu (fri) Biến định tính duration Thời lượng liên lạc cuối (tính giây) Lưu ý: Thuộc tính ảnh hưởng Biến lớn đến biến mục tiêu đầu định thời lượng dẫn đến lượng biến mục tiêu ‘khơng’ Thuộc tính khác campaign Số liên hệ thực chiến dịch bao gồm liên hệ cuối Biến định lượng pdays Số ngày trôi qua sau khách hàng liên hệ lần cuối từ chiến dịch trước giá trị 999 có nghĩa khách hàng chưa liên hệ trước Biến định lượng previous Số lượng gọi thực trước chiến dịch Biến định lượng lOMoARcPSD|21911340 cho khách hàng tháng poutcome Kết thất bại (failure), không tồn chiến dịch tiếp (nonexistent), thành cơng (success) thị trước Biến định tính Thuộc tính bối cảnh kinh tế xã hội Tỷ lệ thay đổi việc làm - báo hàng quý Biến định lượng Chỉ số giá tiêu cons.price.idx dùng - báo hàng tháng Biến định lượng Chỉ số niềm tin người cons.conf.idx tiêu dùng - báo hàng tháng Biến định lượng euribor3m Lãi suất tháng euribor - báo hàng ngày Biến định lượng nr.employed Số lượng nhân viên - số hàng quý Biến định lượng emp.var.rate  Biến đầu (biến mục tiêu) y V Khách hàng đăng ký tiền gửi có kỳ hạn chưa? nhị phân: ‘yes’,‘no’ Tổng quan lý thuyết nghiên cứu Tiền xử lý liệu 10 Downloaded by vu quang (vuchinhhp20@gmail.com) Biến định danh lOMoARcPSD|21911340 Hình 16 :Chỉ số Silhouette theo Average + Ward:  Cụm có 2830 đối tượng, có giá trị Silhouette nằm khoảng -0.2 đến 0.1  Cụm có 849 đối tượng, có giá trị Silhouette nằm khoảng đến 0.3  Cụm có 440 đối tượng, có giá trị Silhouette nằm khoảng -0.2 đến 0.2  Chỉ số silhouette thấp nên LOẠI 27 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Kết luận: Dựa phương pháp Hierarchical Clustering, ta thấy Ward chia cụm cho kết tốt nhất, với số Silhouette cụm đến 0.4 -0.2 đến 0.4 - Sau phân tích Orange, tiến hành xuất kết phân cụm dạng excel so sánh với nhãn ban đầu Hình 17: Kết phân cụm theo Hierarchical clustering dạng Excel Hình 18: Kết PivotTable theo Hierarchical Clustering + Tỷ lệ xác phân cụm theo phương pháp Hierarchical Clustering cách dùng PivotTable đạt giá trị: 71.45% + Độ nhầm lẫn: 28.55% Phương pháp k-Means 28 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Hình 19: Bảng kết phân cụm phương pháp k-Means - Chọn ngẫu nhiên số cụm từ đến 10, nhận thấy kết 0.3, 0.148, 0.16, 0.166, 0.162, 0.153, 0.17, 0.175, 0.188 Qua đó, ta thấy giá trị Silhouette cao phân thành cụm - Đồ thị Silhouette Plot biểu diễn sau: 29 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Hình 20 :Chỉ số Silhouette theo phương pháp k-Means 30 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 - Sau phân tích Orange, tiến hành xuất kết phân cụm dạng excel so sánh với nhãn ban đầu Hình 21: Kết phân cụm theo k-Means dạng Excel Hình 22: Kết PivotTable theo Excel + Tỷ lệ xác phân cụm theo phương pháp K-means cách dùng PivotTable đạt giá trị: 71.84% + Mức độ nhầm lẫn: 28.16% Kết luận: Phương pháp tốt để phân cụm liệu phương pháp Kmeans với số lượng cụm 31 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 III PHÂN LỚP DỮ LIỆU Hình 23: Mơ hình tổng thể dự báo phân lớp liệu theo Orange Ta sử dụng liệu ban đầu “Bank Marketing” để tiến hành phân lớp chọn mơ hình phân lớp hiệu Sử dụng phương pháp Logistic Regression, Tree decision, SVM để phân lớp liệu Đánh giá mơ hình phân lớp: Để đánh giá mơ hình phân lớp ta sử dụng cách: đánh giá qua Test and Score, đánh giá qua ma trận nhầm lẫn, đánh giá qua đường biểu diễn phân tích ROC - Test and Score Hình 24: Kết Test and Score theo Orange 32 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Kết luận: Dựa bảng Test and Score ta thấy số AUC Tree, SVM, Logistic Regression 0,626; 0,828; 0,930 Trong số AUC phương pháp Hồi quy Logistic lớn gần với Do coi phương pháp đánh giá tốt cho liệu - Ma trận nhầm lẫn: Hình 25 :Kết phương pháp Tree từ Orange 33 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Hình 26: Kết phương pháp SVM từ Orange Hình 27: Kết phương pháp Logistic Regression từ Orange Kết luận: Dựa số False positive False negative ma trận nhầm lẫn (Confusion Matrix), ta thấy phương pháp Hồi quy Logistic mơ hình tối ưu chiếm tỷ lệ phần trăm thấp hai mơ hình cịn lại 34 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 - ROC analysis: Hình 28 : Đồ thị ROC Orange Một mơ hình hiệu có FPR (False positive rate) thấp TPR (True positive rate) cao, hay ROC (Receiver Operating Characteristic) tiệm cận với điểm (0;1) đồ thị mơ hình hiệu Vì đường màu tím hay đường Logistic regression mơ hình hiệu so với mơ hình cịn lại Kết luận: Hồi quy Logistic phương án tốt để phân lớp cho liệu Dự báo - Tiến hành chọn ngẫu nhiên 412 khách hàng (trích 10% data phân cụm) để dự đoán theo phương pháp tốt - phương pháp Hồi quy Logistic, ta có: 35 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Hình 29: Chuỗi thao tác tiến hành thử nghiệm mơ hình Hình 30: Kết dự báo dạng Excel 36 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Kết luận: với kết dự báo, ta thấy “no” chiếm phần trăm lớn “yes” (380/32) Chứng tỏ, sau chiến dịch tiếp thị trực tiếp, khả khách hàng không đồng ý đăng ký khoản tiền gửi Ngân hàng cao nhiều so với việc đồng ý CHƯƠNG 3: KẾT LUẬN I Kết luận - Từ liệu ngân hàng “Bank Marketing” với mong muốn tìm cách tiếp thị tốt nhằm gia tăng khả thành công việc đăng ký tiền gửi ngân hàng có kỳ hạn Bộ liệu có tất 4119 biến khách hàng biến thông tin khác tuổi tác, công việc, trình độ học vấn, v.v…Nhóm chúng tơi tiến hành tiền xử lý liệu để chọn biến mục tiêu y (Subscribe - Khách hàng đăng ký tiền gửi có kỳ hạn chưa? ) loại bỏ bốn biến loan, housing, day_of_week, pdays bốn biến không ảnh hưởng đến định đăng ký tiền gửi ngân hàng khách hàng - Thông qua kết phân lớp liệu từ phương pháp định, SVM, Hồi quy Logistic; ta chọn Hồi quy Logistic phương pháp đánh giá phân lớp tốt cho liệu - Ở phần phân cụm liệu, kết cho thấy phương pháp Hierarchical Clustering có tỷ lệ xác thấp so với phương pháp K-means Vì phương pháp K-means tốt II Hướng phát triển 37 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Hình 31: Kết Rank theo Orange Dựa vào kết xử lý độ phụ thuộc biến phần tiền xử lý ta thấy rằng: ‘poutcome’, ‘previous’, ‘duration’ biến ảnh hưởng lớn đến việc khách hàng có hay không đăng ký tiền gửi ngân hàng sau chiến dịch tiếp thị trực tiếp Từ đó, ta có số đặc điểm khách hàng tiềm sau: + Là khách hàng mới, chưa tham gia chiến dịch tiếp thị trước Kết chiến dịch tiếp thị trước hiển thị “khơng tồn tại” Vì nên số lượng gọi trước chiến dịch - biến “previous” không, thời lượng liên lạc cuối chắn không (duration = 0) 38 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Ngoài ra, yếu tố thuộc bối cảnh kinh tế xã hội nguyên nhân khách quan ảnh hưởng đến định đăng ký tiền gửi có kỳ hạn sau chiến dịch tiếp thị trực tiếp Khách hàng định “yes” khi: + Số lượng nhân viên ngân hàng thống kê hàng quý thường lớn 5008.5 nghìn người Khi tận dụng số lượng nhân lực lớn để xếp vào vị trí khác đáp ứng yêu cầu khách hàng + Lãi suất tháng euribor lớn 0.635, tương đương 63.5% Khi lãi suất tăng cao, người dân có xu hướng giàu có hơn, nên họ có mong muốn đầu tư tiết kiệm Vì thế, chiến dịch diễn ra, ho dễ bị thuyết phục để đăng ký tiền gửi ngân hàng + Tỷ lệ thay đổi việc làm nhỏ 1.4% Khi khách hàng ổn định cơng việc thân, họ có xu hướng ưa chuộng an toàn tránh rủi ro Do đó, thay đầu tư vào chứng khốn rủi ro cao cổ phiếu, trái phiếu, họ chọn phương án gửi tiền ngân hàng có kỳ hạn cách tối ưu hóa tài sản III Các yếu tố ảnh hưởng khác Ngoài việc tập trung vào khách hàng tiềm năng, nhóm em đề xuất thêm số giải pháp để phát triển chiến lược thu hút khách hàng đăng ký tiền gửi có kỳ hạn sau: - Đào tạo đội ngũ nhân viên chuyên nghiệp Ngân hàng cần tuyển chọn, đào tạo nhân viên có khả giao tiếp tốt để hiểu rõ khách hàng qua việc tư vấn, từ đưa lời khuyên tốt giúp khách hàng đưa định đắn Ấn tượng tốt từ ban đầu đem lại thiện cảm cho khách hàng, xây dựng lòng tin, hướng tới hợp tác lâu dài - Xác định phân khúc khách hàng khác hướng đến khách 39 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 hàng có mối quan tâm đến gửi tiết kiệm, có thu nhập ổn định, có khoản tiền nhàn rỗi sẵn sàng để gửi tiết kiệm - Đa dạng sản phẩm tiền gửi có kỳ hạn Để thu hút khách hàng, ngân hàng cần đa dạng hố hình thức tiền gửi, dịch vụ mang lại thoải mái, dễ dàng sử dụng dịch vụ Ví dụ: Về kênh giao dịch, khách hàng chọn gửi tiền quầy gửi online (trực tuyến), hay gói sản phẩm có hạn mức lãi suất hấp dẫn thu hút khách hàng chủ động chọn lựa với số tiền nhàn rỗi phù hợp - Luôn giữ liên lạc với khách hàng Khi khơng có tương tác, chăm sóc khách hàng chu đáo, nhiều khách hàng cảm thấy khơng cịn trân trọng, không muốn tiếp tục gửi tiền từ lượng khách hàng trung thành tiềm Do ngân hàng cần triển khai phương pháp giữ liên lạc với khách hàng gửi Email, gọi điện định kỳ đảm bảo khách hàng không cảm thấy bị bỏ rơi sau mua hàng, giữ mối quan hệ hợp tác, gắn bó lâu dài - Thường xuyên cung cấp ưu đãi Ngân hàng cần cân nhắc cung cấp ưu đãi cho khách hàng ưu đãi lãi suất vay, lãi suất tiền gửi, tặng quà vào dịp lễ, rút thăm trúng thưởng để giữ chân khách hàng cũ thu hút thêm khách hàng - Tăng cường chiến dịch quảng cáo, tiếp thị Không riêng ngân hàng mà tất lĩnh vực kinh doanh, nhắc đến chiến lược thu hút khách hàng chắn vắng mặt chiến dịch quảng cáo, tiếp thị Đây vũ khí tối ưu để thương hiệu, sản phẩm dịch vụ phủ sóng rộng rãi tiếp cận gần tới đối tượng, thu hút lượng lớn khách hàng - Đảm bảo bảo mật thông tin khách hàng 40 Downloaded by vu quang (vuchinhhp20@gmail.com) lOMoARcPSD|21911340 Ngân hàng cần bảo mật an tồn thơng tin khách hàng, ngăn chặn hành vi lạm dụng trộm cắp danh tính khách hàng Thường xuyên gửi tin nhắn cảnh báo cho khách hàng vấn đề lừa đảo giả mạo ngân hàng để chiếm đoạt tài sản TÀI LIỆU THAM KHẢO Slide giảng khoa học liệu UCI Machine Learning Repository: Bank Marketing Data Set https://aws.amazon.com/vi/what-is/data-science/ https://abiz.edu.vn/khoa-hoc-du-lieu-data-science-la-gi/ 41 Downloaded by vu quang (vuchinhhp20@gmail.com)