TIỂU LUẬN Môn học KHOA HỌC DỮ LIỆU

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC UEH TRƯỜNG KINH TẾ, LUẬT VÀ QUẢN LÝ NHÀ NƯỚC UEH KHOA KINH TẾ TIỂU LUẬN Môn học: KHOA HỌC DỮ LIỆU Tp.HCM, tháng 11 năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC UEH TRƯỜNG KINH TẾ, LUẬT VÀ QUẢN LÝ NHÀ NƯỚC UEH KHOA KINH TẾ Đề tài: PHÂN TÍCH BỘ DỮ LIỆU BANK MARKETING Giảng viên hướng dẫn: ThS Trần Lê Phúc Thịnh Sinh viên thực MSSV Phần trăm đóng góp Lương Trung Quốc 31201020481 100% Hoàng Võ Cao Sơn 31201020493 100% Mai Thị Yến Nhi 31201026374 100% Nguyễn Đức Thắng 31201026048 100% Trần Nguyễn Trâm Yến 31201020653 100% Nguyễn Thị Thúy Nga 31201020396 100% Nguyễn Thị Minh Vương 31201020639 100% Mã lớp học phần: 21C1MAR5030011 LỜI CẢM ƠN Để hoàn thành tiểu luận này, em xin gửi lời chân thành đến: Giảng viên môn Khoa học Dữ liệu - Trần Lê Phúc Thịnh giảng dạy tận tình, nhiệt tình chi tiết để chúng em có kiến thức vận dụng chúng vào tiểu luận Ban giám hiệu trường Đại học UEH tạo điều kiện sở vật chất với hệ thống thư viên đại, tài liệu thuận lợi cho việc tìm kiếm, ngun cứu thơng tin Do chưa có nhiều kinh nghiệm làm đề tài hạn chế kiến thức, tiểu luận chắn khơng tránh khỏi thiếu sót Rất mong nhận nhận xét, ý kiến đóng góp, phê bình từ phía thầy để tiểu luận hồn thiện Lời cuối cùng, em xin kính chúc thầy nhiều sức khỏe, thành công hạnh phúc “MỤC LỤC DANH MỤC HÌNH ẢNH LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI .7 1.1 Giới thiệu Khoa học liệu 1.2 Giới thiệu đề tài “Phân tích dự đốn rời khách hàng lĩnh vực viễn thông” 1.2.1 Lý chọn đề tài 1.2.2 Mục tiêu nghiên cứu .9 1.2.3 Phương pháp thực 1.2.4 Ý nghĩa .10 CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG 10 2.1 Tổng quan phần mềm Orange 10 2.1.1 Mô tả sơ lược phần mềm Orange 10 2.1.2 Các tính 11 2.2 Tổng quan phương pháp sử dụng 18 2.2.1 Tiền xử lý liệu 18 2.2.2 Phân lớp liệu 19 2.2.3 Phân cụm liệu 21 CHƯƠNG 3: MƠ HÌNH NGHIÊN CỨU ĐỀ XUẤT 25 3.1 Bộ liệu Telecom Customer Churn .25 3.2 Giải thích thuộc tính liệu “Telecom Customer Churn” 25 CHƯƠNG 4: KẾT QUẢ THỰC HIỆN 31 4.1 Tiền xử lí liệu 31 4.1.1 Chọn số lượng khảo sát 32 4.1.2 Loại bỏ biến không phù hợp 32 4.2 Phân lớp liệu.(lưu ý thứ tự thực hiện) 36 4.2.1 Các phương pháp đánh giá 36 4.2.2 Dự báo: 42 4.3 Phân cụm liệu.(lưu ý thứ tự thực hiện) 43 4.3.1 4.3.2 Phương pháp Hierarchical lustering …………….… ……………44 Phương pháp K-means .45" KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 48 Kết luận 48 Hướng phát triển 49 TÀI LIỆU THAM KHẢO 50" DANH MỤC HÌNH ẢNH Hình : Phần mềm orange 11 Hình : Chọn chức Datasets 20 Hình : Chọn liệu Banking Marketing từ Datasets .20 Hình : Liên kết Datasets vào Data Table 21 Hình : Kết liệu Banking Marketing Data Table 21 Hình : Quy trình tiền xử lý liệu .22 Hình : Các bước thực xử lý liệu Preprocess 22 Hình : Kết liệu Data_Tiền xử lý liệu với mẫu 4119 quan sát .23 Hình : Quy trình tạo File Training Data File Testing Data 23 Hình 10 : Data Sampler File Training Data 24 Hình 11 : Data Sampler File Testing Data .24 Hình 12 : Dữ liệu đầu vào 25 Hình 13 : Lựa chọn chức 26 Hình 14 : Kết phân cụm 26 Hình 15 : Kết phân cụm theo số Silhouette 27 Hình 16 : Chỉ số Silhouette cao cụm .28 Hình 17 : Phân cụm với phương pháp Hierarchical clustering .28 Hình 18 : Dữ liệu đầu vào 29 Hình 19 : Phân Cụm với chứng K-means 29 Hình 20 : Bảng kết phân cụm 30 Hình 21 : Bảng kết phân cụm 31 Hình 22 : Bảng kết phân cụm 31 Hình 23 : Bảng số Silhouette Scores cao cụm .32 Hình 24 : Mơ hình phân cụm phương pháp K-means 32 Hình 25 : Mơ hình phân cụm liệu Bank Marketing 33 Hình 26 : Insert File Training Data vào hộp chức File 33 Hình 27 : Mơ hình phân lớp liệu 34 Hình 28 : Kết chi mẫu liệu thành phần 35 Hình 29 : Kết chia mẫu liệu thành 10 phần 35 Hình 30 : Kết chia mẫu liệu với tỷ lệ 10% - 60% 36 Hình 31 : Kết chia mẫu liệu với tỷ lệ 20% - 70% 36 Hình 32 : Kết ma trận nhầm lẫn phương pháp Logistic Regression 37 Hình 33 : Kết ma trận nhầm lẫn phương pháp Decision Tree 38 Hình 34 : Kết ma trận nhầm lẫn phương pháp SVM 38 Hình 35 : Kết ROC Analysis .39 Hình 36 : Testing Data .40 Hình 37 : Dự báo Prediction với phương pháp Logistic Regression .40 Hình 38 : Kết dự báo Logistic Regression 100 mẫu liệu .41 CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu khoa học liệu Khoa học liệu lĩnh vực áp dụng kỹ thuật phân tích tiên tiến nguyên tắc khoa học để trích xuất thơng tin có giá trị từ liệu cho việc định kinh doanh, lập kế hoạch chiến lược mục đích sử dụng khác Nó ngày quan trọng doanh nghiệp: Những hiểu biết sâu sắc mà khoa học liệu tạo giúp tổ chức tăng hiệu hoạt động, xác định hội kinh doanh cải thiện chương trình tiếp thị bán hàng, với lợi ích khác Cuối cùng, chúng dẫn đến lợi cạnh tranh so với đối thủ kinh doanh Khoa học liệu kết hợp nhiều lĩnh vực khác - ví dụ, kỹ thuật liệu, chuẩn bị liệu, khai thác liệu , phân tích dự đốn, học máy trực quan hóa liệu, thống kê, tốn học lập trình phần mềm Khoa học liệu đóng vai trị quan trọng tất khía cạnh hoạt động chiến lược kinh doanh Ví dụ, cung cấp thơng tin khách hàng giúp công ty tạo chiến dịch tiếp thị mạnh mẽ quảng cáo nhắm mục tiêu để tăng doanh số bán sản phẩm Nó hỗ trợ việc quản lý rủi ro tài chính, phát giao dịch gian lận ngăn ngừa cố thiết bị nhà máy sản xuất sở cơng nghiệp khác Nó giúp chặn cơng mạng mối đe dọa bảo mật khác hệ thống CNTT Khoa học liệu quan trọng lĩnh vực hoạt động kinh doanh thơng thường Trong chăm sóc sức khỏe, ứng dụng bao gồm chẩn đốn tình trạng y tế, phân tích hình ảnh, lập kế hoạch điều trị nghiên cứu y tế Các tổ chức học thuật sử dụng khoa học liệu để theo dõi kết hoạt động sinh viên cải thiện hoạt động tiếp thị họ tới sinh viên tương lai Các đội thể thao phân tích hiệu suất người chơi lập kế hoạch chiến lược trị chơi thơng qua khoa học liệu Các quan phủ tổ chức sách cơng người sử dụng lớn Vòng đời khoa học liệu bao gồm sáu bước sau:  Xác định giả thuyết liên quan đến kinh doanh để kiểm tra  Thu thập liệu chuẩn bị để phân tích  Thử nghiệm với mơ hình phân tích khác  Chọn mơ hình tốt chạy với liệu  Trình bày kết cho nhà quản trị doanh nghiệp  Triển khai mơ hình để sử dụng liên tục với liệu 1.2 Giới thiệu đề tài Makerting phổ biến cho ngành nghề Các ngành nghề cần makerting để tối ưu tìm hiểu yêu cầu mong muốn khách hàng xác định khả sản xuất với giá thành phù hợp sau sản xuất bán thị trường với chiến lược giá đề ra.Và bank makerting vậy, ngân hàng cần tiếp thị để phục vụ khách hàng cách tốt xem xét cần thiết phù hợp cho khách hàng mục tiêu 1.2.1 Lý chọn đề tài Hiện việc khai thác liệu trở nên thiếu ngành nghề Đặc biệt đề cập đến thương mại kinh doanh Một lượng lớn liệu từ khách hàng, hoạt động kinh doanh, đối tác,… Những điều xử lý sức người, việc số hóa số liệu điều vơ cần thiết Để phân tích liệu cách tự động nhóm sử dụng phần mềm Orange để xây dựng quy trình khai thác liệu trực quan – phần mềm khai thác liệu phổ biến thực mà khơng cần lập trình Nhóm tìm liệu tổ chức ngân hàng, liệu có liên quan Dữ liệu sau phân tích Orange, nhóm đưa số nhận xét kết luận cửa sổ phân tích , đánh giá độ hiệu đề xuất số hướng phát triển dành cho ??? Đó lý chọn đề tài: “Phân tích liệu Bank Marketing qua thuật toán Orange” 1.2.2 Mục tiêu nghiên cứu Xử lý liệu Bank Makerting để dự đốn liệu khách hàng có đăng ký khoản tiền gửi có kỳ hạn hay khơng dựa hồ sơ khách hàng có thuộc tính: tuổi, cơng việc, tình trạng nhân, học vấn,… 1.2.3 Phương pháp thực Nhóm sử dụng phần mềm Orange để tiến hành thực xử lý liệu, phân cụm, phân lớp liệu, sau tiến hành dự báo cho nhóm liệu ngẫu nhiên chưa phân lớp Ta thấy với số cụm số Silhouette Scores có số cao nên ta chọn số cụm phân cụm B4: Xuất kết phân cụm thành bảng Hình 20: Bảng kết phân cụm Hình 21: Bảng kết phân cụm Hình 22: Bảng kết phân cụm Hình 23: Bảng số Silhouette Scores cao cụm Hình 24: Mơ hình phân cụm phương pháp K-means Hình 25: Mơ hình phân cụm liệu Bank Marketing 3.3 Phân lớp liệu Đầu tiên, lấy File Training chọn biến y target để tiến hành phân lớp Hình 26: Insert File Training Data vào hộp chức File 3.3.1 Các phương pháp đánh giá 3.3.1.1 Test and Score Sử dụng Test and Score để so sánh đánh giá phương pháp (Logistic Regression, Tree SVM), để lựa chọn phương pháp tốt nhất, xác phục vụ cho việc dự báo Hình 27: Mơ hình phân lớp liệu Tại bảng Test and Score, chọn tỷ lệ khác Cross validation Random Sampling để có kết tốt Cross validation với Number of folds (chia mẫu liệu thành phần): Hình 28: Kết chi mẫu liệu thành phần Hình 29: Kết chia mẫu liệu thành 10 phần Random sampling với tỷ lệ 10% - 66%: Hình 30: Kết chia mẫu liệu với tỷ lệ 10% - 60% Random sampling với tỷ lệ 20% - 70%: Hình 31: Kết chia mẫu liệu với tỷ lệ 20% - 70% - Đánh giá: Mục Evaluation Results thể kết định lượng mơ hình Logistic Regression, Tree SVM Khi xem xét số, ta thấy phương pháp Logistic Regression trường hợp chia lấy mẫu liệu với tỷ lệ 20% - 70% tốt với số liệu: + Diện tích đường cong AUC: 92,2% - số liệu tốt so với phương án khác + Độ phủ (Recall): 91,3% + Tính xác (CA): 91,3% + Giá trị trung bình điều hịa (F1): 90,4% + Độ xác (Precision): 90,2% 3.3.1.2 Ma trận nhầm lẫn – Confusion Matrix Hình 32: Kết ma trận nhầm lẫn phương pháp Logistic Regression Hình 33: Kết ma trận nhầm lẫn phương pháp Decision Tree Hình 34: Kết ma trận nhầm lẫn phương pháp SVM - Đánh giá: Trong Confusion Matrix, số liệu cần ý Sai lầm loại Sai lầm loại (mơ hình tốt xác mơ hình có tỷ lệ hai sai lầm thấp nhất) Ta thấy, phương pháp Logistic Regression có tỷ lệ Sai lầm loại Sai lầm loại thấp (lần lượt 6,9% 32,6%) Vì vậy, phương pháp pháp Logistic Regression phù hợp 3.3.1.3 ROC Analysis Hình 35: Kết ROC Analysis - Đánh giá: Một mơ hình hiệu có FP Rate thấp TP Rate cao, hay nói cách khác phương pháp có đường cong ROC tiệm cận với điểm (0;1), phương pháp tốt xác Logistic regression có đường cong ROC tiệm cận với điểm (0;1) nên phương pháp tốt Kết luận: Từ Test and Score, Confusion Matrix ROC Analysis Logistic Regression phương pháp tốt để lựa chọn 3.3.2 Dự báo Sau đánh giá mơ hình phân lớp lựa chọn mơ hình tốt Logistic Regression, ta lấy phương pháp để dự báo cho 100 mẫu Sử dụng Testing Data để tiến hành dự báo: Hình 36: Testing Data Hình 37: Dự báo Prediction với phương pháp Logistic Regression Hình 38: Kết dự báo Logistic Regression 100 mẫu liệu Lưu kết dự báo thành file excel có tên Du Bao CHƯƠNG 4: KẾT LUẬN VÀ ĐỀ XUẤT Kết luận Về phân cụm, kết cho thấy với liệu ban đầu cho thấy tỷ lệ phân cụm sát với thực tế, mơ hình phân cụm hoàn toàn phù hợp Về phân lớp, qua đánh giá kết thấy Logistic Regression phương pháp phù hợp cho liệu Nội dung nghiên cứu đề tài, nhóm chúng tơi đưa phân tích phân cụm liệu phần mềm Orange tiến hành khai thác xử lý chúng để đưa liệu cần thiết Các liệu lại tối ưu hoá đem vào sử dụng cách hiệu sở liệu lưu trữ phần mềm Excel Đề tài sâu vào tính ứng dụng đưa cách thức xử lý liệu cách phù hợp linh hoạt Thực phân tích liệu mang lại nhiều lợi ích khác chẳng hạn đốn liệu khách hàng có đăng ký khoản tiền gửi có kỳ hạn hay khơng dựa hồ sơ khách hàng có thuộc tính: tuổi, cơng việc, tình trạng nhân, học vấn,… Mục đích cuối thu hút khách hàng quay lại Nó mang lại tính ổn định tạo khách hàng trung thành mang lại giá trị cho ngân hàng dài hạn tạo doanh thu lợi nhuận lớn Dự đoán mẫu thường xuyên từ tập liệu xác định cách sử dụng khai thác quy tắc kết hợp sử dụng thuật toán apriori Hướng phát triển Từ tốn phân tích ta thấy nay, với phát triển công nghệ thông tin xu hướng bùng nổ mạng xã hội đời sống dẫn đến hoạt động marketing phải thay đổi theo hướng thích nghi với sống, Bank Marketing đưa nỗ lực ngân hàng nhằm thỏa mãn nhu cầu khách hàng thực mục tiêu lợi nhuận +Tận dụng tối đa lợi ích liệu Các marketer ngân hàng chắn thiếu thông tin liệu từ khách hàng tầm tay – từ lịch sử mua hàng nhân học nhiều – điều quan trọng marketer ngân hàng phải sử dụng liệu để tạo phân khúc có ý nghĩa xây dựng nên chiến lược nhắm mục tiêu tốt để tăng trải nghiệm phục vụ khách hàng phát triển doanh thu Chính điều tạo thúc đẩy cho hành trình phát triển dài lâu ngân hàng + Chú trọng vào việc tương tác với khách hàng Nhấn mạnh tương tác với khách hàng lĩnh vực ngân hàng, khách hàng có mức độ tương tác cao khách hàng có độ trung thành cao; trung thành khách hàng doanh thu tăng lên theo thời gian Trong nghiên cứu tương lai, muốn sử dụng loại liệu khác để thử nghiệm, chẳng hạn ngành tài giáo dục ngành… Thị trường tiêu dùng động châu Á đòi hỏi cơng ty dịch vụ tài phải hiểu rõ học cách tiếp cận thay đổi - mặt xã hội, nhân học công nghệ Thập kỷ mang đến vô số hội cho nhà cung cấp tìm giải pháp phù hợp để tiếp cận cung cấp dịch vụ cho người tiêu dùng châu Á TÀI LIỆU THAM KHẢO https://www.simplilearn.com/tutorials/data-science-tutorial/what-is-data-science https://www.oracle.com/what-is-data-science/ https://www.techtarget.com/searchenterpriseai/definition/data-science https://archive.ics.uci.edu/ml/datasets/bank+marketing