Nghiên cứu giải pháp quản lý khách hàng hiệu quả dựa trên hướng tiếp cận khai phá dữ liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐÀO THỊ THU HIỀN NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ KHÁCH HÀNG HIỆU QUẢ DỰA TRÊN HƢỚNG TIẾP CẬN KHAI PHÁ DỮ LIỆU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐÀO THỊ THU HIỀN NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ KHÁCH HÀNG HIỆU QUẢ DỰA TRÊN HƢỚNG TIẾP CẬN KHAI PHÁ DỮ LIỆU Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN HÀ NAM HÀ NỘI – 2014 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nghiên cứu giải pháp quản lý khách hàng hiệu dựa hƣớng tiếp cận khai phá liệu" cơng trình nghiên cứu riêng tơi Các số liệu, kết đƣợc trình bày luận văn hồn tồn trung thực Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan Ngoại trừ tài liệu tham khảo này, luận văn hồn tồn cơng việc riêng tơi Luận văn đƣợc hồn thành thời gian học viên Khoa Công nghệ Thông tin, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội Hà Nội, ngày 29 tháng 10 năm 2014 Học viên Đào Thị Thu Hiền LỜI CẢM ƠN Lời đầu tiên, xin gửi lời cảm ơn lòng biết ơn sâu sắc tới PGS.TS Nguyễn Hà Nam tận tình hƣớng dẫn tơi suốt q trình thực luận văn tốt nghiệp Tơi xin trân trọng cảm ơn Thầy, Cơ giáo tận tình dạy, cung cấp cho kiến thức quý báu ln nhiệt tình giúp đỡ, tạo điều kiện thuận lợi suốt q trình tơi học tập trƣờng Đại học Công nghệ Tôi xin gửi lời cảm ơn tới bạn lớp cao học K18 ủng hộ, khuyến khích tơi suốt q trình học tập trƣờng Cuối cùng, muốn đƣợc gửi lời cảm ơn vơ hạn tới gia đình, đồng nghiệp bạn bè, ngƣời thân yêu bên cạnh động viên tơi suốt q trình thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn! MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC BẢNG CÁC TỪ VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ MỞ ĐẦU CHƢƠNG GIỚI THIỆU 10 1.1 Nhu cầu xây dựng kho liệu khách hàng 10 1.1.1 Tại cần quan tâm đến khách hàng 10 1.1.2 Nhu cầu quan tâm đến khách hàng ngân hàng thƣơng mại 11 1.2 Giới thiệu số dịch vụ ngân hàng 13 1.3 Những lợi ích mà dịch vụ ngân hàng mang lại 14 1.3.1 Đối với ngân hàng 14 1.3.2 Đối với khách hàng 15 1.3.3 Đối với nhà cung cấp dịch vụ: .15 1.4 Mục tiêu cấu trúc luận văn 15 CHƢƠNG KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU TRÊN KHO 16 2.1 Tổng quan BI 16 2.1.1 Giới thiệu chung 16 2.1.2 Giới thiệu kho liệu 16 2.2 Tìm hiểu công cụ BI SQL Server 24 2.2.1 SQL Server Reporting Services 25 2.2.2 SQL Server Analysis Services: 26 CHƢƠNG XÂY DỰNG HỆ THỐNG HỖ TRỢ KHÁCH HÀNG DỰA TRÊN KHO DỮ LIỆU GIAO DỊCH 27 3.1 Giới thiệu liệu 27 3.1.1 Cơ sở liệu 27 3.1.2 Lƣợc đồ kho liệu 30 3.2 Báo cáo thống kê 31 3.2.1 Thống kê việc sử dụng giao dịch: 31 3.2.2 Thống kê lƣợng tiền toán bán lẻ theo tỉnh độ tuổi 33 3.2.3 10 dịch vụ bán lẻ đƣợc thực nhiều Hồ Chí Minh Hà Nội .34 3.2.4 Tƣơng quan top 10 loại dịch vụ Hồ Chí Minh Hà Nội 35 3.2.5 Tƣơng quan lƣợng tiền toán số dƣ tài khoản 37 3.2.6 Mức điện thoại theo chức vụ tình trạng nhân 38 3.2.7 Thống kê lƣợng giao dịch ATM thời điểm ngày 39 3.3 Dự báo, dự đoán 39 3.3.1 Sự phụ thuộc loại dịch vụ 39 3.3.2 Nhóm khách hàng có khả sử dụng dịch vụ toán bán lẻ cao nhất: 47 3.3.3 Sự phụ thuộc loại hình dịch vụ tỉnh thành 50 3.3.4 Dự đoán xu hƣớng sử dụng dịch vụ toán cƣớc điện thoại 54 KẾT LUẬN – HƢỚNG PHÁT TRIỂN 57 TÀI LIỆU THAM KHẢO 58 BẢNG CÁC TỪ VIẾT TẮT Tên đầyđủ Viết tắt BI Business Intelligence CSDL Cơ sở liệu KDL Kho liệu KPDL Khai phá liệu NHTM Ngân hàng thƣơng mại POS Point of Sale ATM Automatic teller machine SMS Short Message Service SQL Structured Query Language ETL Extract, Transform and Load DANH MỤC BẢNG BIỂU Bảng 3.1 Mô tả bảng TaiKhoan 28 Bảng 3.2 Mô tả bảng ATM 28 Bảng 3.3 Mô tả bảng Bill 29 Bảng 3.4 Mô tả bảng Retail 30 Bảng 3.5 Kết mô hình thay đổi tham số COMPLEXITY_PENALTY 40 Bảng 3.6 Chú thích nút nhánh sử dụng ATM = 41 Bảng 3.7 Bảng tỷ lệ dự đoán ba thuật toán dự báo tình hình sử dụng dịch vụ 45 Bảng 3.8.Chú thích nút phân nhánh 49 DANH MỤC HÌNH VẼ Hình 2.1 Kiến trúc kho liệu 17 Hình 2.2 Sơ đồ hình 19 Hình 2.3 Sơ đồ tuyết 19 Hình 2.4 Quá trình khám phá tri thức sở liệu 21 Hình 3.1 Cơ sở liệu giao dịch khách hàng 27 Hình 3.2 Lƣợc đồ kho liệu 30 Hình 3.3 Báo cáo tần suất sử dụng loại giao dịch theo tỉnh thành 32 Hình 3.4 Thống kê lƣợng tiền toán bán lẻ theo tỉnh độ tuổi 33 Hình 3.5 10 Dịch vụ bán lẻ đƣợc tốn nhiều TP Hồ Chí Minh .34 Hình 3.6 10 dịch vụ lẻ đƣợc tốn nhiều Hồ Chí Minh 35 Hình 3.7 Tƣơng quan 10 loại dịch vụ TT nhiều Hồ Chí Minh Hà Nội .36 Hình 3.8 Tƣơng quan lƣợng tiền toán số dƣ tài khoản 37 Hình 3.9 Thống kê toán cƣớc điện thoại năm 2013 38 Hình 3.10 Thống kê tốn cƣớc điện thoại năm 2014 38 Hình 3.11.Số giao dịch ATM hai thành phố lớn theo thời gian 39 Hình 3.12 Mơ hình khai phá liệu phụ thuộc loại dịch vụ 40 Hình 3.13 Cây phân nhánh dự đoán sử dụng dịch vụ toán bán lẻ tháng 41 Hình 3.14 Chú thích nút All 41 Hình 3.15 Chú thích nút sử dụng ATM=1 41 Hình 3.16 Mạng phụ thuộc tốn bán lẻ tháng thuật toán định 42 Hình 3.17 Biểu đồ dự đốn bán lẻ tháng sử dụng thuật tốn dịnh 42 Hình 3.18 Mạng phụ thuộc dùng thuật toán Navie Bayes .43 Hình 3.19 Đặc điểm thuộc tính dùng thuật tốn Naive Bayes 43 Hình 3.20 Bảng thuộc tính mạng nơron .43 Hình 3.21 Biểu đồ dự báo toán bán lẻ sử dụng thuật tốn 44 Hình 3.22 Ma trận phân lớp dự báo tình hình sử dụng dịch vụ bán lẻ 45 Hình 3.23 Mơ hình dự báo tốn bán lẻ tháng khách hàng 46 Hình 3.24 Mơ hình dự báo tốn bán lẻ tháng 46 Hình 3.25 Kết dự báo toán bán lẻ khách hàng 47 Hình 3.26 Mơ hình khai phá liệu 48 Hình 3.27 Mạng phụ thuộc tốn bán lẻ thuộc tính khách hàng 48 Hình 3.28 Cây phân nhánh dự đốn nhóm khách hàng sử dụng tốn bán lẻ .49 Hình 3.29 Biểu đồ so sánh độ xác 50 Hình 3.30 Mơ hình khai phá dự đốn việc sử dụng giao dịch rút tiền 50 Hình 3.31 Mơ hình khai phá dự đoán việc sử dụng giao dịch tốn điện thoại 51 Hình 3.32 Cây phân nhánh dự báo tình hình sử dụng giao dịch rút tiền ATM 51 Hình 3.33 Cây phân nhánh dự báo tình hình sử dụng giao dịch tốn điện thoại51 Hình 3.34 Mạng phụ thuộc dùng thuật toán định dự báo việc rút tiền ATM 52 Hình 3.35 Mạng phụ thuộc dự báo việc toán điện thoại 52 Hình 3.36 Biểu đồ dự báo việc sử dụng giao dịch tốn hóa đơn điện thoại .53 Hình 3.37 Ma trận phân lớp dự đốn tình hình rút tiền ATM 53 Hình 3.38 Ma trận phân lớp việc sử dụng dịch vụ tốn điện thoại 54 Hình 3.39 Mơ hình khai phá liệu dự báo xu hƣớng sử dụng tốn điện thoại 54 Hình 3.40 Dự đốn chiều hƣớng sử dụng dịch vụ toán điện thoại 55 Hình 3.41 Biểu đồ lƣợng giao dịch toán cƣớc điện thoại theo tháng 56 44 vụ toán bán lẻ tháng tiếp theo, khách hàng sử dụng dịch vụ ATM thƣờng có xu hƣớng khơng sử dụng dịch vụ tốn bán lẻ Hình 3.21 Biểu đồ dự báo toán bán lẻ sử dụng thuật tốn Với mơ hình khai phá liệu tìm phụ thuộc loại hình dịch vụ ta tiến hành phân lớp với ba thuận tốn định, Nạve bayes mạng nơ ron Kết sau chạy ba thuật toán đƣợc thể hình 3.21 Ba thuật tốn cho kết với độ xác cao gần với đƣờng chuẩn Xem xét tỷ lệ dự đốn xác thuật tốn ta tiến hành tìm hiểu ma trận phân lớp thuật toán 45 Hình 3.22 Ma trận phân lớp dự báo tình hình sử dụng dịch vụ bán lẻ Dựa kết ma trận phân lớp ta có bảng tổng hợp tỷ lệ dự đoán thuật toán nhƣ sau: Số trƣờng hợp dự đoán Số trƣờng hợp dự đoán sai Cây định 1.360 185 88.03% 11.97% Naïve Bayes 1.342 203 86.86% 13.14% Mạng nơron 1.360 185 88.03% 11.97% Thuật toán Tỷ lệ dự đoán Tỷ lệ lỗi Bảng 3.7 Bảng tỷ lệ dự đoán ba thuật tốn dự báo tình hình sử dụng dịch vụ Tỷ lệ dự đốn mơ hình sử dụng thuật tốn định, NạveBayes mạng nơron cao chiếm 86% ba thuật toán Trong bảng tổng kết cho ta thấy việc sử dụng định mạng Nơ ron cho tỷ lệ dự đoán đạt đến 88.03% 3.3.1.4 Mơ hình dự báo Các phân tích dùng thuật toán định để dự báo xem khách hàng có hay khơng sử dụng dịch vụ tốn bán lẻ tháng Để dự báo tình trạng sử dụng dịch vụ toán bán lẻ tháng cho khách hàng tiến hành xây dựng mơ hình dự báo nhƣ sau: 46 Hình 3.23 Mơ hình dự báo toán bán lẻ tháng khách hàng Với giá trị khách hàng có thuộc tính đầu vào nhƣ hình 3.23 kết dự báo 79% khách sử dụng dịch vụ bán lẻ Hình 3.24 Mơ hình dự báo tốn bán lẻ tháng 47 Hình 3.25 Kết dự báo tốn bán lẻ khách hàng Ba cột usedATM, usedBill, usedRetail_M5 cột thông tin khách hàng, cột Prediction cột kết dự báo khách hàng sử dụng dịch vụ tốn bán lẻ tháng hay khơng (1: có sử dụng, 0: khơng sử dụng), cột thực tế tình trạng thực tế khách hàng tốn dịch vụ bán lẻ tháng (1: có sử dụng, 0: không sử dụng), cột cuối Expression cột xác suất dự báo Ví dụ với khách hàng usedATM=1, usedBill=0, usedATM_m5=0 khả khơng sử dụng dịch vụ tốn hóa đơn bán lẻ tháng 96% 3.3.2 Nhóm khách hàng có khả sử dụng dịch vụ toán bán lẻ cao nhất: Theo báo cáo mục 3.2 có phụ thuộc việc tốn bán lẻ đặc tính khách hàng nhƣ giới tính, độ tuổi,… điều thực không ? Chúng tiến hành kiểm chứng điều cách xây dựng mơ hình khai phá sau: 48 Hình 3.26 Mơ hình khai phá liệu Mơ hình đƣợc xây dựng với thuộc tính khóa TaiKhoanKey, thuộc tính dự đốn sử dụng UsedRetail, thuộc tính đầu vào là: Annual income, asset class, country code, gender, marital status, nam tao, province code, trinhdokey, tuoitao, tuoi Chạy mơ hình cho chúng tơi thu đƣợc kết nhƣ sau: Hình 3.27 Mạng phụ thuộc tốn bán lẻ thuộc tính khách hàng Kết cho ta thấy có mối liên hệ khách hàng sử dụng dịch vụ bán lẻ thuộc tính giới tính khách hàng, tuổi tạo, năm tạo tài khoản Vậy cụ thể phụ thuộc nhƣ nào, tiến hành phân tích phân nhánh 49 Hình 3.28 Cây phân nhánh dự đốn nhóm khách hàng sử dụng tốn bán lẻ Bảng 3.8.Chú thích nút phân nhánh Tỷ lệ nam giới tham gia sử dụng dịch vụ toán bán lẻ cao chiếm 12,88%, điều chứng tỏ hình thức toán bán lẻ trực tuyến nhận đƣợc quan tâm nam giới Các thích cho ta thấy có hai nhóm khách hàng có khả sử dụng dịch vụ toán bán lẻ nhiều nhóm khách hàng có giới tính nữ có năm tạo tài khoản khác 2009 nhóm khách hàng nam giới có tuổi tạo tài khoản khác 23 tuổi 50 Hình 3.29 Biểu đồ so sánh độ xác Mơ hình cho kết dự báo cao, với 55% tập liệu kiểm tra xác suất dự đốn đạt 84.14% 3.3.3 Sự phụ thuộc loại hình dịch vụ tỉnh thành Báo cáo thống kê việc sử dụng giao dịch hình 3.3 cho ta thấy việc sử dụng giao dịch không đồng tỉnh thành phố, giao dịch chủ yếu tập trung Hà Nội Hồ Chí Minh, có mối liên hệ loại dịch vụ với tỉnh thành phố không, để trả lời câu hỏi tơi xây dựng mơ hình khai phá nhƣ sau: Hình 3.30 Mơ hình khai phá dự đốn việc sử dụng giao dịch rút tiền Mơ hình có khóa là: TaiKhoanKey Các thuộc tính đầu vào: Siccode, TRANS_CITY, TRANS_COUNTRY, TRANS_AMOUNT Thuộc tính dự báo: UsedATM (sử dụng ATM khách hàng) 51 Hình 3.31 Mơ hình khai phá dự đoán việc sử dụng giao dịch toán điện thoại Mơ hình có khóa là: TaiKhoanKey Các thuộc tính đầu vào: Siccode, TRANS_CITY, TRANS_COUNTRY, TRANS_AMOUNT Thuộc tính dự báo: Usedbill (tình trạng sử dụng tốn điện thoại) Kết thu đƣợc thuật toán định Hình 3.32 Cây phân nhánh dự báo tình hình sử dụng giao dịch rút tiền ATM Hình 3.33 Cây phân nhánh dự báo tình hình sử dụng giao dịch tốn điện thoại 52 Hình 3.34 Mạng phụ thuộc dùng thuật toán định dự báo việc rút tiền ATM Hình 3.35 Mạng phụ thuộc dự báo việc tốn điện thoại Việc tốn hóa đơn điện thoại việc sử dụng giao dịch rút tiền máy ATM có phụ thuộc lẫn phụ thuộc vào tỉnh thành phố thực giao dịch bán lẻ nƣớc giao dịch 53 Xác định độ xác thuật tốn Hình 3.36 Biểu đồ dự báo việc sử dụng giao dịch tốn hóa đơn điện thoại Kết dự báo thuật toán trùng trùng với đƣờng thẳng lý tƣởng, chứng tỏ với mơ hình khai phá gồm đầu vào nhƣ hình 3.32 ta sử dụng thuật toán: định, NaiveBayes mạng nơ ron để dự báo tình hình sử dụng giao dịch toán điện thoại rút tiền ATM Ma trận phân lớp Hình 3.37 Ma trận phân lớp dự đốn tình hình rút tiền ATM 54 Ma trận phân lớp sử dụng thuật toán việc dự báo tính hình sử dụng giao dịch tốn điện thoại ta tính tốn độ xác thuật toán nhƣ sau, với thuật toán định độ xác mơ hình dự báo đạt 77.44%, thuật tốn nạve Bayes độ xác đạt 77.21%, với thuật toán mạng nơron tỷ lệ dự đoán cao chiếm đến 76.28% Vậy ta sử dụng thuật toán định để thực dự báo tình hình sử dụng dịch vụ Hình 3.38 Ma trận phân lớp việc sử dụng dịch vụ toán điện thoại 3.3.4 Dự đoán xu hƣớng sử dụng dịch vụ toán cƣớc điện thoại Để trả lời câu hỏi xem xu hƣớng sử dụng dịch vụ tốn cƣớc điện thoại có tăng tháng hay khơng cách sử dụng thuật tốn time series với mơ hình khai phá nhƣ sau Hình 3.39 Mơ hình khai phá liệu dự báo xu hƣớng sử dụng tốn điện thoại Mơ hình khai phá với khóa tháng trƣờng dự đốn trƣờng số lƣợng Tập huấn luyện giao dịch tháng từ tháng 06/2013-01/2014 Với mơ hình khai phá ta có kết dự báo nhƣ sau: 55 Hình 3.40 Dự đốn chiều hƣớng sử dụng dịch vụ tốn điện thoại Từ kết ta thấy việc sử dụng xu hƣớng sử dụng dịch vụ tốn hóa đơn bán lẻ có xu hƣớng tăng Tại thời điểm đƣa dịch vụ vào sử dụng số lƣợng giao dịch nhỏ, lƣợng giao dịch tăng dần có thời điểm từ 09/2013 đến tháng 12/2013 lƣợng giao dịch tăng đột ngột Tốc độ tăng số lƣợng toán dịch vụ có giảm đơi chút vào tháng 1/2014 tăng 14% Số lƣợng dự báo tháng 2/2014 đột ngột quay đầu giảm sau đến tháng 3/2014 lƣợng giao dịch lại theo đà tăng trở lại Kiểm chứng dự báo số liệu thực tế sử dụng Dịch vụ báo cáo ta có biểu đồ biểu diễn số lƣợng giao dịch nhƣ sau: 56 Hình 3.41 Biểu đồ lƣợng giao dịch toán cƣớc điện thoại theo tháng Hình 3.28 3.29 cho thấy dùng thuật toán time series để dự báo xu hƣớng sử dụng dịch vụ thời gian tới Kết dự báo cịn cho ta thấy số lƣợng tốn dịch vụ điện thoại tăng trở lại vào tháng 57 KẾT LUẬN – HƢỚNG PHÁT TRIỂN Sau tìm hiểu u cầu tốn thực nghiệm liệu giao dịch ngân hàng, luận văn đạt đƣợc số kết sau: - Tìm hiểu cơng cụ BI hệ quản trị sở liệu SQL Server 2008 Dựa công cụ BI, xây dựng đƣợc kho liệu khách hàng Phân tích thiết kế báo cáo thống kê dịch vụ tốn hóa đơn hàng hóa dịch vụ rút tiền Áp dụng mơ hình KPDL kho để phân tích, đƣa gợi ý liên quan đến mong muốn tăng lƣợng sử dụng dịch vụ toán ngân hàng Trong tƣơng lai, luận văn định hƣớng phát triển theo số hƣớng nhƣ sau: - Triển khai kho liệu với nguồn liệu phong phú phức tạp Áp dụng mơ hình KPDL nhằm phân tích liệu phục vụ nhu cầu chuyên sâu cho loại dịch vụ tài khác nhƣ thu hộ thuế/phí Xây dựng hệ thống phân tích dự báo hồn chỉnh để phân tích liệu giao dịch 58 TÀI LIỆU THAM KHẢO Tiếng việt [1] Hà Quang Thụy (2013), Bài giảng “Kho liệu khai phá liệu” [2] Hà Quang Thụy, Phan Xuân Hiếu, Đoàn Sơn, Nguyễn Trí Thành, Nguyễn Thu Trang, Nguyễn Cẩm Tú (2009), “Giáo trình khai phá liệu Web”, Nhà xuất Giáo dục Việt Nam [3] Huỳnh Thị Thu, “Phát triển dịch vụ Internet-banking Ngân hàng thƣơng mại Việt Nam”, Luận văn tốt nghiệp đại học [4] Bộ TT&TT, “Tình hình phát triển viễn thơng, internet năm 2013” URL:http://mic.gov.vn/solieubaocao/solieuthongke/vienthong/Trang/Tinhhinhpha ttrienvienthong,internetnam2013.aspx [5] Matt Keating, “Thói quen dùng tiền mặt cản trở Internet Banking”, Smartlink Card ngày 18/01/2013 URL: http://smartlink.com.vn/Home/NewsDetails.aspx?id=1694&catid=75 [6] Báo Doanh nhân Hồ Chí Minh cuối tuần “7 điều khách hàng cân nhắc định mua sản phẩm mới”, URL: http://www.lantabrand.com/cat1news2628.html [7] Michael R.Solomon, “Khách hàng muốn mua gì”, nhà xuất lao động xã hội Tiếng anh [8] Randal Root and Caryn Masson "Pro SQL Server 2012 BI Solution" [9] Jamie MacLennan, ZhaoHui Tang, Bogdan Crivat “Data Mining with Microsoft SQL Server 2008” [10] Brian McDonald, Shawn McGehee, and Rodney Landrum "Pro SQL Server 2012 Reporting Services" [11] Michael J.A Berry, Gordon S Linoff "Data Mining Techniques For Marketing, Sales, and Customer Relationship management " [12] S Madhavi, S Abirami, C Bharathi, B Ekambaram, T Krishna Sankar, A Nattudurai, N Vijayarangan “ATM Service Analysis Using Predictive Data Mining ” [13] Vincent Rainard “Building a Data Warehouse With Examples in SQL Server” [14] 1keydata, “Data Warehouse Architectur”, URL: http://www.1keydata.com/datawarehousing/data-warehousearchitecture.html