Hệ thống hỗ trợ dự đoán khách hàng tiềm năng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC  BÁO CÁO MÔN HỌC HỆ HỖ TRỢ QUYẾT ĐỊNH Đề tài: Hệ thống hỗ trợ dự đoán khách hàng tiềm Giảng viên hướng dẫn: Sinh viên thực hiện: Mã số sinh viên: Lớp: TS Lê Chí Ngọc Vũ Thị Thanh Hậu 20173513 Tốn Tin 02 K62 Hà Nội, tháng 6/2020 Hệ hỗ trợ định MỤC LỤC MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG ĐIỀU TRA, KHẢO SÁT I Khảo sát trạng II Bài toán nghiệp vụ III Thiết kế mơ hình IV Dữ liệu thực nghiệm V Đặc tả yêu cầu hệ thống CHƯƠNG PHÂN TÍCH, THIẾT KẾ HỆ THỐNG I Biểu đồ phân cấp chức II Biểu đồ luồng liệu Biểu đồ luồng liệu mức ngữ cảnh Biểu đồ luồng liệu mức đỉnh Biểu đồ luồng liệu mức đỉnh CHƯƠNG THIẾT KẾ HỆ THỐNG 10 I Mơ hình hệ thống 10 II Thiết kế hệ thống mặt giao diện 10 Ngơn ngữ viết chương trình 10 Giao diện Website 13 CHƯƠNG KẾT LUẬN 17 Danh mục tài liệu tham khảo 18 Hệ hỗ trợ định LỜI NÓI ĐẦU Trong sống, kinh doanh lĩnh vực muốn theo đuổi Để đạt thành cơng mặt tài chính, khách hàng yếu tố vô quan trọng Những nhà quản lý muốn biết rõ khách hàng để phục vụ cho việc đưa chiến lược kinh doanh Vì vậy, việc đưa khách hàng tiềm vấn đề cấp thiết cơng ty doanh nghiệp Hiểu vấn đề đó, em xây dựng hệ thống hỗ trợ dự báo khách hàng tiềm để giúp nhà quản lý có nhìn chi tiết, rõ ràng khách hàng Bài báo cáo em trình bày theo ba chương: Chương 1: Điều tra, khảo sát Chương 2: Phân tích thiết kế hệ thống Chương 3: Thiết kế hệ thống Chương 4: Kết luận Em xin chân thành cảm ơn thầy Lê Chí Ngọc – Viện Toán ứng dụng Tin học, trường Đại học Bách Khoa Hà Nội tận tình dạy, hướng dẫn, truyền đạt kiến thức bổ ích suốt q trình em thực đề tài Do cịn nhiều hạn chế kiến thức nên báo cáo tránh khỏi số sai sót mặt khách quan chủ quan Vì vậy, em mong nhận góp ý, đánh giá thầy bạn để báo cáo em hoàn thiện Em xin chân thành cảm ơn! Hệ hỗ trợ định CHƯƠNG ĐIỀU TRA, KHẢO SÁT I Khảo sát trạng Từ trước tới nay, khách hàng mục tiêu kinh doanh Bất kể hình thức, chiến lược kinh doanh hướng tới khách hàng Vì vậy, hiểu rõ khách hàng vũ khí lợi hại q trình quảng cáo sản phẩm Hơn nữa, có tay liệu khách hàng, bạn cóthể dự đốn khách hàng có tiềm hay khơng, điều giúp cho bạn có sách đãi ngộ hợp lý với khách hàng tiềm đồng thời giới thiệu, tạo niềm tin để khách hàng chưa tiềm trở thành khách hàng tiềm II Bài toán nghiệp vụ Yêu cầu đặt toán nghiệp vụ: - Các yếu tố ảnh hưởng tới việc dự đốn khách hàng tiềm năng? - Những chiến lược đưa dựa kết phân tích? - Bài tốn sử dụng đề tài toán phân lớp nhị phân có giám sát với – tiềm năng, – chưa tiềm Mục tiêu toán phân loại khách hàng, dựa yếu tố đầu vào có III Thiết kế mơ hình Mơ hình áp dụng thuật tốn Decision Tree Decision tree mơ hình supervised learning, áp dụng vào hai toán classification regression Việc xây dựng decision tree liệu huấn luyện cho trước việc xác định câu hỏi thứ tự chúng Decision tree làm việc với đặc trưng (trong tài liệu decision tree, đặc trưng thường gọi thuộc tính – attribute) dạng categorical, thường rời rạc thứ tự (ví dụ mưa, nắng hay xanh, đỏ, v.v.) liệu có vector đặc trưng bao gồm thuộc tính dạng categorical liên tục (numeric) Decision tree u cầu việc chuẩn hố liệu Hệ hỗ trợ định Trong này, em sử dụng Decision tree để phân lớp với hai nhãn – khách hàng tiềm – khách hàng khơng tiềm Thuật tốn ID3 ID3 thuật tốn cốt lõi để xây dựng định, phát triển J R Quinlan Tại bước, thuộc tính tốt chọn theo tiêu chuẩn Với thuộc tính chọn ra, chia liệu liệu vào child node tương ứng với giá trị thuộc tính tiếp tục áp dụng phương pháp cho child node Việc chọn thuộc tính tốt bước gọi cách chọn greedy (tham lam) Để phân chia liệu vào child node, ta cần sử dụng phép đo Một hàm số dùng nhiều lý thuyết thông tin hàm entropy Hàm entropy dùng để đo nhiễu loạn mẫu, từ suy độ đồng Hàm Entropy Cho phân phối xác suất biến rời rạc x nhận n giá trị khác x1, x2,…, xn Giả sử xác suất để x nhận giá trị 𝑝𝑖 = 𝑝(𝑥 = 𝑥𝑖 ) với ≤ 𝑝𝑖 ≤ 1, ∑𝑛𝑖=1 𝑝𝑖 = Ký hiệu phân phối 𝒑 = (𝑝1 , 𝑝2 , … , 𝑝𝑛 ) Entropy phân phối định nghĩa là: 𝐻 (𝑝 ) = − ∑𝑛𝑖=1 𝑝𝑖 log (𝑝𝑖 ) (1) Trong đó, log logarit tự nhiên Và quy ước 0log(0) = Giả sử thuộc tính chọn x, ta dựa x để phân chia tiếp liệu thành K child node S1, S2,…, Sk H(x, S) = ∑𝑐∈𝑋 𝑃(𝑐 ) 𝐻(𝑐) (2) Công thức (2) cơng thức tính entropy child node Decision Tree chia từ nút gốc phân chia liệu vào child node dựa trường hợp có giá trị tương tự (Độ đồng nhất) Thuật tốn ID3 sử dụng entropy để đo độ đồng mẫu Nếu mẫu có entropy = 0, độ đồng cao, liệu phân lớp Ngược lại entropy = tức độ đồng thấp, độ Hệ hỗ trợ định nhiễu loạn cao, mẫu khơng (có nhiều nhiễu), vậy, ta cần phân chia tiếp Information gain Information gain tính dựa entropy Mục đích: để biết định có nhanh chóng đến nút hay khơng, để tạo nên có độ sâu nhỏ G(x, S) = H(S) – H(x, S) (3) Cơng thức (3) cơng thức tính information gain dựa thuộc tính x Ta chọn thuộc tính để phân chia dựa thuộc tính có information gain lớn ❖ Kết chạy mơ hình: Độ xác mơ hình đạt 77.75% Precision, recall, f1-score hai nhãn cao Đường ROC Hệ hỗ trợ định IV Dữ liệu thực nghiệm Dữ liệu sử dụng đề tài công ty cổ phần thương mại bao gồm 2311 ghi thơng tin khách hàng, với 14 trường thuộc tính Mơ hình đề tài dự đốn khách hàng có phải tiềm hay khơng dựa liệu có khách hàng Bộ liệu có vài đặc điểm cần ý: - Bộ liệu khơng có giá trị bị thiếu, bị sai - Dữ liệu cần tiền xử lý để chuyển vài thuộc tính có giá trị dạng chữ thành số để áp dụng mơ hình Dữ liệu lưu bảng tính Excel, file csv Hình 1.2 Dữ liệu khách hàng công ty cổ phần thương mại V Đặc tả yêu cầu hệ thống Ứng dụng xây dựng với mục đích hỗ trợ nhà quản lý đưa định nên cần phải trình bày kết dự đốn cách trực quan, sinh động để nhà quản lý có nhìn tổng quan khách hàng tiềm Khi xây dựng hệ thống cần đưa được: - Tổng số khách hàng, số khách hàng tiềm năng, chưa tiềm - Kết dự đoán dạng bảng Hệ hỗ trợ định - Thống kê khách hàng tiềm năng/chưa tiềm biểu đồ - Đưa số gợi ý từ kết dự đốn CHƯƠNG PHÂN TÍCH, THIẾT KẾ HỆ THỐNG I Biểu đồ phân cấp chức Hình 2.1 Biểu đồ phân cấp chức II Biểu đồ luồng liệu Biểu đồ luồng liệu mức ngữ cảnh Hệ hỗ trợ định Biểu đồ luồng liệu mức đỉnh Biểu đồ luồng liệu mức đỉnh ❖ Chức quản trị hệ thống ❖ Chức dự đoán Hệ hỗ trợ định ❖ Chức báo cáo, thống kê CHƯƠNG THIẾT KẾ HỆ THỐNG I Mơ hình hệ thống Hình 3.1 Mơ hình hệ thống II Thiết kế hệ thống mặt giao diện Ngơn ngữ viết chương trình - Front-end ❖ HTML 10 Hệ hỗ trợ định HTML từ viết tắt HyperText Markup Language (ngôn ngữ đánh dấu siêu văn bản) dùng mô tả cấu trúc trang Web tạo loại tài liệu xem trình duyệt HTML ngôn ngữ phổ biến dùng để tạo tất website giới Khơng website tồn mà không dùng HTML Phiên HTML5 ưu việt so với phiên trước ❖ CSS CSS (viết tắt Cascading Style Sheets) ngôn ngữ định dạng sử dụng để mơ tả trình bày trang Web, bao gồm màu sắc, cách bố trí phơng chữ CSS cho phép chúng hiển thị nội dung tương thích loại thiết bị có kích thước hình khác nhau, chẳng hạn hình lớn, hình nhỏ điện thoại hay máy tính Nhờ tối ưu hóa văn cho người sử dụng Chúng ta cần nhúng CSS vào tài liệu HTML Nếu không, định dạng CSS khơng ảnh hưởng đến trình duyệt bạn hiển thị tài liệu HTML ❖ Javascript Javascript ngôn ngữ nhanh nhẹ chạy môi trường máy chủ lưu trữ (ví dụ: trình duyệt web), JavaScript kết nối với đối tượng mơi trường để cung cấp kiểm sốt chương trình chúng JavaScript cho phép bạn thực điều phức tạp trang web đồ tương tác Javascript hỗ trợ tất trình duyệt Firefox, Chrome, chí trình duyệt thiết bị di động có hỗ trợ ❖ Boostrap Bootstrap framework cho phép thiết kế website eponsive nhanh dễ dàng Bootstrap bao gồm HTML templates, CSS templates Javascript tạo có sẵn như: typography, forms, buttons, tables, navigation, modals, image carousels nhiều thứ khác Trong bootstrap có thêm plugin Javascript Giúp cho việc thiết kế reponsive bạn dễ dàng nhanh chóng 11 Hệ hỗ trợ định - Back-end ❖ Python Python ngơn ngữ lập trình bậc cao cho mục đích lập trình đa năng, Guido van Rossum tạo lần đầu mắt vào năm 1991 Python thiết kế với ưu điểm mạnh dễ đọc, dễ học dễ nhớ Python ngôn ngữ có hình thức sáng sủa, cấu trúc rõ ràng, thuận tiện cho người học lập trình Cấu trúc Python cho phép người sử dụng viết mã lệnh với số lần gõ phím tối thiểu Python ngơn ngữ lập trình dùng nhiều lĩnh vực lập trình web, tạo nguyên mẫu phần mềm, dùng khoa học tính tốn, Machine learning với nhiều thư viện liên quan NumPy, SciPy, … ❖ Flask Flask web frameworks, thuộc loại micro-framework xây dựng ngơn ngữ lập trình Python Flask cho phép bạn xây dựng ứng dụng web từ đơn giản tới phức tạp Nó xây dựng api nhỏ, ứng dụng web chẳng hạn trang web, blog, trang wiki website dựa theo thời gian hay chí trang web thương mại Flask cung cấp cho bạn công cụ, thư viện công nghệ hỗ trợ bạn làm công việc Flask môi trường độc lập, sử dụng thư viện khác bên ngồi Flask đơn giản, dễ học, dễ sử dụng phù hợp với người bắt đầu Vì vậy, em chọn Flask để làm back-end cho hệ thống 12 Hệ hỗ trợ định Giao diện Website Hình 3.2 Giao diện đăng nhập/đăng ký Hình 3.3 Giao diện trang chủ 13 Hệ hỗ trợ định Hình 3.4 Giao diện upload liệu Hình 3.5 Giao diện xem liệu 14 Hệ hỗ trợ định Hình 3.6 Giao diện dự đốn Hình 3.7 Giao diện thống kê khách hàng theo tháng mua hàng 15 Hệ hỗ trợ định Hình 3.8 Giao diện thống kê theo thuộc tính 16 Hệ hỗ trợ định CHƯƠNG KẾT LUẬN Trong báo cáo trên, em trình bày phân tích thiết kế hệ thống hệ thống hỗ trợ dự đoán khách hàng tiềm năng, đưa thống kê cụ thể, trực quan chênh lệch khách hàng tiềm số yếu tố Với giao diện thân thiện với người dùng, em tin hệ thống người đồng hành thân thiết doanh nghiệp, công ty Do số hạn chế định kiến thức, kinh nghiệm nên báo cáo em không tránh khỏi sai sót nên em mong nhận góp ý để báo cáo hoàn thiện 17 Hệ hỗ trợ định Danh mục tài liệu tham khảo https://machinelearningcoban.com/2018/01/14/id3/ https://www.kaggle.com/podsyp/is-this-a-good-customer https://en.wikipedia.org/wiki/Decision_tree_learning https://www.w3schools.com/ 18 ... quan khách hàng tiềm Khi xây dựng hệ thống cần đưa được: - Tổng số khách hàng, số khách hàng tiềm năng, chưa tiềm - Kết dự đoán dạng bảng Hệ hỗ trợ định - Thống kê khách hàng tiềm năng/ chưa tiềm. .. thiết kế hệ thống hệ thống hỗ trợ dự đoán khách hàng tiềm năng, đưa thống kê cụ thể, trực quan chênh lệch khách hàng tiềm số yếu tố Với giao diện thân thiện với người dùng, em tin hệ thống người... đỉnh ❖ Chức quản trị hệ thống ❖ Chức dự đoán Hệ hỗ trợ định ❖ Chức báo cáo, thống kê CHƯƠNG THIẾT KẾ HỆ THỐNG I Mơ hình hệ thống Hình 3.1 Mơ hình hệ thống II Thiết kế hệ thống mặt giao diện Ngôn