DỰ đoán QUYẾT ĐỊNH MUA ô tô của KHÁCH HÀNG

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG DỰ ĐỐN QUYẾT ĐỊNH MUA Ơ TƠ CỦA KHÁCH HÀNG Giảng viên hướng dẫn: TS LÊ CHÍ NGỌC Lớp: HỆ THỐNG THÔNG TIN QUẢN LÝ K61 Hà Nội-2020 Hệ hỗ trợ định MỤC LỤC CHƯƠNG I KHẢO SÁT HỆ THỐNG Khảo sát trạng .2 Đặt vấn đề .2 Đặc tả yêu cầu toán Yêu cầu sản phẩm .3 Tổng quan mơ hình định dự thuật toán ID3 .3 5.1 Hàm số Entropy 5.2 Information Gain 5.2 Xác định mơ hình ID3 6 Dữ liệu .6 CHƯƠNG II PHÂN TÍCH HỆ THỐNG .10 Các chức hệ thống .10 CHƯƠNG III THIẾT KẾ HỆ THỐNG .13 Ngơn ngữ viết chương trình xây dựng hệ thống 13 Giao diện, tính 16 a Giao diện dự đoán nhanh cách sử dụng 16 b Giao diện dự đoán nhiều khách hàng 17 c Một số tính khác………………………………………….………………………20 Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định CHƯƠNG I KHẢO SÁT HỆ THỐNG Khảo sát trạng - Theo số nghiên cứu chi phí marketing chiếm lớn tổng doanh thu doanh nghiệp - Các doanh nghiệp, cơng ty muốn cân đối tiết kiệm khoản chi phí - Từ đặt vấn đề phải marketing cho hiệu Dự đoán định khách hàng tiềm việc vô quan trọng cửa hàng, doang nghiệp, cơng ty, từ kết dự đốn đó, giúp nhà quản lý đưa định marketing phù hợp tới khách hàng tiềm năng, giúp cửa hàng tăng hiệu marketing giảm thiểu việc marketing đến khách hàng nhu cầu Việc sớm đưa kết dự đốn xác cho khách hàng khơng giúp nhà lý tiết kiểm chi phí khơng cần thiết mà cịn giúp tiết kiệm thời gian, giúp nhà quản lý không bỏ lỡ khách hàng tiềm Qua nhận xét cho thấy tầm quan trọng việc dự đoán khách hàng tiềm tới việc marketing hiệu quả, thành công marketing không nằm cách tiếp cận cách làm quảng cáo mà phụ thuộc nhiều vào khách hàng, bước dự đốn bước khơng thể thiếu trình marketing tới hàng loạt khách hàng Đặt vấn đề Cùng với phát triển không ngừng công nghệ thông tin, mạng internet, khoa học máy tính Máy tính ngày có chip xử lý mạnh hơn, tốc độ nhanh Máy tính sản phẩm có giá trị ứng dụng cao ngày trở nên công cụ thiếu lĩnh vực sống đặc biệt việc phân tích liệu lớn, xử lý thuật toán phức tạp Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Trong việc hỗ trợ người quản lý định, máy tính khẳng định vai trị hỗ trợ đưa định hợp lý Đối với việc đưa chiến lược marketing hợp lý, máy tính giúp dự đoán khách hàng tiềm cách xác giúp cho người quản lý đưa định marketing tới khách hàng thay tồn khách hàng Vì vậy, tiết kiệm nhiều thời gian chi phí Thật thiếu xót khơng xây dựng hệ thống thơng tin quản lý có khả dự đốn định khách hàng danh sách Đặc tả yêu cầu toán Nhà quản lý phải có chức xem dự đốn khách hàng nhập vào thơng tin Có thể dự đốn lúc nhiều khách hàng mà phải đảm bảo tốc độ xử lý Các dự đoán đưa dự mơ hình định xây dựng nhờ vào thuật toán ID3 Yêu cầu sản phẩm       Website phải có dung lượng nhẹ, tốc độ xử lý nhanh Giao diện dễ nhìn thân thiện với người dùng Các chức dự đoán phải dễ dàng thao tác, sử dụng Kết dự đoán phải xuất dạng liệu phổ biến, dễ xử lý Cơng việc tính tốn phải thực xác, khơng có sai xót Đảm bảo an tồn bảo mật liệu dự đoán website trực tuyến Tổng quan mơ hình định dự thuật tốn ID3 Mơ hình định: Cây định đồ thị định kết xảy Các định thường dùng để hỗ trợ trình định • • Dựa tư tưởng độ hỗn loạn thông tin (Entropy) Xây dựng theo nguyên lý đệ qui, chia để trị Cây định tạo để đẩy liệu vào, xuống lớp nhanh Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Dưới định minh họa định mua xe khách hàng Trong thuật tốn ID3, thuộc tính đánh giá dựa Hàm số Entropy, hàm số phổ biến toán học xác suất 5.1 Hàm số Entropy Cho phân phối xác suất biến rời rạc x nhận n giá trị khác Giả sử xác suất để x nhận giá trị pi = p (x = x ) i Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Ký hiệu phân phối p=(p1, p2 ,…, pn) Entropy phân phối là: H(p)= Hàm Entropy biểu diễn dạng đồ thị sau: Từ đồ thị ta thấy, hàm Entropy đạt giá trị nhỏ có giá trị pi = 1, Đạt giá trị lớn tất pi Hàm Entropy lớn độ ngẫu nhiên biến rời rạc cao (càng không tinh khiết) Với định, ta cần tạo ta nhiều thông tin nhất, tức Entropy cao Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định 5.2 Information Gain Bài toán ta trở thành, tầng cây, cần chọn thuộc tính để độ giảm Entropy thấp Người ta có khái niệm Information Gain tính Do H(S) không đổi với tầng,ta chọn thuộc tính f có Entropy nhỏ để thu Gain(S,f) lớn 5.2 Xác định mơ hình ID3 Tính dừng mơ hình Thuộc tính f lựa chọn tính Information Gain dùng để phân nhánh thành nhánh con, ta thu liệu nhỏ lặp lại bước để tính Information Gain cho liệu đó, tìm thuộc tính dùng để phân nhanh nhanh Tới liệu phân nhánh thuộc lớp ( Entropy = 0) ta thu nhánh kết dự (yes, no) từ thông tin phân nhánh bên Cây định hoàn chỉnh ta thu tất (tất liệu phân nhánh xét tới) Dữ liệu Bộ liệu sử dụng Individual Company Sales Data, liệu lịch sử bán hàng cho khách hàng khứ Bối cảnh Đây liệu bán hàng từ công ty cá nhân Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Nội dung Bộ liệu bao gồm khoảng 40.000 hàng 15 biến tính Mỗi hàng tương ứng với thông tin khách hàng bao gồm cột: flag: Khách hàng có mua sản phẩm mục tiêu hay khơng gender: Giới tính khách hàng education: Nền tảng giáo dục khách hàng house_val: Giá trị cư trú khách hàng age: Tuổi khách hàng theo nhóm online: Khách hàng có kinh nghiệm mua sắm trực tuyến hay không customer_psy: Biến mô tả tâm lý người tiêu dùng dựa khu vực cư trú marriage: Tình trạng nhân khách hàng children: khách hàng có hay khơng occupation: thơng tin nghề nghiệp khách hàng mortgage: Thông tin cho vay mua nhà khách hàng house_own: Khách hàng có sở hữu nhà hay không region: Thông tin khu vực mà khách hàng đặt car_prob: Xác suất khách hàng mua xe (1 có nghĩa tối đa) fam_income: Thu nhập gia đình Thơng tin khách hàng (L có nghĩa cao nhất) Nguồn cung cấp liệu: www.kaggle.com/mickey1968 tham khảo Guozhen Chang Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Hình 1: Dữ liệu gốc, có số trường bị thiếu giá trị Dữ liệu đưa vào để tạo mơ hình cần phải loại bỏ giá trị trống giá trị cột phải rời rạc Vì vậy, tiến hành loại bỏ trường liệu thiếu, lặp rời rạc hóa liệu Rời rạc hóa: Các cột liệu liên tục Bao gồm: Giá trị nhà , tuổi, kinh nghiệm mua sắm, tín dụng thu nhập GĐ Các bước rời rạc liệu: Sắp xếp tăng dần cột liệu liên tục chọn giá trị cặp giá trị liên tục để chia liệu làm phần Tìm giá trị chia (best_split_poin) để entropy suy giảm lớn Ta tìm điểm best_split_poin Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Hình 2: Điểm chia thuộc tính thứ 13,14 Tương tự với cột giá trị nhà tuổi ta thu liệu hoàn chỉnh bao gồm 34968 ghi Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 Hệ hỗ trợ định Hình 3: Dữ liệu hồn chỉnh CHƯƠNG II PHÂN TÍCH HỆ THỐNG Các chức hệ thống Dựa liệu lịch sử bán hàng cửa hàng ghi nhận lại từ trước, nhà quản lý cần đưa định có lợi cho việc marketing, marketing theo đối tượng khách hàng có khả mua hàng hệ thống dự đoán Hệ thống trợ giúp việc dự đoán nhanh khách hàng trường hợp cần thiết, dự đoán nhiều khách hàng lúc với thông tin sẵn có thu thập từ người dùng cơng ty liệu khách hàng Biểu đồ phân cấp chức Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 10 Hệ hỗ trợ định Hình Biểu đồ phân cấp chức Sơ đồ luồng liệu Hình 5: Mơ hình luồng liệu Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 11 Hệ hỗ trợ định Mơ hình hệ thống Hình 6: Thiết kế mơ hình hệ thống CHƯƠNG III THIẾT KẾ HỆ THỐNG Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 12 Hệ hỗ trợ định Ngôn ngữ viết chương trình xây dựng hệ thống  PYTHON Python ngơn ngữ lập trình bậc cao cho mục đích lập trình đa năng, Guido van Rossum tạo lần đầu mắt vào năm 1991 Python thiết kế với ưu điểm mạnh dễ đọc, dễ học dễ nhớ Python ngôn ngữ có hình thức sáng sủa, cấu trúc rõ ràng, thuận tiện cho người học lập trình Đặc biệt python nhanh mạnh, hỗ trợ nhiều thư viện tính tốn, thích hợp để phân tích xử lý liệu  HTML HTML từ viết tắt HyperText Markup Language (ngôn ngữ đánh dấu siêu văn bản) dùng mô tả cấu trúc trang Web tạo loại tài liệu xem trình duyệt HTML tạo phát triển tổ chức W3C (World Wide Web Consortium)Hiện phiên HTML HTML5 với nhiều tính ưu việt so với phiên cũ  CSS CSS (viết tắt Cascading Style Sheets) ngôn ngữ định dạng sử dụng để mô tả trình bày trang Web, bao gồm màu sắc, cách bố trí phơng chữ CSS cho phép chúng hiển thị nội dung tương thích loại thiết bị có kích thước hình khác nhau, chẳng hạn hình lớn, hình nhỏ điện thoại hay máy tính CSS độc lập với HTML sử dụng với ngơn ngữ đánh dấu xây dựng dựa XML CSS tuân theo chuẩn chung W3C quy định  Ngôn ngữ PHP PHP viết tắt từ Hypertext Preprocessor Ngôn ngữ phát triển từ năm 1994 nhiều người sử dụng để phát triển ứng dụng phần mềm thông qua lập trình web Đặc điểm ngơn ngữ lập trình sử dụng mã nguồn mở, dễ dàng nhúng vào HTML tích hợp với web Ưu điểm ngơn ngữ lập trình PHP cú pháp đơn giản, tốc độ xử lý nhanh, tính cộng đồng cao Chính mà lập trình PHP sử dụng chủ yếu để thiết kế web Để tạo ứng dụng web ngơn ngữ PHP, người lập trình phải sử dụng dòng lệnh Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 13 Hệ hỗ trợ định Ứng dụng ngơn ngữ lập trình PHP lớn Bạn sử dụng PHP để tạo trang báo điện tử, trang mạng xã hội, chí cài đặt ứng dụng trang mạng xã hội Zalo, Facebook, Ngôn ngữ PHP sử dụng hệ điều hành, dễ dàng kết hợp với sở liệu sử dụng rộng rãi Cơ sở liệu PHP lớn nên thiết kế website bạn sử dụng nhiều hệ sở liệu khác Cơ chế hoạt động Dữ liệu đưa vào để phân tích lưu dạng file CSV ngăn cách dấu phẩy (Microsoft Excel Comma Separated Values File (.csv)) Hệ thống dùng trình biên dịch ngơn ngữ Python để đọc liệu, tính tốn, phân tích liệu (thuật tốn ID3) sau thu mơ hình gồm dịng liệu lưu dạng txt Hình 7: Các mơ hình (từng dịng) Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 14 Hệ hỗ trợ định Từ mơ hình dịng, dùng ngơn ngữ php đọc xây dựng mơ hình trực quan với HTML, ngồi ra, mơ hình phục vụ cho việc dự đốn dự đốn nhanh Hình 8: Mơ hình trực quan xây dựng PHP, CSS, HTML Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 15 Hệ hỗ trợ định Giao diện, tính a Giao diện dự đoán nhanh cách sử dụng Hình 9: Giao diện dự đốn nhanh Nhà quản lý nhân viên marketing chọn thông tin khách hàng sau chọn nút dự đốn để đưa kết Hình 10: Kết kèm theo số lịch sử dự đoán b Giao diện dự đoán nhiều khách hàng Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 16 Hệ hỗ trợ định Hình 11: Giao diện dự đoán nhiều khách hàng – Nhập danh sách Bước 1: Chọn nút [Chọn tệp] sau chọn file liệu khách hàng theo định dạng csv ngăn cách dấu phẩy lưu thông tin theo mẫu, chọn [Open] Hình 12: Mẫu liệu dự đốn Bước 2: Sau chọn tệp [Open], Chọn nút [Tải lên] chọn [Xem dự đoán >>] Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 17 Hệ hỗ trợ định Hình 13: Giao diện chọn tệp tải lên để dự đoán Bước 3: Chờ khoảng  10 giây (tùy vào số lượng khách hàng dự đoán) Và sau bấm vào nút [Download File] để tải kết dự đoán máy dự đoán file khác nút [Nhập danh sách mới] Hình 14: Giao diện tải kết Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 18 Hệ hỗ trợ định Hình 15: File kết dự đốn tải xuống có thêm cột dự đốn c Một số tính khác Hình 16: Xem định theo tab Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 19 Hệ hỗ trợ định Hình 17: Xem thơng số liệu Hình 18: Xem lịch sử dự đốn Ngồi cịn số tính Đăng nhập, Quản lý tài khoản, lấy lại mật … Sinh viên thực hiện: Lê Thanh Hải MSSV: 20161286 20 ... nghiệp khách hàng mortgage: Thông tin cho vay mua nhà khách hàng house_own: Khách hàng có sở hữu nhà hay không region: Thông tin khu vực mà khách hàng đặt car_prob: Xác suất khách hàng mua xe... Nhà quản lý phải có chức xem dự đốn khách hàng nhập vào thơng tin Có thể dự đoán lúc nhiều khách hàng mà phải đảm bảo tốc độ xử lý Các dự đoán đưa dự mơ hình định xây dựng nhờ vào thuật toán ID3... cho hiệu Dự đoán định khách hàng tiềm việc vô quan trọng cửa hàng, doang nghiệp, cơng ty, từ kết dự đốn đó, giúp nhà quản lý đưa định marketing phù hợp tới khách hàng tiềm năng, giúp cửa hàng tăng