XÁC ĐỊNH ĐẶC TRƯNG KHÁCH HÀNG DỰA TRÊN TẬP THÔ

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC MÁY TÍNH BÀI LUẬN CUỐI KHÓA XÁC ĐỊNH ĐẶC TRƯNG KHÁCH HÀNG DỰA TRÊN TẬP THÔ Giảng viên hướng dẫn: PGS. TS. ĐỖ PHÚC Học viên thực hiện: NGUYỄN HỮU VIỆT LONG Mã số: CH1101101 Lớp: CAO HỌC KHÓA 06-2011 TP. Hồ Chí Minh, tháng 11 năm 2012 Mở đầu Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 1 MỞ ĐẦU Nhận biết và thấu hiểu đặc trưng khách hàng từ lâu đã luôn là nhu cầu không thể thiếu của các nhà hoạt động kinh doanh. Đặc trưng khách hàng (Customer Characteristics) như tuổi tác (age), thu nhập (income), nghề nghiệp (job), trình độ (education level)… ảnh hưởng không nhỏ tới quyết định mua hàng hoặc sử dụng dịch vụ. Dự đoán các đặc trưng của khách hàng để đưa ra các chiến lược kinh doanh phù hợp trong hoàn cảnh thị trường có mức độ rủi ro cao thường là điều không hề dễ dàng đối với doanh nghiệp. Nhà quản lý thường phải bỏ ra một chi phí khá lớn hàng năm để phân loại khách hàng phục vụ mục đích kinh doanh. Kỹ thuật Minimize Expected Opportunity Loss là một trong các cách thông dụng mà nhà quản lý doanh nghiệp thường hay sử dụng để hoạch định các chính sách, chiến lược kinh doanh tối ưu, hạn chế rủi ro ở mức thấp. Sự phát triển mạnh mẽ của Công Nghệ Thông Tin và những lợi ích thấy rõ của nó đã thúc đẩy các doanh nghiệp không ngừng đầu tư áp dụng các thành tựu của Khoa học máy tính mà đặc biệt là Khai thác dữ liệu vào hoạt động sản xuất kinh doanh. Kỹ thuật phân tích đặc trưng khách hàng cũng theo đó mà phát triển. Mục tiêu của đề tài là giới thiệu mô hình áp dụng một số giải pháp Khai thác dữ liệu nhằm tối ưu cách thức phân loại khách hàng. Dựa trên các thông tin về thuộc tính khách hàng, mô hình sử dụng phương thức phân lớp Bayes để phân loại dữ liệu các khách hàng trong quá khứ và dự đoán loại của khách hàng mới theo lý thuyết Tập thô, đồng thời xác định các đặc trưng khách hàng quan trọng đối với quá trình phân tích. Kỹ thuật Minimize Expected Opportunity Loss được cải tiến cho phù hợp hơn với mô hình. Từ đó, đưa ra phương án tối ưu cho từng khách hàng, nâng cao lợi nhuận và giảm thiểu rủi ro cho doanh nghiệp. Bài luận được chia thành 4 chương và 3 phần phụ lục: Chương 1: Giới thiệu hướng nghiên cứu phân tích đặc trưng khách hàng và trình bày tổng quan về tình hình nghiên cứu hiện nay Chương 2: Giới thiệu bài toán phân tích đặc trưng khách hàng và cơ sở lý thuyết được sử dụng để giải quyết bài toán này. Mở đầu Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 2 Chương 3: Trình bày mô hình phân tích đặc trưng G(m,n), các chứng minh lý thuyết và kết quả thực nghiệm của mô hình này. Chương 4: Tóm tắt các kết quả đạt được, những điểm tích cực và một số vấn đề còn tồn đọng. Giới thiệu những hướng phát triển tiếp theo của mô hình phân tích đặc trưng G(m,n). Phụ lục A: Tóm tắt mô hình phân tích đặc trưng của Paul E. Green. Mô hình nền tảng của mô hình G(m,n) Phụ lục B: Giới thiệu các lớp bài toán P và NP. Phục lục C: Chứng minh tính đúng đắn của chiến lược sử dụng tập hợp tối đại ngẫu nhiên ưu tiên trong rút gọn thuộc tính. Bài luận cũng là tổng hợp kết quả của hai bài báo khoa học vừa được đăng tải năm 2012 trên những tạp chí khoa học quốc tế: 1. Thanh-Trung Nguyen, Viet-Long Huu Nguyen, and Phi-Khu Nguyen – Identifying Customer Characteristics By Using Rough Set Theory With A New Algorithm And Posterior Probabilities – 2012 Fourth International Conference on Computational and Information Sciences. Link web: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=6300580& contentType=Conference+Publications 2. Thanh-Trung Nguyen, Viet-Long Huu Nguyen and Phi-Khu Nguyen – A Bit- Chain Based Algorithm for Problem of Attribute Reduction – Intelligent Information and Database Systems, Lecture Notes in Computer Science, 2012. Link web: http://www.springerlink.com/content/e2811q8m0j1638hg/ Học viên viên thực hiện Nguyễn Hữu Việt Long Mục lục Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 3 MỤC LỤC MỞ ĐẦU 1 MỤC LỤC 3 DANH MỤC 5 CHƯƠNG 1: TỔNG QUAN 10 1.1 XU HƯỚNG NGHIÊN CỨU ĐẶC TRƯNG KHÁCH HÀNG 10 1.1.1 Giới thiệu về Đặc trưng khách hàng 10 1.1.2 Các phương pháp phân tích đặc trưng khách hàng hiện nay 10 1.2 NỘI DUNG NGHIÊN CỨU 13 1.3 PHƯƠNG PHÁP NGHIÊN CỨU 14 CHƯƠNG 2: BÀI TOÁN PHÂN TÍCH ĐẶC TRƯNG 15 2.1 BÀI TOÁN 15 2.2 CƠ SỞ LÝ THUYẾT 16 2.2.1 Expected Opportunity Loss 16 2.2.1.1 Opportunity Loss 16 2.2.1.2 Minimize Expected Opportunity Loss 17 2.2.1.3 Ví dụ về Minimize EOL 17 2.2.2 Khai thác dữ liệu 18 2.2.2.1 Tổng quan về Khai thác dữ liệu 19 2.2.2.2 Công thức Bayes 21 2.2.2.3 Lý thuyết tập thô 23 Mục lục Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 4 CHƯƠNG 3: MÔ HÌNH PHÂN TÍCH ĐẶC TRƯNG 33 3.1 MÔ HÌNH PHÂN TÍCH ĐẶC TRƯNG CỦA GREEN 33 3.2 MÔ HÌNH PHÂN TÍCH ĐẶC TRƯNG G(M,N) 34 3.2.1 Bộ phận tiền xử lý dữ liệu 34 3.2.2 Bộ phận phân tích dữ liệu 38 3.2.3 Bộ phận khuyến nghị 41 3.2.4 Bộ phận xử lý các mẫu khách hàng không xác định 42 3.2.5 Kiểm chứng kết quả thu được 43 3.3 VÍ DỤ MINH HỌA 44 3.4 THỰC NGHIỆM 53 3.4.1 Dữ liệu thực nghiệm 53 3.4.2 Chương trình mô phỏng 55 3.5 KẾT QUẢ 60 CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 61 4.1 KẾT LUẬN 61 4.2 HƯỚNG PHÁT TRIỂN 62 Phụ lục A: Mô hình phân tích đặc trưng Paul E. Green 63 Phục lục B: Các lớp bài toán P và NP 69 Phụ lục C: Tập hợp tối đại ngẫu nhiên ưu tiên trong rút gọn thuộc tính 72 TÀI LIỆU THAM KHẢO 79 Danh mục Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 5 DANH MỤC 1. Thuật ngữ Đặc trưng khách hàng 10 Opportunity Loss (OL) 16 Expected Opportunity Loss (EOL) 17 Minimize Expected Opportunity Loss 17 Khai thác dữ liệu 18 Công thức Bayes 21 Lý thuyết tập thô 23 Rút gọn thuộc tính 28 Bài toán NP-khó 29 Mô hình G(m,n) 34 Tập hợp tối đại ngẫu nhiên ưu tiên 38 Weighted Opportunity Loss (WOL) 43 Danh mục Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 6 2. Công thức 2.1 – Opportunity Loss 17 2.2 – Expected Opportunity Loss 17 2.3 – Công thức Bayes 21 2.4 – Xấp xỉ R-dưới của X 25 2.5 – Xấp xỉ R-trên của X 25 2.6 – Vùng R-biên của X 25 2.7 – Ma trận phân biệt của hệ quyết định 25 2.8 – Hàm phân biệt 26 2.9 – Giá trị Support 30 2.10 – Certainty factor 31 3.1 – Posterior Expected Opportunity Loss 41 3.2 – Expected Opportunity Loss 42 3.3 – Weighted Opportunity Loss 43 Danh mục Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 7 3. Bảng 2.1 – Bảng khảo sát lợi nhuận 18 2.2 – Bảng lợi nhuận tối ưu 18 2.3 – Ma trận chi phí: Opportunity Loss 18 2.4 – Một hệ quyết định trong “chuẩn đoán bệnh Cảm cúm” 24 2.5 – Ma trận phân biệt của hệ quyết định “Cảm cúm” 26 2.6 – Hệ quyết định rút gọn thuộc tính Đau cơ 27 2.7 – Hệ quyết định rút gọn thuộc tính Đau đầu 27 2.8 – Bảng chuẩn đoán kết quả Bệnh tật 30 3.1 – Bảng dữ liệu khách hàng 44 3.2 – Bảng ước lượng lợi nhuận 45 3.3 – Danh sách khách hàng cần xác định 45 3.4 – Các xác suất hậu nghiệm 46 3.5 – Các xác suất lề 46 3.6 – Ma trận chi phí Opportunity Loss 47 3.7 – Ma trận phân biệt 47 3.8 – Các vector khách hàng sau khi rút gọn thuộc tính 49 3.9 – Các mẫu khách hàng mục tiêu sau khi rút gọn thuộc tính 50 3.10 – Các xác suất của các mẫu khách hàng thường và ẩn 50 3.11 – Giá trị Posterior EOL của các mẫu khách hàng tập RH 51 3.12 – Kết quả lựa chọn phương án của các mẫu thuộc tập RH 51 3.13 – Giá trị EOL của các phương án đề xuất 51 3.14 – Kết quả phương án áp dụng cho các khách hàng 52 3.15 – Giá trị Weighted Opportunity Loss của các khách hàng tập RH 52 Danh mục Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 8 A.1 – Mẫu thuộc tính cho 3 đặc trưng khách hàng và các xác suất có điều kiện 63 A.2 – Bảng Opportunity Losses 64 A.3 – Các xác suất hậu nghiệm của khách hàng 65 A.4 – Các giá trị Critical Probability và Likelihood ratio 66 A.5 – Bảng Expected Opportunity Loss 66 C.1 – Một hệ quyết định “Chơi tennis” 76 C.2 – Ma trận phân biệt của hệ quyết định “Chơi tennis” 76 [...]... 02 – Khoa học máy tính Trang 9 Chương 1: Tổng quan CHƯƠNG 1: TỔNG QUAN 1.1 XU HƯỚNG NGHIÊN CỨU ĐẶC TRƯNG KHÁCH HÀNG 1.1.1 Giới thiệu về Đặc trưng khách hàng Đặc trưng khách hàng (Customer Characteristics) là một trong các tiêu chí giúp xác định loại khách hàng và tiềm năng của khách hàng Các đặc trưng khách hàng có thể kể ra là tuổi tác (age), giới tính (gender), nghề nghiệp (job), thu nhập (income),... các loại khách hàng khác nhau Một số loại khách hàng có thể kể ra như: khách hàng thanh thiếu niên, khách hàng tiềm năng của sản phẩm X, khách hàng hứng thú với chiến lược Y của doanh nghiệp, khách hàng quan trọng … Hai khách hàng có cùng đặc trưng cũng có thể có quan niệm khác nhau về sản phẩm, dịch vụ của doanh nghiệp và có thể thuộc hai loại khách hàng khác nhau Như đã nói ở trên, loại khách hàng chỉ... các xác suất hậu nghiệm (Posterior Distributions) [12] Xác suất hậu nghiệm giúp ta dự đoán khả năng xuất hiện của sự kiện khi một sự kiện khác đã xảy ra Kỹ thuật Bayes là cách tiếp cận đơn giản nhất như vô cùng hiệu quả để phân lớp và xác định loại của khách hàng [23] Bayes tiếp cận trực tiếp lên tập dữ liệu, giả định tính độc lập giữa các thông tin, đặc trưng khách hàng (trên thực tế, các đặc trưng khách. .. Management – CRM) mà bài toán phân tích đặc trưng khách hàng là một cốt lõi không thể thiếu CRM là một phương pháp giúp tiếp cận và giao tiếp với khách hàng một cách có hệ thống và hiệu quả, quản lý các thông tin của khách hàng như thông tin về tài khoản, nhu cầu, liên lạc… nhằm phục vụ khách hàng tốt hơn Thông qua các kỹ thuật, công cụ máy tính, các thông tin khách hàng sẽ được lưu trữ và xử lý Doanh... Customer Activities, đặc trưng khách hàng là nhân tố quan trọng ảnh hưởng tới tâm lý và quyết định chọn lựa sản phẩm của khách hàng [8][4] Nó cũng làm tác động tới giá trị nhận thức (perceived value) và niềm tin của khách hàng (customer loyalty) vào doanh nghiệp [6] Một số nhà nghiên cứu đã sử dụng các đặc trưng khách hàng nhằm dự đoán quyết định mua vé máy bay [9], mức độ tin tưởng của khách hàng vào các... phẩm, dịch vụ phù hợp với khách hàng [14] 1.1.2 Các phương pháp phân tích đặc trưng khách hàng hiện nay Các phương pháp phân tích đặc trưng khách hàng hiện nay đều phát triển dựa trên các kỹ thuật của Xác suất thống kê và Khai thác dữ liệu Việc khảo sát bản chất và ảnh hưởng của từng loại thông tin khách hàng lên quyết định chọn mua hàng và sử dụng dịch vụ được quan tâm nghiên cứu nhiều [8][5][6] Generalized... nhưng rất hiệu quả để xác định, phân tích đặc trưng khách hàng [23] Khóa luận tốt nghiệp Cử nhân tài năng 02 – Khoa học máy tính Trang 11 Chương 1: Tổng quan Các ứng dụng phân tích đặc trưng khách hàng tạo ra các dịch vụ hướng khách hàng và nó cũng là cơ sở để các nhà quản lý xây dựng, phát triển các chiến lược kinh doanh phù hợp Tuy nhiên, phân loại khách hàng cũng chỉ đưa ra các thông tin tương đối,... chương trình là cơ sở dữ liệu khách hàng, bảng ước lượng lợi nhuận của các phương án đề xuất và danh sách các khách hàng cần xác định phương án áp dụng tối ưu Dữ liệu đầu ra là danh sách khách hàng và các phương án hiệu quả áp dụng cho khách hàng Kết quả thực nghiệm cùng những chứng minh lý thuyết đã cho thấy tính chính xác và hiệu quả của mô hinh phân tích đặc trưng khách hàng mà nghiên cứu này mới đề... phương án tối ưu cho các một số mẫu khách hàng Bộ phận xử lý mẫu không xác định (Unknown Patterns Processor Module): xác định phương án tối ưu cho các mẫu khách hàng không xác định được dựa trên dữ liệu bằng phương pháp Minimize Expected Opportunity Loss truyền thống Cùng với đó, mô hình cũng cung cấp một phương thức kiểm chứng tính tối ưu của các phương án dựa trên giá trị Weighted Opportunity Loss... cầu thiết yếu của việc phân tích đặc trưng khách hàng và xu hướng phát triển hiện nay, đề tài này tiếp tục đào sâu nghiên cứu với mong muốn tìm ra một mô hình phân tích đặc trưng khách hàng hiệu quả dựa trên những phương pháp phân tích đặc trưng truyền thống kết hợp với những phương pháp hiện đại Để đáp ứng mục tiêu nghiên cứu đó, đề tài đề xuất một mô hình áp dụng Tập thô kết hợp với Công thức Bayes . CỨU ĐẶC TRƯNG KHÁCH HÀNG 1.1.1 Giới thiệu về Đặc trưng khách hàng Đặc trưng khách hàng (Customer Characteristics) là một trong các tiêu chí giúp xác định loại khách hàng và tiềm năng của khách. xác định loại của khách hàng [23]. Bayes tiếp cận trực tiếp lên tập dữ liệu, giả định tính độc lập giữa các thông tin, đặc trưng khách hàng (trên thực tế, các đặc trưng khách hàng có thể có mối. của phương án đề xuất lên từng loại khách hàng. Loại khách hàng (Customer types) được phân tích dựa trên các đặc trưng của khách hàng và thái độ của khách hàng trong giao thiệp với doanh nghiệp.