Áp dụng kỹ thuật khai phá dữ liệu trên dữ liệu bán hàng để hỗ trợ việc đặt hàng tại siêu thị

LỜI CẢM ƠN LUẬN VĂN THẠC SĨ LỜI CẢM ƠN Trước hết, xin chân thành gửi lời tri ân sâu sắc ñến Tiến sĩ Nguyễn ðức Cường Thầy ñã giới thiệu đề tài hướng dẫn tơi giai ñoạn làm ñề cương giai ñoạn luận văn Thầy có hướng dẫn nghiên cứu khoa học ý kiến đóng góp q báu Những lời dạy ñộng viên Thầy hành trang ghi nhớ tơi bước đường học vấn nghiệp sau Tôi xin trân trọng cảm ơn giảng viên phản biện Tiến Sĩ Lê Văn Dực Tiến Sĩ Quản Thành Thơ Thầy hội ñồng ñã dành nhiều thời gian ñể chỉnh sửa cho tơi nhiều ý kiến bổ ích cách trình bày phương pháp thực luận văn Tơi xin bày tỏ lịng cảm ơn sâu sắc đến tất thầy khoa Cơng Nghệ Thơng Tin khoa khác giảng dạy cho suốt thời gian học tập Cao Học trường, truyền đạt cho tơi kiến thức q báu khơng phục vụ tốt cho đề tài mà cịn cho cơng việc sau Tôi xin trân trọng gửi lời cảm ơn đến anh chị cơng tác phịng mua hàng, phịng quản lý thơng tin Cơng ty Metro Cash & Carry Việt Nam ñã dành thời gian hỗ trợ đóng góp ý kiến thực tiễn cho đề tài Tơi xin chân thành cảm ơn Phịng ðào Tạo Sau ðại học thiết lập chương trình Thạc sĩ Khoa học máy tính có giá trị mà tơi danh dự theo học hai năm qua Tơi chân thành cảm ơn gia đình, tất người thân bạn bè ln hết lịng ủng hộ, động viên giúp đỡ tơi suốt thời gian học tập làm việc Cuối cùng, tơi xin gửi đến tất người lời chúc sức khỏe, hạnh phúc thành công TP.HCM, ngày 07 tháng 09 năm 2007 Học viên Cao Tấn Thiết GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết i TÓM TẮT LUẬN VĂN THẠC SĨ TÓM TẮT Khám phá tri thức sở liệu (Knowledge Discovery in Databases) ñang xu hướng phát triển mạnh cơng nghệ thơng tin giới Nó có khả ứng dụng vào nhiều lớp toán thực tế khác Bước quan trọng trình khai phá liệu, giúp người sử dụng thu ñược tri thức hữu ích từ sở liệu nguồn liệu khổng lồ khác Rất nhiều doanh nghiệp tổ chức giới ñã ứng dụng kĩ thuật khai phá liệu vào hoạt động sản xuất kinh doanh thu lợi ích to lớn Trong lĩnh vực kinh doanh siêu thị, khai phá liệu tỏ đặc biệt hiệu siêu thị ngành có số lượng sản phẩm ña dạng, số lượng khách hàng lớn có lượng liệu cần lưu trữ khổng lồ Bên cạnh đó, thị trường siêu thị ln ln biến động đầy cạnh tranh Chính vậy, việc nghiên cứu áp dụng kĩ thuật khai phá liệu vào hoạt ñộng sản xuất kinh doanh siêu thị cần thiết ðề tài giới thiệu cách tổng quan kĩ thuật khai phá liệu, mơ hình, kiến trúc, phạm vi ứng dụng, lợi ích đề xuất phương pháp giải thuật để giải tốn dự báo doanh số bán hàng tập đồn siêu thị Metro Cash & Carry Việt Nam ñể hỗ trợ việc ñặt hàng Nghiên cứu sử dụng phương pháp hồi quy áp dụng lên mơ hình tốn học phổ biến, q trình tìm hệ số ước lượng ñược giải giải thuật Nelder-Mead Giải thuật Nelder-Mead giải thuật tìm kiếm có hướng, sử dụng để tìm giá trị nhỏ sai số dự báo hàm số tốn học giá trị nhỏ ñạt ñến ñộ hội tụ Kết ứng dụng ñề tài hỗ trợ nhà quản lý mua bán hàng tiếp thị việc ñịnh ñặt hàng ñưa chiến lược kinh doanh hợp lý, nhằm mục đích ñem lại lợi nhuận tối ña cho siêu thị GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết ii LUẬN VĂN THẠC SĨ MỤC LỤC MỤC LỤC LỜI CẢM ƠN .i TÓM TẮT ii MỤC LỤC iii DANH MỤC HÌNH viii DANH MỤC BẢNG x DANH MỤC VIẾT TẮT xi PHÁT BIỂU VẤN ðỀ PHẦN 1.1 Mở ñầu 1.2 ðề tài nghiên cứu 1.2.1 Sự cần thiết ñề tài .2 1.2.2 ðặt vấn ñề 1.2.3 Giải vấn ñề ðối tượng phạm vi nghiên cứu 1.3 1.3.1 ðối tượng nghiên cứu .5 1.3.2 Phạm vi nghiên cứu ñề tài 1.3.3 Ý nghĩa thực tiễn ñề tài 1.3.3.1 Về mặt học thuật 1.3.3.2 Về mặt ứng dụng 1.4 Nội dung trình bày PHẦN 2.1 CƠ SỞ LÝ THUYẾT Cơ sở lý thuyết khai phá liệu 2.1.1 Giới thiệu khai phá liệu .9 2.1.2 Các q trình mơ hình khai phá liệu 10 2.1.2.1 Tìm hiểu nghiệp vụ liệu 11 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết iii LUẬN VĂN THẠC SĨ MỤC LỤC 2.1.2.2 Chuẩn bị liệu 12 2.1.2.3 Mơ hình hố liệu 13 2.1.2.4 Hậu xử lý ñánh giá 14 2.1.2.5 Triển khai 14 2.1.3 Dữ liệu nhập 14 2.1.4 Các nhóm phương pháp khai phá liệu 15 2.1.5 Dữ liệu xuất 15 2.1.6 ðánh giá hệ thống khai phá liệu 16 2.2 Các tiêu chuẩn ứng dụng khai phá liệu 16 2.2.1 Các tiêu chuẩn .16 2.2.2 Các ứng dụng 18 2.3 Các phương pháp giải vấn ñề dự báo 19 2.3.1 Các phương pháp hồi quy tuyến tính 19 2.3.1.1 Giới thiệu 19 2.3.1.2 Phương pháp hồi quy tuyến tính đơn 20 2.3.1.3 Phương pháp hồi quy tuyến tính đa biến 23 2.3.2 Phương pháp hồi quy phi tuyến 25 2.3.2.1 Giới thiệu 25 2.3.2.2 Hệ số tương quan 27 2.3.2.3 Khái niệm làm trơn 28 2.3.2.4 ðường khuynh hướng 29 2.3.3 Các dạng mơ hình tốn học 31 2.3.3.1 Hàm tuyến tính với hệ số góc 31 2.3.3.2 Hàm ða thức 31 2.3.3.3 Hàm phân bố Gauss (Gaussian Distribution Function) 33 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết iv LUẬN VĂN THẠC SĨ 2.3.3.4 Hàm phân phối log-Normal hai tham số 34 2.3.3.5 Hàm phân phối Log-normal ba tham số 34 2.3.3.6 Hàm phân bố logistic 35 2.3.3.7 Hàm phân phối Lorentzian 35 2.3.3.8 Hàm phân phối Poisson 36 2.3.3.9 Hàm phân phối Gumbel có hai tham số 36 2.3.3.10 Hàm phân phối Fréchet 38 2.3.3.11 Hàm phân phối Weibull 38 2.3.3.12 Hàm phân phối mũ 40 2.3.3.13 Hàm ngưỡng Sigmoid 40 2.3.3.14 ðánh giá 41 2.3.4 2.4 MỤC LỤC Hồi quy chuỗi thời gian 41 2.3.4.1 Giới thiệu 41 2.3.4.2 Phân tích xu hướng biến ñộng chuỗi thời gian 42 2.3.4.3 Phân tích tính thời vụ chuỗi thời gian 44 Giải thuật Nelder-Mead 46 2.4.1 Giới thiệu 46 2.4.2 Giải thuật Nelder-Mead 46 2.4.3 Một bước lặp giải thuật Nelder–Mead 47 2.5 Thư viện WEKA 50 2.5.1 Giới thiệu 50 2.5.2 Phát triển ứng dụng dựa Weka 54 2.5.3 Phần mềm Weka 55 2.5.3.1 Explorer 56 2.5.3.2 KnowledgeFlow 57 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết v LUẬN VĂN THẠC SĨ MỤC LỤC 2.5.3.3 Experimenter 57 2.5.3.4 Simple CLI 58 PHẦN 3.1 PHÂN TÍCH DỮ LIỆU NGHIỆP VỤ 60 Phân tích sở liệu siêu thị 60 3.1.1 Hệ thống data warehouse 61 3.1.2 Hệ thống quản lý doanh số thưởng .63 3.2 Giải toán 66 3.3 Bài toán dự báo doanh số bán sản phẩm 66 3.4 Tính tốn doanh số đặt hàng cho nhà cung cấp 67 3.5 Hỗ trợ ñịnh 67 PHẦN 4.1 THIẾT KẾ VÀ HIỆN THỰC 69 Thiết kế 69 4.1.1 Tìm hiểu nghiệp vụ hệ thống sở liệu .69 4.1.2 Trích xuất liệu 69 4.1.3 Tiền xử lý 71 4.1.4 Chọn mơ hình 71 4.1.5 Chọn mơ hình tốt 71 4.1.6 Dữ liệu ñầu vào cho bước dự báo 72 4.1.7 Kết dự báo 72 4.1.8 ðánh giá kết dự báo .72 4.2 Hiện thực 73 4.2.1 Dữ liệu ban ñầu: 73 4.2.2 Dữ liệu sản phẩm 74 4.2.3 Tạo mơ hình 75 4.2.4 Tìm mơ hình tốt 79 4.2.5 Tính giá trị dự báo 80 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết vi LUẬN VĂN THẠC SĨ MỤC LỤC 4.3 Hiện thực hồi quy phi tuyến tính sử dụng giải thuật Nelder-Mead 80 4.4 Cơng cụ phát triển giao diện chương trình 82 4.4.1 Môi trường công cụ phát triển 82 4.4.2 Giao diện chương trình 82 4.5 Một số dạng đồ thị chương trình 86 ðÁNH GIÁ VÀ KẾT LUẬN 89 PHẦN 5.1 ðánh giá kết 89 5.1.1 Phép so sánh .90 5.1.2 Phép so sánh .95 5.1.3 Phép so sánh .96 5.1.4 So sánh trực quan 96 5.1.5 ðộ xác 98 5.2 Sử dụng giá trị dự báo ñể hỗ trợ việc ñặt hàng 98 5.2.1 Quy tắc nghiệp vụ (Business rule) 98 5.2.2 Áp dụng giá trị dự báo vào hệ thống BAS 101 5.3 Kết luận 101 5.3.1 Những kết ñạt ñược 101 5.3.2 Những hạn chế 102 5.4 Hướng phát triển 102 5.4.1 Về mặt học thuật 102 5.4.2 Về mặt ứng dụng .103 TÀI LIỆU THAM KHẢO 105 PHỤ LỤC 1: KẾT QUẢ TÍNH TỐN CỦA PHÉP SO SÁNH 107 PHỤ LỤC 2: KẾT QUẢ TÍNH TỐN CỦA PHÉP SO SÁNH 111 PHỤ LỤC 3: KẾT QUẢ TÍNH TỐN CỦA PHÉP SO SÁNH 117 PHỤ LỤC 4: ðÁNH GIÁ CỦA NHÀ QUẢN LÝ SIÊU THỊ 125 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết vii LUẬN VĂN THẠC SĨ DANH MỤC HÌNH DANH MỤC HÌNH Hình 2.1 Mơ hình bước khai phá liệu 11 Hình 2.2 Sơ ñồ trình phương pháp CRISP-DM [15] 18 Hình 2.3 ðồ thị biểu diễn mối quan hệ năm kinh nghiệm lương 23 Hình 2.4 ðồ thị thể ñường khuynh hướng giá trị doanh số bán theo năm 30 Hình 2.5 ðường khuynh hướng thể ñến giá trị tương lai 30 Hình 2.6 Hình dạng hàm đa thức bậc 32 Hình 2.7 Hình dạng biểu diễn hàm phân bố Gauss 33 Hình 2.8 Hình dạng hàm log-normal hai tham số 34 Hình 2.9 Hình dạng hàm phân phối Log-normal ba tham số 35 Hình 2.10 Hình dạng hàm phân phối Lorentzian 36 Hình 2.11 Hình dạng hàm Poisson µ = 37 Hình 2.12 Hình dạng hàm phân phối Gumbel có hai tham số 37 Hình 2.13 Hình dạng ñồ thị hàm Frechet 38 Hình 2.14 Hình dạng đồ thị hàm số Weibull 39 Hình 2.15 Hình dạng hàm mũ hai tham số 40 Hình 2.16 ðồ thị biểu diễn xu hướng doanh số bán hàng 44 Hình 2.17 Giải thuật Nelder–Mead sau bước đối xứng mở rộng (reflection and expansion),với đơn hình ban ñầu ñược vẽ với ñường nét ñứt 49 Hình 2.18 Giải thuật Nelder-Mead sau bước rút gọn phía ngồi, rút gọn bên bước co lại 49 Hình 2.19 Giao diện trực quan cơng cụ WEKA 52 Hình 2.20 Giao diện phần mềm WEKA 55 Hình 2.21 Giao diện module Explorer weka 56 Hình 2.22 Giao diện module KnowledgeFlow weka 57 Hình 2.23 Giao diện Experimenter 58 Hình 2.24 Giao diện CLI 59 Hình 3.1 Sơ đồ sở liệu tóm lược hệ thống GMS 60 Hình 3.2 Sơ đồ chuyển liệu hệ thống 62 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết viii LUẬN VĂN THẠC SĨ DANH MỤC HÌNH Hình 3.3 Các loại liệu từ GMS chuyển sang data warehouse 62 Hình 3.4 Mối quan hệ hợp đồng ñiều kiện 63 Hình 3.5 Sơ ñồ sở liệu quan hệ sơ lược hệ thống BAS 64 Hình 3.6 Sơ đồ phân cấp sản phẩm theo nhóm sản phẩm 65 Hình 3.7 Sơ đồ bước xử lý để giải vấn ñề 66 Hình 4.1 Sơ đồ bước thực chương trình 70 Hình 4.2 Sơ đồ liệu trình thực chương trình 70 Hình 4.3 ðịnh dạng tập tin liệu sản phẩm sau bước tiền xử lý 75 Hình 4.4 Nội dung tập tin mơ hình dạng arff 79 Hình 4.5 Giao diện chương trình 84 Hình 4.6 Các menu menu Application, dùng để chạy thao tác chương trình 84 Hình 4.7 Giao diện phần tiền xử lý chương trình (Preprocess) 85 Hình 4.8 Công cụ ArffViewer 85 Hình 4.9 Biểu diễn hàm ña thức phụ thuộc giá trị doanh số bán theo tuần 86 Hình 4.10 Biểu diễn hàm ña thức phụ thuộc giá trị doanh số bán theo tuần 87 Hình 4.11 Biểu diễn hàm ña thức phụ thuộc giá trị doanh số bán (Sales) theo tuần 87 Hình 5.1 Các tập tin mơ hình chương trình sinh ra, f1 tương ứng với hàm đa thức 90 Hình 5.2 ðồ thị biễu diễn giá trị dự báo, giá trị thực sai số 94 Hình 5.3 ðường khuynh hướng dạng ña thức ñồ thị ñiểm liệu vẽ từ Excel 97 Hình 5.4 ðồ thị biểu diễn liệu sản phẩm 81261từ chương trình 97 Hình 5.5 ðồ thị biểu diễn phần trăm chiết khấu tương ứng với giá trị doanh số mua hàng 101 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết ix LUẬN VĂN THẠC SĨ DANH MỤC BẢNG DANH MỤC BẢNG Bảng 1-1 Tỉ lệ chiết khấu tương ứng với doanh số mua hàng nhà cung cấp Bảng 2-1: Số liệu mối quan hệ năm kinh nghiệm lương tương ứng 22 Bảng 2-2 Một số dạng chuyển thông dụng sang dạng hồi quy tuyến tính 26 Bảng 2-3 Dữ liệu thuộc tính A B 28 Bảng 2-4 Dữ liệu doanh số bán hàng 29 Bảng 2-5 Doanh số bán theo năm công ty 43 Bảng 4-1 Các dạng hàm toán học ñược sử dụng ñề tài 76 Bảng 5-1 Kết so sánh giá trị dự báo so với giá trị thực số sản phẩm thuộc nhà cung cấp 20022 91 Bảng 5-2 Dữ liệu hợp ñồng nhà cung cấp 20093 99 Bảng 5-3 Tiền thưởng tương ứng với phần trăm chiết khấu hợp ñồng 100 Bảng 5-4: Kết so sánh giá trị thực giá trị dự báo theo sản phẩm 107 Bảng 5-5: Bảng kết so sánh theo giá trị tổng sản phẩm theo nhà cung cấp 111 Bảng 5-6: Bảng so sánh theo mơ hình giá trị dự báo giá trị thực 117 GVHD: TS Nguyễn ðức Cường HVTH: Cao Tấn Thiết x ... đề xuất phương pháp giải thuật để giải tốn dự báo doanh số bán hàng tập đồn siêu thị Metro Cash & Carry Việt Nam ñể hỗ trợ việc ñặt hàng Nghiên cứu sử dụng phương pháp hồi quy áp dụng lên mơ hình... vậy, việc nghiên cứu áp dụng kĩ thuật khai phá liệu vào hoạt ñộng sản xuất kinh doanh siêu thị cần thiết ðề tài giới thiệu cách tổng quan kĩ thuật khai phá liệu, mơ hình, kiến trúc, phạm vi ứng dụng, ... siêu thị, mà lĩnh vực kinh doanh khác, áp dụng lý thuyết, phương pháp khai phá liệu sử dụng ñề tài để phát triển thành ứng dụng hữu ích cho nhà quản lý Hơn nữa, ñây ñề tài thuộc lĩnh vực hệ hỗ