Ứng dụng thuật toán EFIM để khai phá tập mục hữu ích cao từ cơ sở dữ liệu bán hàng tại siêu thị co opmart quảng ngãi

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM PHẠM THỊ KIM PHƯỢNG ỨNG DỤNG THUẬT TOÁN EFIM ĐỂ KHAI PHÁ TẬP MỤC HỮU ÍCH CAO TỪ CƠ SỞ DỮ LIỆU BÁN HÀNG TẠI SIÊU THỊ CO.OPMART QUẢNG NGÃI LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Đà Nẵng – Năm 2017 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM PHẠM THỊ KIM PHƯỢNG ỨNG DỤNG THUẬT TOÁN EFIM ĐỂ KHAI PHÁ TẬP MỤC HỮU ÍCH CAO TỪ CƠ SỞ DỮ LIỆU BÁN HÀNG TẠI SIÊU THỊ CO.OPMART QUẢNG NGÃI Chuyên ngành: HỆ THỐNG THÔNG TIN Mã số: 61.49.01.06 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Người hướng dẫn khoa học: PGS.TSKH TRẦN QUỐC CHIẾN Đà Nẵng – Năm 2017 LỜI CAM ĐOAN Tôi xin cam đoan: - Đây cơng trình nghiên cứu riêng tơi - Nội dung, kết nêu luận văn trung thực chưa công bố cơng trình khác - Mọi tham khảo dùng luận văn trích dẫn rõ ràng trung thực tên tác giả, tên cơng trình, thời gian địa điểm công bố - Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tơi xin chịu hồn tồn trách nhiệm Tác giả luận văn Phạm Thị Kim Phượng MỤC LỤC MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa đề tài Kết dự kiến Bố cục luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT VỀ KHAI PHÁ DỮ LIỆU 1.1 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1.1.1 Sơ lược khai phá liệu 1.1.2 Quá trình khám phá tri thức từ sở liệu 1.1.3 Các dạng liệu khai phá 1.1.4 Một số kỹ thuật khai phá liệu 1.1.5 Một số ứng dụng khai phá liệu 1.1.6 Lợi khai phá liệu so với phương pháp khác 10 1.1.7 Những thách thức khai phá liệu 11 1.2 KỸ THUẬT KHAI PHÁ TẬP MỤC PHỔ BIẾN VÀ LUẬT KẾT HỢP12 1.2.1 Cơ sở liệu giao tác 12 1.2.2 Tập mục phổ biến luật kết hợp 13 1.2.3 Khai phá tập mục phổ biến - Frequent Itemset Mining 15 1.2.4 Khai phá luật kết hợp 16 1.3 KẾT CHƯƠNG 17 CHƯƠNG KHAI PHÁ TẬP MỤC HỮU ÍCH CAO TỪ CƠ SỞ DỮ LIỆU GIAO TÁC 18 2.1 ĐẶT VẤN ĐỀ 18 2.2 TỔNG QUAN VỀ TÌNH HÌNH NGHIÊN CỨU KHAI PHÁ TẬP MỤC HỮU ÍCH CAO 18 2.3 MỘT SỐ ĐỊNH NGHĨA CỦA BÀI TOÁN 20 2.4 MỘT SỐ THUẬT TOÁN KHAI PHÁ TẬP MỤC HỮU ÍCH CAO 22 2.4.1 Thuật tốn Two-Phase 22 2.4.2 Thuật toán FHM 23 2.5 THUẬT TOÁN EFIM 23 2.5.1 Một số khái niệm 24 2.5.2 Thuật toán EFIM 32 2.6 ÁP DỤNG THUẬT TOÁN 34 2.7 KẾT CHƯƠNG 36 CHƯƠNG CÀI ĐẶT THUẬT TOÁN EFIM VÀ ỨNG DỤNG KHAI PHÁ DỮ LIỆU BÁN HÀNG 37 3.1 GIỚI THIỆU HỆ THỐNG SIÊU THỊ 37 3.2 GIẢI PHÁP KHAI PHÁ TẬP MỤC HỮU ÍCH CAO TỪ CƠ SỞ DỮ LIỆU BÁN HÀNG TẠI SIÊU THỊ 38 3.3 THU THẬP VÀ XỬ LÝ DỮ LIỆU 38 3.3.1 Một số vấn đề liên quan đến lợi nhuận cao 38 3.3.2 Thu thập xử lý liệu 39 3.4 CÀI ĐẶT THUẬT TOÁN 42 3.4.1 Lớp Item 43 3.4.2 Lớp Transaction 43 3.4.3 Lớp DataAssistant 43 3.4.4 Lớp EFIM 44 3.5 THỬ NGHIỆM CHƯƠNG TRÌNH 44 3.6 ĐÁNH GIÁ THUẬT TOÁN 46 3.6.1 Kết đầu 46 3.6.2 Thời gian thực 46 3.6.3 Sử dụng nhớ 47 3.6.4 Tìm kiếm nút 48 3.7 KẾT CHƯƠNG 48 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 49 DANH MỤC TÀI LIỆU THAM KHẢO QUYẾT ĐỊNH GIAO ĐỀ TÀI (BẢN SAO) DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT CÁC KÝ HIỆU α Tập mục α–T Giao tác tham chiếu α–D CSDL tham chiếu conf(X→ Y) Độ tin cậy luật X→ Y D Cơ sở liệu giao tác D E(α) Các mục mở rộng H Tập hợp tập mục hữu ích cao I Tập mục CSDL giao tác ij Mục liệu thứ j lu(α, z ) Giá trị hữu ích cục z α minconf Độ tin cậy tối thiểu minutil Ngưỡng hữu ích tối thiểu minsup Độ hỗ trợ tối thiểu re(X, Td) Giá trị hữu ích cịn lại X giao tác Td su(α, z) Giá trị hữu ích z α sup(X) Độ hỗ trợ tập mục X sup(X→ Y) Độ hỗ trợ luật X→ Y T Giao tác Td Giao tác thứ d tu Độ hữu ích giao tác TWU(X) Độ hữu ích trọng số tập mục X u(ij, Td) Giá trị hữu ích tập mục ij giao tác u(X) Giá trị hữu ích tập mục X X→ Y Luật X→ Y z Mục ≻ Thứ tự xếp mục ≻T Thứ tự xếp giao tác  Và  Tập  Phép giao  Phép hợp CÁC CHỮ VIẾT TẮT CSDL Cơ Sở Dữ Liệu KPDL Khai Phá Dữ Liệu EFIM EFficient high-utility Itemset Mining EUCS Estimated Utility Co-Occurrence Structure FHM Fast High-utility Miner FUC Fast Utility Counting FUM Fast Utility Mining HDP High-utility Database Projection HTM High-utility Transaction Merging KDD Knowledge Discovery in Databases LUHF Low Utility and High Frequency LULF Low Utility and Low Frequency HUHF High Utility and High Frequency HULF High Utility and Low Frequency TWU Transaction Weighted Utilization HUIM High Utility Itemset Mining DANH MỤC CÁC BẢNG Số hiệu bảng Tên bảng Trang 1.1 Biểu diễn ngang 12 1.2 Biểu diễn dọc 13 1.3 Biểu diễn ma trận giao tác 13 1.4 Danh sách tập mục phổ biến 14 2.1 Cơ sở liệu giao tác 20 2.2 Biểu diễn giá trị lợi nhuận mục CSDL 20 2.3 Bảng độ hữu ích giao tác CSDL 24 2.4 TWU mục CSDL giao tác D 25 2.5 Giá trị TWU utility-bin 32 2.6 CSDL sau xếp giao tác 35 2.7 Hợp giao tác CSDL tham chiếu {A} –D 35 2.8 Tập mục hữu ích cao 36 3.1 Danh sách mặt hàng 39 3.2 Lợi nhuận mặt hàng 42 3.3 Kết trả hai thuật toán 46 DANH MỤC CÁC HÌNH Số hiệu hình Tên hình Trang 1.1 Quá trình khám phá tri thức 2.1 Biểu diễn tìm kiếm I 26 3.1 Dữ liệu làm 41 3.2 Màn hình đăng nhập hệ thống 44 3.3 Giao diện 45 3.4 Kết mặt hàng có giá trị lợi nhuận cao 46 3.5 Thời gian thực hai thuật toán 47 3.6 Dung lượng nhớ hai thuật toán 47 3.7 Số nút tìm kiếm thuật tốn 48 ... ? ?Ứng dụng thuật toán EFIM để khai phá tập mục hữu ích cao từ sở liệu bán hàng siêu thị Co. opMart Quảng Ngãi? ?? Mục tiêu nhiệm vụ 2.1 Mục tiêu - Thu thập liệu bán hàng siêu thị Co. opMart Quảng Ngãi. .. Ngãi - Tìm hiểu thuật tốn EFIM để khai phá tập mục hữu ích cao từ CSDL giao tác - Ứng dụng thuật tốn EFIM để tìm tập mục hữu ích cao từ CSDL bán hàng siêu thị Co. opMart Quảng Ngãi 3 2.2 Nhiệm... - Thuật toán EFIM để khai phá tập mục hữu ích cao - Thơng tin liệu bán hàng siêu thị 3.2 Phạm vi nghiên cứu - Nghiên cứu thuật toán EFIM để khai phá tập mục hữu ích cao từ CSDL giao tác - Số liệu