Tiểu luận môn học khai phá dữ liệu chủ đề Khai phá dữ liệu bằng luật kết hợp

Khai phá liệu datamining Trường Đại học CNTT TP.HCM ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN MÔN: KHAI PHÁ DỮ LIỆU VÀ DATAMINING TIỂU LUẬN MÔN HỌC KHAI PHÁ DỮ LIỆU BẰNG LUẬT KẾT HP Giảng viên hướng dẫn PGS.TS Đỗ Phúc Sinh viên : Võ Minh Hiếu MSSV : CH1001103 TP.HCM, tháng 11 - 2012 Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM LỜI NÓI ĐẦU Ngày lĩnh vực khoa học kỹ thuật ngày phát triển mạnh mẽ Đặc biệt nghành khoa học máy tính phát triển, ứng dụng nhiều lĩnh vực khác sống như: Giáo dục, Y tế, Kinh tế, Khoa học, Xây dưng, Nó trở thành phần thiếu sống hàng ngày người.Việc dùng phương tiện tin học để tổ chức khai thác sở liệu phát triển từ năm 60 Đặc biệt năm gần vai trò máy tính việc lưu trữ xử lý thơng tin ngày trở lên quan trọng Bên cạnh thiết bị thu thập liệu tự động tương đối phát triển tạo kho liệu khổng lồ Với phát triển mạnh mẽ công nghệ điện tử tạo nhớ có dung lượng lớn, xử lý tốc độ cao với hệ thống mạng viễn thông, người ta xây dựng hệ thống thơng tin nhằm tự động hố hoạt động kinh doanh Điều tạo dịng liệu tăng lên khơng ngừng ví từ các giao dịch đơn gian điện thoại, kiểm tra sức khỏe, sử dụng thẻ tín dụng, v.v.đều ghi vào máy tính Cho tới số trở lên khổng lồ, bao gồm sở liệu, thông tin khách hàng, liệu lịch sử giao dịch, liệu bán hàng, liệu tài khoản vay, sử dụng vốn, Vấn đề đặt làm để sử lý khối lượng thông tin cực lớn để phát tri thưc tiềm ẩn Để làm điều người ta sử dụng trính Phát tri thức sở liệu( Knowledge Discovery in Database-KDD) Nhiệm vụ KDD từ liệu sẵn có phải tìm thơng tin tiềm ẩn có giá trị mà trước chưa phát tìm xu hướng phát triển xu hướng tác động lên chúng Các kỹ thuật cho phép ta lấy tri thức từ sở liệu sẵn có gọi kỹ thuật Khai phá liệu( Data Mining) Từ lý em hiểu đề tài Khai phá liệu luật kết hợp Nhằm phân tích liệu sử dụng kỹ thuật để tìm mẫu thơng tin, hoạt động có tính quy tập liệu mà người sử dụng mong muốn, đồng thời để áp dụng vào toán Quản lý bán hàng siêu thị Trong q trình làm đồ án để hồn thành đề tài chúng nhận giúp đỡ bảo tận tình thầy Nhưng thời gian có giới hạn lực cịn hạn chế nên khơng tránh khỏi sai sót, em mong nhận góp ý thầy bạn Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM TÓM TẮT ĐỀ TÀI Nội dung đồ án kiến thức khai phá liệu sử dụng luật kết hợp, thuật tốn kinh điển q trình sử dụng luật kết hợp, cách áp dụng thuật toán Apriori vào phần nhỏ toán Quản lý bán hàng siêu thị Mục đích đồ án là: Phân tích liệu sử dụng kỹ thuật để tìm mẫu thơng tin, hoạt động có tính quy tập liệu mà người sử dụng mong muốn Đưa thuật tốn Apriori, thuật tốn tìm luật kết hợp không phát sinh ứng viên dựa vào cấu trúc FP- Tree, v.v.trong việc sử dụng luật kết hợp để phân tích sở liệu Phân tích sở liệu cài đặt thuật toán Apriori để áp dụng phần nhỏ vào toán Quản lý bán hàng siêu thị Đồ án bao gồm có chương, với nội dung sau: ChươngI: Tổng quan khai phá liệu Nội dung chương trình bày bao gồm: Khai phá liệu phát tri thức, trình phát tri thức từ sở liệu, khai phá liệu có lợi ích gì? Các kỹ thuật khai phá liệu, nhiêm vụ khai phá liệu, phương pháp khai phá liệu, ứng dụng khai phá liệu số thách thức đặt cho việc khai phá liệu ChươngII: Tập phổ biến luật kết hợp: Nội dung đuợc trình bày bao gồm: Một số khái niệm, tính chất tập phổ biến luật kết hợp, tìm tập phổ biến, số thuật tốn luật kết hợp, số ví dụ minh họa thuật toán ChươngIII: Cách cài đặt thử nghiệm thuật tốn tìm tập phổ biến luật kết hợp: Phân tích sở liệu, trình bày cách cài đặt chương trình khai thác luật kết hợp việc quản lý bán hàng siêu thị Dựa vào kết mà người quản lý bán hàng thị siêu nắm bắt nhóm mặt hàng có liên quan tới nhau, phục vụ cho mục đích quản lý lựa chọn mặt hàng để kinh doanh Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM MỤC LỤC NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN LỜI NÓI ĐẦU .2 TÓM TẮT ĐỒ ÁN MỞ ĐẦU 12 Chương I:TỔNG QUAN VỀ KHAI PHÁI DỮ LIỆU 13 Đặt vấn đề 13 Khai phá liệu phát tri thức 14 Quá trình phát tri thức từ sở liệu 14 Xác định toán 15 Thu thập tiền xử lý .15 Gom liệu 16 Chọn lọc liệu 16 Làm 16 Làm giàu liệu 17 Mã hoá liệu 17 Đánh giá trình diễn 17 Khai phá liệu 18 Phát biểu đánh giá kết 18 Sử dụng tri thức phát 18 Khaiphádữliệucónhữnglợiíchgì 18 Cáckỹthuậtkhaiphádữliệu 19 Kỹ thuật khai phá liệu mô tả .19 Kỹ thuật khai phá liệu dự đoán 19 Nhiêmvụchínhcủakhaiphádữliệu 19 Phân lớp (Classification) 20 Hồi quy (Regression) .20 Gom nhóm (Clustering) 20 1.6.4 Tổng hợp (Summarization) 20 Mơ hình ràng buộc (Dependency modeling) 20 Dị tìm biến đổi độ lệch (Change and Deviation Dectection) 21 Các phương pháp khai phá liệu 21 Các thành phần giải thuật khai phá liệu 21 Một số phương pháp khai thác liệu phổ biến .22 Phương pháp quy nạp (Induction) 22 Cây định luật 22 Phát luật kết hợp 22 Mạng Neuron 23 Giải thuật di truyền .24 Ứng dụng khai phá liệu 24 Một số thách thức đặt cho việc khai phá liệu 25 ChươngII: TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP 27 Mở đầu 27 Các khái niệm 27 Định nghĩa 2.1: Ngữ cảnh khai phá liệu 27 Định nghĩa 2 2: Các kết nối Galois 27 Định nghĩa 2.2.3: Độ hỗ trợ (Support) 27 Định nghĩa 2.4: Độ tin cậy ( Confidence) 28 Tính chất 2.4.1: Hỗ trợ tập 28 Tính chất 2.2.4.2 28 Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Tính Tính Định Định Tính Tính Tính Tính chất 2.2.4.3 28 chất 2.4.4 28 nghĩa 2.2.5: Tập mặt nghĩa 2.2.6: Luật kết chất 2.2.6.1: Luật kết chất 2.2.6.2: Luật kết chất 2.2.6.3: Luật kết chất 2.2.6.4 30 Trường Đại học CNTT TP.HCM hàng phổ biến 29 hợp 29 hợp khơng có hợp thành 29 hợp khơng có tính tách 29 hợp khơng có tính bắc cầu 30 Tìmtậpphổbiến 30 Một số khái niệm 30 Thuật toán Apriori 31 2.3.2.1 Mô tả thuật toán 31 2.3.2.2 Ví dụ minh hoạ cho thuật toán Apriori 33 2.3.2.3 Procedure-Code 34 2.3.2.4 Tạo tập ứng viên (k+1)- hạng mục .35 Tìmluậtkếthợp 36 Phát biểu toán khai phá luật kết hợp 36 Phát triển giải pháp hiệu khai thác luật kết hợp .38 Quytrìnhkhaithácluậtkếthợp 40 Mộtsốthuậttoánkhác 40 Thuật toán khai phá song song cho luật kết hợp mờ 40 Thuật toán FP-Growth 42 2.6.2.1 Bản chất 42 Qui trình 42 Thuật toán FP_Growth 51 Chương III: CÀI ĐẶT VÀ THỬ NGHIỆM THUẬT TỐN TÌM TẬP PHỔ BIẾN VÀ LUẬTKẾTHỢP 52 Phátbiểubàitoán 52 Lựachọnthuậttoánđểcàiđặtphầnmềm 52 Yêucầukhicàiđặtthuậttoán 52 Cơsởdữliệu 53 Giao diện sở liệu 53 Bảng danh mục Nhà cung cấp hàng hóa 54 Bảng danh mục Hàng Hoá .55 Bảng danh mục Khách Hàng 56 Bảng danh mục Hoá Đơn 57 Bảng danh mục chi tiết Hoá Đơn 58 Ghi XML 59 Giaodiệnchínhchươngtrình 59 Kếtnốidữliệu 60 Thêmdưliệu Xml 60 Kếtquảphântích 61 KếtquảlọcMinSup=10 61 KếtquảlọcMinCon=40% 62 KẾTLUẬNCHUNG 63 HƯỚNGPHÁTTRIỂNĐỀTÀI 64 TÀILIỆUTHAMKHẢO 65 BẢNGĐỐICHIẾUTHUẬTNGỮVIỆT-ANH 66 Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM MỞ ĐẦU Sự phát triển công nghệ thông tin việc ứng dụng công nghệ thông tin nhiều lĩnh vực đời sống, kinh tế xã hội nhiều năm qua đồng nghĩa với lượng liệu quan thu thập lưu trữ ngày nhiều lên Họ lưu trữ liệu cho ẩn chứa giá trị định Tuy nhiên, theo thống kê có lượng nhỏ liệu (khoảng từ 5% đến 10%) ln phân tích, số cịn lại họ khơng biết phải làm làm với chúng họ tiếp tục thu thập tốn với ý nghĩ lo sợ có quan trọng bị bỏ qua sau có lúc cần đến Các phương pháp quản trị khai thác sở liệu truyền thống không đáp ứng kỳ vọng này, nên đời Kỹ thuật phát tri thức khai phá liệu (KDD - Knowledge Discovery and Data Mining) Kỹ thuật phát tri thức khai phá liệu nghiên cứu, ứng dụng nhiều lĩnh vực khác nước giới, Việt Nam kỹ thuật tương đối mẻ nhiên nghiên cứu dần đưa vào ứng dụng Hiện có nhiều phương pháp để kinh doanh có nhiều phần mềm để quản lý việc kinh doanh Ví dụ phần mềm quản lý bán hàng thị siêu Fox, C#, VB, Tuy nhiên đề tài chúng em không xây dựng phần mềm quản lý bán hàng thị siêu hoàn chỉnh mà tìm hiểu cài đặt khía cạnh nhỏ toán Quản lý bán hàng siêu thị Đó phân tích liệu luật kết hợp q trình tìm hiểu mặt hàng có liên quan tới nào? Giúp cho nhà quản lý tìm hiểu, phân tích để lựa chọn mặt hàng kinh doanh tốt Trong phạm vi đề tài nghiên cứu này, chúng em xin trình bày: Những kiến thức khai phá liệu sử dụng luật kết hợp Đây dạng luật kết hợp tương đối đơn giản tính hiệu cao, giúp tìm luật “quý hiếm” Đưa định nghĩa, tính chất số thuật tốn thường áp dụng trình tìm luật kết hợp sở liệu Phân tích cài đặt thuật toán Apriori áp dụng vào phần nhỏ toán Quản lý bán hàng siêu thị Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM Chương I: TỔNG QUAN VỀ KHAI PHÁI DỮ LIỆU Đặt vấn đề Trong kỉ nguyên Internet, Intranets, Warehouses, mở nhiều hội cho nhà doanh nghiệp việc thu thập xử lý thông tin Hơn nữa, công nghệ lưu trữ phục hồi liệu phát triển cách nhanh chóng sở liệu quan, doanh nghiệp, đơn vị ngày nhiều thông tin tiềm ẩn phong phú đa dạng Cơ sở liệu doanh nghiệp liệu giao dịch đóng vai trị quan trọng cho việc hoạch định kế hoạch kinh doanh thương trường vào năm Hiện tại, việc sử dụng liệu đạt số kết định song số vấn đề tồn đọng như: - Dựa hoàn toàn vào liệu, khơng sử dụng tri thức có sẳn lĩnh vực, kết phân tích khó làm rõ - Phải có hướng dẫn người dùng để xác định phân tích liệu đâu Trong điều kiện yêu cầu xã hội, địi hỏi phải có phương pháp nhanh, phù hợp, tự động, xác có hiệu để lấy thơng tin có giá trị Các tri thức chiết xuất từ sở liệu nguồn tài liệu hỗ trợ cho lãnh đạo việc lên kế hoạch hoạt động việc định sản xuất kinh doanh Vì vậy, tính ứng dụng khai phá liệu luật kết hợp từ sở liệu giao dịch vấn đề quan tâm đặc biệt xã hội Mục đích việc nghiên cứu xây dựng giải pháp hiệu tính ứng dụng luật kết hợp việc định quan doanh nghiệp dựa sở liệu giao dịch Sự phát triển nhanh chóng ứng dụng công nghệ thông tin Internet vào nhiều lĩnh vực đời sống xã hội, quản lý kinh tế, khoa học kỹ thuật, Đã tạo nhiều sở liệu khổng lồ ví dụ sở liệu bán hàng siêu thị chứa hàng nghìn giao tác bán hàng; hay sở liệu hệ thống thông tin khách hàng ngân hàng, Để khai phá hiệu nguồn thông tin từ sở liệu lớn hỗ trợ tiến trình định, bên cạnh phương pháp khai thác thông tin truyền thống, nhà nghiên cứu phát triển phương pháp, kỹ thuật phần mềm hỗ trợ tiến trình khai phá, phân tích tổng hợp thơng tin Có nhiều kỹ thuật khai phá liệu khác tuân theo bước trình phát tri thức, để giải nhiệm vụ để khai phá liệu Sau chúng em trình bày đề nêu Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM Khai phá liệu phát tri thức Yếu tố thành công hoạt động kinh doanh ngày việc biết sử dụng thơng tin có hiệu Điều có nghĩa từ liệu có sẵn phải tìm thơng tin tiềm ẩn mà trước chưa phát hiện, tìm xu hướng phát triển yếu tố tác động lên chúng Thực cơng việc q trình phát tri thức sở liệu mà kỹ thuật cho phép ta lấy tri thức từ kỹ thuật khai phá liệu Nếu quan niệm tri thức mối quan hệ mẫu phần tử liệu trình phát tri thức tồn q trình triết xuất tri thức từ sở liệu, trải qua nhiều giai đoạn khác như: Tìm hiểu phát đề, thu thập tiền xử lý liệu, phát tri thức, minh hoạ đánh giá tri thức phát đưa kết vào thực tế Khai phá liệu có điểm khác mặt ngữ nghĩa so với phát tri thức từ sở liệu thực tế ta thấy khai phá liệu giai đoạn phát tri thức chuỗi giai đoạn trình phát tri thức sở liệu Tuy nhiên giai đoạn đóng vai trị chủ chốt giai đoạn tạo nên tính đa ngành phát tri thức sở liệu Quá trình phát tri thức từ sở liệu Phát tri thức từ sở liệu q trình có sử dụng nhiều phương pháp công cụ tin học q trình mà người làm trung tâm Do khơng phải hệ thống phân tích tự động mà hệ thống bao gồm nhiều hoạt động tương tác thường xuyên người sở liệu, tất nhiên với hỗ trợ công cụ tin học Xác địnhbài toán Thuthập vàtiềnxửlý liệu Khai phá dữliệutriết xuất tri thức Phát biểukết quảvà đánh giátriết xuất tri thức Sửdụngtri thức vàphát hiệnđược triết xuất tri thức Học viên: CH1001103 - Võ Minh Hiếu Trang / 77 GVHD: TS Đỗ Phúc Khai phá liệu datamining Trường Đại học CNTT TP.HCM Hình 1.1 Quá trình phát tri thức từ sở liệu Mặc dù có giai đoạn trên( hình 1.1) xong trình phát tri thức từ sở liệu trình tương tác lặp lặp lại theo kiểu xoắn chơn ốc, Học viên: CH1001103 - Võ Minh Hiếu Trang 10 / 77 GVHD: TS Đỗ Phúc Hình 3.10 Thêm dư liệu XML Kết phân tích Hình 3.11 Kết phân tích Kết lọc MinSup = 10 Hình 3.12 Kết lọc độ phổ biến tối thiểu Kết lọc MinCon = 40% Hình 3.13 Kết lọc độ tin cậy * Kết luận chuơng III: Cài đặt thuật toán Apriori áp dụng quản lý bán hàng thị siêu Dựa vào kết mà người quản lý biết nhóm mặt hàng liên quan tới nhau, phục vụ cho mục đích quản lý lựa chọn mặt hàng để kinh doanh KẾT LUẬN CHUNG Trong q trình hồn thành đồ án này, dù đạt kiến thức định, chúng em nhận thấy Khai phá liệu nói chung khai phá luật kết hợp nói riêng lĩnh vực nghiên cứu rộng lớn, nhiều triển vọng Đề tài trình bày vấn đề khai phá liệu: Tầm quan trọng KPDL, hướng tiếp cận khai phá liệu kỹ thuật khai phá liệu Khai phá liệu sử dụng luật kết hợp số thuật tốn tìm tập mục thường xuyên theo hướng sinh ứng cử khơng sinh ứng cử Phần cài đặt chương trình cài đặt thuật toán khai phá liệu Apriori Tuy nhiên, hạn chế tài liệu thời gian nên chưa hoàn thành việc cài đặt thuật toán khai phá luật kết hợp, thời gian chúng em cố gằng hoàn thành phần cài đặt để đề tài hoàn thiện Chương I: Đã trình bày tổng quan khai phá liệu (Data Minning); Các loại tri thức tiềm ẩn sở liệu, kỹ thuật khai thác liệu Chương II: Đã trình bày tổng quan khai thác luật kết hợp, nêu khái niệm, định nghĩa, tính chất tập mục luật kết hợp, cách xác định độ hỗ trợ tập mục luật, độ tin cậy luật Đưa mơ hình tốn khai thác luật kết hợp, tiền để để thuật tốn dựa vào phát triển có đánh giá so sánh thuật tốn Chương II: Cũng trình bày thuật toán khai thác luật kết hợp, thuật toán tiếng Apriori, thuật tốn tìm luật kết hợp khơng phát sinh ứng viên dựa vào cấu trúc FP- Tree,… Chương III: Trình bày cách cài đặt chương trình khai thác luật kết hợp việc quản lý bán hàng thị siêu Dựa vào kết mà người quản lý nắm bắt nhóm mặt hàng liên quan tới nhau, phục vụ cho mục đích quản lý, lựa chọn mặt hàng để kinh doanh Chương trình cài đặt thuật tốn Apriori HƯỚNG PHÁT TRIỂN ĐỀ TÀI Một công việc quan trọng khai phá luật kết hợp tìm tất tập phổ biến sở liệu, nên thời gian tới chúng em phát triển đề tài rộng theo hướng: Ứng dụng thuật toán song song áp dụng cho toán khai phá luật kết hợp mờ, luật kết hợp tập thuộc tính mờ Thuật tốn song song chia sở liệu tập ứng viên cho vi sử lý, tập ứng viên sau chia cho xử lý hoàn toàn độc lập với mục đich cải thiện chi phí tìm luật kết hợp mờ thời gian mã hoá liệu Do nhược điểm thuật toán Apriori liệu lớn phân tích nhiều thời gian để khắc phục nhược điểm cần sử dụng thêm số thuật tốn khác ví dụ thuật tốn FP_Growth, thuật tốn song song, Tiếp tục hồn thiện hệ thống Quản lý bán hàng siêu thị ứng dụng thêm vào lĩnh vực khác bán hàng siêu thị, bán máy tính, Khi mà lượng liệu thu thập lưu trữ ngày tăng, với nhu cầu nắm bắt thông tin, nhiệm vụ đặt cho Khai phá liệu ngày quan trọng Sự áp dụng vào nhiểu lĩnh vực kinh tế xã hội, an ninh quốc phòng ưu khai phá liệu Với mong muốn chúng em hy vọng dần đưa kiến thức có từ đề tài sớm trở thành thực tế, phục vụ cho sống người TÀI LIỆU THAM KHẢO [1] Giáo trình mơn Khai phá liệu Datamining TS Đỗ Phúc [2] [5].TS Đỗ Phúc, Khai thác liệu, Nhà xuất Đại Học Quốc Gia TP HCM 2005 [3] R Agrawal and R Srikant Mining sequential patterns InP S Yu and A L P Chen, editors, Proc 11th Int Conf DataEngineering, ICDE, pages 3–14 IEEE Press, 6–10 1995 [4] N F.Ayan, A U Tansel, and M E Arkun An efficient algorithm to update large itemsets with early pruning In KnowledgeDiscovery and Data Mining, pages 287–291, 1999 ... .35 Tìmluậtkếthợp 36 Phát biểu toán khai phá luật kết hợp 36 Phát triển giải pháp hiệu khai thác luật kết hợp .38 Quytrìnhkhaithácluậtkếthợp ... quan khai phá liệu Nội dung chương trình bày bao gồm: Khai phá liệu phát tri thức, trình phát tri thức từ sở liệu, khai phá liệu có lợi ích gì? Các kỹ thuật khai phá liệu, nhiêm vụ khai phá liệu, ... hạn mơ tả luật biểu diễn số dạng chức giới hạn độ xác mơ hình Phát luật kết hợp Phương pháp nhằm phát luật kết hợp thành phần liệu sở liệu Mẫu đầu giải thuật khai phá liệu tập luật kết hợp tìm