Bài giảng Khai phá dữ liệu trong kinh doanh - Chương 1: Tổng quan về khai phá dữ liệu trong kinh doanh

Bài giảng Khai phá dữ liệu trong kinh doanh - Chương 1: Tổng quan về khai phá dữ liệu trong kinh doanh. Chương này cung cấp cho học viên những kiến thức về: khai phá dữ liệu; khái niệm kho dữ liệu; một số mẫu dữ liệu trong kinh doanh cần khai phá; tầm quan trọng của khai phá dữ liệu trong kinh doanh; quy trình khai phá dữ liệu trong kinh doanh;... Mời các bạn cùng tham khảo!

KHAI PHÁ DL TRONG KINH DOANH BỘ MÔN TIN HỌC KHAI PHÁ DỮ LIỆU TRONG KINH DOANH GIỚI THIỆU HỌC PHẦN Chương 1: Tổng quan khai phá liệu kinh doanh Chương 2: Tiền xử lý Tổ chức liệu kinh doanh Chương 3: Sử dụng công cụ OLAP khai phá liệu Chương 4: Một số toán khai phá kinh doanh KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Tài liệu tham khảo Tài liệu tham khảo bắt buộc [1] Phân tích khai phá liệu Đại học Thương mại, 2019 Nguyễn Thị Thu Thủy, NXB HĐ Hồ Tú Bảo (2018) Bài giảng khoa học liệu khai phá liệu Kho liệu Microsoft https://azure.microsoft.com/ Cios, K.J., Pedrycz, W., Swiniarski, R.W., Kurgan, L (2007) Data mining: A Knowledge Discovery Approach Springer, 2007 Fayyad, U., Piatetsky-shapiro, G and Smith, P (1996) From Data Mining to Knowledge Discovery in Databases Communications of the ACM, 39, 37-54 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Đánh giá ◦ Điểm chuyên cần: 10% ◦ Điểm thực hành: 30% ◦ Điểm thi hết học phần: 60% KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Application https://www.solver.com/welcome-students-xlminer XLMiner™ is a comprehensive data mining add-in for Excel KHAI PHÁ DỮ LIỆU TRONG KINH DOANH BI in sql server SQL Server 2008 Business Intelligence platform https://www.microsoft.com/enus/download/details.aspx?id=7687 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Chương 1: Tổng quan khai phá liệu kinh doanh 1.1 Giới thiệu chung 1.1.1 Khai phá liệu 1.1.2 Khái niệm kho liệu 1.1.3 Một số mẫu liệu kinh doanh cần khai phá 1.1.3 Tầm quan trọng khai phá liệu kinh doanh 1.2 Quy trình khai phá liệu kinh doanh 1.2.1 Xác định mục tiêu 1.2.2 Chuẩn bị tổ chức liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 1.1 Giới thiệu chung 1.1.1 Khai phá liệu Là loạt kỹ thuật nhằm phát thông tin có giá trị tiềm ẩn tập liệu lớn Về chất, khai phá liệu vấn đề liên quan đến việc phân tích liệu sử dụng kỹ thuật để tìm mẫu nằm ẩn sâu tập liệu Nói cách khác điểm giao phương pháp kỹ thuật học máy, thống kê hệ thống sở liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Ví dụ Trong siêu thị, qua khảo sát cho thấy người mua bàn chải đánh vào ngày chủ nhật mua kem đánh  Tăng doanh thu: đặt sản phẩm cạnh Tăng số lượng bán loại sản phẩm nhiều vào ngày chủ nhật KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Các kỹ thuật khai phá liệu Association (Kết hợp): Tìm mối quan hệ biến Ví dụ cửa hàng bán lẻ, xác định sản phẩm mua với thường xun thơng tin sử dụng để tiếp thị sản phẩm Clustering (Phân cụm): Xác định mối quan hệ hợp lý sản phẩm nhóm chúng lại với Ví dụ cửa hàng bán lẻ, kem đánh bàn chải đánh nhóm lại Classifying (Phân loại): Liên quan đến việc áp dụng mô hình biết đến với liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 10 Nhiệm vụ khai phá liệu Có thể phân thành loại Dự đốn (Predictive) Mơ tả (Descriptive): Predictive: ◦ Classification - phân lớp ◦ Regression - hồi quy ◦ Deviation Detection - phát độ lệch Descriptive: ◦ Clustering - phân cụm ◦ Association Rule Discovery - phát luật kết hợp KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 11 Một số thuật toán phổ biến Descision tree: Cây định (Classification Task) Nearest Neighbor: Láng giềng gần (Classification Task) Neural Network: Mạng Neural (Classification and Clustering Task) Rule Induction: Luật quy nạp (Classification Task) K-Means: Thuật toán K-Means (Clustering Task) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 12 1.1.2 Khái niệm kho liệu Là nơi lưu trữ liệu nhớ đĩa cứng, USB, … để hỗ trợ việc phân tích liệu lập báo cáo KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 13 Đặc điểm kho DL Tính tích hợp (Integration) Dữ liệu gắn thời gian có tính lịch sử Dữ liệu có tính ổn định (nonvolatility) Dữ liệu không biến động Dữ liệu tổng hợp KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 14 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 15 Tiêu chuẩn xây dựng kho liệu Nâng cao chất lượng liệu phương pháp làm tinh lọc liệu theo hướng chủ đề định Tổng hợp kết nối liệu Đồng hoá nguồn liệu với DW Phân định đồng hệ quản trị sở liệu tác nghiệp công cụ chuẩn để phục vụ cho DW Quản lí siêu liệu Cung cấp thơng tin tích hợp, tóm tắt liên kết, tổ chức theo chủ đề Dùng hệ thống hỗ trợ định (Decision suport system DSS), hệ thống thông tin tác nghiệp hỗ trợ cho truy vấn đặc biệt KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 16 Ngôn ngữ sử dụng kho DL Thống hóa (roll-up): Trong tập liệu lớn, người dùng thu nhỏ khía cạnh liệu Ví dụ tập liệu bán hàng, người sử dụng nhóm liệu theo năm thay theo q Chi tiết hóa (drill-down): Ngược với thao tác trên, liệu mở rộng từ tập nhỏ Ví dụ mở rộng liệu, nhìn theo tháng thay theo quý Cắt lát (slice): nhìn theo lớp Ví dụ: từ danh mục bán hàng Q1, Q2, Q3, Q4 xem Q1 Rút ngắn (dice): bỏ bớt phần liệu (tương ứng thêm điều kiện vào câu lệnh WHERE SQL) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 17 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 18 Kiến trúc 1.1.3 Một số mẫu liệu kinh doanh cần khai phá Inventory management system (Quản lý kho hàng): Dữ liệu cần phục vụ cho: Lập in Phiếu nhập, Phiếu xuất, Phiếu xuất điều chuyển, Phiếu xuất lắp ráp Phiếu xuất công cụ dụng cụ trực tiếp phần mềm Quản lý nhiều thông tin chứng từ kho kho, vật tư, nhập/xuất theo nhiều đơn vị tính (Tấn- Kg, Thùng-Hộp, Két-Chai ) Quản lý xuất/nhập vật tư theo (mỗi định nghĩa nhiều vật tư chi tiết) Quản lý xuất/nhập/tồn kho thời hạn sử dụng vật tư-hàng hóa theo lô phiếu nhập Quản lý xuất/nhập hàng hóa vật tư theo kho, theo vị trí với sơ đồ kho thiết kế phần mềm KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 19 ◦ Quản lý nhập/xuất vật tư, hàng hóa theo nhiều tiêu thức (mặt hàng, nhóm hàng, dạng nhập/xuất) ◦ Quản lý theo dõi đơn hàng, đồng thời dựa kế hoạch sản xuất, mức tồn kho để tính đưa kế hoạch hàng mua ◦ Cập nhật kiểm kê định kỳ, -Dữ liệu lấy từ tác nghiệp sử dụng để: ◦ In báo cáo: Bảng kê nhập/xuất vật tư – hàng hóa, Bảng kê xuất khuyến mãi, Sổ chi tiết vật tư, Thẻ kho, Bảng tổng hợp Nhập-Xuất-Tồn, Báo cáo tồn kho theo hạn mức, Báo cáo tuổi hàng tồn kho theo phiếu nhập cuối, Báo cáo nhu cầu vật tư… KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 20 10 Dữ liệu marketing Database marketing (Quản trị tiếp thị sở liệutiếp thị trực tiếp khách hàng từ CSDL khách hàng) Chức năng: Quản lý sở liệu: – Kiểm tra liệu – kiểm tra độ xác liệu có cách gọi ngẫu nhiên khách hàng kiểm tra tên, địa chỉ, email thông tin liên quan liệu – Thanh lọc liệu – phát chỉnh sửa (hoặc loại bỏ) hồ sơ bị gián đọan khơng xác từ hệ thống sở liệu – Phát liệu trùng – phân tích lơgic để tìm lọc liệu trùng – Tổng hợp liệu – phân tích liệu khách hàng để đưa kết luận tổng thể, bao gồm số lượng liệu, số thuộc tính phần trăm thuộc tính sở liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 21 – Tạo lập hồ sơ khách hàng – phân nhóm liệu thu theo thuộc tính khác nhân khẩu, tâm lý hoặc/và vị trí địa lý – Phân tích sở liệu – phân tích liệu có sau chiến dịch để định hướng sở thích khách hàng dùng làm sở cho chiến dịch tương lại KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 22 11 Dữ liệu mua/bán hàng đối tượng chính: hàng hóa, nhà cung cấp, khách hàng Hàng hóa: kiểm hàng, nhập hàng, xuất hàng, báo cáo tồn kho, Nhà cung cấp: nhập hàng, trả hàng, công nợ, chi trả tiền hàng, Khách hàng: xuất hàng, nhận lại hàng, công nợ, thu tiền bán hàng, KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 23 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 24 Ngồi cịn có: ◦ Bảng giá ◦ Phiếu nhập hàng ◦ Phiếu xuất hàng ◦ Phiếu trả hàng ◦ … 12 1.1.3 Tầm quan trọng khai phá liệu kinh doanh Dựa vào ứng dụng lĩnh vực: Kinh doanh - thương mại: ◦ Xác định thói quen mua hàng khách hàng; ◦ Dự đoán chu kỳ kinh doanh sản phẩm; ◦ Liên hệ khách hàng yếu tố khác; ◦ Xác định loại khách hàng tiềm năng, đối tượng có khả trở thành khách hàng; ◦ Dự đoán hiệu đợt quảng cáo, tiếp thị Thương mại điện tử: ◦ Phân tích hành động duyệt Web để phát triển sở thích khách hàng Từ cải thiện hoạt động Website KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 25 Ngân hàng: ◦ Dự đoán dấu hiệu giao dịch trái luật; ◦ Xác định khách hàng cộng tác lâu dài, khách hàng tiềm năng; ◦ Dự đoán rủi ro khoản cho vay; ◦ Xác định nhân tố dẫn đến vỡ nợ vay; ◦ Liên hệ số tài với hoạt động ngân hàng Viễn thơng: ◦ Nhận biết dấu hiệu gian lận dịch vụ viễn thông; ◦ Xu phát triển khách hàng, đối tượng, khu vực cần phát triển KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 26 13 Bảo hiểm: ◦ Phân loại khách hàng, phân loại rủi ro, phòng chống gian lận; ◦ Phân tích, dự báo khả thực hợp đồng khách hàng; ◦ Phân loại đối tượng, vùng mà có khả tham gia bảo hiểm Y tế: ◦ Chuẩn đoán bệnh qua triệu chứng; ◦ Liên hệ loại bệnh; ◦ Dự đoán hiệu phẫu thuật, điều trị KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 27 1.2 Quy trình khai phá liệu kinh doanh Kiến trúc (Nguồn: Shearer, 2000- IBM,2015) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 28 14 Quy trình KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 29 1.2.1 Xác định mục tiêu Bám sát với mục tiêu phát triển doanh nghiệp Phù hợp với liệu thực tế VD: mục tiêu ngân hàng lĩnh vực quảng bá sản phẩmbộ phận tiếp thị bán hàng Ngân hàng sử dụng kỹ thuật khai phá liệu để phân tích sở liệu khách hàng, xác định hành vi người tiêu dùng với tham khảo sản phẩm, giá kênh phân phối,… KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 30 15 1.2.2 Chuẩn bị tổ chức liệu Biến đổi cho phù hợp Làm liệu Giới hạn phạm vi liệu thời gian thực, thay đổi, điều chỉnh,… liệu cho phù hợp với yêu cầu đặt VD: cơng ty bán hàng thời trang cần phân tích liệu bán hàng chi nhánh khác toàn quốc  Sự chuẩn bị liệu cần phải làm toàn liệu bán hàng tồn cơng ty chi nhánh khác nhau, liệu hàng hóa kho xưởng KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 31 Quá trình chuẩn bị liệu: ◦ - Làm liệu; ◦ - Tích hợp liệu; ◦ - Biến đổi liệu; ◦ - Rút gọn liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 32 16 1.2.3 Lựa chọn phương pháp mơ hình khai phá Các phương pháp khai thác liệu bản: Phương pháp phân loại (Classification): Có thể coi phương pháp phương pháp dự báo Nó cho phép phân loại đối tượng mẫu hay số mẫu thuộc vào lớp (class) cho trước Hồi qui (Regression): Đây phương pháp dự báo dựa việc ánh xạ liệu vào giá trị cụ thể thông qua việc xây dựng hàm thuộc Phân nhóm - phân cụm (Clustering): Đây phương pháp chung để tìm tập nhãn tập cụm (cluster) để miêu tả liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 33 Tổng hợp (Summarization): Đây phương pháp miêu tả mà mục đích tìm miêu tả cho tập (hoặc tập con) liệu cho Mơ hình ràng buộc (Dependency modeling): Đây phương pháp tìm mơ hình mà miêu tả phụ thuộc biến giá trị thuộc tính tập liệu phần tập liệu Dị tìm biến đổi độ lệch (Change and Deviation Dectection): Đây phương pháp phát thay đổi đáng kể tập liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 34 17 1.2.4 Phân tích đánh giá kết hỗ trợ kinh doanh Mục tiêu tổ chức lợi nhuận Lợi nhuận Lợi tức Bán hàng Chi phí Xác định giá Đề xuất kinh doanh Chi phí cố định Chi phí biến đổi Chi phí sản xuất KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 35 Dữ liệu hỗ trợ định (Hồ Tú Bảo, 2018) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 36 18 VD KHAI PHÁ DỮ LIỆU TRONG KINH DOANH (Quản lý đất đai dùng định) 37 Đọc sách: Business Intelligence Concepts and Applications KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 38 19 Review Questions Why should organizations invest in business intelligence solutions? Are these more important than IT security solutions? Why or why not? List three business intelligence applications in the hospitality industry Describe two business intelligence tools used in your organization Businesses need a “two-second advantage” to succeed What does that mean to you? KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 39 Liberty Stores Case Exercise Liberty Stores Inc is a specialized global retail chain that sells organic food, organic clothing, wellness products, and education products to enlightened LOHAS (Lifestyles of the Healthy and Sustainable) citizens worldwide The company is 20 years old and is growing rapidly It now operates in continents, 50 countries, 150 cities, and has 500 stores It sells 20,000 products and has 10,000 employees The company has revenues of over $5 billion and has a profit of about percent of revenue The company pays special attention to the conditions under which the products are grown and produced It donates about one-fifth (20 percent) of its pretax profits from global local charitable causes Create a comprehensive dashboard for the CEO of the company Create another dashboard for a country head KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 40 20 Đọc sách: Business Intelligence Concepts and Applications BI for Better Decisions : Decision Types BI Tools BI Skills BI Applications : Customer Relationship Management; Health Care and Wellness ; Education; Retail; Banking; Financial Services; Insurance; Manufacturing; Telecom; Government KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 41 Chương 2: Tiền xử lý Tổ chức liệu kinh doanh 2.1 Tiền xử lý liệu 2.1.1 Lựa chọn mẫu 2.1.2 Làm liệu 2.1.3 Tích hợp biến đổi liệu 2.2 Tổ chức liệu 2.2.1 Tổ chức cài đặt kho liệu (Data warehouse) 2.2.2 Tổ chức cài đặt Data Mart KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 42 21 ... https://www.microsoft.com/enus/download/details.aspx?id=7687 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH Chương 1: Tổng quan khai phá liệu kinh doanh 1.1 Giới thiệu chung 1.1.1 Khai phá liệu 1.1.2 Khái niệm kho liệu 1.1.3 Một số mẫu liệu kinh doanh cần khai phá. .. trị KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 27 1.2 Quy trình khai phá liệu kinh doanh Kiến trúc (Nguồn: Shearer, 200 0- IBM,2015) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 28 14 Quy trình KHAI PHÁ DỮ LIỆU TRONG. .. xuất kinh doanh Chi phí cố định Chi phí biến đổi Chi phí sản xuất KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 35 Dữ liệu hỗ trợ định (Hồ Tú Bảo, 2018) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 36 18 VD KHAI PHÁ DỮ