Bài giảng Khai phá dữ liệu trong kinh doanh - Chương 3: Sử dụng công cụ OLAP trong khai phá dữ liệu

Bài giảng Khai phá dữ liệu trong kinh doanh - Chương 3: Sử dụng công cụ OLAP trong khai phá dữ liệu. Chương này cung cấp cho học viên những kiến thức về: tổng quan chung SQL server analysis service; xây dựng OLAP Cube; xây dựng Report;... Mời các bạn cùng tham khảo!

Association rules at the 1-item values of X Có thể sử dụng cách đểtìm luật kết hợp 1-item VD: Consider the rule: Milk → Bread Out of total 12 transactions Milk occurs times while (Milk, Bread) occurs times The rule has a support level of 7/12 (or 58 percent) and a confidence level of 7/9 (or 77 percent) Thus, the next valid association rule is as follows: Milk → Bread {S = 58%, C = 77%} KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 133 Chương 3: Sử dụng công cụ OLAP khai phá liệu 3.1 Tồng quan chung SQL server analysis service 3.1.1 Một số khái niệm liên quan 3.1.2 Tổ chức mơ hình sở liệu đa chiều 3.1.3 Giới thiệu cài đặt công cụ OLAP 3.2 Xây dựng OLAP Cube 3.2.1 Xây dựng DB Engine 3.2.2 Thiết lập nguồn , bảng Fact 3.2.3 Thiết lập chiều cho Cube 3.2.4 Xây dựng Cube 3.3 Xây dựng Report 3.3.1 Thiết lập nguồn cho Report 3.3.2 Lập Report từ sở liệu nhiều chiều KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 3.3.3 Quản lý Report (bảo mật- security, truyềnsubscription, quản lý thực thi –excution) 134 67 3.1 Tổng quan chung SQL server analysis service 3.1.1 Một số khái niệm liên quan SQL Server Analysis Service công cụ phân tích liệu sử dụng hỗ trợ định phân tích kinh doanh Dữ liệu phân tích lưu trữ mơ hình bảng, hình khối đa chiều (cubes), mơ hình khai phá liệu mà NSD truy cập từ báo cáo, bảng tính bảng điều khiền KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 135 OLAP Cube thuật ngữ dùng để liệu có nhiều chiều (Cube) mà xử lý phân tích online (OLAP) Thường số chiều Cube 3, số chiều liệu lớn 3, liệu gọi hypercube Dữ liệu nhiều chiều (multi-dimension) hiểu đơn giản liệu mà người dùng muốn nhóm theo tiêu chí khác Ví dụ, liệu tài cơng ty nhóm theo sản phẩm, khung thời gian, thành phố để so sánh Mỗi tiêu chí (sản phẩm, khung thời gian, địa điểm ) chiều liệu cung cấp góc nhìn khác đến liệu có KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 136 68 Fact table hiểu bảng chứa liệu có tính chất đo lường (measurement) Một fact (hay gọi measure) Data warehouse dùng để minh họa cho trường (field/column) chứa giá trị đo lường Tiến trình ETL (Extract-Transform-Load) Tiến trình ETL quy trình dùng để lấy liệu từ hệ thống nguồn sau xử lý đưa vào data warehouse Nó bao gồm chức năng: Rút trích liệu; biến đổi liệu; tải (load) vào kho liệu hệ thống báo cáo khác KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 137 Mơ hình bước tiến trình ETL KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 138 69 Thống hóa (roll-up) q trình tập hợp lại liệu từ hay nhiều chiều Drill- down – chi tiết hóa: ngược với roll-up Chọn cắt lát liệu (slice-còn gọi chọn chiếu): kĩ thuật cho phép ta lấy khối liệu nhiều chiều (rubic), sau tiến hành phân tích nhát cắt khác dựa khối Kết thu khối liệu KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 139 3.1.2 Tổ chức mơ hình sở liệu đa chiều Lược đồ đa chiều hình (star schema) kiểu đơn giản lược đồ data mart Lược đồ bao gồm nhiều bảng Fact, tham chiếu đến số bảng dimension Khi ta liên kết Fact table Dimension table lại với dựa Primary Key dimension Foreign Key tương ứng fact, ta lược đồ liệu dạng hình - Star schema KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 140 70 VD KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 141 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 142 VD2 71 3.1.3 Giới thiệu cài đặt công cụ OLAP Các bước cài đặt (xem sách tham khảo) KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 143 3.2 Xây dựng OLAP Cube Khởi tạo dự án thiết lập Data Soure Cài đặt đầy đủ SQL Server với dịch vụ: Database Engine, Analysis Services, Reporting Services, Intergration Services sau khởi động cơng cụ SQL Server Management Studio KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 144 72 Khởi động Business Intelligence Development Studio (BIDS) Khởi tạo dự án phân tích liệu với BIDS Thiết lập Data Source Chọn bảng Fact, related tables cho dự án KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 145 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 146 73 Kết KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 147 3.2.4 Xây dựng Cube KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 148 74 Kết KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 149 Triển khai phân tích liệu với OLAP Cube Tùy chỉnh lại thứ bậc thuộc tính Dimension Dim Date sau: Double Click vào Dim Date.dim: Kéo thả date tương ứng muốn hiển thị KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 150 75 Tùy chỉnh số thuộc tính trước triển khai Cube (Deployment) Click chuột phải vào SaleDataAnalysis  hiển thị menu ngữ cảnh  chọn Properties: KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 151 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 152 76 Chú ý: thuộc tính Server Instance Name SQL Server Analysis Services trường hợp sử dụng localhost Thuộc tính Database người dùng tùy ý nhập vào thuộc tính mô tả tên Analysis Database sinh SQL Server Analysis Services sau Deploy thành cơng Nhấn OK để hồn tất Tiếp tục Click chuột phải vào SaleDataAnalysis  hiển thị menu ngữ cảnh  chọn Deploy: KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 153 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 154 77 Developing a Data Warehouse The phases of a data warehouse project listed below are similar to those of most database projects, starting with identifying requirements and ending with executing the T-SQL Script to create data warehouse: Identify and collect requirements Design the dimensional model Execute T-SQL queries to create and populate your dimension and fact tables KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 155 Design the Dimensional Model Dimension: The dimension is a master table composed of individual, non-overlapping data elements The primary functions of dimensions are to provide filtering, grouping and labeling on your data Dimension tables contain textual descriptions about the subjects of the business Product, Customer, Store, Date, Time, Sales person KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 156 78 Measure: A measure represents a column that contains quantifiable data, usually numeric, that can be aggregated A measure is generally mapped to a column in a fact table Actual Cost, Total Sales, Quantity, Fact table record count KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 157 Fact Table: Data in fact table are called measures (or dependent attributes), Fact table provides statistics for sales broken down by customer, salesperson, product, period and store dimensions Fact table usually contains historical transactional entries of your live system, it is mainly made up of Foreign key column which references to various dimension and numeric measure values on which aggregation will be performed KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 158 79 Identify what attributes should be there in our Fact Sales Table Foreign Key ColumnSales Date key, Sales Time key, Invoice Number, Sales Person ID, Store ID, Customer ID MeasuresActual Cost, Total Sales, Quantity, Fact table record count KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 159 Using the Code Open SQL Server Management Studio Connect Database Engine Open New Query editor Copy paste Scripts given below in various steps in new query editor window one by one To run the given SQL Script, press F5 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 160 80 ... án KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 145 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 146 73 Kết KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 147 3.2.4 Xây dựng Cube KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 148 74 Kết KHAI. .. đồ liệu dạng hình - Star schema KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 140 70 VD KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 141 KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 142 VD2 71 3.1.3 Giới thiệu cài đặt công cụ OLAP. .. cáo khác KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 137 Mơ hình bước tiến trình ETL KHAI PHÁ DỮ LIỆU TRONG KINH DOANH 138 69 Thống hóa (roll-up) q trình tập hợp lại liệu từ hay nhiều chiều Drill- down –