BÁO cáo bài tập lớn môn học KHO dữ LIỆU và KHAI PHÁ dữ LIỆU đề tài kho dữ liệu

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - - BÁO CÁO BÀI TẬP LỚN MÔN HỌC: KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU Đề tài: Kho liệu Giảng Viên: Cô NGUYỄN QUỲNH CHI Thành viên : Nguyễn Trung Tá B17DCCN547 Nguyễn Minh Tuấn B17DCCN658 Nguyễn Hoàng Quốc Quyền B17DCCN523 Hà Thi Kim Phụng B17DCCN492 Dương Đức Hoàng B17DCCN257 Hà Nội, tháng 06 năm 2021 Mục lục Nội dung Mục lục Giới thiệu Yêu cầu nghiệp vụ Đặc tả chức Thiết kế kho liệu – phương pháp luận cho bước thiết kế bao gồm lược đồ hình 5 Cài đặt khối liệu, tải liệu vào khối 16 Các báo cáo phân tích trực tuyến, nhúng lệnh lệnh để sinh báo cáo OLAP 22 Kiểm tra tính đắn liệu, kiểm tra báo cáo OLAP với nguồn liệu từ bảng quan hệ 24 Kết luận 26 NHẬN XÉT CỦA GIẢNG VIÊN ………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………… ………………………………………………………………………………………………………………………… Giới thiệu 1.1 Mục tiêu Mục tiêu tốn xây dựng kho liệu tích hợp liệu doanh nghiệp để tạo lập báo cáo kinh doanh nhằm hỗ trợ người quản lý đưa định, chiến lược phát triển Ngoài ra, tương lai áp dụng thêm kỹ thuật mining để khai phá liệu 1.2 Phạm vi ‒ Quản lý việc kinh doanh doanh nghiệp gồm nhiều cửa hàng nằm rải rác nhiều thành phố bang khác nhằm đáp ứng nhu cầu khách hàng ‒ Nguồn liệu: từ hệ thống sở liệu quan hệ doanh nghiệp ‒ Xây dựng khối OLAP để lưu trữ liệu đa chiều sản phẩm kinh doanh doanh nghiệp, cụ thể sản phẩm bán sản phẩm lưu trữ Yêu cầu nghiệp vụ Các đặc tả ứng dụng kho liệu cho người dùng (theo đề bài): • Tìm tất cửa hàng với thành phố, bang, số điện thoại, mơ tả, kích cỡ, trọng lượng đơn giá tất mặt hàng bán kho • Tìm tất đơn đặt hàng với tên khách hàng ngày đặt hàng thực khách hàng • Tìm tất cửa hàng với tên thành phố số điện thoại mà có bán mặt hàng đặt khách hàng • Tìm địa văn phòng đại diện với tên thành phố, bang tất cửa hàng lưu kho mặt hàng với số lượng mức cụ thể • Với đơn đặt hàng khách, liệt kê mặt hàng đặt với mô tả, mã cửa hàng, tên thành phố cửa hàng có bán mặt hàng • Tìm thành phố bang mà khách hàng sinh sống • Tìm mức độ tồn kho mặt hàng cụ thể tất cửa hàng thành phố cụ thể • Tìm mặt hàng, số lượng đặt, khách hàng, cửa hàng thành phố đơn đặt hàng • Tìm khách hàng du lịch, khách hàng đặt theo đường bưu điện khách hàng thuộc hai loại Đặc tả chức Công cụ sử dụng cho tập lớn Oracle Database Oracle Analytics Workspace Manager (AWM) Front-end Web: React JS Back-end Web: Node JS Đầu vào kho liệu: - Lược đồ quan hệ hệ thống sở liệu quan hệ doanh nghiệp sau: • Cơ sở liệu Văn phòng đại diện bao gồm quan hệ với lược đồ sau: ▪ Khách hàng (Mã KH, Tên KH, Mã Thành phố, Ngày đặt hàng đầu tiên) ▪ Khách hàng du lịch (* Mã KH, Hướng dẫn viên du lịch, Thời gian) ▪ Khách hàng bưu điện (* Mã KH, Địa bưu điện, Thời gian) • Cơ sở liệu Bán hàng gồm quan hệ với lược đồ sau: ▪ Văn phòng đại diện (Mã Thành phố, Tên Thành phố, Địa VP, Bang, Thời gian) ▪ Cửa hàng (Mã cửa hàng, * Mã Thành phố, Số điện thoại, Thời gian) ▪ Mặt hàng (Mã MH, Mơ tả, Kích cỡ, Trọng lượng, Giá, Thời gian) ▪ Mặt hàng lưu trữ (* Mã cửa hàng, * Mã mặt hàng, Số lượng kho, Thời gian) ▪ Đơn đặt hàng (Mã đơn, Ngày đặt hàng, Mã Khách hàng) ▪ Mặt hàng đặt (* Mã đơn, * Mã mặt hàng, Số lượng đặt, Giá đặt, Thời gian) Đầu kho liệu: báo cáo (bảng liệu động) cho phép người dùng thực thao tác roll up, drill down, slice, dice … cung cấp thông tin để hỗ trợ người quản lý định Thiết kế kho liệu – phương pháp luận cho bước thiết kế bao gồm lược đồ hình 4.1 Xây dựng mơ hình thực thể liên kết Bước Chuyển đổi ngược DB1, DB2 → EER1, EER2 DB1: Văn phòng đại diện ▪ Khách hàng (Mã KH, Tên KH, Mã Thành phố, Ngày đặt hàng đầu tiên) ▪ Khách hàng du lịch (* Mã KH, Hướng dẫn viên du lịch, Thời gian) ▪ Khách hàng bưu điện (* Mã KH, Địa bưu điện, Thời gian) PR1: Khách hàng -> Thực thể Khách hàng PR2: Khách hàng du lịch, Khách hàng bưu điện tập Khách hàng Ta có EER1: DB2: Bán hàng ▪ Văn phòng đại diện (Mã Thành phố, Tên Thành phố, Địa VP, Bang, Thời gian) ▪ Cửa hàng (Mã cửa hàng, * Mã Thành phố, Số điện thoại, Thời gian) ▪ Mặt hàng (Mã MH, Mơ tả, Kích cỡ, Trọng lượng, Giá, Thời gian) ▪ Mặt hàng lưu trữ (* Mã cửa hàng, * Mã mặt hàng, Số lượng kho, Thời gian) ▪ Đơn đặt hàng (Mã đơn, Ngày đặt hàng, Mã Khách hàng) ▪ Mặt hàng đặt (* Mã đơn, * Mã mặt hàng, Số lượng đặt, Giá đặt, Thời gian) PR1: Văn phòng đại diện, Cửa hàng, Mặt hàng, Đơn đặt hàng -> Các thực thể tương ứng Mapping SR1 FKA: Mặt hàng lưu trữ Mặt hàng đặt Ta có EER2: Bước Tích hợp EER1, EER2 thành IEER Giải xung đột ngữ nghĩa: Trường Thời gian thực thể đồng âm (homonyms): Thực đổi tên thuộc tính: - Văn phòng đại diện: Thời gian -> Ngày thành lập văn phòng - Cửa hàng: Thời gian -> Ngày thành lập cửa hàng - Mặt hàng: Thời gian -> Ngày bắt đầu bán - Mặt hàng lưu trữ: Thời gian -> Ngày nhập hàng Trường Thời gian thực thể đồng nghĩa (symnonyms): Thực xoá bỏ: - Khách hàng bưu điện: Thời gian (Ngày đặt hàng đầu tiên) -> Xoá bỏ - Khách hàng du lịch: Thời gian (Ngày đặt hàng đầu tiên) -> Xoá bỏ - Mặt hàng đặt: Thời gian (Ngày đặt) -> Xoá bỏ KHÁCH HÀNG chứa Mã TP ĐƠN HÀNG chứa Mã KH, ta tích hợp lược đồ EER1 EER2 IEER: 4.2 Thiết kế mơ hình cho data warehouse 4.2.1 Mơ hình 4.2.2 Đặc tả chi tiết Sales Fact: Các ghi chứa thông tin tổng số lượng (units_sold), tổng số tiền (dollars_sold) mà khách hàng chi cho sản phẩm thành phố tháng Stores Fact: Các ghi chứa thông tin số lượng (quantity) mặt hàng lại kho định (số lượng cập nhật hàng tháng - chu kì lần import liệu vào warehouse) Customer dimension: Các ghi chứa thơng tin khách hàng • Type_key mang giá trị (“1”, “2”) tương ứng với Type_name: (KH du lịch, KH bưu điện) Hai trường sử dụng để phân biệt loại khách hàng Time dimension: Các ghi chứa thông tin thời gian, với cấp bậc Year, Quarter, Month City dimension: Các ghi chứa thông tin thành phố, bang Store dimension: Các ghi chứa thông tin cửa hàng 10 4.2.4 Ánh xạ lược đồ quan hệ sang mô hình data warehouse Customer dimension: 12 Product dimension: Time dimension: 13 Store dimension: City dimension: 14 Sales fact: 15 Stores fact: Cài đặt khối liệu, tải liệu vào khối Cơ sở liệu: Oracle Công cụ sử dụng: Oracle Analystics Workspace Manager (AWM) Các bước thực hiện: 5.1 Xây dựng bảng fact (sales fact, stores fact), bảng dimension (time, customer, product, store, city), generate liệu cho bảng 5.2 Sử dụng AWM để xây dựng OLAP Cube • Kết nối AWM với sở liệu data warehouse (oracle database), chứa bảng tạo 16 • Tạo workspace • Tạo dimension, mapping với dimension table sở liệu 17 Ánh xạ Customer_Dim: 18 Ánh xạ Product_Dim: Ánh xạ Store_Dim: Ánh xạ Time_Dim: 19 • Tạo cube, bao gồm dimension measure, mapping với cube table sở liệu • Thực tính tốn measure cho OLAP cube (các khối từ n-1 chiều tới chiều) 20 • Sau thực xong, ta xem báo cáo cho measure 21 5.3 Truy vấn OLAP Cube với SQL Khi xây dựng OLAP Cube, AWM tự động gen view sở liệu giúp người dùng truy cập trực tiếp liệu OLAP Cube thông qua view Các view (gồm cube view, dimension view) có cấu trúc giống với mơ hình data warehouse (gồm fact table, dimension table), nhiên điểm khác biệt quan trọng là: • Fact table chứa liệu chi tiết (details data, hay nút lá) cube view chứa liệu tổng hợp nhiều chiều, nhiều cấp bậc khác • Truy vấn liệu để tạo report: table (fact table, dimension table) truy vấn dựa câu lệnh GROUP BY, view đơn giản SELECT column Các báo cáo phân tích trực tuyến, nhúng lệnh lệnh để sinh báo cáo OLAP Thực demo thao tác OLAP (roll up, drill down) giao diện web Giao diện gọi tới API để lấy liệu Các lệnh nhúng để sinh báo cáo OLAP 22 23 Kiểm tra tính đắn liệu, kiểm tra báo cáo OLAP với nguồn liệu từ bảng quan hệ 24 Kiểm tra tính đắn việc query table: 25 Kết luận Qua báo cáo, nhóm nghiên cứu thực thành cơng cơng việc sau: • Tích hợp lược đồ thành mơ hình liên kết mở rộng • Thiết kế lược đồ hình • Chạy demo kho liệu báo cáo xử lý phân tích trực tuyến Cảm ơn cô bạn giúp đỡ nhóm 07 để hồn thành cách tốt báo cáo Nếu có sai sót trình thực báo cáo, mong bạn góp ý thẳng thắn để nhóm rút kinh nghiệm Kho khai phá liệu thực môn học hay có ý nghĩa với chúng em Chúc ln mạnh khoẻ, vui vẻ thành công nghiệp mình, chúc bạn học tập thật tốt! 26 ... Thiết kế kho liệu – phương pháp luận cho bước thiết kế bao gồm lược đồ hình 5 Cài đặt khối liệu, tải liệu vào khối 16 Các báo cáo phân tích trực tuyến, nhúng lệnh lệnh để sinh báo cáo OLAP... dựng kho liệu tích hợp liệu doanh nghiệp để tạo lập báo cáo kinh doanh nhằm hỗ trợ người quản lý đưa định, chiến lược phát triển Ngoài ra, tương lai áp dụng thêm kỹ thuật mining để khai phá liệu. .. demo kho liệu báo cáo xử lý phân tích trực tuyến Cảm ơn bạn giúp đỡ nhóm 07 để hồn thành cách tốt báo cáo Nếu có sai sót q trình thực báo cáo, mong bạn góp ý thẳng thắn để nhóm rút kinh nghiệm Kho