BÁO cáo bài tập lớn môn học KHO dữ LIỆU và KHAI PHÁ dữ LIỆU CHỦ đề DATA WAREHOUSE

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG BÁO CÁO BÀI TẬP LỚN MÔN HỌC: KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU CHỦ ĐỀ: DATA WAREHOUSE NHÓM LỚP: NHÓM Giảng Viên Hướng Dẫn: Nguyễn Quỳnh Chi NHÓM Sinh viên thực hiện: Trần Hữu Anh B17DCCN050 Phạm Huỳnh Đức B17DCCN146 Chu Sơn Giang B17DCCN182 Hoàng Quốc Trung B17DCCN626 Bùi Quang Tuấn B17DCCN648 Hà Nội - 2021 Mục lục Phân công công việc: CHƯƠNG 1: Giới thiệu - Mục tiêu phạm vi tập lớn 1.1 Giới thiệu kho liệu 1.2 Mục tiêu tập lớn: .4 1.3 Phạm vi CHƯƠNG 2: Yêu cầu nhiệm vụ .5 CHƯƠNG 3: Đặc điểm đầu vào kho liệu 3.1 Đặc tả đầu vào: .6 3.2 Đầu ra: CHƯƠNG 4: Thiết kế kho liệu 4.1 Chuyển đổi từ lược đồ quan hệ sang mô hình thực thể liên kết để mơ tả mặt ngữ nghĩa .6 4.2 Tổng quát hóa .10 4.3 Lược đồ ER 10 4.4 Chuyển đổi sở liệu qua hệ quản trị SQL Server 11 4.5 Lược đồ hình 12 CHƯƠNG 5: Cài đặt khối liệu 13 5.1 Dữ liệu nguồn .13 5.2 Tạo bảng liệu đổ liệu từ sở liệu nguồn vào kho 17 CHƯƠNG 6: Phần VI:Báo cáo phân tích trực tuyến OLAP 19 6.1 Các bước thực .19 CHƯƠNG 7: KIỂM TRA TÍNH ĐÚNG ĐẮN CỦA DỮ LIỆU 30 CHƯƠNG 8: KẾT LUẬN 34 PHÂN CÔNG CÔNG VIỆC: Trần Hữu Anh: Chỉnh sửa, bổ sung nội dung báo cáo, thiết kế kho liệu, làm slide, demo Phạm Huỳnh Đức: Làm nội dung báo cáo chương 5,6 Chu Sơn Giang: Làm nội dung báo cáo chương 7,8 Hoàng Quốc Trung: Làm nội dung báo cáo chương 3,4 Bùi Quang Tuấn: Làm nội dung báo cáo chương 1,2 CHƯƠNG 1: GIỚI THIỆU - MỤC TIÊU PHẠM VI BÀI TẬP LỚN 1.1 Giới thiệu kho liệu Kho liệu (data warehouse) kho lưu trữ điện tử lượng lớn thông tin doanh nghiệp tổ chức Kho liệu thành phần quan trọng phân tích kinh doanh, sử dụng kĩ thuật phân tích liệu doanh nghiệp Khái niệm kho liệu giới thiệu vào năm 1988 nhà nghiên cứu IBM Barry Devlin Paul Murphy Định nghĩa kho liệu tập trung vào việc lưu trữ liệu Tuy nhiên, phương tiện cho việc lấy phân tích, trích rút, biến đổi, nạp liệu, quản lý liệu từ điển coi thành phần cốt yếu hệ thống kho liệu Một định nghĩa mở rộng cho kho liệu bao gồm cơng cụ thơng minh, cơng cụ để trích, biến đổi nạp liệu vào kho, công cụ để quản lý lấy siêu liệu (meta data) Kho liệu sử dụng để cung cấp nhìn sâu sắc hiệu suất công ty cách so sánh liệu hợp từ nhiều nguồn không đồng Kho liệu thiết kế để chạy câu hỏi phân tích liệu lịch sử có nguồn gốc từ nguồn giao dịch Kho liệu không thiết phải khái niệm giống sở liệu tiêu chuẩn Cơ sở liệu hệ thống giao dịch thiết lập để giám sát cập nhật liệu thời gian thực để có liệu gần dùng Kho liệu lập trình để tổng hợp liệu có cấu trúc khoảng thời gian Kho liệu hoạt động nào? Khi liệu nạp vào kho, khơng thay đổi khơng thể sửa đổi kho liệu vận hành phân tích kiện xảy cách tập trung vào thay đổi liệu theo thời gian Dữ liệu lưu trữ phải lưu trữ theo cách an toàn, đáng tin cập, dễ truy xuất quản lí Các bước để tạo kho liệu gồm có: Bước 1: Dữ liệu tập hợp từ nhiều nguồn đưa vào Data Sources để đồng định dạng, biên soạn, sau q trình làm liệu, tìm kiếm để sửa hay loại bỏ lỗi liệu nhằm đảm bảo tính quán liệu trước đưa vào Warehouse Bước 2: Dữ liệu sau trải qua nhiều thao tác tầng Data Sources chuyển từ định dạng sở liệu sang định dạng kho Sau tầng Warehouse, liệu xếp, hợp tổng kết,… nhằm đảm bảo trình phân phối xử lý liệu diễn trơn tru mượt mà Theo thời gian, có nhiều liệu từ nhiều nguồn cập nhật, kho liệu tiếp nhận xử lý chúng Bước 3: Dữ liệu phân bổ đến người dùng cuối có thao tác tìm kiếm, truy vấn xuất báo cáo Trong bước này, có nhiều công cụ để thực nhằm giúp liệu xử lý gọn gàng dễ nhìn trước hiển thị tới người dùng cuối Một kho liệu tốt khơng giúp cho q trình phân tích, xuất báo cáo dễ dàng nhanh chóng mà cịn giúp phận khác công ty truy cập liệu dễ dàng Các doanh nghiệp lưu trữ liệu để sử dụng thăm dị khai thác liệu, tìm kiếm mẫu thơng tin giúp họ cải thiện quy trình kinh doanh Một hệ thống lưu trữ liệu tốt giúp phận khác công ty truy cập liệu dễ dàng OLAP kỹ thuật sử dụng cube (khối – thể liệu đa chiều) nhằm cung cấp khả truy xuất nhanh đến liệu data warehouse Tạo khối (cube) cho liệu bảng chiều (dimension table) bảng kiện (fact table), cung cấp khả thực truy vấn phức tạp phân tích cho ứng dụng client Data WareHouse Data Mart lưu trữ liệu cho phân tích, OLAP kỹ thuật cho phép ứng dụng client truy xuất hiệu liệu OLAP cung cấp nhiều lợi ích cho người phân tích:  Cung cấp mơ hình liệu đa chiều, trực quan cho phép dễ dàng lựa chọn, định hướng khám phá liệu  Cung cấp ngôn ngữ truy vấn phân tích có sức mạnh để khám phá mối quan hệ liệu kinh doanh phức tạp  Dữ liệu tính tốn trước truy vấn thường xuyên nhằm làm thời gian trả kết truy vấn đặc biệt trở nên nhanh chóng  Cung cấp cơng cụ mạnh mẽ giúp người dùng tạo khung nhìn liệu dựa tập hàm tính tốn đặc biệt có sẵn  Cơng nghệ quản lý bảo mật, quản lý truy vấn client/server nhớ đệm liệu, phương tiện để tối ưu hóa hiệu suất hệ thống dựa nhu cầu người dùng OLAP đặt để xử lý truy vấn liên quan đến lượng liệu lớn, mà cho thực thi truy vấn hệ thống OLTP cho kết nhiều thời gian OLAP gồm: MOLAP - Mutidimensional OLAP, ROLAP - Relational OLAP, HOLAP - Hybrid OLAP 1.2 Mục tiêu tập lớn:  Tích hợp liệu toàn doanh nghiệp  Tận dụng nguồn liệu để sử dụng cho mục đích hỗ trợ cho cơng việc kinh doanh  Lưu trữ thông tin đơn hàng mà khách hàng đặt  Lưu trữ thông tin khách hàng  Tạo mơ hình liệu nhiều chiều  Trích lọc liệu tác nghiệp lưu trữ  Tạo thuận lợi tối đa xem xét liệu với mục đích phân tích kinh doanh định 1.3 Phạm vi Hệ thống kho liệu xây dựng cho doanh nghiệp bao gồm nhiều cửa hàng nằm rải rác nhiều thành phố bang khác Mỗi cửa hàng có số lượng mặt hàng với số lượng hàng khác Doanh nghiệp lưu trữ thông tin khách hàng bao gồm hai loại: loại thứ khách du lịch thường dẫn đến hướng dẫn viên đoàn du lịch, loại hai bao gồm khách hàng đặt hàng qua đường bưu điện Thành phố sinh sống khách hàng, với liệu đơn đặt hàng khách hàng lưu lại hệ thống Mỗi khách hàng sống thành phố doanh nghiệp cố gắng đáp ứng mặt hàng đơn hàng khách cách lấy từ kho thành phố mà khách hàng sinh sống Mỗi đơn đặt hàng khách đặt thoải mái số lượng số mặt hàng đơn đặt hàng xác định mã số đơn đặt hàng Vị trí cửa hàng lưu trữ Mỗi cửa hàng nằm thành phố có nhiều cửa hàng thành phố Mỗi thành phố có văn phịng đại diện để quản lý tất cửa hàng thành phố Mục tiêu doanh nghiệp đáp ứng đầy đủ yêu cầu khách hàng từ cửa hàng nằm thành phố mà khách hàng sinh sống Nếu u cầu khơng thể đáp ứng cơng ty chuyển yêu cầu tới thành phố đến mặt hàng có đủ để cung cấp Một số thơng tin xử lý quan trọng doanh nghiệp Ví dụ, tổng số lượng mặt hàng lưu trữ thành phố Sau lần mặt hàng phân phối (được bán), doanh nghiệp cần biết tổng số lượng mặt hàng lại tất cửa hàng thành phố Hệ thống sử dụng MS SQL Server để xây dụng kho liệu cho doanh nghiệp CHƯƠNG 2: YÊU CẦU NHIỆM VỤ  Để đáp ứng nhu cầu khách hàng, hệ thống kho liệu trích lọc liệu từ hai sở liệu có vào kho liệu cung cấp xử lý phân tích trực tuyến với thao tác cuộn lên, kéo xuống, chọn chiếu dựa yêu cầu chọn lựa khách hàng bảng theo chiều để đáp ứng yêu cầu người sử dụng Thiết lập chiều thời gian, hệ thống sinh báo cáo Phân tích trực tuyến cho yêu cầu sau:  Tìm tất cửa hàng với thành phố (quận, huyện, xã, thị trấn,…), số điện thoại, mơ tả, kích cỡ, trọng lượng đơn giá tất mặt hàng bán kho  Tìm tất đơn đặt hàng với tên khách hàng ngày đặt hàng thực khách hàng  Tìm tất cửa hàng với tên thành phố số điện thoại mà có bán mặt hàng đặt khách hàng  Tìm địa văn phòng đại diện với tên thành phố (quận, huyện, xã, thị trấn,…) tất cửa hàng lưu kho mặt hàng với số lượng mức cụ thể  Với đơn đặt hàng khách, liệt kê mặt hàng đặt với mô tả, mã cửa hàng, tên thành phố cửa hàng có bán mặt hàng  Tìm thành phố quận, huyện, xã, thị trấn mà khách hàng sinh sống  Tìm mức độ tồn kho mặt hàng cụ thể tất cửa hàng thành phố cụ thể  Tìm mặt hàng, số lượng đặt, khách hàng, cửa hàng thành phố đơn đặt hàng  Tìm khách hàng du lịch, khách hàng đặt theo đường bưu điện khách hàng thuộc hai loại CHƯƠNG 3: ĐẶC ĐIỂM ĐẦU VÀO CỦA KHO DỮ LIỆU 3.1 Đặc tả đầu vào:  Cơ sở liệu văn phịng đại diện gồm thơng tin khách hàng gồm o Khách hàng o Khách hàng du lịch o Khách hàng bưu điện  Cơ sở liệu bán hàng gồm thông tin văn phòng đại diện, cửa hàng, mặt hàng, đơn hàng, mặt hàng lưu trữ kho mặt hàng đặt  Phương thức quản lý cửa hàng, văn phòng đại diện, doanh nghiệp 3.2 Đầu ra:  Đầu kho liệu bảng liệu động để hỗ trợ cho người sử dụng định thực phép chiếu chọn, thao tác cuộn lên, khoan xuống  Kho liệu chuyển hóa, phân thành mục tiêu khách hàng, bán hàng, sản phẩm nhờ công cụ OLAP( Online Analyze Proccessing) để hỗ trợ việc truy vấn  Bản báo cáo thống kê theo khách hàng, cửa hàng, khách du lịch CHƯƠNG 4: THIẾT KẾ KHO DỮ LIỆU 4.1 Chuyển đổi từ lược đồ quan hệ sang mơ hình thực thể liên kết để mô tả mặt ngữ nghĩa A Cơ sở văn phòng đại diện - KhachHang (MaKH, TenKH, MaTP, NgayDHDT) - KhachHangDL (* MaKH, HuongDanVien, ThoiGian) - KhachHangBD (* MaKH, DiaChiBD, ThoiGian) B Cơ sở liệu bán hàng - VPDD (MaTP, TenTP, DiaChiVP, Bang, ThoiGian) - CuaHang (MaCH, * MaTP, SDT, ThoiGian) - MatHang (MaMH, MoTa, KichCo, TrongLuong, Gia, ThoiGian) - MatHangLT (* MaCH, * MaMH, ThoiGian) - MatHangDD (* MaDon, * MaMH, SLDat, GiaDat, ThoiGian) - DonHang (MaDon, NgayDH, MaKH) B1 Xác định kiểu quan hệ, khoá trường: Tên bảng Khách hàng Khách hàng du lịch Khách hàng bưu điện Văn phòng đại diện Cửa hàng Kiểu KAP PR1 Khố Mã KH PR2 Mã KH Mã KH PR2 Mã KH Mã KH PR1 Mã thành phố Mã cửa Mã cửa hàng hàng Mặt hàng PR1 PR1 Mã MH KAG FKA Mã thành phố Mặt SR1 hàng lưu trữ Đơn đặt PR1 Mặt hàng đặt SR1 Mã cửa Mã cửa hàng hàng Mã MH Mã MH Mã đơn đặt Mã đơn Mã đơn Mã MH Mã MH B2 Ánh xạ PR1 thành thực thể KhachHang - MaKH - TenKH - MaTP - NgayDHDT MatHang - MaMH - MoTa - KichThuo c - Gia - TrongLuo ng - ThoiGian VanPhongDaiD ien - MaTP - TenTP - DiaChiVP - ThoiGian CuaHang - MaCuaHan g - MaTP - SDT - ThoiGian ĐonHang - MaDH - MaDH - MaKH - ThoiGian B3.Ánh xạ PR2 sang thực thể lớp thực thể yếu B4 Ánh xạ SR1 sang quan hệ nhiều B5 Ánh xạ SR2 sang quan hệ nhiều B6 Ánh xạ FKA sang quan hệ ... dung báo cáo chương 1,2 CHƯƠNG 1: GIỚI THIỆU - MỤC TIÊU PHẠM VI BÀI TẬP LỚN 1.1 Giới thiệu kho liệu Kho liệu (data warehouse) kho lưu trữ điện tử lượng lớn thông tin doanh nghiệp tổ chức Kho liệu. .. tổng hợp liệu có cấu trúc kho? ??ng thời gian Kho liệu hoạt động nào? Khi liệu nạp vào kho, khơng thay đổi khơng thể sửa đổi kho liệu vận hành phân tích kiện xảy cách tập trung vào thay đổi liệu theo... nội dung báo cáo, thiết kế kho liệu, làm slide, demo Phạm Huỳnh Đức: Làm nội dung báo cáo chương 5,6 Chu Sơn Giang: Làm nội dung báo cáo chương 7,8 Hoàng Quốc Trung: Làm nội dung báo cáo chương