PHÁT TRIỂN mô HÌNH KHO dữ LIỆU về DỊCH vụ DU LỊCH ở VIỆT NAM

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN HỌC PHẦN TÊN HỌC PHẦN: Kho liệu (DWH) MÃ SỐ LỚP HP: DAWH430784_02 Tên đề tài Nhóm: PHÁT TRIỂN MƠ HÌNH KHO DỮ LIỆU VỀ DỊCH VỤ DU LỊCH Ở VIỆT NAM Lớp: 19110IS2 NHÓM : 01 Ngày nộp: 02/06/2022 NHẬN XÉT CỦA GIẢNG VIÊN ĐỐI VỚI NHÓM: ………………………………………………………………………………………………………… ………………………………………………………………………………………………………… ………………………………………………………………………………………………………… Ngày 02/06/2022 Giảng viên Ký tên TP.HCM, ngày 02 Tháng 06 năm 2022 PHÂN CƠNG NHĨM : 01 Vũ Minh Nhật [19]: Thành phần mức phí du lịch -2- ĐIỂM ĐÁNH GIÁ NHÓM : 01 Vũ Minh Nhật [19]: :………….(…………………)……… Ngày 02/06/2022 Giảng viên Ký tên -3- TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CÔNG NGHỆ THÔNG TIN ĐỀ TÀI ĐỒ ÁN HỌC PHẦN TÊN HỌC PHẦN: Kho liệu (DWH) MÃ SỐ LỚP HP: DAWH430784_02 Tên đề tài Nhóm: Phát triển mơ hình kho liệu dịch vụ du lịch Việt Nam Giảng viên giảng dạy: VÕ XUÂN THỂ _ Giảng viên Lớp: 19110IS1, 19110IS2 NHÓM : 01 Tên sản phẩm đề tài: 03.G3.01.LeVanDong.DAHP.DWH.rar (Microsoft SQL Server 2016) DB Nguồn: 03G3LeVanDongQLDL_CtyDL 03G3LeVanDongQLDL_TongCucDL 03G3LeVanDongQLDL DB DWH: 03G3LeVanDongQLDL_DWH Tên máy chủ DB SQL: sql-isad.huytx.com Tên đăng nhập DB SQL: sa Mật (password) đăng nhập SQL: 11223344@ ProjectName BIDS: 03N1LeVanDongQLDL_DWH (SQL Server Data Tools for Visual Studio 2013) TP.HCM, ngày 02 Tháng 06 năm 2022 -4- LỜI CẢM ƠN Nhóm em xin gửi lời cảm ơn chân thành đến thầy Võ Xuân Thể - giảng viên môn “Kho liệu” khoa Công Nghệ Thông Tin trang bị cho nhóm tụi em kiến thức, kỹ cần có để hồn thành đồ án Tuy trình nghiên cứu đồ án, kiến thức chuyên ngành hạn chế nên cịn nhiều sai sót Rất mong nhận quan tâm, góp ý thầy để đồ án nhóm em đầy đủ hồn chỉnh Em xin chân thành cảm ơn -5- DANH MỤC CÁC TỪ VIẾT TẮT CSDL DB Cơ sở liệu: DataBase LĐQH Lược đồ quan hệ PTH Phụ thuộc hàm = Ràng buộc tham chiếu: Reference Constraint PTTK Phân tích thiết kế RBTV Ràng buộc toàn vẹn [dữ liệu] Công cụ hỗ trợ tổ chức, quản lý khai thác kho liệu (Hệ BIDS thống tổ chức liệu thông minh cho doanh nghiệp): Business Intelligence Development Studio Microsoft DWH Kho liệu (Nhà kho liệu): Data WareHouse ERD Sơ đồ thực thể kết hợp: Entity Relationship Diagram MS Công ty Microsoft NF Dạng chuẩn CSDL: Normal Form SQL Ngơn ngữ vấn tin có cấu trúc: Structured Query Language DANH MỤC CÁC THUẬT NGỮ Giao diện người dùng (User-Interface) Là hệ thống hình giao tiếp cho phép người sử dụng tương tác với thành phần phần mềm, điều khiển phần mềm hoạt động theo yêu cầu người dùng - tương ứng chức -6- có phần mềm Người dùng (User): Tài khoản (Account) Là quyền làm việc hệ thống phần mềm cấp phát cho cá nhân thông qua tên tài khoản (username) mật (password) BigData Dữ liệu lớn: tập hợp liệu lớn phức tạp, xử lý liệu phương pháp truyền thống LỜI CẢM ƠN DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC THUẬT NGỮ MỤC LỤC Chương GIỚI THIỆU VỀ ĐỒ ÁN HỌC PHẦN 1.1 Tổng quan ĐỒ ÁN HỌC PHẦN 1.2 Nội dung chun mơn ĐỒ ÁN HỌC PH 1.3 Mục tiêu ĐỒ ÁN HỌC PHẦN 1.4 Công cụ tảng kỹ thuật thực ĐỒ ÁN H 1.5 Sản phẩm ĐỒ ÁN HỌC PHẦN 1.6 Bố cục báo cáo Chương CƠ SỞ LÝ THUYẾT CỦA HỌC PHẦN 2.1 Tổng quan kho liệu (DWH) 2.1.1 Các khái niệm Kho liệu 2.1.1.1 Kho liệu (DWH)? 2.1.1.2 Nguyên lý hình thành DWH 2.1.1.3 Các đặc điểm DWH 2.1.1.4 Phân biệt [SS] DWH với CSDL truyền thống 2.1.2 Kiến trúc kho liệu: 2.1.2.1 Tầng đáy: nạp liệu Là nơi cung cấp dịch vụ lấy liệu từ nhiều nguồn khác lưu trữ liệu tập trung 2.1.2.2 Tầng giữa: OLAP (OLAP server): xử lý DWH 2.1.2.3 Tầng cùng: ứng dụng = khai thác sử dụng 2.1.3 Mơ hình CSDL đa chiều (Dimensional Modeling) 2.2 Phân tích thiết kế Kho liệu 2.2.1 Phân tích thiết kế kho liệu theo hướng mơ hình hóa nhiều chiều (Dimensional Modeling) 2.2.2 Các dạng (phương pháp) tích hợp liệu 2.2.3 Các bước tiến trình tích hợp liệu -8- 2.2.4 Các cơng cụ tích hợp liệu: 2.2.5 Lập luồng cơng việc tích hợp liệu (Data Integration Workflows) 2.2.6 Hê „ thống OLTP (On-Line Transaction Processing = Xử lý giao dịchtrực tuyến) 17 2.3 Vấn tin khai thác sử dụng Kho liệu 2.3.1 Vấn tin với phép toán tổng hợp SQL kho liệu 2.3.2 Vấn tin với hàm phân tích SQL kho liệu 2.3.3 Vấn tin dùng Materialized View để phân tích kho liệu 2.3.4 Hê „ thống O Chương TỔNG QUAN VỀ KHO DỮ LIỆU DỊCH VỤ DU LỊCH TẠI VIỆT NAM 21 3.1 Ý tưởng hình thành DWH dịch vụ du lịch Việt Nam 3.2 Giới thiệu chung Kho liệu 3.2.1 Mô tả tổng quan DWH 3.2.2 Các liệu nguồn hình thành DWH 3.3 Các thành phần thành phần Kho liệu phân công cá nhân phụ trách 21 Chương PHÂN TÍCH, THIẾT KẾ VÀ KHAI THÁC SỬ DỤNG CÁC THÀNH PHẦN KHO DỮ LIỆU DỊCH VỤ DU LỊCH TẠI VIỆT NAM 4.1 19_ Vũ Minh Nhật _ THÀNH PHẦN CHI PHÍ DU LỊCH 4.1.1 Mơ tả tổng quan thành phần DWH chichi phí du lịch 4.1.2 Thiết lập CSDL nguồn thành phần Kho liệu dịch vụ du lịch 4.1.3 Mô tả Dim = tiêu chí phân tích (đáng giá) thành phần thể loại du lịch 24 4.1.4 Mô tả Facts= số liệu phân tích thành phần chi phí du lịch 4.1.5 Lập Views tính tốn Facts CSDL nguồn liên quan thành phần DWH chi phí du lịch 4.1.6 Phân phân tích DB gốc xác định yêu cầu phân tích DWH thành phần DWH chi phí du lịch -9- 4.1.7 Thiết kế DB tổ chức phân tích Kho liệu cho thành phần DWH chi phí du lịch 29 4.1.8 Thực thủ tục tích hợp DB gốc vào thành phần DWH 4.1.9 Thiết lập Views tính tốn cần thiết để nạp liệu từ DB gốc vào Factors 4.1.10 Triển khai thành phần DWH lên BIDS 4.1.11 Khai thác sử dụng thành phần DWH dùng vấn tin SQL Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỒ ÁN HỌC PHẦN 5.1 Kết luận 5.1.1 Những kết đạt 5.1.2 Hạn chế 5.2 Hướng phát triển 5.2.1 Hướng khắc phục hạn chế 5.2.2 Hướng mở rộng ĐỒ ÁN HỌC PHẦN DANH MỤC TÀI LIỆU THAM KHẢO ĐÁNH GIÁ KẾT QUẢ HỌC TẬP HỌC PHẦN Chương GIỚI THIỆU VỀ ĐỒ ÁN HỌC PHẦN 1.1 Tổng quan ĐỒ ÁN HỌC PHẦN Đồ án Học phần tập trung phân tích thiết kế kho liệu dịch vụ du lịch Việt Nam Bao gồm thành phần: thể loại du lịch, mức phí du lịch, phương tiện du lịch, vùng du lịch, thông tin khách du lịch, nguồn du lịch, tour du lịch, mức độ hài lịng Tiến trình phân tích thiết kế kho liệu dịch vụ du lịch bao gồm nội dung bản: mô tả tổng quan kho liệu, phân công phân hệ, nội dung cụ thể thành phần bao gồm: Mô tả, thiết lập CSDL nguồn, mơ tả phân tích dim facts, lập view tính tốn, triển khai thành phần DWH khai thác sử dụng - 10- - Biến thể thời gian: liệu kho liệu biểu thị liệu khoảng thời gian dà (lên đến 10 năm), có nghĩa lưu trữ liệu lịch sử - Không biến đổi: liệu kho liệu chế độ đọc (không cập nhật, tạo xóa) 2.1.1.4 Phân biệt [SS] DWH với CSDL truyền thống - Cơ sở liệu: Là hệ thống giao dịch theo dõi cập nhật liệu thời gian thực để có sẵ liệu + Phục vụ xử lý transaction, cập nhật + Được chuẩn hóa (dạng chuẩn 1, 2, 3, BCK) để khai thác Kho liệu + Được lập trình để tổng hợp liệu có cấu trúc theo thời gian (tính ổn định) + - + + + + Là database lớn Thường đọc, phục vụ cho nhu cầu báo cáo Lấy thông tin từ nhiều nguồn khác Phải phi chuẩn hố sau chuẩn hoá theo star schema Dat mart, điều đồng nghĩa với việc DWH trùng lặp thông tin 2.1.2 Kiến trúc kho liệu: 2.1.2.1 Tầng đáy: nạp liệu Là nơi cung cấp dịch vụ lấy liệu từ nhiều nguồn khác sau chuẩn hóa, làm sạc lưu trữ liệu tập trung 2.1.2.2 Tầng giữa: OLAP (OLAP server): xử lý DWH Cung cấp dịch vụ để thực thao tác với kho liệu gọi dịch vụ OLA (OLAP server) Có thể cài đặt Relational OLAP, Multidimensional OLAP kết hợp hai mơ hình Hybrid OLAP - OLAP (OLAP server) dạng: + Relational OLAP + Multidimensional OLAP + Hybrid OLAP 2.1.2.3 Tầng cùng: ứng dụng = khai thác sử dụng DWH - Chứa câu truy vấn, báo cáo, phân tích, cung cấp thông tin cho người dùng - 14- 2.1.3 Mô hình CSDL đa chiều (Dimensional Modeling) - Mơ hình CSDL đa chiều (Dimensional Modeling) kỹ thuật cấu trúc liệ tối ưu hóa để lưu trữ liệu kho liệu, giúp biểu diễn liệu logic ph hợp với quản lý liệu OLAP Mục đích CSDL đa chiều tối ưu hóa CSD để truy xuất nhanh - CSDL đa chiều có liên quan đến DWH tối ưu hóa để lưu trữ DWH, DWH xây dựng theo mơ hình liệu đa chiều, hệ thống dùng để lưu trữ thơn tin cho việc phân tích báo cáo - CSDL đa chiều có liên quan đến BigData với bùng nổ cơng ngh dẫn đến lượng liệu ngày lớn, việc tổ chức xử lý liệu cầ đến công cụ để quản lý tránh cắp liệu Mà DWH hệ thống đ lưu trữ thơng tin liệu nên nói CSDL đa chiều liên quan sâu sắc đế BigData - CSDL đa chiều có liên quan đến CMCN 4.0 thấy bigdata có liên quan rấ nhiều đến CMCN 4.0 cơng nghiệp phát triển liệu ngày lớn chí lớn 2.2 Phân tích thiết kế Kho liệu 2.2.1 Phân tích thiết kế kho liệu theo hướng mơ hình hóa nhiều chiều (Dimensional Modeling) - Lược đồ hình sao: Gồm bảng Fact (bảng kiện) nằm trung tâm ba quanh bảng Dimension (bảng chiều) Dữ liệu lược đồ hình khơn chuẩn hố Các câu hỏi nhằm vào bảng Fact cấu trúc Dimension + Ưu điểm: Bảng Fact, Dimension mô tả rõ ràng, dễ hiểu Bảng Dim l bảng liệu tĩnh, bảng Fact liệu động nạp thao tác Khoá Fact tạo khoá bảng Dim Nghĩa khố củ bảng Dim khố bảng Fact Nhược: Dữ liệu khơng chuẩn hố Lược đồ hình bơng tuyết: + - + Là dạng mở rộng lược đồ hình bổ sung Dim Bảng Fac lược đồ hình sao, bảng Dim chuẩn hố Các chiều cấu trúc r ràng Bảng Dim chia thành chiều hay chiều phụ - 15- + Ưu điểm: Số chiều phân cấp thể dạng chuẩn bảng Dim Nhược Cấu trúc phi dạng chuẩn lược đồ hình phù hợp cho việc duyệt cá chiều 2.2.2 Các dạng (phương pháp) tích hợp liệu 2.2.3 Các bước tiến trình tích hợp liệu - Bước 1: Trích xuất liệu (thu thập liệu lớn từ nhiều nguồn/ đa tảng) - Bước 2: Làm (tìm lỗi sửa Database nguồn) - Bước 3: So khớp mẫu (lọc chuyển đổi liệu hay chuyển đổi sang định dạng DWH) - Bước 4: Lưu trữ liệu theo cấu trúc (sắp xếp, hợp nhất, tổng hợp) 2.2.4 Các cơng cụ tích hợp liệu: - Cơng cụ có sẵn: SQL server, Oracle, MS Access, XML, … - Công cụ dạng phần mềm chuyên dụng: MS Excel, … 2.2.5 Lập luồng cơng việc tích hợp liệu (Data Integration Workflows) - Tích hợp liệu q trình kết hợp liệu từ nhiều nguồn khác để trích xuấ giá trị bổ sung Q trình thường bao gồm hành động tham gia, làm xác thực làm phong phú liệu trình thực - Data Integration Workflows cho phép nhóm sử dụng ứng dụng phù hợp nhấ với mục đích, bao gồm sở liệu, kỹ thuật, hoạt động tài chính, vẫ giữ thứ kết nối Dữ liệu tự động xác nhận tải vào mơ hình d liệu kho để nhóm GIS sử dụng Data Integration Workflows thực sau: - + + Thu thập yêu cầu kinh doanh Xác định nhu cầu liệu chất lượng + Lập hồ sơ liệu hiểu nguồn liệu chất lượng liên quan tron hệ thống nguồn nhiều hệ thống nguồn, có + Thực đánh giá chất lượng liệu dựa số mà doanh nghiệp đ yêu cầu + Xác định khoảng cách liệu có sẵn chất lượng liệu so vớ doanh nghiệp yêu cầu - 16 - + Sửa đổi kỳ vọng kinh doanh chi phí dự án xác định giải pháp liệ chọn + + + + + Mơ hình hóa kho liệu cần thiết - khu vực tổ chức, kho liệu, kh liệu hoạt động (các) kho liệu - từ góc độ logic (để xác nhận cá yêu cầu kinh doanh) góc độ vật lý (để cho phép thực hiện) Xác định liệu nguồn phù hợp từ hoạt động Chuẩn bị liệu Nhượng quyền liệu Quản lý liệu metadata 2.2.6 Hê thống˜ OLTP (On-Line Transaction Processing = Xử lý giao dịch trực tuyến) OLTP viết tắt từ Online transaction processing có nghĩa xử lý giao dịch trực tuyến + Dữ liệu phát sinh từ hoạt động ngày + Thu thập xử lý để phục vụ công việc nghiệp vụ cụ thể tổ chức + Thu thập xử lý để phục vụ công việc nghiệp vụ cụ thể tổ chức + Thường gọi liệu tác vụ hoạt động thu thập xử lý liệu 2.3 Vấn tin khai thác sử dụng Kho liệu 2.3.1 Vấn tin với phép toán tổng hợp SQL kho liệu Mệnh đề GROUP BY + Các mở rộng hệ quản trị sở liệu để hỗ trợ cho kho liệu + Mệnh đề SQL CUBE + Mệnh đề SQL ROLLUP + Mệnh đề SQL GROUPING SETS + Kết hợp phép toán SUBTOTAL 2.3.2 Vấn tin với hàm phân tích SQL kho liệu SQL Analytic - 17- + Mơ hình xử lý cú pháp + Cú pháp mở rộng hàm xếp hạng + So sánh cửa sổ (Window Comparisons) + Các hàm so sánh tỷ lệ 2.3.3 Vấn tin dùng Materialized View để phân tích kho liệu - Phân biệt: Traditional View Materialized View Vấn tin truyền thống Vấn tin phân tích Chủ yếu hỏi đáp, sử dụng - Là vấn tin kho liệu, phân câu lệnh như: Select from…where - Vấn tin sở liệu - giản hỏi đáp thơng thường Ví dụ: Lấy danh sách mặt hàng - Ví dụ: từ DWH thơng tin khách thuộc thương hiệu Xmen có hàng mua hàng tiệm bán - CSDL cửa hàng tiện lợi điện thoại dùng vấn tin phân tích cho ( loại hỏi đáp) biết quy luật mua hàng khách - 18- hàng Nếu khách hàng mua điện thoại A có xu hướng mua kèm theo loại linh kiện xác suất % - - Viết truy vấn dùng Materialized View + Nhắc lại khái niệm khung nhìn (views) + Định nghĩa materialized view cách thức xử lý + Các quy tắc viết lại truy vấn (query rewrite) dùng materialized view 2.3.4 Hê thống˜ OLAP - Hệ thống OLAP (Online Analytical Processing – xử lý phân tích trực tuyến) kỹ thuật sử dụng cube (khối – thể đa chiều) nhằm cung cấp khả truy xuất nhanh đến liệu kho liệu Tạo khối(cube) cho liêu„ bảng chiều (dimension table) bảng kiên„ (fact table) cung cấp khả thực hiê n„ truy vấn tinh vi phân tích cho ứng dụng client - OLAP kỹ thuật cho phép ứng dụng client truy xuất hiệu liệu - OLAP cung cấp nhiều lợi ích cho người phân tích sau: + Cung cấp mơ hình liêu„ đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng khám phá liêu„ + Cung cấp môt„ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá mối quan „trong liêu„ kinh doanh phức tạp + Dữ liêu„ tính tốn trước truy vấn thường xuyên nhằm làm cho thời gian trả kết truy vấn đă c„ biêt„trở nên nhanh chóng + Cung cấp cơng cụ mạnh mẽ giúp người dùng tạo khung nhìn liêu„ dựa mơt„tâp„ hàm tính toán đăc„ biêt„ - OLAP đăt„ra để xử lý truy vấn liên quan đến lượng liê u„ lớn mà cho thực thi truy vấn „thống OLTP cho kết hoăc„sẽ rấ nhiều thời gian - 19- Chương TỔNG QUAN VỀ KHO DỮ LIỆU DỊCH VỤ DU LỊCH TẠI VIỆT NAM 3.1 Ý tưởng hình thành DWH dịch vụ du lịch Việt Nam Trong năm qua, du lịch Việt Nam đà phát triển, lượng khách quốc tế đến khách du lịch nội địa ngày tăng Du lịch Việt Nam ngày biết đến nhiều giới Khi du lịch phát triển thúc đẩy nhiều ngành nghề khác phát triển theo ngành lưu trú, ngành giao thơng, ngành dịch vụ vui chơi giải trí tà chính, góp phần phát triển kinh tế nước nhà Nếu trọng phát triển du lịch hướng tương lai khơng xa, du lịch Việt Nam chắn sánh ngang với nước phát triển tiếng du lịch Và để làm điều đó, khơng thể thiếu nhà kho liệu Với ý tưởng đó, đề tài xây dựng kho liệu dịch vụ du lịch Việt Nam thu thập liệu từ sở liệu tổng cục du lịch công ty cung cấp dịch vụ du lịch, từ phâ tích vấn đề đưa chiến lược phát triển cho phủ, tổng cục du lịch, quan cung cấp dịch vụ du lịch, nhằm giúp cho hoạt động du lịch Việt Nam phát triển cách lâu dài bền vững - 20- 3.2 Giới thiệu chung Kho liệu 3.2.1 Mô tả tổng quan DWH Kho liệu dịch vụ du lịch bao gồm thành phần: thể loại, mức phí, phương tiện, vùng du lịch, thơng tin khách du lịch, nguồn du lịch, tour du lịch mức độ hài lịng dùng để phân tích ba fact chính: số lượng đặt tour, số lượng khách hàng doanh thu từ dịch vụ du lịch 3.2.2 Các liệu nguồn hình thành DWH - Tổng cục du lịch Việt Nam: quan trực thuộc Bộ Văn hóa, Thể thao Du lịch, có nhiệm vụ quản lý ngành du lịch Việt Nam - Các công ty cung cấp dịch vụ du lịch: quan kinh doanh loại hình du lịch cung cấp cho du khách 3.3 Các thành phần thành phần Kho liệu phân công cá nhân phụ trách 03_ Lê Văn Đồng_ Thành phần thể loại du lịch 19_ Vũ Minh Nhật _ Thành phần mức phí du lịch khách hàng 27_ Vũ Trung Tín_ Thành phần phương tiện du lịch 25_ Nguyễn Đức Thạnh_ Thành phần vùng du lịch 08_ Trần Ngô Nhật Khương _ Thành phần thông tin khách du lịch theo giới tính, lứa tuổi, nghề nghiệp 15_ Nguyễn Bảo Ngọc_ Thành phần nguồn du lịch 06_ Trần Xuân Huy_ Thành phần tour du lịch 04_ Nguyễn Minh Đức_ Thành phần mức độ hài lòng khách hàng - 21- ... TỔNG QUAN VỀ KHO DỮ LIỆU DỊCH VỤ DU LỊCH TẠI VIỆT NAM 3.1 Ý tưởng hình thành DWH dịch vụ du lịch Việt Nam Trong năm qua, du lịch Việt Nam đà phát triển, lượng khách quốc tế đến khách du lịch nội... TỔNG QUAN VỀ KHO DỮ LIỆU DỊCH VỤ DU LỊCH TẠI VIỆT NAM 3.1 Ý tưởng hình thành DWH dịch vụ du lịch Việt Nam Trong năm qua, du lịch Việt Nam đà phát triển, lượng khách quốc tế đến khách du lịch nội... tích kho liệu 2.3.4 Hê „ thống O Chương TỔNG QUAN VỀ KHO DỮ LIỆU DỊCH VỤ DU LỊCH TẠI VIỆT NAM 21 3.1 Ý tưởng hình thành DWH dịch vụ du lịch Việt Nam 3.2 Giới thiệu chung Kho liệu 3.2.1 Mô tả