TRƯỜNG ĐẠI HỌC KINH TẾ TP HCM Khoa Công Nghệ Thông Tin Kinh Doanh Bài báo cáo giữa kỳ môn CƠ SỞ DỮ LIỆU NÂNG CAO CHƯƠNG 9 THE SIGNIFICANT ROLE OF METADATA Giảng viên giảng dạy Hồ Thị Thanh Tuyến Nhóm[.]
TRƯỜNG ĐẠI HỌC KINH TẾ TP.HCM Khoa Công Nghệ Thông Tin Kinh Doanh Bài báo cáo kỳ môn CƠ SỞ DỮ LIỆU NÂNG CAO CHƯƠNG 9: THE SIGNIFICANT ROLE OF METADATA Giảng viên giảng dạy : Hồ Thị Thanh Tuyến Nhóm thực : Nhóm Mã lớp học phần : 23D1INF50901802 Lớp – Khóa : BI002 – K47 TP Hồ Chí Minh, ngày 16 tháng năm 2023 MỤC LỤC I TỔNG QUAN METADATA TRONG KHO DỮ LIỆU: 1 METADATA LÀ GÌ: .1 TẠI SAO METADATA LẠI QUAN TRỌNG: ĐỐI VỚI VIỆC SỬ DỤNG KHO DỮ LIỆU: .2 ĐỐI VỚI VIỆC XÂY DỰNG KHO DỮ LIỆU: ĐỐI VỚI QUẢN TRỊ KHO DỮ LIỆU: ĐỐI TƯỢNG CẦN SIÊU DỮ LIỆU: METADATA NHƯ MỘT TRUNG TÂM THẦN KINH: TẠI SAO METADATA LẠI QUAN TRỌNG ĐỐI VỚI NGƯỜI DÙNG CUỐI: TẠI SAO METADATA LẠI QUAN TRỌNG ĐỐI VỚI LẬP TRÌNH VIÊN: 10 TỰ ĐỘNG HÓA NHIỆM VỤ LƯU TRỮ KHO DỮ LIỆU: .9 II CÁC LOẠI METADATA THEO VÙNG CHỨC NĂNG : 11 THU THẬP DỮ LIỆU : 12 LƯU TRỮ DỮ LIỆU : 14 CUNG CẤP THÔNG TIN : 15 III TECHNICAL METADATA: 17 ĐỊNH NGHĨA VỀ SIÊU DỮ LIỆU KỸ THUẬT : .17 ĐẶC ĐIỂM CỦA SIÊU DỮ LIỆU KỸ THUẬT : .17 VÍ DỤ VỀ TECHNICAL METADATA: .19 LỢI ÍCH CỦA TECHNICAL METADATA: .20 ĐỐI TƯỢNG HƯỞNG LỢI ÍCH TỪ TECHNICAL METADATA: .20 IV BUSINESS METADATA: .21 THẾ NÀO LÀ SIÊU DỮ LIỆU KINH DOANH: .21 ĐẶC ĐIỂM CỦA BUSINESS METADATA: 21 VÍ DỤ VỀ (SỬ DỤNG) BUSINESS METADATA: 23 CÂU HỎI THƯỜNG GẶP TRONG BUSINESS METADATA: 23 LỢI ÍCH CỦA BUSINESS METADATA: 24 ĐỐI TƯỢNG HƯỞNG LỢI ÍCH TỪ BUSINESS METADATA: 24 V CÁCH ĐỂ CUNG CẤP METADATA : 24 YÊU CẦU CƠ BẢN ĐỂ QUẢN LÝ TỐT SIÊU DỮ LIỆU: 25 THÁCH THỨC CHO QUẢN LÝ SIÊU DỮ LIỆU: 27 KHO LƯU TRỮ SIÊU DỮ LIỆU: .28 TÍCH HỢP VÀ TIÊU CHUẨN HĨA SIÊU DỮ LIỆU: .29 TÙY CHỌN THỰC HIỆN VÀ TRIỂN KHAI: 30 I TỔNG QUAN METADATA TRONG KHO DỮ LIỆU: METADATA LÀ GÌ: Trong chương 2, ta xem Metadata - siêu liệu khối xây dựng cho kho liệu Siêu liệu cịn giải thích theo số cách: Dữ liệu dùng để cung cấp thông tin liệu khác, tóm tắt thơng tin liệu, nhằm hỗ trợ việc tìm kiếm làm việc với trường hợp cụ thể liệu trở nên dễ dàng Chúng ta chia nhóm metadata thành ba loại, cụ thể operational metadata, Extraction and Transformation Metadata End-User Metadata Một số ví dụ metadata: ● Danh mục thư viện gọi metadata Metadata thư mục bao gồm số thành phần xác định trước đại diện cho thuộc tính cụ thể tài nguyên mục có nhiều giá trị Các thành phần tên tác giả, tên tài liệu, tên nhà xuất bản, ngày xuất phương pháp mà thuộc ● Bảng nội dung mục sách coi metadata cho sách ● Một ví dụ khác metadata liệu bảng số liệu báo cáo sách Một bảng( bảng ghi) có tên ( ví dụ: tiêu đề bảng) có tên cột bảng coi metadata Các số liệu có tiêu đề tên Tại metadata lại quan trọng: Siêu liệu kho liệu chứa câu trả lời cho câu hỏi kho liệu.Nếu khơng có siêu liệu, kho liệu bạn đơn giản hệ thống rời rạc Về tổng qt, siêu liệu thích hợp hồn toàn cần thiết để sử dụng quản lý kho liệu bạn ● Đầu tiên, đóng vai trò quan trọng chất keo liên kết tất phần kho liệu ● Tiếp theo, cung cấp thông tin nội dung cấu trúc cho nhà phát triển ● Cuối cùng, mở cánh cửa cho người dùng cuối làm nội dung dễ nhận biết theo cách hiểu Đối với việc sử dụng kho liệu: Có khác biệt lớn kho liệu hệ điều hành ứng dụng xử lý đơn hàng Sự khác biệt việc truy cập thông tin.Trong ứng dụng xử lý đơn hàng, làm để người dùng bạn có thơng tin? Bạn cung cấp cho họ hình GUI báo cáo xác định trước Họ nhận thông tin đơn đặt hàng chờ xử lý trả lại thơng tin qua hình có liên quan Họ nhận thông tin tổng số đơn đặt hàng ngày từ báo cáo cụ thể hàng ngày Bạn tạo hình bạn định dạng báo cáo cho người dùng Chúng thiết kế dựa thông số kỹ thuật từ người dùng Tuy nhiên, thân người dùng không tạo định dạng hình đưa báo cáo họ cần thông tin Mặt khác, người dùng tự truy xuất thơng tin từ kho liệu Nói chung, người dùng tự tạo họ chạy chúng kho liệu Họ tự định dạng báo cáo riêng họ Bởi khác biệt lớn này, trước họ tạo chạy truy vấn họ, người dùng cần phải biết liệu kho liệu Họ cần siêu liệu Tuy nhiên hệ điều hành, không thực có phương pháp dễ dàng linh hoạt để biết chất nội dung sở liệu Trên thực tế, khơng có nhu cầu lớn giao diện thuận tiện với người dùng thân thiện với người dùng sở liệu Từ điển liệu danh mục liệu có nghĩa người dùng IT Trường hợp dùng kho liệu thường khác biệt Người dùng kho liệu bạn cần nhận giá trị tối đa từ kho liệu bạn Họ cần phương pháp tinh vi để mượn thử nội dung kho liệu Họ cần hiểu ý nghĩa mục liệu Bạn cần phải ngăn họ đưa định sai lầm từ phân tích họ thông qua thiếu hiểu biết họ ý nghĩa xác liệu Việc triển khai siêu thị liệu trước bị giới hạn phạm vi lĩnh vực, chủ đề Hầu hết, siêu thị liệu sử dụng nhóm nhỏ người dùng phận đơn lẻ Người dùng siêu thị liệu sử dụng siêu liệu cách ỏi Kho liệu ngày có phạm vi rộng kích thước rộng Nếu khơng có hỗ trợ siêu liệu đầy đủ, người dùng kho liệu lớn hoàn tồn khơng có thêm lợi ích Đối với việc xây dựng kho liệu: Giả sử bạn người trích xuất chuyển đổi liệu nhóm dự án Bạn biết rõ phương pháp khai thác liệu tốt Bạn làm việc với cơng cụ trích xuất liệu Bạn hiểu kỹ thuật chuyển đổi liệu chung Tuy nhiên, để áp dụng chun mơn mình, trước tiên bạn phải biết hệ thống nguồn cấu trúc liệu chúng Bạn cần biết cấu trúc nội dung liệu kho liệu Sau đó, bạn cần xác định ánh xạ chuyển đổi liệu Cho đến nay, để thực nhiệm vụ bạn việc xây dựng thành phần trích xuất liệu chuyển đổi liệu kho liệu, bạn cần siêu liệu hệ thống nguồn, ánh xạ nguồn tới đích quy tắc chuyển đổi liệu Để thực nhiệm vụ thiết kế tải vật lý, bạn cần có siêu liệu số thứ Bạn cần bố cục khu vực dàn dựng Bạn cần siêu liệu cấu trúc logic sở liệu kho liệu Bạn cần siêu liệu chu kỳ làm tải liệu Đây thông tin tối thiểu mà bạn cần Nếu bạn xem xét hoạt động nhiệm vụ để xây dựng kho liệu, bạn nhận siêu liệu nhu cầu hấp dẫn tổng thể thành phần quan trọng kho liệu bạn Siêu liệu hoàn toàn cần thiết để xây dựng kho liệu bạn Đối với quản trị kho liệu: Vì phức tạp kích thước khổng lồ kho liệu đại, khơng thể quản trị kho liệu mà khơng có siêu liệu đáng kể Nếu muốn quản trị kho liệu mình, bạn phải trả lời câu hỏi vấn đề sau đây: ● Trích xuất / Chuyển đổi/ Tải liệu - Làm để xử lý thay đổi liệu? - Làm để bao gồm nguồn mới? - Làm liệu đâu? Làm để thay đổi, phương pháp làm liệu? - Làm để làm liệu sau điền vào kho liệu? - Làm để chuyển sang kỹ thuật chuyển đổi liệu mới? - Làm để kiểm tra việc áp dụng thay đổi diễn ra? ● Dữ liệu từ nguồn bên - Làm để thêm nguồn liệu bên mới? - Làm để bỏ số nguồn liệu bên ngoài? - Khi sát nhập mua lại xảy làm để đưa liệu vào kho? - Làm để kiểm tra việc áp dụng thay đổi diễn ra? ● Kho liệu - Làm để thêm bảng tóm tắt mới? - Làm để kiểm soát truy vấn bỏ trốn? - Truy vấn bỏ trốn truy vấn có thời gian thực lâu thời gian thực nhiều thời gian thực thi mà trình tối ưu hóa ước tính - Làm để mở rộng dung lượng lưu trữ? Đối tượng cần siêu liệu: Khám phá thông tin Chuyên gia cơng nghệ Người dùng có quyền thơng tin lực - Cơ sở liệu - Cơ sở liệu - Bảng - Bảng - Cột - Cột - Định nghĩa liệu - Lập đồ liệu Ý nghĩa liệu - Chức làm - Quy tắc chuyển đổi thông thường - Danh sách xác định trước - Truy vấn báo cáo - Quan điểm kinh - Nền tảng máy chủ - Cấu trúc liệu Người dùng doanh - Thuật ngữ kinh - Điều khoản kinh doanh doanh - Định nghĩa liệu - Định nghĩa liệu - Chức làm - Bộ lọc - Quy tắc chuyển đổi - Nguồn liệu - Chuyển đổi - Chủ sở hữu liệu - Mã chương trình SQL, 3GL,4GL Truy cập thông tin - Front - end - Ứng dụng - Bộ công cụ truy vấn - Yêu cầu - Truy cập sở - Truy xuất thông tin liệu để phân tích phức vào ứng dụng tạp bảng tính - Bảo mật Hãy tưởng tượng tủ hồ sơ chất đầy tài liệu mà khơng có thư mục nhãn Khơng có siêu liệu, kho liệu bạn giống tủ hồ sơ vơ tổ chức Nó chứa đầy thơng tin hữu ích cho người dùng bạn cho nhà phát triển quản trị viên cơng nghệ thơng tin Nhưng khơng có phương tiện dễ dàng để biết đó, kho liệu có giá trị hạn chế METADATA NHƯ MỘT TRUNG TÂM THẦN KINH: Các quy trình khác trình xây dựng quản trị kho liệu tạo phần siêu liệu kho liệu Các phận siêu liệu tạo quy trình sử dụng quy trình khác Trong kho liệu, siêu liệu đảm nhận vị trí quan trọng cho phép giao tiếp quy trình khác Nó hoạt động trung tâm thần kinh kho liệu Hình 94 cho thấy vị trí siêu liệu kho liệu Sử dụng hình để xác định thành phần siêu liệu áp dụng cho môi trường kho liệu bạn Bằng cách kiểm tra chặt chẽ thành phần siêu liệu, bạn nhận thấy phần riêng lẻ siêu liệu cần thiết cho hai nhóm người: (1) người dùng cuối (2) nhà phát triển lập trình viên Trong hai tiểu mục tiếp theo, xem xét siêu liệu lại quan trọng nhóm số hai nhóm TẠI SAO METADATA LẠI QUAN TRỌNG ĐỐI VỚI NGƯỜI DÙNG CUỐI: Điều sau cách sử dụng điển hình kho liệu bạn người dùng chính, chẳng hạn doanh nghiệp nhà phân tích Phó chủ tịch tiếp thị công ty bạn yêu cầu nhà phân tích kinh doanh thực phân tích vấn đề lên gần Bởi tiềm bán hàng to lớn vùng trung tây đông bắc, công ty bạn mở năm cửa hàng vùng Mặc dù tổng doanh số bán hàng toàn quốc tăng tốt hai tháng sau khai trương cửa hàng, sau doanh số bán hàng trở lại mức trước khơng thay đổi Các phó giám đốc tiếp thị muốn biết lý để nhà phân tích có hành động thích hợp Là người dùng, nhà phân tích kinh doanh mong muốn tìm thấy câu trả lời từ kho liệu mới, chi tiết liệu kho liệu Cụ thể, câu trả lời cho câu hỏi sau: ● Các đơn vị bán hàng đô la lưu trữ giao dịch riêng lẻ dạng tổng số tóm tắt, sản phẩm, cho ngày cửa hàng? ● Doanh số bán hàng phân tích theo sản phẩm, chương trình khuyến mãi, cửa hàng tháng khơng? ● Có thể so sánh doanh số bán hàng tháng với doanh số bán hàng tháng năm ngối khơng? ● Doanh số bán hàng so sánh với mục tiêu không? ● Lợi nhuận biên tính nào? quy tắc kinh doanh gì? ● Định nghĩa khu vực bán hàng gì? Những quận bao gồm hai khu vực phân tích? ● Doanh số đến từ đâu? Từ hệ thống nguồn nào? - Tạo báo cáo - Xử lý truy vấn - Phân tích phức hợp Hầu hết, quy trình lĩnh vực dành cho người dùng cuối Trong sử dụng quy trình, người dùng cuối thường sử dụng siêu liệu ghi lại quy trình hai lĩnh vực thu thập liệu lưu trữ liệu khác Khi người dùng tạo truy vấn với trợ giúp cơng cụ xử lý truy vấn, họ tham khảo lại siêu liệu ghi khu vực thu thập liệu lưu trữ liệu, đồng thời tra cứu cấu hình liệu nguồn, cấu trúc liệu chuyển đổi liệu từ siêu liệu ghi lại khu vực thu thập liệu Theo cách tương tự, từ siêu liệu ghi vùng lưu trữ liệu, người dùng tìm thấy ngày làm hoàn toàn lần cuối lần tải gia tăng cho bảng khác sở liệu kho liệu Nói chung, siêu liệu ghi khu vực chức cung cấp thông tin liên quan đến truy vấn xác định trước, báo cáo xác định trước định nghĩa tham số đầu vào cho truy vấn ... TRONG KHO DỮ LIỆU: METADATA LÀ GÌ: Trong chương 2, ta xem Metadata - siêu liệu khối xây dựng cho kho liệu Siêu liệu cịn giải thích theo số cách: Dữ liệu dùng để cung cấp thông tin liệu khác,... Trích xuất liệu từ nguồn ● Chuyển đổi liệu ● Xóa liệu ● Tổng hợp tóm tắt liệu ● Dàn liệu ● Làm liệu ● Thiết kế sở liệu ● Thiết kế truy vấn báo cáo Hình 9- 6 tóm tắt nhu cầu thiết yếu siêu liệu cho... cần siêu liệu: Khám phá thông tin Chuyên gia cơng nghệ Người dùng có quyền thơng tin lực - Cơ sở liệu - Cơ sở liệu - Bảng - Bảng - Cột - Cột - Định nghĩa liệu - Lập đồ liệu Ý nghĩa liệu - Chức