Kho dữ liệu và Hệ hỗ trợ quyết định ( Nguyễn Thanh Bình ) - Chương 6 pdf

Chương Chương 6: 6: Siêu Siêu d d ữ ữ li li ệ ệ u u Siêu d Siêu d ữ ữ li li ệ ệ u l u l à à g g ì ì • Dữ liệu về dữ liệu data about other data • Tập các thuộc tính, hay phần tử cần thiết cho việc miêu tả nguồn thông tin • Ví dụ: một tập các bản ghi với các phần tử mô tả một cuốn sách: tác giả author tên sách title ngày xuất bản date of publication Miêu tả description Siêu Siêu d d ữ ữ li li ệ ệ u u – – Kh Kh á á i i ni ni ệ ệ m m • Siêu dữ liệu là thành phần cơ bản để xây dựng và quản lí một kho dữ liệu • Trước khi một kdl có thể được truy cập một cách có hiệu quả, thực sự là cần thiết để hiểu, dữ liệu gì sẵn có trong kdl, và chúng lưu trữ ở đâu. • Dữ liệu miêu tả quá trình xây dựng, quản lí và hoạt động của KDL • Siêu dữ liệu được lưu trữ trong một kho chứa và được truy cập bởi tất cả các thành phần của kdl Siêu Siêu d d ữ ữ li li ệ ệ u u Kh Kh á á i ni i ni ệ ệ m siêu d m siêu d ữ ữ li li ệ ệ u u • Là một lưu trữ dùng để: – Miêu tả KDL tổng thể – Nhận dạng kiểu kho dữ liệu – Quản lí quá trình tích hợp dữ liệu – Quản lí quá trình cập nhật KDL – Quản lí bảo mật • Hiệp hội chuyên nghiên cứu về siêu dữ liệu Metadata Coalition đã đưa ra đặc tả của siêu dữ liệu vào năm 1996 MDIS Metadata Interchange Specification S S ự ự quan tr quan tr ọ ọ ng c ng c ủ ủ a siêu d a siêu d ữ ữ li li ệ ệ u u • Rất quan trọng trong kho dữ liệu • Không phải là dữ kiện phân tích • Là chìa khóa quyết định sự thành công của kho dữ liệu • Là thành phần luôn được thay đổi, cấp nhật theo sự phát triển của kho dữ liệu • Dùng để quản lý, điều khiển kho dữ liệu Warehouse Warehouse Metadata Metadata Repository Repository External External Sources Sources Operational Operational Data Data Sources Sources Ch Ch ấ ấ t lư t lư ợ ợ ng c ng c ủ ủ a siêu d a siêu d ữ ữ li li ệ ệ u u • Quản lý được sự tích hợp • Thể hiện được tính lịch sử của dữ liệu • Quản lý được các thay đổi S S ự ự h h ì ì nh th nh th à à nh siêu d nh siêu d ữ ữ li li ệ ệ u u • Trong quá trình xây dựng kdl: – Sản sinh một cách tự động – Được tạo ra trong quá trình xây dựng kdl • ứng dụng: – Miêu tả Kdl và các thành phần – Tạo điều kiện cho việc truy cập KDL ở mọi cấp • Bảo trì: – Phục vụ cho các mục đích bảo mật – Lưu trữ thông tin về người dùng C C á á c bư c bư ớ ớ c t c t ạ ạ o l o l ậ ậ p siêu d p siêu d ữ ữ li li ệ ệ u u • Định nghĩa các chức năng chính của siêu dữ liệu trong hệ thống kho dữ liệu • Xác định các vấn đề trong tích hợp dữ liệu. • Xác định siêu dữ liệu có thể được tạo như thế nào, ai tạo ra và được lưu trữ ở đâu • Miêu tả nội dung của siêu dữ liệu Chi Chi ế ế n lư n lư ợ ợ c cho siêu d c cho siêu d ữ ữ li li ệ ệ u u • Đưa ra một chiến lược cho việc tiến hành xây dựng và sử dụng kho dữ liệu • Phải đảm bảo được siêu dữ liệu có chất lượng cao • Cung cấp cho người dùng thông tin có chất lượng cao • Đảm bảo việc quản lí dữ liệu tích hợp – Nhằm vào mục đích đến là gì – Nguồn và thông tin về nguồn – Bảo trì và quản lí – Các chuẩn hóa – Truy cập và các công cụ – Tích hợp và phát triển [...]... dựng kho dữ liệu Các loại siêu dữ liệu chi tiết • Hệ tương tác Operational – Các tiến trình nạp, quản lý và lập lịch cho việc cập nhập kdl • ETT – Quản lý các cấu trúc, ánh xạ – Thông tin nguồn và đích – Quản lý việc chuyển đổi • Người dùng cuối (End user ) – Hỗ trợ việc sử dụng kho dữ liệu – Hỗ trợ việc khảo sát kdl – Hỗ trợ việc cung cấp thông tin cho kdl Siêu dữ liệu hệ thống tương tác • Siêu dữ liệu. .. luật phát triển kdl Thông tin liên hệ Metadata repository ETT External sources Transport Mapping Operational data sources Stagin g file Warehouse Tích hợp và thay đổi • Siêu dữ liệu quản lí việc tích hợp dữ liệu • Siêu dữ liệu dùng cho việc trao đổi thông tin • Quản lý việc chuyển đổi siêu dữ liệu • Xem xét chu kỳ làm tươi kho dữ liệu Siêu dữ liệu người dùng cuối (1 ) IT staff ETT Metadata Repository... • Các ý định • Các yêu cầu • Quản lý sự truy cập, ai sẽ truy cập và truy cập như thế nào • Xác định các nguồn • Các hướng tích hợp • Quản lí sự thay đổi và tiến triển của KDL Các loại nguồn của siêu dữ liệu • • • • Xác định ai là người dùng kho dữ liệu ? Họ cần cái gì ? Siêu dữ liệu chứa cái gì ? Sẽ sử dụng công cụ gì để xây dựng kho dữ liệu ? Các kỹ thuật • • • • • Các công cụ mô hình hóa Định nghĩa... thống kê, và đưa ra các quyết định Siêu dữ liệu người dùng cuối (3 ) • • • • Ví trí của các chiều và dữ kiện Miêu tả nội dung Các thuật toán để tạo ra các tổng hợp Thông tin về người sử dụng kdl Metadata repository End User Warehouse Siêu dữ liệu người dùng cuối (4 ) • Cần thiết để biết ngữ cảnh của câu hỏi Metadata repository End User Warehouse Siêu dữ liệu người dùng cuối (5 ) Table Name Column Name... của dữ liệu (1 ) • Hỗ trợ sự thay đổi theo chiều thời gian • Lưu trữ các thay đổi của thông tin Operational Warehouse Metadata repository Structure Content 92 93 94 95 96 Ngữ cảnh của dữ liệu (2 ) • Dạng đơn giản – Các cấu trúc dữ liệu – Các chuyển đổi tên – Các ánh xạ Warehouse • Dạng phức tạp – Các định nghĩa sản phẩm – Giá cả • Nguồn ngoài – Tác động của nền kinh tế – Chính trị 92 93 94 95 96 Siêu dữ. .. nền kinh tế – Chính trị 92 93 94 95 96 Siêu dữ liệu phụ trợ • Các thuật toán để tính toán các tổng hợp • Thể hiện các quan hệ (nguồn-đích, phân cấp, ) • Thông tin quản lí • Các cấp quyền • Phân tích mẫu • Các bảng tra cứu Đặc tả siêu dữ liệu MDIS (1 ) • Hiệp hội chuyên nghiên cứu về siêu dữ liệu Metadata Coalition đã đưa ra đặc tả của siêu dữ liệu vào năm 19 96 MDIS Metadata Interchange Specification D... c o rd Đặc tả siêu dữ liệu MDIS (2 ) • Metadata Coalition là một nhóm mở của các công ty như IBM, Informix và Prism Solutions • Muc đích của MC là để tạo ra các chuẩn hóa về: – Cơ chế truy cập – API cho siêu dữ Iiệu – Cho phép người dùng điều khiển và quản lí việc truy cập và thao tác siêu dữ liệu trong môi trường của họ thông qua các công cụ siêu dữ liệu Đặt tả siêu dữ liệu MDIS (3 ) • MDIS có thể được... Định nghĩa các lược đồ CSDL Các công cụ hỗ trợ cho ETT Các công cụ cho người dùng cuối Các công cụ để tạo tài liệu kĩ thuật Vị trí siêu dữ liệu • Lưu tại máy chủ chứa kho dữ liệu • Có thể được lưu tại các csdl nguồn • Tại máy PC có công cụ quản lí siêu dữ liệu • Quản lý bởi người quản lí siêu dữ liệu • Các chuẩn hóa được sinh ra bởi cấu trúc siêu dữ liệu Các công cụ và việc truy cập • Ai truy cập ? • Khi... Extraction Siêu dữ liệu cho việc chiết (2 ) • Các yêu cầu về lưu trữ • Thông tin về vị trí các nguồn • Sự khác nhau giữa các nguồn • Thông tin truy cập • Bảo mật • Các liên hệ, liên hệ với ai để có dữ liệu • Các tên chương trình • Các thông tin quản lý tính chất của dữ liệu External Sources Extraction Operational Data Sources Chuyển đổi • • • • Phương thức chuyển đổi Các chức năng xác định dữ liệu Các luật... Product Prodid 7395 16 Unique identifier for the product Product Valid_date 01/97 Last refresh date Product Ware_loc 18 16 Warehouse location number Product Ware_bin 66 6 Warehouse bin number Product Code 15 Product Weight 17 .62 The color of the product; please refer to table COL_REF for details Packed shipping weight in kilograms Siêu dữ liệu người dùng cuối (6 ) • • • • Ví trí của các chiều và dữ kiện Miêu . d ữ ữ li li ệ ệ u u • Định nghĩa các chức năng chính của siêu dữ liệu trong hệ thống kho dữ liệu • Xác định các vấn đề trong tích hợp dữ liệu. • Xác định siêu dữ liệu có thể được tạo như thế nào, ai tạo ra và. trúc, ánh xạ – Thông tin nguồn và đích – Quản lý việc chuyển đổi • Người dùng cuối (End user ) – Hỗ trợ việc sử dụng kho dữ liệu – Hỗ trợ việc khảo sát kdl – Hỗ trợ việc cung cấp thông tin cho. tích • Là chìa khóa quyết định sự thành công của kho dữ liệu • Là thành phần luôn được thay đổi, cấp nhật theo sự phát triển của kho dữ liệu • Dùng để quản lý, điều khiển kho dữ liệu Warehouse Warehouse Metadata Metadata Repository Repository External