TIỂU LUẬN MÔN CƠ SƠ DỮ LIỆU NÂNG CAO Công nghệ OLAP và ứng dụng

Data Warehouse và OLAP Group 15 Page 1 of 29 Công nghệ OLAP và ứng dụng Data Warehouse và OLAP Group 15 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CÔNG NGHỆ THÔNG TIN Seminar Công nghệ OLAP và ứng dụng Page 2 of 29 Học viên : 1.Phạm Xuân Bách - 11021064 2.Nguyễn Tiến Đạt - 11021056 Lớp : Cơ sở dữ liệu nâng cao Giảng viên: PGS. TS. Nguyễn Hà Nam Data Warehouse và OLAP Group 15 Hà Nội, Tháng 04 năm 2012 Contents I.Data Warehouse 5 Tính tích hợp (Intergrated ) 7 Hướng chủ đề (Subject-oriented) 7 Biến thời gian (Time variant) 8 Bền vững (Non-volatile ): 8 II.OLAP 9 Page 3 of 29 Data Warehouse và OLAP Group 15 Page 4 of 29 Data Warehouse và OLAP Group 15 I. Data Warehouse 1. Tổng quan Kho dữ liệu (Data warehouse), gọi một cách chính xác hơn là kho thông tin (Information warehouse), là một cơ sở dữ liệu hướng đối tượng được thiết kế với việc tiếp cận các ý kiến trong mọi lĩnh vực kinh doanh. Nó cung cấp các công cụ để đáp ứng thông tin cần thiết cho các nhà quản trị kinh doanh tại mọi cấp độ tổ chức - không những chỉ là những yêu cầu dữ liệu phức hợp, mà còn là điều kiện thuận tiện nhất để đạt được việc lấy thông tin nhanh, chính xác. Figure 1: Data warehouse Là một sự pha trộn của nhiều công nghệ, bao gồm các cơ sở dữ liệu đa chiều và mối quan hệ giữa chúng, kiến trúc chủ khách, giao diện người dùng đồ họa, Kho dữ liệu thường rất lớn tới hàng trăm GB hay thậm chí hàng Terabyte. Kho dữ liệu được xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu dữ Page 5 of 29 Data Warehouse và OLAP Group 15 liệu khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước. 2. Ý nghĩa Truy cập dữ liệu một cách thống nhất • Thu nhập và kết hợp thông tin • Cung cấp một khung nhìn dữ liệu tích hợp • Giao diện người dùng không thay đổi • Hỗ trợ khả năng chia sẻ Dữ liệu được tích hợp và tổ chức một cách thống nhất • Hệ thống dễ hiểu, dễ sử dụng • Tích hợp một cách rõ ràng • Dễ dùng các công cụ phân tích Chuyển đổi dữ liệu thành thông tin: cung cấp thông tin chính xác, đúng thời điểm và đúng định dạng 3. Đặc điểm Page 6 of 29 Data Warehouse và OLAP Group 15 Data warehouse có bốn đặc điểm được mô tả như hình vẽ dưới đây Figure 2: Đặc điểm của Data warehouse Tính tích hợp (Intergrated ) Dữ liệu được tập hợp từ nhiều nguồn khác nhau trong một tổ chức/công ty và đã được đồng nhất, sắp xếp và thu gọn. Các dữ liệu cần phải chĩnh xác, chất lượng và nhất quán. Các quy ước chuẩn quá: • Quy ước đặt tên • Các thuộc tính • CÁc đơn vị đo lường Hướng chủ đề (Subject-oriented) • Được tổ chức xung quanh các chủ đề chính, như khách hàng (customer), sản phẩm (product), bán hàng (sales). Page 7 of 29 Data Warehouse và OLAP Group 15 • Tập trung vào việc mô hình hóa và phân tích dữ liệu cho các nhà đưa ra quyết định, mà không tập trung vào các hoạt động hay các xử lý giao dịch hàng ngày. • Cung cấp một khung nhìn đơn giản và súc tích xung quanh các sự kiện của các chủ đề. Biến thời gian (Time variant) Các dữ liệu được định nghĩa vào một thời điểm xác định và được ghi chép lại phục vụ cho việc so sánh dữ liệu theo chiều thời gian • Yêu cầu quan trong cho kho dữ liệu là phạm vi về thời gian dài hơn so với các hệ thống tác nghiệp. o Cơ sở dữ liệu tác nghiệp: dữ liệu có giá trị hiện thời. o Dữ liệu của kho dữ liệu: cung cấp thông tin lịch sử (ví dụ như, 5-10 năm trước). • Yếu tố thời gian được lưu trữ trong CSDL Bền vững (Non-volatile ): Dữ liệu có thể được thêm vào như không được sửa chữa hoặc xóa bỏ. Nhằm giúp nhà quản lý có thể tổng hợp công việc kinh doanh của toàn tổ chức/công ty. 4. Cấu trúc Figure 3: Cấu trúc Data warehouse Page 8 of 29 Data Warehouse và OLAP Group 15  Một Data warehouse được cấu tạo từ một hay nhiều cube (khái niệm này sẽ đề cập ở phần sau).  Enterprise Data warehouse: tập hợp toàn bộ thông tin về các đối tượng của toàn tổ chức/công ty. Ví dụ: sản phẩm, khách hàng, doanh thu …  Data mart (kho dữ liệu chủ đề): là một tập con của Data warehouse, chỉ tập trung vào những đối tượng được chọn. II. OLAP 1. Tổng quan Nếu hệ thống xử lý chuyển giao dữ liệu OLTP tập trung vào việc thu thập, lưu trữ và biến đổi dữ liệu một cách chuẩn xác, thì OLAP tập trung vào việc sử dụng các dữ liệu đã được biến đổi vào việc ra quyết định sản xuất kinh doanh. OLAP là một mục trong các phần mềm cơ sở dữ liệu cung cấp giao diện qua đó người sử dụng có thể biến đổi hoặc giới hạn các dữ liệu sơ khai tuỳ theo các hàm đã định nghĩa hoặc do chính người sử dụng định nghĩa, sau đó nhanh chóng kiểm tra các kết quả trong các chiều khác nhau của dữ liệu. Page 9 of 29 Data Warehouse và OLAP Group 15 Figure 4: Vị trí của Olap Hệ thống OLAP là một hệ thống quản lý dữ liệu giàu năng lực. Nó cho phép người sử dụng phân tích dữ liệu qua việc cắt lát (slice) dữ liệu theo nhiều khía cạnh khác nhau, khoan xuống (drill down) mức chi tiết hơn hay cuộn lên (roll up) mức tổng hợp hơn của dữ liệu. Bản chất cốt lõi của OLAP là dữ liệu được lấy ra từ Data warehouse hoặc từ Datamart sau đó được chuyển thành mô hình đa chiều và được lưu trữ trong một kho dữ liệu đa chiều. Cụ thể, OLAP là một kỹ thuật sử dụng các thể hiện dữ liệu đa chiều gọi là các khối (cube) nhằm cung cấp khả năng truy xuất nhanh đến dữ liệu của kho dữ liệu. Tạo khối cho dữ liệu trong các bảng chiều (dimension table) và bảng sự kiện (fact table) trong kho dữ liệu để cung cấp khả năng thực hiện các truy vấn tinh vi và phân tích cho các ứng dụng client. OLAP cung cấp nhiều lợi ích cho người phân tích, cho ví dụ như: • Cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu. • Cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp. • Dữ liệu được tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt. • Cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt. • Hỗ trợ tạo mô hình chức năng để dự báo, phân tích xu thế phát triển và phân tích thống kê. • Tìm kiếm và hiển thị dữ liệu dưới dạng biểu đồ, không gian 2D, 3D, … Page 10 of 29 [...]... dữ liệu Tạo chiều dữ liệu thời gian (chiều dữ liệu thời gian thường rất hay sử dụng trong các dữ liệu thống kê hay kinh doanh) Page 23 of 29 Data Warehouse và OLAP Group 15 Figure 17: Chiều dữ liệu thời gian Tạo nút Cha/con d Tạo các khối dữ liệu (Cue) Page 24 of 29 Data Warehouse và OLAP Group 15 Figure 18: Tạo Cue Triển khai và duyệt dữ liệu Nhấn Build-> Deploy Project Kéo thả các Chiều dữ liệu và. .. giản và tách biệt, yêu cầu dữ liệu chi tiết và mới cập nhật Các cơ sở dữ liệu tác nghiệp có xu hướng từ vài trăm megabyte đến hàng gigabyte kích thước và chỉ lưu trữ các dữ liệu hiện hành Tính nhất quán và khả năng phục hồi của cơ sở dữ liệu là then chốt, và tối đa thông lượng giao dịch là thước đo chính yếu Vì thế cơ sở dữ liệu được thiết kế để tối thiểu các xung đột trùng lắp Table 1: OLTP và OLAP. .. Lược đồ Snowflake ROLAP thích hợp cho các truy vấn dữ liệu theo thời gian thực (xảy ra thường xuyên và đòi hỏi độ chính xác tức thời) • Ví dụ: xem thông tin chứng khoán Page 16 of 29 Data Warehouse và OLAP Group 15 4.3 HOLAP (Hybrid OLAP) Là mô hình OLAP lai (HOLAP) là sự kết hợp giữa MOLAP và ROLAP Figure 12: HOLAP HOLAP là mô hình lai giữa MOLAP và HOLAP, kết hợp những ưu điểm và loại bỏ những khuyết... trường xem xét việc đọc các dữ liệu OLTP như là một phương thức khôi phục 4 Các mô hình tổ chức dữ liệu Olap 4.1 MOLAP (Multidimensional OLAP) Mô hình MOLAP lưu trữ dữ liệu cơ sở (là dữ liệu từ các bảng của kho dữ liệu) và thông tin tổng hợp (là các độ đo được tính toán từ các bảng) trong các khối (cube) Page 13 of 29 Data Warehouse và OLAP Group 15 Figure 6: HOLAP Dữ liệu được tìm thấy tại điểm giao... khối (cube) trong cấu trúc HOLAP là tốt nhất cho các truy vấn tổng hợp dữ liệu thường xuyên dựa trên một lượng lớn dữ liệu cơ sở Ví dụ, chúng ta sẽ lưu trữ dữ liệu bán hàng theo hàng quý, hàng năm trong cấu trong MOLAP và dữ liệu hàng tháng, hàng tuần và hàng ngày trong cấu trúc ROLAP Lợi ích của việc lưu trữ trong cấu trúc HOLAP là: • • Lưu dữ liệu tổng hợp trong Cube (theo MOLAP) để tăng tốc độ xử lý... hình dưới đây: Figure 7: HOLAP cue Dữ liệu trong MOLAP cần phải được process sau một thời g nhất định để cập nhật lại những dữ liệu mới trong Data Warehouse  MOLAP thích hợp cho các truy vấn tổng hợp dữ liệu theo thời gian dài • Ví dụ: tổng hợp doanh thu của từng chi nhánh trong vòng 2 năm trở lại 4.2 ROLAP (Relational OLAP) Mô hình OLAP quan hệ (ROLAP) lưu trữ dữ liệu cơ sở và thông tin tổng hợptrong... thận, các dữ liệu Dữ liệu hợp nhất từ nhiều các kiểu dữ liệu của hệ thống OLTP Hỗ trợ người dùng với các kế hoạch cụ thể, giải quyết sự cố và hộ trợ quyết định Các nhìn đá chiều về nhiều kiểu hoạt động giao dịch Thực hiện một cách định kì, dài hạn trong việc làm mới lại dữ liệu Các truy vấn phức tạp liên quan đến việc tổng hợp dữ liệu Phụ thuộc vào khối lượng dữ liệu, xử lý dữ liệu theo khối và các truy... tạp Lưu trữ dữ liệu cơ sở trong các bảng quan hệ (theo ROLAP) nhằm tiết kiệm không gian lưu trữ  Ví dụ: Trong một công ty chứng khoán: • Dữ liệu về thông tin nhân viên, doanh thu của 2 năm trở về trước => lưu trong cube • Dữ liệu về thông tin chứng khoán, giá cổ phiếu hằng ngày => lưu trong bảng quan hệ  Tối ưu hóa được vấn đề lưu trữ và xử lý của hệ thống Page 17 of 29 Data Warehouse và OLAP 4.4 Group... of 29 Data Warehouse và OLAP Group 15 Demo một ứng dụng OALP trên Excell sử dụng SQL Server Analysis Service 4 Ứng dụng OLAP có thể được triển khai trên Microsoft Excel được kết nối tới SQL Analysis Service Figure 21: Kế nối tới SSAS Database: Dữ liệu dân cư của tỉnh Thừa Thiên Huế Tools: Microsoft Excel Server: SSAS Page 28 of 29 Data Warehouse và OLAP Group 15 Figure 22: Chọn dữ liệu Excel cung cấp... . Warehouse và OLAP Group 15 Page 1 of 29 Công nghệ OLAP và ứng dụng Data Warehouse và OLAP Group 15 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ KHOA CÔNG NGHỆ THÔNG TIN Seminar Công nghệ OLAP và ứng dụng Page. OLAP Group 15 4.3HOLAP (Hybrid OLAP) Là mô hình OLAP lai (HOLAP) là sự kết hợp giữa MOLAP và ROLAP. Figure 12: HOLAP HOLAP là mô hình lai giữa MOLAP và HOLAP, kết hợp những ưu điểm và loại bỏ những. (Relational OLAP) Mô hình OLAP quan hệ (ROLAP) lưu trữ dữ liệu cơ sở và thông tin tổng hợptrong các bảng quan hệ: Page 14 of 29 Data Warehouse và OLAP Group 15 Figure 8: ROLAP Dữ liệu được tìm