Mô hình cơ sở dữ liệu đa chiều OLAP

vnvantuyen@gmail.com OLAP (On-Line Analytical Processing) OLAP gì? OLAP kỹ thuật sử dụng thể liệu đa chiều gọi khối (cube) nhằm cung cấp khả truy xuất nhanh đến liệu kho liệu Tạo khối (cube) cho liệu bảng chiều (dimension table) bảng kiện (fact table) kho liệu cung cấp khả thực truy vấn tinh vi phân tích cho ứng dụng client Trong kho liệu data mart lưu trữ liệu cho phân tích, OLAP kỹ thuật cho phép ứng dụng client truy xuất hiệu liệu OLAP cung cấp nhiều lợi ích cho người phân tích, ví dụ như: - Cung cấp mô hình liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng khám phá liệu - Cung cấp ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá mối quan hệ liệu kinh doanh phức tạp - Dữ liệu tính toán trước truy vấn thường xuyên nhằm làm cho thời gian trả lời nhanh truy vấn đặc biệt - Cung cấp công cụ mạnh giúp người dùng tạo khung nhìn liệu dựa tập hàm tính toán đặc biệt OLAP đặt để xử lý truy vấn liên quan đến lượng liệu lớn mà cho thực thi truy vấn hệ thống OLTP cho kết nhiều thời gian Mô hình liệu đa chiều gì: Các nhà quản lý kinh doanh có khuynh hướng suy nghĩ theo “nhiều chiều” (multidimensionally) Ví dụ họ có khuynh hướng mô tả mà công ty làm sau: “Chúng kinh doanh sản phẩm nhiều thị trường khác nhau, đánh giá hiệu thực qua thời gian” OLAP -1- vnvantuyen@gmail.com Những người thiết kế kho liệu thường lắng nghe cẩn thận từ họ thêm vào nhấn mạnh đặc biệt họ như: “Chúng kinh doanh sản phẩm nhiều thị trường khác nhau, đánh giá hiệu thực qua thời gian” Suy nghĩ cách trực giác, việc kinh doanh khối (cube) liệu, với nhãn cạnh khối (xem hình bên dưới) Các điểm bên khối giao điểm cạnh Với mô tả kinh doanh trên, cạnh khối Sản phẩm, Thị trường, Thời gian Hầu hết người nhanh chóng hiểu tưởng tượng điểm bên khối độ đo hiệu kinh doanh mà kết hợp giá trị Sản phẩm, Thị trường Thời gian S a ûn p h a åm T h ô øi g i a n T h ò t r ö ô øn g Mô chiều kinh doanh Một khối liệu (datacube) không thiết phải có cấu trúc chiều (3-D), có N chiều (N-D) Những cạnh khối gọi chiều (dimensions), mà mặt thực thể ứng với khía cạnh mà tổ chức muốn ghi nhận Mỗi chiều kết hợp với bảng chiều (dimension table) nhằm mô tả cho chiều Ví dụ, bảng chiều Sản phẩm chứa thuộc tính Ma_sanpham, Mo_ta, Ten_sanpham, Loai_SP,… mà nhà quản trị nhà phân tích liệu Với chiều không phân loại, Thời gian, hệ thống kho liệu tự động phát sinh tương ứng với bảng chiều (dimension table) dựa loại liệu Cần nói thêm rằng, chiều Thời gian thực tế có ý nghĩa đặc biệt việc hỗ trợ định cho khuynh hướng phân tích Thường mong muốn có vài tri thức gắn liền với lịch mặt khác chiều thời gian OLAP -2- vnvantuyen@gmail.com Hơn nữa, khối liệu kho liệu phần lớn xây dựng để đo hiệu công ty Do mô hình liệu đa chiều đặc thù tổ chức xung quanh chủ đề mà thể bảng kiện (fact table) nhiều độ đo số học (là đối tượng phân tích) Ví dụ, bảng kiện chứa số mặt hàng bán, thu nhập, tồn kho, ngân sách,… Mỗi độ đo số học phụ thuộc vào tập chiều cung cấp ngữ cảnh cho độ đo Vì thế, chiều kết hợp với xem xác định độ đo, giá trị không gian đa chiều Ví dụ kết hợp Sản phẩm, Thời gian, Thị trường vào thời điểm độ đo so với kết hợp khác Các chiều phân cấp theo loại Ví dụ chiều Thời gian mô tả thuộc tính Năm, Quý, Tháng Ngày Mặt khác, thuộc tính chiều tổ chức vào lưới mà phần trật tự chiều Vì thế, với chiều Thời gian tổ chức thành Năm, Quý, Tháng, Tuần Ngày Với xếp này, chiều Thời gian không phân cấp có tuần năm thuộc nhiều tháng khác Vì vậy, chiều chứa nhiều mức trừu tượng, liệu xem từ nhiều khung nhìn linh động khác Một số thao tác điển hình khối liệu roll-up (tăng mức độ trừu tượng), drill-down (giảm mức độ trừu tượng tăng mức chi tiết), slice and dice (chọn chiếu), pivot (định hướng lại khung nhìn đa chiều liệu), cho phép tương tác truy vấn phân tích liệu tiện lợi Những thao tác biết Xử lý phân tích trực tuyến (On-Line Analytical Processing – OLAP) Những nhà định thường có câu hỏi có dạng “tính toán xếp hạng tổng số lượng hàng hoá bán theo quốc gia (hoặc theo năm)” Họ muốn so sánh hai độ đo số học số lượng hàng bán ngân sách tổng hợp chiều Như vậy, đặc tính để phân biệt mô hình liệu đa chiều nhấn mạnh tổng hợp độ đo nhiều chiều, mà thao tác yếu để tăng tốc độ xử lý truy vấn Giới thiệu dịch vụ OLAP (OLAP Services) Microsoft SQL Server: OLAP -3- vnvantuyen@gmail.com Dịch vụ OLAP server tầng (midle-tier server) phục vụ cho phân tích xử lý trực tuyến (OLAP) Hệ thống dịch vụ OLAP công cụ mạnh việc xây dựng khối đa chiều liệu cho phân tích cung cấp khả truy xuất nhanh đến thông tin khối cho client Kiến trúc dịch vụ OLAP chia thành phần: Phần server (được đại diện OLAP server) phần client (là dịch vụ PivotTable) Cả dịch vụ OLAP dịch vụ PivotTable cho phép thiết kế, tạo quản lý khối (cube) từ kho liệu (data warehouse) cho phép client truy xuất đến liệu OLAP Có thể hiểu OLAP server quản lý liệu dịch vụ PivotTable làm việc với server client truy xuất liệu Các đặc điểm dịch vụ OLAP: - Dễ sử dụng: Bằng cách cung cấp giao diện người dùng trợ giúp thực (wizard) - Linh động: Mô hình liệu mạnh cho định nghĩa khối (cube) lưu trữ - Các khối ghi (Write-enable): Cho kịch phân tích dạng “what if” - Kiến trúc co dãn (scalable architecture): Cung cấp đa dạng kịch lưu trữ giải pháp tự động “hội chứng bùng nổ liệu” mà gây khó chịu cho kỹ thuật OLAP OLAP -4- vnvantuyen@gmail.com - Tích hợp công cụ quản trị, bảo mật, nguồn liệu client/server caching - Hỗ trợ rộng rãi hàm API kiến trúc mở để hỗ trợ ứng dụng tuỳ ý So sánh OLAP với OLTP: Đặc trưng ứng dụng OLTP (On-Line Transaction Processing) tác vụ xử lý tự động ghi chép liệu xử lý tác vụ tổ chức ghi nhận đơn đặt hàng giao dịch ngân hàng (chúng công việc hàng ngày tổ chức thương mại) mà cần phải đọc cập nhật vài mẩu tin dựa khoá chúng Những tác vụ có cấu trúc, lặp lại, bao gồm giao dịch ngắn, tối giản tách biệt, yêu cầu liệu chi tiết cập nhật Các sở liệu tác nghiệp có xu hướng từ vài trăm megabyte đến hàng gigabyte kích thước lưu trữ liệu hành Tính quán khả phục hồi sở liệu then chốt, tối đa thông lượng giao dịch thước đo yếu Vì sở liệu thiết kế để tối thiểu xung đột trùng lắp Còn kho liệu, mục tiêu hỗ trợ định cho nhà quản lý Tính chi tiết riêng lẻ mẩu tin quan trọng tính lịch sử, tổng kết hợp liệu Do đó, kho liệu thường chứa liệu hợp từ nhiều sở liệu tác nghiệp thu thập qua thời gian dài Kết kích thước kho liệu có khuynh hướng từ vài trăm gigabyte đến hàng terabyte so với sở liệu tác nghiệp Kho liệu hỗ trợ truy vấn phức tạp với thời gian hồi đáp nhanh, truy vấn phức tạp truy xuất hàng triệu mẩu tin thực nhiều lần thao tác quét, kết tổng hợp Đối với kho liệu, số lượng truy vấn đưa vào thời gian hồi đáp quan trọng số lượng giao dịch đưa vào Mà OLAP công cụ cho phép thực hiệu truy vấn Căn vào đó, sở liệu tác nghiệp xây dựng để hỗ trợ tốt tác vụ OLTP, cố gắng thực thi truy vấn OLAP phức tạp sở liệu tác nghiệp cho kết hiệu thực chấp nhận Các mô hình lưu trữ hỗ trợ OLAP: Dịch vụ OLAP hỗ trợ nhiều mô hình lưu trữ liệu khác nhau, mô hình có ưu khuyết điểm riêng, chúng sử dụng tuỳ theo mục đích khai thác 5.1 OLAP Mô hình Multidimensional OLAP (MOLAP): -5- vnvantuyen@gmail.com Mô hình OLAP đa chiều (MOLAP) lưu trữ liệu sở (là liệu từ bảng kho liệu data mart) thông tin tổng hợp (là độ đo tính toán từ bảng) cấu trúc đa chiều gọi khối (cube) Các cấu trúc lưu bên sở liệu data mart kho liệu Mô hình liệu MOLAP Lưu trữ khối (cube) cấu trúc MOLAP tốt cho truy vấn tổng hợp liệu thường xuyên mà cần thời gian hồi đáp nhanh Ví dụ, tổng sản phẩm bán tất vùng theo quý Mô hình MOLAP cho phép thực truy vấn phân tích liệu tốt đặc điểm sau: - Thông tin tổng hợp liệu sở lưu trữ cấu trúc đa chiều - Các thao tác kết (join), thao tác tốn chi phí mô hình quan hệ, không cần thiết - MOLAP sử dụng thuật toán nén liệu cho phép lưu trữ với không gian - MOLAP sử dụng mục bitmap cho hiệu thực thi tốt - MOLAP lấy liệu khối (cube) nhanh cách sử dụng xử lý truy vấn tốc độ cao cache liệu (data cache) Thông tin nhận từ khối (cube) bảng OLAP sở truy xuất thông tin chi tiết - MOLAP không xử dụng chế khoá liệu đọc - MOLAP nạp trước vào nhớ cache OLAP -6- vnvantuyen@gmail.com - Dữ liệu dễ dàng chép đến client cho phân tích không trực tuyến (offline) 5.2 Mô hình Relational OLAP (ROLAP): Mô hình OLAP quan hệ (ROLAP) lưu trữ liệu sở thông tin tổng hợp bảng quan hệ Các bảng lưu trữ sở liệu bảng data mart kho liệu Mô hình liệu ROLAP Lưu trữ khối cấu trúc ROLAP tốt cho truy vấn liệu không thường xuyên Ví dụ 80% người dùng truy vấn liệu vòng năm trở lại đây, liệu cũ năm đưa vào cấu trúc ROLAP để giảm không gian đĩa bị chiếm dụng, để loại trừ liệu trùng lắp Lưu trữ liệu cấu trúc ROLAP cung cấp lợi ích sau: - ROLAP cho phép Cube Builder tự động tạo mục - ROLAP ánh xạ tổng hợp có sẵn từ data mart kho liệu OLAP Manager phép xử dụng tổng hợp có sẵn để tổng hợp mà không cần tính toán lại cho truy vấn - ROLAP tạo đòn bẩy cho hệ quản trị sở liệu quan hệ nhằm cho nhà quản trị hệ thống trì hiệu - ROLAP hỗ trợ Microsoft SQL Server, Oracle, Access Open Database Connectivity (ODBC) 5.3 OLAP Mô hình Hybird OLAP (HOLAP): -7- vnvantuyen@gmail.com Mô hình OLAP lai (HOLAP) kết hợp MOLAP ROLAP Mô hình liệu HOLAP Lưu trữ khối (cube) cấu trúc HOLAP tốt cho truy vấn tổng hợp liệu thường xuyên dựa lượng lớn liệu sở Ví dụ, lưu trữ liệu bán hàng theo hàng quý, hàng năm cấu MOLAP liệu hàng tháng, hàng tuần hàng ngày cấu trúc ROLAP Lợi ích việc lưu trữ cấu trúc HOLAP là: - Lấy liệu khối (cube) nhanh cách sử dụng xử lý truy vấn tốc độ cao MOLAP - Tiêu thụ không gian lưu trữ MOLAP - Tránh trùng lắp liệu 5.4 So sách mô hình: Bảng sau so sánh tổng hợp ba mô hình lưu trữ hỗ trợ OLAP: Lưu trữ liệu sở MOLAP Khối ROLAP Bảng quan hệ HOLAP Bảng quan hệ Lưu trữ thông tin tổng hợp Khối Bảng quan hệ Khối Hiệu suất thực truy vấn Nhanh Chậm Nhanh Tiêu thụ không gian lưu trữ Nhiều Thấp Trung bình Chi phí bảo trì Cao Thấp Trung bình OLAP Kiến trúc khối (cube) OLAP: -8- vnvantuyen@gmail.com Đối tượng OLAP khối (cube), thể đa chiều liệu chi tiết tổng hợp Một khối bao gồm nguồn liệu (Data source), chiều (Dimensions), độ đo (Measures) phần dành riêng (Partitions) Các khối thiết kế dựa yêu cầu phân tích người dùng Một kho liệu hỗ trợ nhiều khối khác khối Bán hàng, khối Bảng kiểm kê,… Dữ liệu nguồn khối nơi chứa kho liệu cung cấp liệu cho khối Các chiều (dimension) ánh xạ từ thông tin bảng chiều (dimension table) kho liệu vào mức phân cấp, ví dụ chiều Địa lý gồm mức Lục địa, Quốc gia, Tỉnh-Thành phố Các chiều tạo cách độc lập chia sẻ khối nhằm xây dựng khối dễ dàng để chắn thông tin tổng hợp cho phân tích ổn định Ví dụ, chiều chia sẻ phân cấp sản phẩm sử dụng tất khối cấu tạo thông tin tổng hợp sản phẩm ổn định khối sử dụng chiều Một chiều ảo (virtual dimension) dạng đặc biệt chiều mà ánh xạ thuộc tính từ thành viên (member) chiều khác để sau sử dụng khối Ví dụ, chiều ảo thuộc tính kích thước sản phẩm cho phép khối (cube) tổng hợp liệu số lượng sản phẩm bán theo kích thước, số lượng áo bán theo kiểu theo kích thước Các chiều ảo (virtual dimension) thuộc tính thành viên đánh giá cần thiết cho truy vấn chúng không đòi hỏi phải có khối lưu trữ vật lý Các độ đo (measure) xác định giá trị số từ bảng kiện (fact table) mà tổng hợp cho phân tích giá bán, chi phí số lượng bán Các phần dành riêng (partition) vật chứa lưu trữ đa chiều, giữ liệu khối Mỗi khối chứa partition, liệu khối kết hợp từ nhiều partition Mỗi partition lấy liệu nguồn liệu khác lưu vị trí riêng biệt (separate) Dữ liệu partition cập nhật độc lập với partition khác khối Ví dụ, liệu khối chia theo thời gian, với partition chứa liệu năm hành, partition OLAP -9- vnvantuyen@gmail.com khác chứa liệu năm trước, partition thứ ba chứa tất liệu năm trước Các partition khối lưu trữ độc lập cách thức khác với mức độ tổng kết khác Các partition người dùng, họ khối (cube) đối tượng đơn, chúng cung cấp tuỳ chọn đa dạng để quản lý liệu OLAP Một khối ảo (virtual cube) khung nhìn luận lý (logic) phần chia nhiều khối Một khối ảo sử dụng để kết (join) khối khác để chia sẻ chiều chung đó, ví dụ kết khối Bán hàng khối Kho nhằm mục đích phân tích đặc biệt trì khối tách biệt cho đơn giản Các chiều (dimension) độ đo (measure) chọn từ khối kết để thể khối ảo Mô hình kiến trúc dịch vụ OLAP: Kiến trúc dịch vụ OLAP gồm thành phần: Server Client 7.1 OLAP Kiến trúc thành phần Server: - 10 - vnvantuyen@gmail.com Kiến trúc thành phần Server Dịch vụ OLAP SQL Server cung cấp thành phần Server có khả tạo quản lý liệu OLAP đa chiều, đồng thời cung cấp liệu cho client qua dịch vụ PivotTable (PivotTable Service) Các thao tác (operation) thành phần Server bao gồm việc tạo khối liệu đa chiều từ kho sở liệu quan hệ lưu trữ chúng cấu trúc khối đa chiều (MOLAP), sở liệu quan hệ (ROLAP) kết hợp hai (HOLAP) Siêu liệu (metadata) cấu trúc khối đa chiều lưu trữ kho (repository) sở liệu quan hệ Các thao tác thành phần Server cung cấp gồm: - Khả tạo quản lý khối OLAP - Phục vụ lấy liệu làm cho sử dụng từ ứng dụng client 7.2 OLAP Kiến trúc thành phần Client: - 11 - vnvantuyen@gmail.com Kiến trúc thành phần Client Thành phần client dịch vụ PivotTable giao tiếp với OLAP server cung cấp giao diện cho ứng dụng client sử dụng truy cập liệu OLAP server Các ứng dụng client kết nối đến dịch vụ PivotTable cách sử dụng giao diện OLE DB mô hình ADO (Microsoft ActiveX Data Objects) Các ứng dụng client sử dụng dịch vụ PivotTable để lấy liệu từ sở liệu OLAP Dịch vụ PivotTable tạo khối cục mà tập khối cư trú server Các khối cục sử dụng để làm tăng hiệu thực sử dụng để thực phân tích không trực tuyến (off-line) Dịch vụ PivotTable công cụ lưu trữ, duyệt phân tích khối (cube) PivotTable OLAP Server xử lý chỗ với đặc tính phân tích trực tuyến (on-line) không trực tuyến (off-line) mà: - Cung cấp truy cập trực tuyến đến liệu OLAP client dịch vụ OLAP - Bao gồm đặc tính phân tích liệu, xây dựng khối quản lý cache Cho phép khối (cube) lưu trữ cục để phân tích không trực tuyến (off-line) kết nối đến liệu dịch vụ OLAP trực tuyến Nguồn: Lê Hoàng Dũng, Nguyễn Trần Minh Khuê OLAP - 12 - vnvantuyen@gmail.com OLAP - 13 - [...]... Dịch vụ OLAP của SQL Server cung cấp thành phần Server có khả năng tạo và quản lý dữ liệu OLAP đa chiều, đồng thời cung cấp dữ liệu cho client qua dịch vụ PivotTable (PivotTable Service) Các thao tác (operation) của thành phần Server bao gồm việc tạo các khối dữ liệu đa chiều từ kho cơ sở dữ liệu quan hệ và lưu trữ chúng trong các cấu trúc khối đa chiều (MOLAP), trong cơ sở dữ liệu quan hệ (ROLAP) hoặc... sở dữ liệu quan hệ (ROLAP) hoặc kết hợp cả hai (HOLAP) Siêu dữ liệu (metadata) của các cấu trúc khối đa chiều được lưu trữ trong một kho (repository) trong cơ sở dữ liệu quan hệ Các thao tác được thành phần Server cung cấp gồm: - Khả năng tạo và quản lý các khối của OLAP - Phục vụ lấy dữ liệu và làm cho nó có thể sử dụng được từ các ứng dụng client 7.2 OLAP Kiến trúc thành phần Client: - 11 - vnvantuyen@gmail.com... client là dịch vụ PivotTable giao tiếp với OLAP server và cung cấp giao diện cho các ứng dụng client sử dụng truy cập dữ liệu OLAP trên server Các ứng dụng client kết nối đến dịch vụ PivotTable bằng cách sử dụng giao diện OLE DB hoặc mô hình ADO (Microsoft ActiveX Data Objects) Các ứng dụng client có thể sử dụng dịch vụ PivotTable để lấy dữ liệu từ cơ sở dữ liệu OLAP Dịch vụ PivotTable có thể tạo các khối... PivotTable là một OLAP Server xử lý tại chỗ với cả các đặc tính phân tích trực tuyến (on-line) và không trực tuyến (off-line) mà: - Cung cấp truy cập trực tuyến đến dữ liệu OLAP như một client của dịch vụ OLAP - Bao gồm các đặc tính phân tích dữ liệu, xây dựng khối và quản lý cache Cho phép các khối (cube) lưu trữ cục bộ để phân tích không trực tuyến (off-line) như là kết nối đến dữ liệu dịch vụ OLAP trực... lý cache Cho phép các khối (cube) lưu trữ cục bộ để phân tích không trực tuyến (off-line) như là kết nối đến dữ liệu dịch vụ OLAP trực tuyến Nguồn: Lê Hoàng Dũng, Nguyễn Trần Minh Khuê OLAP - 12 - vnvantuyen@gmail.com OLAP - 13 - ... theo mục đích khai thác 5.1 OLAP Mô hình Multidimensional OLAP (MOLAP): -5- vnvantuyen@gmail.com Mô hình OLAP đa chiều (MOLAP) lưu trữ liệu sở (là liệu từ bảng kho liệu data mart) thông tin tổng... việc tạo khối liệu đa chiều từ kho sở liệu quan hệ lưu trữ chúng cấu trúc khối đa chiều (MOLAP), sở liệu quan hệ (ROLAP) kết hợp hai (HOLAP) Siêu liệu (metadata) cấu trúc khối đa chiều lưu trữ... vnvantuyen@gmail.com - Dữ liệu dễ dàng chép đến client cho phân tích không trực tuyến (offline) 5.2 Mô hình Relational OLAP (ROLAP): Mô hình OLAP quan hệ (ROLAP) lưu trữ liệu sở thông tin tổng hợp