Đang tải... (xem toàn văn)
MỤC LỤC 1. Giới thiệu 2. Tại Sao Phải Khai Phá Dữ Liệu 3. Khái Niệm Kho Dữ Liệu 4. Cấu Trúc Kho Dữ Liệu 5. Mối Liên Quan Giữa Kho Dữ Liệu Và Khai Phá Dữ Liệu 6. OLAP là gì 7. Mô Hình Dữ Liệu Đa Chiều 8. Công cụ hỗ trợ OLAP 1. Giới thiệu. Công nghệ thông tin phát triển nhanh chóng và được ứng dụng rộng rãi trong mọi lĩnh vực như kinh tế,kế toán, giáo dục, giải trí, quản lý… đó là cả một lượng thông tin khổng lồ. vậy nhưng trong những thông tin đó thì thông tin gì là có ích cho mỗi người sử dụng? và làm sao chúng ta có thể có được những gì chúng ta cần một cách nhanh chóng trong dữ liệu là bạt ngàn như vậy. câu hỏi đặt ra là chúng ta đang “giàu về thông tin nhưng nghèo về tri thức”. Điều đó đó đòi hỏi phải phát triển các phương pháp nào đó nhằm phát hiện ra những thông tin, tri thức có ích phù hợp với người muốn sử dụng nó từ đó thúc đẩy khả năng sản xuất, kinh doanh, cạnh tranh của các tổ chức, doanh nghiệp. khai phá dữ liệu là một phương pháp như vậy. Các kết quả nghiên cứu cùng với những ứng dụng thành công trong khai phá dữ liệu, khám phá tri thức cho thấy khai phá dữ liệu là một lĩnh vực khoa học tiềm năng, mang lại nhiều lợi ích, đồng thời có ưu thế hơn hẳn so với các công cụ phân tích dữ liệu truyền thống. 2. Tại Sao Phải Khai Phá Dữ Liệu Ước tính cứ khoảng 20 tháng lượng thông tin trên thế giới lại tăng gấp đôi. Chính vì vậy, hiện nay lượng dữ liệu mà con người thu thập và lưu trữ được trong các kho dữ liệu là rất lớn, nhiều khi vượt quá khả năng quản lý. Thời gian này, người ta bắt đầu đề cập đến khái niệm khủng hoảng phân tích dữ liệu tác nghiệp để cung cấp thông tin với yêu cầu chất lượng ngày càng cao cho những người ra quyết định trong các tổ chức tài chính, thương mại, khoa học, ... . Đúng như John Naisbett đã cảnh báo “Chúng ta đang chìm ngập trong dữ liệu mà vẫn đói tri thức”. Với một khối lượng dữ liệu tăng nhanh và khổng lồ như vậy, rõ ràng các phương pháp thủ công truyền thống áp dụng để phân tích dữ liệu sẽ không hiệu quả, tốn kém và dễ dẫn đến những sai lệch. Do đó để có thể khai phá hiệu quả các cơ sở dữ liệu lớn cần phải có những kỹ thuật mới, các kỹ thuật khai phá dữ liệu (Data Mining). 3. Khái Niệm Kho Dữ Liệu Data warehouse (kho dữ liệu) là kho lưu trữ dữ liệu bằng thiết bị điện tử trong 1 tổ chức. các kho dữ liệu được thiết kế để hỗ trợ phân tích và lập báo cáo. Data mart là kho dữ liệu cục bộ là nơi dữ liệu được khoanh vùng theo chủ đề tới 1 giới hạn nào đó và có thể được thay đổi để phù hợp với yêu cầu từng bộ phận người dùng . các công cụ truy vấn (query), báo cáo (reporting), phân tích trực tuyến (OLAP), khai phá dữ liệu (data mining) là những cách khai thác Data warehouse nhằm đem lại tri thức (knowledge) hơn là dữ liệu thô (raw data). Một định nghĩa mở rộng cho kho dữ liệu bao gồm cả các công cụ thông minh, các công cụ để trích, biến đổi và nạp dữ liệu vào kho, và các công cụ để quản lý và lấy siêu dữ liệu (meta data). Theo W.H.Inmon, Data warehouse được định nghĩa như một “tập hợp dữ liệu hướng đối tượng, tích hợp, có tính ổn định, thay đổi theo thời gian hỗ trợ cho xử lý thực hiện quyết định quản trị”. 4. Cấu Trúc Kho Dữ Liệu Một kho dữ liệu có thể được coi là một hệ thống thông tin với những đặc tính: Là một cơ sở dữ liệu được thiết kế có nhiệm vụ phân tích, sử dụng các dữ liệu từ các ứng dụng khác nhau. Hỗ trợ cho một số người dùng có liên quan với các thông tin liên quan. Là dữ liệu chỉ đọc. Nội dung của nó được cập nhật thường xuyên theo cách thêm thông tin. Chứa các dữ liệu lịch sử và hiện tại để cung cấp các xu hướng thông tin. Chứa các bảng dữ liệu có kích thước lớn. Một câu hỏi thường trả về một tập kết quả liên quan đến toàn bộ bảng và các liên kết nhiều bảng.
1 DataWarehouse and OLAP Technology Đề Tài Tiểu Luận : DataWarehouse and OLAP Technology Giáo Viên Hướng Dẫn : PGS.TS Trần Đình Quế Sinh Viên : Lê Thị Phương Thảo Lớp : D07Cnpm1 2 DataWarehouse and OLAP Technology MỤC LỤC 1. Giới thiệu 2. Tại Sao Phải Khai Phá Dữ Liệu 3. Khái Niệm Kho Dữ Liệu 4. Cấu Trúc Kho Dữ Liệu 5. Mối Liên Quan Giữa Kho Dữ Liệu Và Khai Phá Dữ Liệu 6. OLAP là gì 7. Mô Hình Dữ Liệu Đa Chiều 8. Công cụ hỗ trợ OLAP 3 DataWarehouse and OLAP Technology 1. Giới thiệu. Công nghệ thông tin phát triển nhanh chóng và được ứng dụng rộng rãi trong mọi lĩnh vực như kinh tế,kế toán, giáo dục, giải trí, quản lý… đó là cả một lượng thông tin khổng lồ. vậy nhưng trong những thông tin đó thì thông tin gì là có ích cho mỗi người sử dụng? và làm sao chúng ta có thể có được những gì chúng ta cần một cách nhanh chóng trong dữ liệu là bạt ngàn như vậy. câu hỏi đặt ra là chúng ta đang “giàu về thông tin nhưng nghèo về tri thức”. Điều đó đó đòi hỏi phải phát triển các phương pháp nào đó nhằm phát hiện ra những thông tin, tri thức có ích phù hợp với người muốn sử dụng nó từ đó thúc đẩy khả năng sản xuất, kinh doanh, cạnh tranh của các tổ chức, doanh nghiệp. khai phá dữ liệu là một phương pháp như vậy. Các kết quả nghiên cứu cùng với những ứng dụng thành công trong khai phá dữ liệu, khám phá tri thức cho thấy khai phá dữ liệu là một lĩnh vực khoa học tiềm năng, mang lại nhiều lợi ích, đồng thời có ưu thế hơn hẳn so với các công cụ phân tích dữ liệu truyền thống. 2. Tại Sao Phải Khai Phá Dữ Liệu Ước tính cứ khoảng 20 tháng lượng thông tin trên thế giới lại tăng gấp đôi. Chính vì vậy, hiện nay lượng dữ liệu mà con người thu thập và lưu trữ được trong các kho dữ liệu là rất lớn, nhiều khi vượt quá khả năng quản lý. Thời gian này, người ta bắt đầu đề cập đến khái niệm khủng hoảng phân tích dữ liệu tác nghiệp để cung cấp thông tin với yêu cầu chất lượng ngày càng cao cho những người ra quyết định trong các tổ chức tài chính, thương mại, khoa học, . Đúng như John Naisbett đã cảnh báo “Chúng ta đang chìm ngập trong dữ liệu mà vẫn đói tri thức”. Với một khối lượng dữ liệu tăng nhanh và khổng lồ như vậy, rõ ràng các phương pháp thủ công truyền thống áp dụng để phân tích dữ liệu sẽ không hiệu quả, tốn kém và dễ dẫn đến những sai lệch. Do đó để có thể khai phá hiệu quả các cơ sở dữ liệu lớn cần phải có những kỹ thuật mới, các kỹ thuật khai phá dữ liệu (Data Mining). 3. Khái Niệm Kho Dữ Liệu 4 DataWarehouse and OLAP Technology Data warehouse (kho dữ liệu) là kho lưu trữ dữ liệu bằng thiết bị điện tử trong 1 tổ chức. các kho dữ liệu được thiết kế để hỗ trợ phân tích và lập báo cáo. Data mart là kho dữ liệu cục bộ là nơi dữ liệu được khoanh vùng theo chủ đề tới 1 giới hạn nào đó và có thể được thay đổi để phù hợp với yêu cầu từng bộ phận người dùng . các công cụ truy vấn (query), báo cáo (reporting), phân tích trực tuyến (OLAP), khai phá dữ liệu (data mining) là những cách khai thác Data warehouse nhằm đem lại tri thức (knowledge) hơn là dữ liệu thô (raw data). Một định nghĩa mở rộng cho kho dữ liệu bao gồm cả các công cụ thông minh, các công cụ để trích, biến đổi và nạp dữ liệu vào kho, và các công cụ để quản lý và lấy siêu dữ liệu (meta data). Theo W.H.Inmon, Data warehouse được định nghĩa như một “tập hợp dữ liệu hướng đối tượng, tích hợp, có tính ổn định, thay đổi theo thời gian hỗ trợ cho xử lý thực hiện quyết định quản trị”. 4. Cấu Trúc Kho Dữ Liệu Một kho dữ liệu có thể được coi là một hệ thống thông tin với những đặc tính: Là một cơ sở dữ liệu được thiết kế có nhiệm vụ phân tích, sử dụng các dữ liệu từ các ứng dụng khác nhau. Hỗ trợ cho một số người dùng có liên quan với các thông tin liên quan. Là dữ liệu chỉ đọc. Nội dung của nó được cập nhật thường xuyên theo cách thêm thông tin. Chứa các dữ liệu lịch sử và hiện tại để cung cấp các xu hướng thông tin. Chứa các bảng dữ liệu có kích thước lớn. Một câu hỏi thường trả về một tập kết quả liên quan đến toàn bộ bảng và các liên kết nhiều bảng. 5 DataWarehouse and OLAP Technology Mô hình data warehouse ba lớp Cấu trúc của một hệ thống kho dữ liệu Bao gồm ba tầng : Tầng đáy: Là nơi cung cấp dịch vụ lấy dữ liệu từ nhiều nguồn khác sau đó chuẩn hóa, làm sạch và lưu trữ dữ liệu đã tập tung Tầng giữa: cung cấp các dịch vụ để thực hiện các thao tác với kho dữ liệu gọi là dịch vụ OLAP (OLAP server). Có thể cài đặt bằng Relational OLAP, Multidimensional OLAP hay kết hợp cả hai mô hình trên Hybrid OLAP Tầng trên cùng: nơi chứa các câu truy vấn, báo cáo, phân tích 6 DataWarehouse and OLAP Technology 1. Dữ liệu nguồn (là các ứng dụng tác nghiệp hoặc các cơ sở dữ liệu tác nghiệp) và các công cụ chiết xuất, làm sạch và chuyển đổi dữ liệu. 2. Kho dữ liệu về dữ liệu (Metadata). 3. Các kỹ thuật xây kho. 4. Kho dữ liệu theo chủ đề (Data mart), là nơi các dữ liệu được khoanh vùng theo chủ đề tới một giới hạn nào đó và có thể được thay đổi cho phù hợp với nhu cầu của từng bộ phận người dùng. Một kho dữ liệu có thể được phân tích thành nhiều kho dữ liệu chủ đề và ngược lại một tập hợp các kho dữ liệu theo chủ đề có thể tạo thành một kho dữ liệu. 5. Các công cụ truy vấn (query), báo cáo (reporting), phân tích trực tuyến (OLAP) và khai phá dữ liệu (data mining). Đây chính là các cách khai thác kho dữ liệu để đem lại những “tri thức” hơn là đem lại chính những dữ liệu thô. 6. Quản trị kho dữ liệu 7. Hệ thống phân phối thông tin. 7 DataWarehouse and OLAP Technology 5. Mối quan hệ giữa kho dữ liệu và khai phá dữ liệu Cả hai đều có thể đứng độc lập với nhau, tuy nhiên khi kết hợp được kho dữ liệu với khai phá dữ liệu thì lợi ích rất lớn lý do như : Dữ liệu của kho dữ liệu rất phù hợp cho việc khai phá dữ liệu do đã được tập hợp và làm sạch. Cơ sở hạ tầng của kho dữ liệu hỗ trợ rất tốt cho các việc như xuất, nhập cũng như các thao tác cơ bản trên dữ liệu 6. OLAP là gì OLAP về cung cấp các tập lệnh rất hữu hiệu trong phân tích. Trong khi kho dữ liệu và data mart lưu trữ dữ liệu cho phân tích, thì OLAP là kỹ thuật cho phép các ứng dụng client truy xuất hiệu quả dữ liệu này. Ngôn ngữ xử lý phân tích trực tuyến (OLAP - On-Line Analytical Prosessing), rất phù hợp với kho dữ liệu, ngôn ngữ này tương tự với ngôn ngữ truy vấn SQL. Ngôn ngữ SQL và các công cụ làm báo cáo truyền thống chỉ có thể miêu tả những gì có trong cơ sở dữ liệu thì phân tích trực tuyến có khả năng phân tích dữ liệu, xác định xem giả thuyết đúng hay sai. Tuy nhiên, phân tích trực tuyến lại không có khả năng đưa ra được các giả thuyết. Và kích thước quá lớn và tính chất phức tạp của kho dữ liệu làm cho nó rất khó có thể được sử dụng cho những mục đích như đưa ra các giả thuyết từ các thông tin mà chương trình ứng dụng cung cấp (Ví dụ như khó có thể đưa ra được giả thuyết giải thích được hành vi của một nhóm khách hàng). Kỹ thuật học máy (machine learning) thường được sử dụng để tìm ra những giả thuyết từ các thông tin dữ liệu thu thập được OLAP là một kỹ thuật sử dụng các thể hiện dữ liệu đa chiều gọi là các khối (cube) nhằm cung cấp khả năng truy xuất nhanh đến dữ liệu của kho dữ liệu. Tạo khối (cube) cho dữ liệu trong các bảng chiều (dimension table) và bảng sự kiện (fact table) trong kho dữ liệu và cung cấp khả năng thực hiện các truy vấn tinh vi và phân tích cho các ứng dụng client. Ví dụ như: Cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu. Cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp. Dữ liệu được tính toán trước đối với các truy vấn thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt. 8 DataWarehouse and OLAP Technology Cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt. OLAP được đặt ra để xử lý các truy vấn liên quan đến lượng dữ liệu rất lớn mà nếu cho thực thi các truy vấn này trong hệ thống OLTP sẽ không thể cho kết quả hoặc sẽ mất rất nhiều thời gian. Ngôn ngữ xử lý phân tích trực tuyến (OLAP - On-Line Analytical Prosessing), rất phù hợp với kho dữ liệu, ngôn ngữ này tương tự với ngôn ngữ truy vấn SQL và tập trung vào các câu lệnh sau : Thu nhỏ (roll-up) (tăng mức độ trừu tượng): ví dụ: nhóm dữ liệu theo năm thay vì theo quý. Mở rộng (drill-down) (giảm mức độ trừu tượng hoặc tăng mức chi tiết) ví dụ: mở rộng dữ liệu, nhìn theo tháng thay vì theo quý. Cắt lát (slice) : nhìn theo từng lớp một. Ví dụ: từ danh mục bán hàng của Q1, Q2, Q3, Q4 chỉ xem của Q1. Thu nhỏ (dice) : bỏ bớt một phần của dữ liệu ( tương ứng thêm điều kiện vào câu lệnh WHERE trong SQL). pivot : định hướng lại khung nhìn đa chiều của dữ liệu 7. Mô hình dữ liệu đa chiều Ví dụ sau coi việc kinh doanh bán hang như một khối (cube), khối có ba chiều (three dimension) là địa chỉ (address) bao gồm các thành phố Chicago, New York, Toronto, Vancouver), chiều thứ hai là thời gian (time) gồm bốn phần Q1, Q2, Q3, Q4. Và chiều thứ ba là mục (item) gồm các giá trị như giải trí tại gia, máy tính, điện thoại, bảo mật. Toàn bộ các giá trị được lưu trữ trên mỗi ô của khối (cube) tính theo số lượng bán (trên một nghìn). Ví dụ toàn bộ mặt hàng bán được trong quý thứ nhất (Q1) là mặt hang lien quan đến hệ thống bảo mật ở Vancouver là 400,00 $ được lưu trữ trong ô <Vancouver, Q1, bảo mật> 9 DataWarehouse and OLAP Technology address time item mô phỏng các chiều trong kinh doanh bán hàng Một khối dữ liệu không nhất thiết phải có cấu trúc 3 chiều (3-D), có thể có N chiều (N-D). Những cạnh của khối được gọi là các chiều (dimensions), đó là các mặt hoặc các thực thể ứng với những khía cạnh mà tổ chức muốn ghi nhận. Mỗi chiều có thể kết hợp với một bảng chiều (dimension table) nhằm mô tả cho chiều đó. Ví dụ, một bảng chiều của Sản phẩm có thể chứa những thuộc tính như Ma_sanpham, Mo_ta, Ten_sanpham, Loai_SP,… những thuộc tính này có thể được chỉ ra bởi nhà quản trị hoặc các nhà phân tích dữ liệu. 8. Các mô hình lưu trữ hỗ trợ OLAP: Dịch vụ OLAP hỗ trợ nhiều mô hình lưu trữ dữ liệu khác nhau, mỗi mô hình có các ưu và khuyết điểm riêng, chúng được sử dụng tuỳ theo mục đích khai thác. 8.1 Mô hình Multidimensional OLAP (MOLAP): Mô hình OLAP đa chiều (MOLAP) lưu trữ dữ liệu cơ sở (là dữ liệu từ các bảng của kho dữ liệu hoặc data mart) và thông tin tổng hợp (là các độ đo được tính toán từ các bảng) trong các cấu trúc đa chiều gọi là các khối (cube). Các cấu trúc này được lưu bên ngoài cơ sở dữ liệu data mart hoặc kho dữ liệu. 10 DataWarehouse and OLAP Technology Mô hình dữ liệu MOLAP Lưu trữ các khối (cube) trong cấu trúc MOLAP là tốt nhất cho các truy vấn tổng hợp dữ liệu thường xuyên mà cần thời gian hồi đáp nhanh. Ví dụ, tổng sản phẩm bán được của tất cả các vùng theo quý. Mô hình MOLAP cho phép thực hiện các truy vấn phân tích dữ liệu tốt nhất vì các đặc điểm sau: Thông tin tổng hợp và dữ liệu cơ sở được lưu trữ trong cấu trúc đa chiều. Các thao tác kết (join), là một trong những thao tác tốn chi phí nhất của mô hình quan hệ, thì không cần thiết. MOLAP sử dụng các thuật toán nén dữ liệu cho phép lưu trữ với ít không gian hơn. MOLAP sử dụng chỉ mục bitmap cho hiệu quả thực thi tốt hơn. MOLAP lấy dữ liệu trong khối (cube) rất nhanh bằng cách sử dụng các xử lý truy vấn tốc độ cao và cache dữ liệu (data cache). Thông tin nhận được từ khối (cube) và các bảng OLAP cơ sở chỉ được truy xuất thông tin chi tiết. MOLAP không xử dụng cơ chế khoá vì dữ liệu là chỉ đọc. MOLAP có thể được nạp trước vào bộ nhớ cache. Dữ liệu có thể dễ dàng sao chép đến client cho phân tích không trực tuyến (off- line). 8.2 Mô hình Relational OLAP (ROLAP): [...]... hệ nhằm cho các nhà quản trị hệ thống duy trì nó hiệu quả hơn ROLAP hỗ trợ Microsoft SQL Server, Oracle, Access và Open Database Connectivity (ODBC) 8.3 Mô hình Hybird OLAP (HOLAP): Mô hình OLAP lai (HOLAP) là sự kết hợp giữa MOLAP và ROLAP 12 DataWarehouse and OLAP Technology Mô hình dữ liệu HOLAP Lưu trữ các khối (cube) trong cấu trúc HOLAP là tốt nhất cho các truy vấn tổng hợp dữ liệu thường xuyên...11 DataWarehouse and OLAP Technology Mô hình OLAP quan hệ (ROLAP) lưu trữ dữ liệu cơ sở và thông tin tổng hợp trong các bảng quan hệ Các bảng này được lưu trữ trong cùng cơ sở dữ liệu như là các bảng của data mart hoặc kho dữ liệu Mô hình dữ liệu ROLAP Lưu trữ các khối trong cấu trúc ROLAP là tốt nhất cho các truy vấn dữ liệu không thường xuyên... theo hàng quý, hàng năm trong cấu trong MOLAP và dữ liệu hàng tháng, hàng tuần và hàng ngày trong cấu trúc ROLAP Lợi ích của việc lưu trữ trong cấu trúc HOLAP là: Lấy dữ liệu trong khối (cube) nhanh hơn bằng cách sử dụng xử lý truy vấn tốc độ cao của MOLAP Tiêu thụ ít không gian lưu trữ hơn MOLAP Tránh trùng lắp dữ liệu 8.4 So sách các mô hình: MOLAP ROLAP HOLAP Lưu trữ dữ liệu cơ sở Khối Bảng quan... vào một cấu trúc ROLAP để giảm không gian đĩa bị chiếm dụng, hơn nữa còn để loại trừ dữ liệu trùng lắp Lưu trữ dữ liệu trong cấu trúc ROLAP cung cấp các lợi ích sau: ROLAP cho phép Cube Builder tự động tạo chỉ mục ROLAP ánh xạ các tổng hợp có sẵn từ data mart hoặc kho dữ liệu OLAP Manager được phép xử dụng các tổng hợp có sẵn để tổng hợp mà không cần tính toán lại cho mỗi truy vấn ROLAP tạo đòn bẩy... thực hiện truy vấn Nhanh nhất Chậm nhất Nhanh Tiêu thụ không gian lưu trữ Nhiều Thấp Trung bình Chi phí bảo trì Cao Thấp Trung bình 13 DataWarehouse and OLAP Technology [1] Jiawei Han University of Illinois at Urbana- Champaign Micheline Kamber Data Mining Concepts and Techniques Second Edition [2] Nguyễn Bình, Lý thuyết Thông tin Học viện Công nghệ Bưu chính Viễn thông, Hà nội, 2006 [3] Trần Đình . 1 DataWarehouse and OLAP Technology Đề Tài Tiểu Luận : DataWarehouse and OLAP Technology Giáo Viên Hướng Dẫn : PGS.TS Trần Đình Quế Sinh Viên : Lê Thị Phương Thảo Lớp : D07Cnpm1 2 DataWarehouse. tích không trực tuyến (off- line). 8.2 Mô hình Relational OLAP (ROLAP): 11 DataWarehouse and OLAP Technology Mô hình OLAP quan hệ (ROLAP) lưu trữ dữ liệu cơ sở và thông tin tổng hợp trong các. hơn. ROLAP hỗ trợ Microsoft SQL Server, Oracle, Access và Open Database Connectivity (ODBC). 8.3 Mô hình Hybird OLAP (HOLAP): Mô hình OLAP lai (HOLAP) là sự kết hợp giữa MOLAP và ROLAP. 12 DataWarehouse