tổng hợp kho cơ sở dữ liệu

MỞ ĐẦU: Trình bày lí do chọn đề tài, mục đích, đối tượng và phạm vi nghiên cứu. TỔNG QUAN: Phân tích đánh giá các hướng nghiên cứu đã có của các tác giả trong và ngoài nước liên quan đến đề tài; nêu những vấn đề còn tồn tại; chỉ ra những vấn đề mà đề tài cần tập trung, nghiên cứu giải quyết. NGHIÊN CỨU THỰC NGHIỆM HOẶC LÍ THUYẾT: Trình bày cơ sở lí thuyết, lí luận, giả thiết khoa học và phương pháp nghiên cứu đã được sử dụng trong khoá luận . TRÌNH BÀY, ĐÁNH GIÁ BÀN LUẬN VỀ CÁC KẾT QUẢ: Mô tả ngắn gọn công việc nghiên cứu khoa học đã tiến hành, các kết quả nghiên cứu khoa học hoặc kết quả thực nghiệm. Đối với các đề tài ứng dụng có kết quả là sản phẩm phần mềm phải có hồ sơ thiết kế, cài đặt, theo một trong các mô hình đã học (UML, ) KẾT LUẬN: Trình bày những kết quả đạt được, những đóng góp mới và những đề xuất mới. Phần kết luận cần ngắn gọn, không có lời bàn và bình luận thêm. HƯỚNG PHÁT TRIỂN: Kiến nghị về những hướng nghiên cứu tiếp theo. DANH MỤC TÀI LIỆU THAM KHẢO: Chỉ bao gồm các tài liệu được trích dẫn, sử dụng và đề cập tới để bàn luận trong khoá luận . PHỤ LỤC. 1 2 Chương 1. Kho dữ liệu 1.1. Tổng quan về kho dữ liệu 1 Khái niệm Khái niệm kho dữ liệu (data warehouse) lần đầu tiên được đưa ra bởi hai kiến trúc sư người Ireland của công ty IBM là Barry Devlin và Paul Murphy năm 1988. Từ đó đến nay, khái niệm kho dữ liệu hầu như không có nhiều thay đổi. Theo Barry Devlin và Paul Murphy, kho dữ liệu được hiểu là: “Một nhà kho luận lí chứa tất cả những thông tin cần thiết phục vụ cho các báo cáo nghiệp vụ” (Pentaho Solutions – Trang 111). 2 Các nhu cầu thực tế của kho dữ liệu Kho dữ liệu là một cơ sở dữ liệu được thiết kế đặc biệt cho các nhu cầu liên quan đến việc hỗ trợ ra quyết định. Từ góc nhìn của người dùng, kho dữ liệu mang lại những lợi ích sau: • Dữ liệu lưu trữ tập trung tại một nơi • Thông tin luôn được cập nhật: Thông tin từ nhiều nguồn được cập nhật định kì vào kho. • Truy xuất nhanh: Kho dữ liệu được thiết kế đặc biệt cho việc truy xuất nhanh với khối lượng thông tin lớn. • Không giới hạn kích thước • Lưu mọi thông tin lịch sử: Toàn bộ lịch sử dữ liệu được lưu vết, phục vụ việc phân tích số liệu theo thời gian. • Dễ hiểu: Kho dữ liệu được mô hình hoá dựa trên những thuật ngữ nghiệp vụ, gần gũi và dễ hiểu. • Rõ ràng và đồng nhất: Dữ liệu được hợp nhất và thống nhất dựa trên các khái niệm nghiệp vụ. • Dữ liệu chuẩn hoá: Tất cả dữ liệu được chuẩn hoá theo một chuẩn chung. 3 Các đặc trưng của kho dữ liệu Kho dữ liệu có các đặc trưng sau đây (theo Bill Inmon): • Hướng chủ thể (subject oriented): Tất cả các thực thể và sự kiện liên quan đến một chủ thể được kết nối với nhau. 3 • Biến thiên theo thời gian: Tất cả các thay đổi trên dữ liệu được theo dõi để thể hiện sự biến đổi theo thời gian. • Tính ổn định (non-volatile): Khi dữ liệu được lưu vào kho, nó sẽ không bao giờ bị ghi đè hoặc xoá. Với nhiều kiến trúc cao cấp, tính chất này không được duy trì trên từng phần nhưng về tổng thể cần được bảo đảm. • Tính tích hợp: Kho dữ liệu chứa dữ liệu được tích hợp từ nhiều hệ thống nguồn sau khi đã được làm sạch và chuẩn hoá. Kho dữ liệu được xây dựng nhằm mục đích: • Bảo đảm hiệu suất hoạt động của hệ thống sản xuất không bị gián đoạn bởi các truy vấn dạng đặc biệt dạng phân tích. Các truy vấn loại này vốn có thời gian truy vấn lâu trên lượng dữ liệu lớn. • Bảo đảm các thông tin không bị thay đổi trong khi người dùng cuối truy vấn. 1.2. Kiến trúc kho dữ liệu 4 Các kiến trúc chính Kiến trúc chung của một kho dữ liệu thường gồm nhiều vùng chứa dữ liệu (data store) nhỏ. Những vùng chứa dữ liệu này được phân loại dựa trên cấu trúc bao gồm (Building a DW – With examples in SQL Server – Trang 29-39): • Vùng xử lí (staging area): Là vùng chứa dữ liệu chuẩn bị cho việc biến đổi dữ liệu thu được từ nguồn trước khi chuyển qua các vùng chứa dữ liệu khác trong kho dữ liệu. Trong các hình vẽ, vùng này được viết tắt là “staging” hay “STG”. • Vùng chứa dữ liệu dạng chuẩn hoá (normalized data store): Là vùng chứa dữ liệu trung gian sau khi đã được biến đổi và tích hợp từ nhiều nguồn khác nhau. Trong vùng này, dữ liệu được lưu trữ ở dạng chuẩn cao, thường là dạng chuẩn 3. Dữ liệu trong vùng này đã sẵn sàng được nạp vào vùng kho dữ liệu đầu cuối mà không cần nhiều biến đổi phức tạp. Trong các hình vẽ, vùng này được viết tắt là NDS. • Vùng chứa dữ liệu hoạt động (operational data store): Là vùng chứa dữ liệu dạng lai (hybrid) giữa vùng dữ liệu chuẩn hoá và cơ sở dữ liệu hoạt động (operational database). Mục đích của nó ngoài việc hỗ trợ cho việc 4 nạp dữ liệu vào kho dữ liệu đầu cuối, còn được dùng như là cơ sở dữ liệu hoạt động tập trung (centralized). • Kho dữ liệu đầu cuối, còn gọi là vùng dữ liệu đa chiều (dimesional data store): Là vùng kho dữ liệu đầu cuối, phía người dùng. Trong vùng này, dữ liệu được lưu trữ dưới dạng mô hình hoá đa chiều (dimensional modeling) nhằm hỗ trợ các ứng dụng hay truy vấn dạng phân tích đầu cuối. Trong các hình vẽ, vùng này được viết tắt là DDS, DW hay DWH. Kho dữ liệu có rất nhiều loại kiến trúc. Từ đơn giản nhất, chỉ gồm một kho dữ liệu đầu cuối, đến rất phức tạp, bao gồm nhiều kho dữ liệu trung gian, được sử dụng trong những hệ thống lớn. Tuy nhiên, hầu hết các kiến trúc đều dựa trên 3 kiến trúc chung phổ biến sau: • Kiến trúc DDS đơn (single DDS) chỉ bao gồm kho dữ liệu đầu cuối và một vùng xử lí. • Kiến trúc NDS+DDS là kiến trúc bao gồm vùng xử lí, vùng dữ liệu chuẩn hoá, và kho dữ liệu đầu cuối. • Kiến trúc ODS+DDS tương tự như kiến trúc NDS+DDS nhưng sử dụng vùng dữ liệu hoạt động thay cho vùng dữ liệu chuẩn hoá. Mỗi kiến trúc đều có những ưu điểm và nhược điểm riêng. Sau đây, chúng ta sẽ phân tích sơ qua từng kiến trúc. 1 Kiến trúc DDS đơn Hình 1.2.1.1-1: Kiến trúc kho dữ liệu dạng DDS đơn 5 Kiến trúc DDS đơn là một trong những dạng kiến trúc đơn giản nhất của kho dữ liệu. Kiến trúc này có thành phần chính là một kho dữ liệu trung tâm. Dữ liệu từ nhiều hệ thống nguồn được nạp vào vùng xử lí thông qua một gói ETL (Extract-Transform-Load: Rút trích-Biến đổi-Nạp – Xem chương 3). Gói ETL này sẽ rút trích dữ liệu từ nhiều nguồn khác nhau, thực hiện một số phép biến đổi dữ liệu đơn giản. Dữ liệu sau đó được chứa trong vùng xử lí. Dữ liệu trong vùng xử lí sau khi được xử lí sơ bộ sẽ được biến đổi thông qua một gói ETL khác để đưa vào kho dữ liệu đầu cuối. Quá trình biến đổi này bao gồm nhiều công đoạn từ việc làm sạch, chuẩn hoá dữ liệu đến việc quản lí chất lượng và lịch sử thay đổi của dữ liệu. Kho dữ liệu đầu cuối chứa những dữ liệu đã được biến đổi, chuẩn hoá, và lưu trữ dưới dạng mô hình đa chiều, sẵn sàng phục vụ cho các ứng dụng đầu cuối. • Ưu điểm: o Kiến trúc đơn giản. o Ít công đoạn xử lí. o Thuận lợi khi xây dựng những kho dữ liệu nhỏ. • Nhược điểm: o Không hỗ trợ việc tạo ra nhiều kho dữ liệu phục vụ cho nhiều mục đích khác nhau dựa trên dữ liệu sẵn có. Nếu có nhu cầu chỉ cần sử dụng một phần của kho dữ liệu (data-mart) thì phải xây dựng một gói ETL khác phục vụ quá trình này. o Không tái sử dụng được gói ETL đã làm. Mỗi một quy trình rút trích-biến đổi-nạp cho từng thành phần trong kho dữ liệu đầu cuối được thực hiện độc lập. Việc này gây khó khăn cho việc xây dựng những kho dữ liệu lớn. 2 Kiến trúc NDS+DDS 6 Hình 1.2.1.2-1: Kiến trúc kho dữ liệu dạng NDS+DDS Đây là một kiến trúc khá phổ biến. Kiến trúc này tương tự như kiến trúc DDS đơn, nhưng có thêm một vùng chứa dữ liệu trung gian là vùng chứa dữ liệu chuẩn hoá NDS. Dữ liệu sau khi được làm sạch, thay vì đưa thẳng vào kho dữ liệu đầu cuối, nó được lưu trong vùng chứa dữ liệu trung gian. Vùng chứa dữ liệu trung gian đóng vai trò như là một cơ sở dữ liệu tập trung, đã được chuẩn hoá, bao gồm cả dữ liệu lịch sử. Việc nạp vào kho dữ liệu đầu cuối sẽ không cần qua công đoạn làm sạch và quản lí chất lượng dữ liệu nữa. • Ưu điểm: o Lưu trữ dữ liệu tập trung đã được làm sạch. o Chứa dữ liệu lịch sử. o Sẵn sàng cho việc nạp vào nhiều kho dữ liệu đầu cuối. o Tái sử dụng được các gói ETL. • Nhược điểm: o Kiến trúc phức tạp o Tốn thêm không gian lưu trữ. o Thời gian thực hiện một chu kì nạp dữ liệu lâu hơn so với kiến trúc DDS đơn. o Vùng chứa dữ liệu trung gian không được tận dụng vào mục đích khác. 3 Kiến trúc ODS+DDS 7 Hình 1.2.1.3-1: Kiến trúc kho dữ liệu dạng ODS+DDS Kiến trúc này có nhiều điểm tương đồng với kiến trúc NDS+DDS. Như trong hình vẽ, thay vì sử dụng một vùng dữ liệu chuẩn hoá làm vùng dữ liệu trung gian, người ta sử dụng một vùng dữ liệu hoạt động thay cho nó. Vùng dữ liệu hoạt động này cũng là một cơ sở dữ liệu dạng chuẩn hoá cao. Tuy nhiên, nó không lưu dữ liệu lịch sử. Vùng dữ liệu hoạt động có cấu trúc nghiêng về dạng cơ sở dữ liệu phục vụ giao tác (OLTP) nhiều hơn. Nó đóng vai trò như là một cơ sở dữ liệu tập trung mà ở đó, ứng dụng đầu cuối cho phép khai thác trên nó. Có thể thấy những ưu điểm và nhược điểm của nó so với kiến trúc NDS+DDS như sau: • Ưu điểm: o Lưu trữ dữ liệu tập trung đã được làm sạch. o Tận dụng làm cơ sở dữ liệu tập trung phục vụ giao tác cho ứng dụng đầu cuối. • Nhược điểm: o Không chứa dữ liệu lịch sử. o Các gói ETL để đưa dữ liệu từ vùng dữ liệu hoạt động vào kho dữ liệu đầu cuối phức tạp hơn. o Vùng dữ liệu hoạt động có thể bị gián đoạn khi nạp kho dữ liệu. o Không tái sử dụng được các gói ETL. Trong nội dung của cuốn khoá luận này, nội dung sẽ tập trung vào kiến trúc NDS+DDS. 5 Vùng xử lí 8 Hình 1.2.2-1: Vùng xử lí Thông thường, trong tất cả các kiến trúc kho dữ liệu, luôn có một vùng chứa dữ liệu gọi là vùng xử lí. Dữ liệu được chuyển từ nhiều nguồn vào vùng xử lí mà không thông qua (hoặc rất ít) công đoạn xử lí nào. Hẳn nhiên, có thể nạp trực tiếp dữ liệu từ nguồn vào kho dữ liệu đầu cuối. Tuy vậy, việc sử dụng một vùng xử lí có các lợi ích sau: • Giảm thiểu tối đa thời gian rút trích dữ liệu từ nguồn. Việc này nhằm tránh gián đoạn đến hoạt động của các cơ sở dữ liệu nguồn. Thông thường, người ta sẽ sao chép y nguyên dữ liệu nguồn vào vùng này. • Khi sử dụng các vùng xử lí độc lập cho từng nguồn, cho phép thao tác trên một tập hợp nhỏ các dữ liệu mà ta cần sử dụng, thay vì truy vấn toàn bộ dữ liệu nguồn. • Vùng xử lí nếu được cài đặt chỉ mục hợp lí, sẽ hỗ trợ việc nạp dữ liệu vào kho dữ liệu nhanh hơn. • Vùng xử lí cho phép phục hồi sau sự cố. Dữ liệu khi đã được nạp vào vùng xử lí, có thể được xem là an toàn. Trong quá trình nạp dữ liệu vào kho dữ liệu, nếu bị gián đoạn do sự cố, quá trình nạp dữ liệu dễ dàng được phục hồi bằng cách nạp tiếp dữ liệu đang nạp từ vùng này. Bởi vì trong mỗi lần nạp, dữ liệu ở vùng xử lí không bị thay đổi, nên hoàn toàn không ảnh hưởng đến quá trình nạp. Nếu nạp trực tiếp từ nguồn, nơi dữ liệu thay đổi thường xuyên, quá trình nạp phải được làm lại từ đầu, bao gồm cả việc loại bỏ các dữ liệu đang nạp dở dang. Vùng xử lí có thể lưu trữ dữ liệu dài hạn, như là một cơ sở dữ liệu trung gian. Nhưng thông thường, người ta sẽ xoá đi sau mỗi lần nạp dữ liệu. Đặc 9 biết đối với các kiến trúc cấp cao như NDS+DDS hay ODS+DDS, việc lưu trữ dữ liệu trong vùng xử lí sau mỗi công đoạn nạp là hoàn toàn không cần thiết. Cấu trúc của dữ liệu vùng xử lí như sau: • Đối với dữ liệu nguồn là cơ sở dữ liệu: Dữ liệu trong vùng xử lí là tất cả các bảng chứ dữ liệu cần thiết cho việc nạp dữ liệu, nhưng chỉ chứa các cột dữ liệu cần thiết mà thôi. Các bảng được loại bỏ các ràng buộc khoá chính, khoá ngoại và chỉ mục. Việc này nhằm tăng tốc cho sao chép dữ liệu nguồn. Để tránh việc dữ liệu không nhất quán, các gói ETL cần được thiết kế cẩn thận để giải quyết việc này. • Đối với dữ liệu nguồn là dạng tập tin: Đơn giản chỉ cần sao chép nó đến máy chủ. 6 Cơ sở dữ liệu chuẩn hoá Hình 1.2.3-1: Cơ sở dữ liệu chuẩn hoá. Đối với kiến trúc NDS+DDS, vùng chứa dữ liệu dạng chuẩn hoá, còn được gọi là cơ sở dữ liệu chuẩn hoá đóng vai trò là một cơ sở dữ liệu tập trung. Cơ sở dữ liệu này có các đặc điểm sau: • Là nơi tập trung dữ liệu từ nhiều nguồn. Tất cả dữ liệu này đều đã được làm sạch. • Cơ sở dữ liệu được tổ chức ở dạng chuẩn hoá cao, nhằm bảo đảm chất lượng dữ liệu, các ràng buộc toàn vẹn trên dữ liệu cũng như tính nhất quá của dữ liệu. • Các thông tin về lịch sử của dữ liệu được lưu lại toàn bộ ở đây. Nếu dữ liệu nguồn không chứa thông tin lịch sử, gói ETL dùng biến đổi dữ liệu vào cơ sở dữ liệu chuẩn hoá sẽ đảm nhận việc bổ sung các dữ liệu lịch 10 [...]... liệu trong khi nạp các dữ kiện vào kho dữ liệu Dữ liệu sau mỗi lần nạp thành công vào cơ sở dữ liệu chuẩn hoá, sẽ được xoá trong vùng xử lí Khi quá trình nạp dữ liệu bị gián đoạn, quá trình nạp dữ liệu được thực hiện tiếp tục trên những dữ liệu chưa được nạp thành công, tức là vẫn còn dữ liệu trên vùng xử lí 7 Kho dữ liệu đầu cuối Hình 1.2.4-1: Kho dữ liệu đầu cuối Trong một hệ thống kho dữ liệu, kho. .. thách thức rất lớn 1.4 Các xu hướng xây dựng kho dữ liệu • Kho dữ liệu ảo • Kho dữ liệu thời gian thực • Kho dữ liệu phân tích 15 16 Chương 2 Mô hình hoá sử dụng lược đồ hình sao Như đã đề cập ở chương 1, việc tối ưu hoá tốc truy vấn cho kho dữ liệu là điều kiện tiên quyết cho hiệu quả triển khai một dự án kho dữ liệu Vì vậy cấu trúc cơ sở dữ liệu của kho dữ liệu cần được tổ chức theo một mô hình đặc... liệu vào kho dữ liệu, ta phải xây dựng các quy tắc ánh xạ dữ liệu từ dữ liệu nguồn đến kho dữ liệu Với kiến trúc và tính chất của nguồn dữ liệu khác nhau, đòi hỏi phải xây dựng một bảng ánh xạ vật lý từ dữ liệu được lưu trữ ở nguồn đến kho dữ liệu Trước khi xây dựng một bảng ánh xạ vật lý, ta cần một bảng ánh xạ dữ liệu logic từ các trường của nguồn dữ liệu đến các trường của bảng trong kho dữ liệu Cấu... xuất dữ liệu từ nguồn, ta chỉ tìm các dòng dữ liệu chưa có trong vùng lưu trữ (dựa vào khóa) hoặc đã bị thay đổi so với dữ liệu trong vùng lưu trữ 20 Biến đổi dữ liệu: Biến đổi dữ liệu thực chất là việc kiểm tra dữ liệu và đề ra các tiêu chuẩn cho biết dữ liệu có thể được sử dụng trong kho dữ liệu hay không và đưa ra các giải pháp biến đổi phù hợp Dữ liệu được đưa vào data warehouse phải là dữ liệu. .. của nó Kho này có thể tạo bởi 1 hay nhiều cột Trong dữ liệu nguồn, kho này là không thống nhất, và có thể mang nhiều kiểu khác nhau, cũng có thể được tạo tự động bởi cơ sở dữ liệu nguồn Chẳng hạn môn học TTH-294 là một kho chính Trong kho dữ liệu, kho này gọi là kho tự nhiên Vì những lí do trên đây, kho tự nhiên của dữ liệu nguồn không thể được sử dụng trong một hệ thống chung của kho dữ liệu Thay...sử Thường là ngày tháng khi lấy dữ liệu Nếu dữ liệu nguồn chứa thông tin lịch sử, gói ETL dùng biến đổi dữ liệu sẽ chuyển đổi các thông tin lịch sử tương ứng từ nguồn vào cơ sở dữ liệu chuẩn hoá Các thông tin này cho phép nắm bắt lịch sử dữ liệu tại một nơi tập trung duy nhất • Cấu trúc của cơ sở dữ liệu chuẩn hoá rất gần với cấu trúc của kho dữ liệu đầu cuối, tuy nhiên được tổ chứ ở dạng... hoá của Bill Inmon và Ralph Kimball Việc tổ chức dữ liệu trong cơ sở dữ liệu của kho dữ liệu được tiếp cận theo 2 hướng sau: • Phương pháp mô hình hoá dạng chuẩn hoá của Bill Inmon (lược đồ bông tuyết): Cơ sở dữ liệu được tổ chức dưới dạng chuẩn hoá, tuân theo luật chuẩn hoá như đối với cơ sở dữ liệu quan hệ thông thường (dạng chuẩn 3) o Ưu điểm:  Dữ liệu được nạp từ nguồn vào đích dễ dàng  Dạng chuẩn... việc sử dụng hệ thống kho dữ liệu Khối OLAP mặc dù có thể xây dựng trên cơ sở dữ liệu thông thường, nhưng nếu được xây dựng trên kho dữ liệu, sẽ giảm thiểu thời gian xây dựng khối và tăng tốc các truy vấn OLAP 1.3 Các thách thức đối với kho dữ liệu Việc xây dựng kho dữ liệu là một công việc phức tạp và đòi hỏi nhiều vấn đề cần được nghiên cứu kĩ càng trước khi cài đặt Đối với kho dữ liệu, nhưng thách thức... Chất lượng dữ liệu Thách thức lớn nhất là việc quản lí chất lượng dữ liệu Bởi vì bản thân các hệ thống nguồn thường không bao giờ không bị lỗi trên dữ liệu, việc xây dựng kho dữ liệu bảo đảm cung cấp đầy đủ thông tin và nhiều ý nghĩa là liên hệ sống còn đến tính hiệu quả của kho dữ liệu Quản lí chất lượng dữ liệu bao gồm: • Dữ liệu trùng lắp: Xảy ra khi cùng một dữ liệu được ghi nhiều lần vào kho, nhưng... nguồn và dữ liệu đích Trong phạm vi của khóa luận, nhóm chỉ tiến hành tìm hiểu trên các nguồn dữ liệu khác nhau về cấu trúc và cách lưu trữ Cụ thể là tích hợp dữ liệu trên nhiều CSDL và tập tin khác nhau Trong quá trình tích hợp dữ liệu, việc lấy tất cả dữ liệu từ nguồn rất mất thời gian và không cần thiết, do đó ta chỉ lấy những dữ liệu mới từ nguồn mà kho dữ liệu chưa cập nhật hoặc những dữ liệu được . Cơ sở dữ liệu chuẩn hoá Hình 1.2.3-1: Cơ sở dữ liệu chuẩn hoá. Đối với kiến trúc NDS+DDS, vùng chứa dữ liệu dạng chuẩn hoá, còn được gọi là cơ sở dữ liệu chuẩn hoá đóng vai trò là một cơ sở dữ. ra để phù hợp với ngữ cảnh. 9 Khối lượng dữ liệu và hiệu suất hoạt động Nếu như lượng dữ liệu trung bình cho mỗi cơ sở dữ liệu kho ng vài đến vài chục Gigabyte, dữ liệu trong kho dữ liệu có thể. dữ liệu vào cơ sở dữ liệu chuẩn hoá sẽ đảm nhận việc bổ sung các dữ liệu lịch 10 sử. Thường là ngày tháng khi lấy dữ liệu. Nếu dữ liệu nguồn chứa thông tin lịch sử, gói ETL dùng biến đổi dữ liệu