Phân tích hiệu năng của các kỹ thuật bảo trì khung nhìn của kho dữ liệu (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHÂN TÍCH HIỆU NĂNG CỦA CÁC KỸ THUẬT BẢO TRÌ KHUNG NHÌN CỦA KHO DỮ LIỆU Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – NĂM 2013 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS Đặng Văn Chuyết Phản biện 1: ………………………………………………………… Phản biện 2: ……………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Trong kho liệu việc sử dụng khung nhìn đem lại lợi ích cho tổ chức doanh nghiệp vấn đề bảo mật liệu, đơn giản hoá thao tác truy vấn liệu, tập trung đơn giản hoá liệu, độc lập liệu Làm để bảo trì khung nhìn thực cho chúng trì cập nhật quan hệ thực tế nguồn liệu lúc kỹ thuật bảo trì khung nhìn đời Các kỹ thuật bảo trì khung nhìn kho liệu chia làm hai nhóm lớn: bảo trì theo phương pháp tính lại phương pháp bảo trì lũy tiến Tùy thuộc vào việc kho liệu có truy vấn nguồn liệu từ xa để tính lại khung nhìn khơng, kỹ thuật lại phân thành chế tự trì khơng tự trì Vì vậy, có bốn nhóm kỹ thuật: tính lại có chế tự trì, tính lại khơng có chế tự trì, bảo trì lũy tiến có chế tự trì, bảo trì lũy tiến khơng có chế tự trì Nhưng để ứng dụng kỹ thuật bảo trì khung nhìn thực tế ta phải đánh giá khả loại bảo trì khung nhìn Vì vậy, em chọn nghiên cứu đề tài „Phân tích hiệu kỹ thuật bảo trì khung nhìn kho liệu“ nghiên cứu kỹ thuật bảo trì khung nhìn kho liệu Thơng qua đánh giá không gian sử dụng kho liệu, số hàng truy nhập kho liệu để tích hợp bổ sung kho liệu CHƢƠNG 1: TỔNG QUAN 1.1 Khái niệm Theo John Ladley, Kỹ thuật kho liệu (Data Warehouse Technology) tập phương pháp, kỹ thuật cơng cụ kết hợp, hỗ trợ để cung cấp thông tin cho người sử dụng sở tích hợp từ nhiều nguồn liệu, nhiều mơi trường khác Khung nhìn (View) mối quan hệ ảo định nghĩa cách sử dụng mối quan hệ thực lưu trữ sở liệu Khung nhìn thực (Materialized view) kết mối quan hệ truy vấn lưu trữ trước Có thể cho phép thực thi truy vấn phức tạp sở liệu với dung lượng hàng Terabytes vài giây phần nhỏ giây 2 1.2 Triển vọng kho liệu Hầu hết kho liệu dùng cho quản trị doanh nghiệp thông minh làm tăng mối quan hệ khách hàng (CRM - Customer Relationship Management) khai thác liệu Một số sử dụng để báo cáo tổng hợp, số sử dụng để tích hợp liệu Các cách sử dụng tương quan với Quản trị doanh nghiệp thông minh (BI) Quản lý mối quan hệ khách hàng (CRM) Khai phá liệu Quản lý liệu chủ Tích hợp liệu khách hàng 1.3 Kiến trúc hệ thống kho liệu Kho liệu Bộ tích hợp Bộ quan sát chuyển đổi Nguồn thông tin Bộ quan sát chuyển đổi Bộ quan sát chuyển đổi Nguồn thông tin Nguồn thơng tin Hình 1.1 Kiến trúc hệ thống kho liệu 1.4 Các vấn đề nghiên cứu 1.4.1 Bộ chuyển đổi giám sát  Chuyển đổi: Chuyển đổi nguồn thông tin thành mô hình liệu sử dụng hệ thống kho liệu Ví dụ, nguồn thơng tin bao gồm tập hợp tập tin flat, mô hình kho liệu mơ hình quan hệ, Bộ chuyển đổi giám sát phải hỗ trợ giao diện để trình bày liệu nguồn thông tin theo kiểu quan hệ  Quan sát thay đổi: Để phát thay đổi liệu nguồn có liên quan đến kho liệu chuyển thay đổi cho Bộ tích hợp Chức dựa chuyển đổi, giống liệu nó, thay đổi liệu phải chuyển định dạng mơ hình nguồn liệu sang định dạng mơ hình sử dụng hệ thống kho liệu Một cách khác chuyền tồn liệu có liên quan từ nguồn liệu đển kho liệu Bộ tích hợp kết hợp liệu với kho liệu có từ nguồn khác, u cầu thơng tin đầy đủ từ tất nguồn liệu tính lại kho liệu từ đầu Tuy nhiên phương pháp đòi hỏi kho liệu phải ngừng hoạt động từ khoảng thời gian tình trạng liệu khơng đáp ứng kịp thời 1.4.2 Bộ tích hợp Việc Bộ tích hợp nhận thơng báo cập nhật từ Bộ giám sát nguồn thông tin phản ánh thay đổi kho liệu Chức Bộ tích hợp bảo trì khung nhìn nơi mà chứa sở liệu nguồn thông tin Do vây công việc Bộ tích hợp thực bảo trì khung nhìn, kết nối chặt chẽ bảo trì khung nhìn kho liệu Các nguồn thơng tin cập nhật liệu thường hoạt động độc lập với kho liệu sở liệu không muốn tham gia việc bảo trì khung nhìn Hầu hết kỹ thuật bảo trì dựa việc cập nhật với bảo trì khung nhìn việc thay đổi cập nhât khung nhìn xảy giao dịch Trong môi trường kho liệu có số trường hợp xảy ra: - Hệ thống bảo trì khung nhìn (Bộ tích hợp) không gắn với hệ thống xử lý sở liệu (các nguồn thông tin) - Các nguồn thông tin khơng tham gia việc bảo trì khung nhìn, báo cáo thay đổi - Để xác định khung nhìn mối quan hệ thực lưu trữ nguồn sở liệu khác nhiều nguồn khác Các nguồn thơng báo cho kho liệu có cập nhật xảy họ xác định liệu cần thiết để câp nhật khung nhìn kho liệu 4 Vì họ gửi liệu cập nhật cập nhật toàn mối quan hệ đến kho liệu Khi nhận thông tin này, kho liệu bổ sung số nguồn liệu để cập nhật khung nhìn Sau đó, truyền số truy vấn từ số nguồn để yêu cầu bổ sung nguồn liệu Một số nguồn cập nhật liệu lần trước họ yêu cầu truy vấn từ kho liệu Vì vậy, họ gửi thêm liệu sai vào kho liệu, sau sử dụng liệu khơng xác để tính tốn khung nhìn Hiện tượng gọi phân tán bảo trì khung nhìn bất thường Giải vấn đề bảo trì khung nhìn kho liệu phức tạp hệ thống sở liệu truyền thống 1.5 Kết luận Kho liêu phát triển mạnh công nghệ sở liệu, nhiều vấn đề cần nghiên cứu để giải khó khăn, vấn đề bảo trì tính qn liệu khung nhìn kho liệu mà khơng làm ngừng việc cập nhật liệu Trên thực tế, có kỹ thuật bảo trì khung nhìn để giải vấn đề Nhưng để lựa chọn, đánh giá khả loại kỳ thuật phải xem xét Đây vấn đề mà luận án tập trung nghiên cứu Đó phân loại kỹ thuật bảo trì khung nhìn để đưa đề xuất tiến hành so sánh kỹ thuật điều kiện sử dụng không gian số lượng hàng truy cập cách sử dụng điểm chuẩn TPC (The American Transaction processing performance council) cho Hệ hỗ trợ truy vấn định 5 Chƣơng 2: PHÂN LOẠI KỸ THUẬT BẢO TRÌ KHUNG NHÌN CỦA KHO DỮ LIỆU 2.1 Giới thiệu 2.2 Khái niệm 2.2.1 Khung nhìn (View): Khung nhìn bảng tạm thời, có cấu trúc bảng Khung nhìn khơng lưu trữ liệu mà tạo sử dụng, đối tượng thuộc sở liệu Khung nhìn định nghĩa sau: V = Πproj(σcond(r1×r2×…× rn)) Cơng thức (2.1) Trong đó:  Proj: tập hợp tên thuộc tính  Cond: biểu thức logic  r1×r2×…× rn quan hệ sở liệu  Biểu thức truy vấn Trong việc trì khung nhìn quan hệ r1, r2, …, rn, thuật toán để tạo truy vấn chứa tập số hạng mà số hạng có dạng: T = proj (cond (̅̅̅ ̅̅̅ ̅̅̅)) Trong ̅ ri mối quan hệ liệu ti cập nhật ri Một truy vấn có dạng tổng số hạng: ∑ 2.2.2 Khung nhìn thực (Materialized view) 2.2.3 Bảo trì khung nhìn Bảo trì khung nhìn làm để trì khung nhìn thực mà họ lưu giữ đáp ứng với liệu cập nhật sở liệu nguồn liệu từ xa Có hai phương pháp bảo trì khung nhìn thực: Phƣơng pháp tính lại khung nhìn dẫn đến lượng lưu trữ chi phí bảo trì bổ sung tăng lên đơi thực hạn chế không gian lưu trữ Phƣơng pháp bảo trì lũy tiến khung nhìn nguyên tắc bảo trì lũy tiến khung nhìn nguồn liệu thông báo thay đổi liệu để tích hợp, sau tính tốn thay đổi tương ứng thông báo cho sở liệu với thay đổi tương ứng Phương pháp bảo trì lũy tiến khung nhìn tối ưu so với phương pháp tính lại khung nhìn 6 Bảo trì khung nhìn có chế tự trì Một thuật tốn xác định thêm thơng tin, gọi khung nhìn hỗ trợ Khung nhìn hỗ trợ lưu trữ kho liệu để trì khung nhìn kiểu chọn – tham chiếu – kết nối (SPJ – Select Project Join) tức khung nhìn thực dựa truy vấn chứa phép chọn, chiếu, nối mà không cần truy cập vào sở liệu nguồn liệu Khung nhìn tự trì khung nhìn với tập hợp khung nhìn hỗ trợ trì kho mà không cần truy cập vào sở liệu Và có số khung nhìn khơng cập nhật, nhiều thông tin hỗ trợ bắt buộc tự trì Định nghĩa 2.1 Tự trì (Self – Maintenance) Xét khung nhìn V định nghĩa tập mối quan hệ nguồn R Gọi R thay đổi tạo mối quan hệ R để đáp ứng cho khung nhìn V trì Để tính tốn V (những thay đổi khung nhìn V) hạn chế sử dụng thêm thơng tin Nếu V tính cách sử dụng khung nhìn thực V tập hợp thay đổi R, sau khung nhìn V tự trì Cho trước khung nhìn V, trình bày thuật tốn xác định tập khung nhìn hỗ trợ A cho kết hợp V A tự trì, có nghĩa bảo trì vào thay đổi mối quan hệ nguồn mà không cần truy cập vào liệu khác Một khung nhìn hỗ trợ ARi  A biểu thức có dạng ARi = (Ri) ARj1 ARj2 … ARj2 2.2.4 Cơ chế tự trì với khung nhìn SPJ Khung nhìn định nghĩa cách sử dụng hoạt động chọn chiếu gọi khung nhìn SP (SP- Selection Projection) Cịn khung nhìn định nghĩa cách sử dụng hoạt động chọn, chiếu kết nối gọi khung nhìn SPJ Khung nhìn định nghĩa cách sử dụng hoạt động kết nối bên ngồi loại đặc biệt hữu ích cho khung nhìn gọi khung nhìn OJ (OJ – Outer join) 2.2.4.1.Phép chèn (Insertions) 2.2.4.2 Phép xóa (Deletetions) 2.2.4.3 Phép cập nhật (Updates) 2.3 Phƣơng pháp tính lại có chế tự trì Một lợi kỹ thuật loại khung nhìn trì bất thường tránh tất liệu cần thiết có sẵn kho liệu Kho liệu biết định nghĩa khung nhìn để làm với khung nhìn để chúng cập nhập Nó giúp loại bỏ truy cập đến mối quan hệ từ xa, đó, khơng cạnh tranh với nguồn liệu từ xa tài nguyên cục Các hoạt động kho liệu trì sau tách riêng hoàn toàn hoạt động OLTP khác Cho dù nguồn liệu từ xa có sẵn hay khơng khơng ảnh hưởng đến q trình trì khung nhìn kho liệu Tuy nhiên, để làm cho khung nhìn thực tự trì, thêm khung nhìn thực cung cấp thông tin cần thiết để cập nhập khung nhìn phải lưu trữ Thêm lượng lưu trữ thời gian vậy, cần để trì khung nhìn bổ sung 2.4 Phƣơng pháp tính lại khơng có chế tự trì Phương pháp tiếp cận tính lại khơng tự trì đơn giản Các vấn đề bất thường tránh cách dễ dàng Tuy nhiên, q trình tính lại nhiều thời gian tốn tài nguyên Kho liệu gửi truy vấn trở lại nguồn chờ đợi câu trả lời để tính khung nhìn Xử lý truy vấn tiêu hao nguồn tài ngun nội Nếu nguồn khơng có sẵn, kho liệu không nhận câu trả lời cần thiết 2.5 Phƣơng pháp bảo trì lũy tiến có chế tự trì Kho liệu khơng phải truy vấn nguồn liệu từ xa để lấy liệu bổ sung Các liệu hoạt động cho bảo trì kho tách riêng hồn toàn hoạt động khác ứng dụng xử lý giao dịch trực tuyến (OLTP) Cho dù nguồn liệu từ xa có sẵn hay khơng khơng ảnh hưởng đến quy trình bảo trì khung nhìn thực kho liệu Tuy nhiên, để làm cho khung nhìn thực tự trì, khung nhìn hỗ trợ lưu kho liệu để cung cấp thơng tin bổ sung Thêm lưu trữ chi phí thời gian cách để trì khung nhìn hỗ trợ Làm để thiết kế khung nhìn thực kho liệu để thông tin cần lưu trữ kho liệu vấn đề lớn 2.6 Phƣơng pháp bảo trì lũy tiến khơng có chế tự trì Thay lần khung nhìn tính lại từ đầu, phần kho liệu thay đổi tính Tuy nhiên, cần thiết kho liệu muốn truy vấn nguồn liệu từ xa thơng tin kho liệu không đủ để khung nhìn trì Để tiếp cận phương pháp có truy xuất không hạn chế 8 2.6.1 Truy xuất khơng hạn chế Có nhiều thuật tốn sử dụng theo phương pháp Thuật toán Eager compensating Algorithm (ECA) thuật tốn điển hình ECA thuật tốn bảo trì khung nhìn lũy tiến Đó phương pháp để sửa vấn đề bảo trì khung nhìn xảy việc tách sở liệu quản lý bảo trì khung nhìn kho liệu Phương pháp không dựa vào trạng thái thông tin mà tiếp tục cập nhật/sửa đổi nguồn Và phương pháp theo dõi liệu cập nhật nhận từ nguồn sau lọc ra, bù thơng tin lặp lại kết truy vấn Bằng cách trừ (hoặc thêm vào) kết biết (khơng) có truy vấn sau, tạo kết cuối xác cho khung nhìn Trong phương pháp này, kho liệu phải gửi truy vấn nguồn chờ đợi câu trả lời để tính khung nhìn cập nhật Vì vậy, phương pháp có hạn chế tương tự phương pháp tiếp cận tính lại khơng tự trì Việc tính truy vấn tiêu thụ nguồn tài nguyên cục từ xa, làm chậm hoạt động OLTP khác Nếu nguồn từ xa khơng có sẵn, kho liệu không nhận câu trả lời cần 2.6.2 Tự bảo trì kho liệu thời gian chạy chương trình Một kho liệu gồm tập hợp khung nhìn Mỗi khung nhìn xác định truy vấn số sở liệu D Các định nghĩa khung nhìn có sẵn kho liệu Mẫu thơng tin khác cung cấp cho kho liệu, sở liệu D thỏa mãn tính ràng buộc tồn vẹn Ban đầu, khung nhìn phù hợp với sở liệu D Khi sở liệu D sửa đổi, sở liệu cập nhật U gửi đến kho liệu Khung nhìn trở nên khơng phù hợp với sở liệu U(D), Công việc người quản lý kho liệu cập nhật khung nhìn để cho phù hợp với sở liệu Để trì khung nhìn V từ bước bao gồm: - A truy vấn Q mà xác định khung nhìn V - Trường hợp V khung nhìn riêng - Cập nhật trường hợp U - Các thông tin khác (I) - Ý tưởng “ Tự trì kho liệu thời gian chạy chương trình” kho liệu kiểm tra khả tư trì cho khung nhìn Nếu khung nhìn tự trì được, trì thơng tin cập nhật biểu thức truy vấn xác định khung nhìn Trong trường hợp này, phương pháp tự trì thời gian thực tương ứng phương pháp tự trì kho Tuy nhiên, kho liệu khơng lưu trữ trì khung nhìn hỗ trợ Nếu khung nhìn khơng khả tự trì, kho liệu phải truy vấn quan hệ cần thiết từ nguồn liệu từ xa đối để cập nhật khung nhìn Trong trường hợp này, phương pháp giống với truy nhập không hạn chế Chƣơng 3: PHÂN TÍCH HIỆU NĂNG CỦA KỸ THUẬT BẢO TRÌ KHUNG NHÌN CỦA KHO DỮ LIỆU 3.1 Giới thiệu 3.2 Đo hiệu Trong phân tích, có khung nhìn SPJ xem xét Để đo hiệu kỹ thuật không gian số lượng truy cập hàng, ta vào: - Không gian: tổng số không gian cần thiết để lưu trữ liệu kho liệu, bao gồm không gian khung nhìn hỗ trợ Trong phần không xét số - Số hàng truy cập: số lượng hàng truy cập vào kho liệu nguồn liệu để tích hợp liệu cập nhật vào kho liệu 3.3 Phân tích tham số Các thông số giá trị mặc định đươc liệt kê bảng 3.1 tính tốn dựa vào tiêu chuẩn TPC cho Hệ hỗ trợ truy vấn định 10 Ý nghĩa Số hàng khung nhìn V Ký hiệu Giá trị mặc định Phạm vi Card(V) 914 0100.000 Ts(V) 43 10250 Nav 1N N 17 Card(r) 108.000.000 01.000.000.000 Ts( r) 116 100180  0,003 0,000011,0 j 0,73 0,000011,0 Tính tốn Tính tốn I 0,5 0100 Số hàng cập nhật Card (U ) Số lượng liệu thêm vào Nupdate Kích thước liệu khung nhìn V(tính bytes) Số lượng khung nhìn hỗ trợ lần xem Số lượng mối quan hệ sở định nghĩa khung nhìn Số hàng mối quan hệ sở r Kích thước liệu mối quan hệ sở r (tính byte) Tính chọn lọc: phần nhỏ liệu mà đáp ứng điều kiện lựa chọn Tính kết nối giá trị tương đương liệu mối quan hệ liên kết mối quan hệ khác Số lượng liệu mối J=j ×Card(r) quan hệ liên kết mối quan hệ khác Số lượng ảnh hưởng cập nhật cho truy vấn mối quan hệ sở liệu nguồn Bảng 3.1 Các thông số 100 11 3.4 Căn vào không gian cần thiết kho liệu để so sánh kỹ thuật bảo trì 3.4.1 Phƣơng pháp tính lại có chế tự trì Trong trường hợp thơng thường, lượng không gian cần thiết ( ) ( ) ( ∑ ) ( ) Trong ≤ Nav ≤ N 3.4.2 Phƣơng pháp tính lại có khơng chế tự trì Trường hợp thơng thường Card(V) ts(V) 3.4.3 Phƣơng pháp bảo trì lũy tiến có chế tự trì Trong trường hợp thơng thường, khơng gian cần thiết sau: ( ) ( ) ∑ ( ) ( ) Trong đó: ≤ Nav ≤ N 3.4.4 Phƣơng pháp bảo trì lũy tiến khơng có chế tự trì Trong trường hợp bình thường, kích thước COLLECT cho cập nhật cụ thể với tất cập nhật mà can thiệp tổng số câu trả lời truy vấn cuối cho tất các truy vấn Tổng số truy vấn gửi đến nguồn liệu tính sau: ∑( ∑ ( )) 3.4.5 So sánh bốn kỹ thuật bảo trì khung nhìn Để so sánh không gian cần thiết kho liệu kỹ thuật bảo trì dựa vào thơng số giá trị liệt kê bảng 3.1 công thức bảng 3.2 Ở đây, xem xét kết trường hợp bình thường Trong trường hợp này, phương pháp tính lại khơng có chế tự trì khơng địi hỏi khơng gian thêm kho liệu Tuy nhiên, phương pháp tính lại có chế tự trì bảo trì lũy tiến có chế tự trì khơng gian thêm cần kho liệu để lưu trữ liệu nguồn chép khung 12 nhìn hỗ trợ Không gian thêm tỷ lệ thuận với tổng số khung nhìn hỗ trợ Nav, liệu khung nhìn hỗ trợ Card(AV) kích thước liệu khung nhìn hỗ trợ ts(AV) Kết thể bảng 3.3 Số hàng mối quan hệ SMR SMIM NSMR NSIM 59475 59475 59475 59475 100000 48059475 48059475 59475 60279 200000 96059475 96059475 59475 65839 300000 144059475 144059475 59475 80872 400000 192059475 192059475 59475 110098 500000 240059475 240059475 59475 158236 600000 288059475 288059475 59475 230005 700000 336059475 336059475 59475 330124 800000 384059475 384059475 59475 463312 900000 432059475 432059475 59475 634287 1000000 480059475 480059475 59475 847770 sở (hay khung nhìn hỗ trợ) Bảng 3.3 So sánh khơng gian cần thiết kho liệu Từ bảng 3.2, cho thấy không gian cần thiết để lưu trữ phương pháp bảo trì lũy tiến khơng có chế tự trì (NSIM) nhỏ so với khơng gian sử dụng để lưu trữ khung nhìn thực phương pháp tính lại có chế tự trì (SMR) bảo trì lũy tiến có chế tự trì (SMIM) Đồ thị thể hình 3.1 1E+09 Tính lại có chế tự trì Bảo trì lũy tiến khơng có chế tự trì Bảo trì lũy tiến có chế tự trì Tính lại khơng có chế tự trì 100000000 10000000 1000000 100000 10000 100000 200000 300000 400000 500000 600000 700000 800000 900000 1000000 Không gian sử dụng (byte) Không gian đƣợc sử dụng kho liệu (Trƣờng hợp trung bình) Số hàng mối quan hệ sở (hay khung nhìn hỗ trợ) Hình 3.1 Khơng gian đƣợc sử dụng kho liệu (Trƣờng hợp trung bình) 13 Đối với phương pháp bảo trì lũy tiến khơng có chế tự trì, khơng gian thêm cần thiết để lưu trữ bảng COLLECT Trong số trường hợp khác, không gian sử dụng để lưu trữ bảng COLLECT phát triển so với khung nhìn thực Lúc đầu, khơng gian lưu trữ phương pháp bảo trì lũy tiến khơng có chế tự trì (NSIM) nhỏ tăng chậm so với không gian để lưu trữ phương pháp tính lại có chế tự trì (SMR) bảo trì lũy tiến có chế tự trì (SMIM) Nhưng sau khơng gian cần thiết để lưu trữ phương pháp NSIM nhanh hơn, đến thời điểm định, không gian sử dụng để lưu trữ phương pháp NSIM vượt qua phương pháp khác Kết thể hình 3.2 Khơng gian sử dụng kho liệu (Trƣờng hợp trung bình) 1E+11 1E+10 1E+09 100000000 10000000 1000000 100000 10000 Khơng gian sử dụng (byte) Tính lại có chế tự trì Bảo trì lũy tiễn khơng có chế tự trì Bảo trì lũy tiến có chế tự trì Số hàng mối quan hệ sở (hay khung nhìn hỗ trợ) Hình 3.2 Khơng gian đƣợc sử dụng kho liệu (Trƣờng hợp trung bình) Tóm lại, trường hợp trung bình, khơng có khơng gian cần thiết để bổ sung vào kho liệu chế không tự trì, phương pháp tốt không gian sử dụng kho liệu Số lượng không gian sử dụng cho chế tự trì phương pháp tính lại phương pháp bảo trì lũy tiến giống Khi có liệu cập nhật số hàng mối quan hệ sở tương đối nhỏ không gian sử dụng cho chế không tự trì so với hai chế tự trì Nhưng nhiều liệu cập nhật số hàng mối quan hệ sở lớn khơng gian sử dụng cho chế khơng tự trì lớn so với hai chế tự trì 14 3.5 Căn vào số hàng truy cập vào kho liệu để so sách kỹ thuật bảo trì 3.5.1 Phƣơng pháp tính lại có chế tự trì 3.5.2 Phƣơng pháp tính lại khơng có chế tự trì 3.5.3 Phƣơng pháp bảo trì lũy tiến có chế tự trì 3.5.4 Phƣơng pháp bảo trì lũy tiến khơng có chế tự trì 3.5.5 Căn vào số lƣợng hàng để so sánh kỹ thuật bảo trì khung nhìn Loại Số lượng hàng truy cập kho liệu Số lượng hàng truy cập nguồn liệu Trường hợp trung bình: Nupdate × (Card(V) + 2Card(AV) + ( ) SMR ( ) (∑( ))) Trường hợp xấu: Nupdate ×(Card(V) + Card(U)+ ( ) ( ∑( ( ) ))) Trường hợp tốt:0 Nupdate × Card(V) Trường hợp trung bình: NSMR Nupdate × ( Trường hợp trung bình: SMIM ( ) ( ( 0≤Nav≤N ( ( ) ) ∑ ( ( )) ) ( ) ( ) (∑ ( ))) 15 Trường hợp xấu nhất: ( ( ) ( ( NSMIM ) ∑( ( ( Nupdate/I×Card(V) ) ) )) Trường hợp tốt nhất: Trường hợp trung bình: ∑( ( ) ( ) ( ∑ ( ) ( ) ∑( ( ) ( ) ∑ ( ) ))) Trường hợp tồi nhất: ∑( ( ( ) ( ) ( ) ∑( ∑ ( ( ) () ∑ ( ( )) ) ( ) ))) Bảng 3.3 Số lƣợng hàng truy cập Để kiểm tra việc thực kỹ thuật bảo trì khung nhìn cách tính số lượng hàng truy cập kỹ thuật bảo trì khung nhìn để bảo trì khung nhìn thực qua công thức bảng 3.4 sử dụng giá trị trung bình liệt kê bảng 3.1 để vẽ đồ thị Trong trường hợp trung bình, tổng số lượng hàng truy cập phương pháp tính lại khơng có chế tự trì (NSMR) phương pháp tính lại có chế tự trì (SMR) phát triển gần tương đồng Khi mối quan hệ sở nhân rộng kho liệu phương pháp tính lại khơng có chế tự trì, thực tế liệu truy cập hai lần Lần bảo trì khung nhìn hỗ trợ nguồn liệu lần thứ hai 16 bảo trì khung nhìn thực kho liệu Khi số hàng mối quan hệ sở (hay khung nhìn hỗ trợ) Card(r) nhỏ số lượng hàng truy cập phương pháp tính lại có chế tự trì lớn so với phương pháp tính lại khơng có chế tự trì Các kết trình bày bảng 3.5 Số hàng mối NSMR quan hệ sở (hay SMR NSMR SMIM (nguồn khung nhìn hỗ trợ) liệu) 67515 67500 67530 100 71293 67500 69038 2278 200 77336 67500 70549 6821 300 86710 67500 72064 14695 400 100481 67500 73582 26966 500 119715 67500 75104 44700 600 145477 67500 76630 68962 700 178832 67500 78159 100817 800 220846 67500 79692 141331 900 272585 67500 81228 191570 1000 335115 67500 82768 252600 Bảng 3.5 So sánh tổng số hàng truy cập Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) 400000 350000 300000 250000 200000 150000 100000 50000 1000 900 800 700 600 500 400 300 200 100 Tính lại có chế tự trì Bảo trì lũy tiến có chế tự trì Tính lại khơng có chế tự trì Tính lại có chế tự trì (nguồn liệu) Số lƣợng hàng truy cập (Byte) Đồ thị sử dụng giá trị bảng 3.5 thể hình 3.3 Số hàng mối quan hệ sở (hoặc khung nhìn hỗ trợ) Hình 3.3 Số lƣợng hàng truy cập (Trƣờng hợp trung bình) 17 Khi số hàng mối quan hệ sở tăng lên, tổng số lượng hàng truy cập kỹ Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) 7E+23 6E+23 5E+23 4E+23 3E+23 2E+23 1E+23 1000000000 900000000 800000000 700000000 600000000 500000000 400000000 300000000 200000000 100000000 Tính lại có chế tự trì Tính lại khơng có chế tự trì Bảo trì lũy tiến có chế tự trì Bảo trì lũy tiến khơng có chế tự trì Số lƣợng hàng truy cập (Byte) thuật bảo trì có khác biệt khơng q lớn nên bỏ qua (hình 3.4) Số hàng mối quan hệ sở (hoặc khung nhìn hỗ trợ) Hình 3.4 Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) Khi số hàng mối quan hệ sở nhỏ, tổng số lượng hàng truy cập để phương pháp tính lại có chế tự trì tính lại khơng có chế tự trì tăng nhanh so với phương pháp bảo trì lũy tiến chế tự trì bảo trì lũy tiến khơng có chế tự trì thể bảng 3.6 Số hàng mối quan hệ SMR SMIM NSMR NSMIM 67515 67530 45000 100 73056 69055 4041 45000 200 88441 70605 17926 45000 300 120814 72178 48799 45000 400 177320 73775 103805 45000 500 265103 75395 190088 45000 600 391306 77040 314791 45000 700 563075 78708 485060 45000 800 787553 80400 708038 45000 900 1071885 82116 990870 45000 1000 1423215 83856 1340700 45000 sở (hay khung nhìn hỗ trợ) Bảng 3.6 So sánh tổng số hàng truy cập kho liệu 18 Số lƣợng hàng truy cập (Byte) Bảng đồ thị thể hình 3.5: Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) 1400000 1200000 1000000 800000 600000 400000 200000 Tính lại có chế tự trì Bảo trì lũy tiến có chế tự trì Tính lại khơng có chế tự trì Bảo trì lũy tiến khơng có chế tự trì Số hàng mối quan hệ sở (hay khung nhìn hỗ trợ) Hình 3.5 Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) Khi Card(r) trở nên lớn, số lượng hàng truy cập cho phương pháp bảo trì lũy tiến nhỏ so với hai phương pháp tính lại (hình 3.6) Số lượng truy cập (byte) Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) 7E+23 6E+23 5E+23 SMR 4E+23 SMIM 3E+23 2E+23 1E+23 NSMR NSMIM Số hàng mối quan hệ sở (hay khung nhìn hỗ trợ) Hình 3.6 Số lƣợng hàng truy cập kho liệu (Trƣờng hợp trung bình) Tóm lại, trường hợp trung bình, tổng số lượng hàng truy cập kho liệu phương pháp tính lại có chế tự trì tính lại khơng có chế tự trì tăng nhanh so với hai phương pháp bảo trì lũy tiến 19 Chƣơng 4: KẾT LUẬN Từ phân tích chương 2, 3, có bảng tổng hợp để so sánh ưu điểm, nhược điểm bốn phương pháp bảo trì khung nhìn: Ưu điểm Thể loại Nhược điểm - Hoạt động bảo trì khung nhìn - Dữ liệu nhân rộng kho kho liệu tách riêng hoàn liệu toàn từ hoạt động OLTP; SMR - Cần thêm liệu lưu trữ cho - Bất kỳ nguồn không ngăn liệu lặp lại trình bảo trì khung nhìn kho - Phải thực bảo trì quy trình liệu; truyền liệu để đưa liệu từ nguồn liệu đến kho liệu NSMR - Thực đơn giản -Khơng có sẵn nguồn để ngăn chăn - Khơng có lặp lại liệu kho trình bảo trì khung nhìn liệu kho liệu - Dung lượng liệu khơng có thêm -Đánh giá truy vấn nguồn cho liệu lặp lại liệu tiêu thụ nguồn tài nguyên - Được yêu cầu khơng có q trình cục truyền liệu -Hoạt động bảo trì khung nhìn khơng tách khỏi hoạt động OLTP - Hoạt động bảo trì khung nhìn - Dữ liệu chép kho kho liệu hoàn toàn tách khỏi hoạt liệu động OLTP; SMIM - Cần thêm dung lượng liệu cho - Khơng có nguồn mà khơng liệu lặp lại; khơng ngăn chặn q trình bảo trì - Thực bảo trì trình kho liệu NSMIM truyền liệu - Không cần liệu nhân rộng - Khơng có nguồn để chặn q trình kho liệu bảo trì khung nhìn kho liệu 20 - Không cần yêu cầu thêm lưu trữ - Đánh giá câu hỏi nguồn - Quá trình truyền liệu để truyền liệu làm tiêu hao tài nguyên cục liệu từ nguồn kho liệu - Hoạt động bảo trì khung nhìn kho khơng cần thiết liệu khơng tách khỏi hoạt động OLTP -Phải thiết kế trình bảo trì khung nhìn cẩn thận để tránh vấn đề bất thường - Trong trường hợp xấu nhất, số lượng hàng truy cập cao Bảng 4.1 Ƣu điểm nhƣợc điểm kỹ thuật bảo trì khung nhìn Hai phương pháp tính lại có chế tự trì bảo trì lũy tiến có chế tự trì hồn tồn tách biệt hoạt động bảo trì khung nhìn từ hoạt động OLTP Vì vậy, hoạt động bảo trì khung nhìn khơng tiêu tốn tài nguyên nguồn liệu cục Các hoạt động tiêu hao tài nguyên kho liệu Thậm chí nguồn liệu từ xa khơng có sẵn, q trình bảo trì khung nhìn kho liệu tiếp tục chạy Tuy nhiên, phần tất nguồn liệu nhân rộng kho liệu để thực q trình bảo trì khung nhìn có chế tự trì Quá trình truyền liệu thực để truyền liệu từ nguồn liệu từ xa đến kho liệu Các trình thiết kế, thực bảo trì tốn nhiều thời gian Rất nhiều liệu không cần thiết lặp lại kho liệu Tuy nhiên, kỹ thuật mà nhiều công ty lớn muốn thực họ muốn tách riêng khỏi hoạt động bảo trì khung nhìn kho liệu từ hoạt động OLTP họ Hai phương pháp tính lại khơng có chế tự trì bảo trì lũy tiến khơng có chế tự trì có số nhược điểm phổ biến Đó nguồn liệu từ xa xử lý truy vấn từ kho liệu mà lại sử dụng tài nguyên nguồn cục làm hệ thống OLTP chậm Một nguồn liệu khơng có sẵn, thời gian nguồn liệu trả lời truy vấn gửi từ kho liệu Nó chặn q trình bảo trì khung nhìn kho liệu Phương pháp bảo trì lũy tiến khơng có chế tự trì có số nhược điểm phụ Để tránh vấn đề bất thường, trình bảo trì khung nhìn phải thiết kế cách cẩn thận Nếu nhiều liệu cập nhật đưa vào nguồn liệu, kho liệu có nhiều truy vấn bù Rất kho liệu khơng thể có kết cuối Nhưng 21 phương pháp đạt hiệu cao số lương hàng truy cập để truyền liệu cho đối tượng bảo trì khung nhìn kho liệu Cả hai phương pháp có số ưu điểm Vì khơng có chép liệu kho liệu, khơng có q trình chuyển liệu thực bảo trì Khơng có khơng gian thêm cho lưu trữ liệu chép Cả hai kỹ thuật tốt cho doanh nghiệp vừa nhỏ có hệ thống sở liệu OLTP không phức tạp Trong số tất bốn loại, phương pháp bảo trì lũy tiến có chế tự trì tốt không gian sử dụng kho liệu số lượng hàng truy cập để truyền cập nhật tới khung nhìn thực kho liệu Khi chi phí lưu trữ liệu ngày trở nên thấp, phương pháp tốt để thực kho liệu Hiện Việt Nam, kho liệu sử dụng doanh nghiệp viễn thông, bệnh viện, thương mại điện từ… Nhưng để khai thác kho liệu tối ưu, xác hiệu trình xử lý liệu mà chi phí thấp vấn đề phải xem xét cân nhắc Vì vậy, với vấn đề đưa trên, lựa chọn áp dụng kỹ thuật bảo trì khung nhìn thích hợp cho doanh nghiệp giải vấn đề khó khăn cho doanh nghiệp  ... trì khung nhìn Vì vậy, em chọn nghiên cứu đề tài ? ?Phân tích hiệu kỹ thuật bảo trì khung nhìn kho liệu? ?? nghiên cứu kỹ thuật bảo trì khung nhìn kho liệu Thơng qua đánh giá khơng gian sử dụng kho liệu, ... bảo trì khung nhìn thực cho chúng trì cập nhật quan hệ thực tế nguồn liệu lúc kỹ thuật bảo trì khung nhìn đời Các kỹ thuật bảo trì khung nhìn kho liệu chia làm hai nhóm lớn: bảo trì theo phương... thay đổi kho liệu Chức Bộ tích hợp bảo trì khung nhìn nơi mà chứa sở liệu nguồn thơng tin Do vây cơng việc Bộ tích hợp thực bảo trì khung nhìn, kết nối chặt chẽ bảo trì khung nhìn kho liệu Các nguồn