Cập nhật không đồng bộ các khung nhìn thực

Trên thực tế có các bài toán của hệ thống thông tin đòi hỏi phải tính đến một cách không chậm trễ chỉ một phần trong số các thay đổi dữ liệu trong các bảng gốc. Từ đó xuất hiện khả năng trì hoãn cập nhật khung nhìn thực. Khả năng đó cho phép giảm số lượng các cập nhật khung nhìn thực, thông qua đó nâng cao đáng kể năng suất tổng thể của hệ thống. Bài viết phân tích về cập nhật không đồng bộ và đề nghị thuật toán xác định các thời điểm cập nhật không đồng bộ các khung nhìn thực.

TẠP CHÍ KHOA HỌC & CƠNG NGHỆ CÁC TRƯỜNG ĐẠI HỌC KỸ THUẬT  SỐ 74 - 2009 CẬP NHẬT KHƠNG ĐỒNG BỘ CÁC KHUNG NHÌN THỰC ASYNCHRONIZED ACTUALIZATION FOR THE MATERIALIZED VIEWS Nguyễn Trần Quốc Vinh Trường Đại học Kinh tế, Đại học Đà Nẵng TÓM TẮT Để trì bảng khung nhìn thực (materialized view, KNT) trạng thái thực tiễn, cần phải cập nhật chúng có thay đổi liệu bảng gốc Phụ thuộc vào thời hạn đưa thay đổi vào bảng KNT, chế cập nhật phân đồng không đồng Trên thực tế có tốn hệ thống thơng tin đòi hỏi phải tính đến cách khơng chậm trễ phần số thay đổi liệu bảng gốc Từ xuất khả trì hỗn cập nhật KNT Khả cho phép giảm số lượng cập nhật KNT, thơng qua nâng cao đáng kể suất tổng thể hệ thống Bài viết phân tích cập nhật khơng đồng đề nghị thuật toán xác định thời điểm cập nhật không đồng KNT ABSTRACT To keep the tables – Materialized Views (MV) to be in the actual state, they must be updated upon the changes of the data in the source tables Following to the deadline to apply those changes to the materialized views, the mechanisms of the MV can be classified by synchronized and asynchronized updates In practice, there are tasks solved in the informations systems, which request to apply immediately only part of the changes made in the source tables The feasibility to defer the MV updates allows to decrease the number of the MV updates and the global performance of the information systems can be significantly improved This paper analyzes the mechanism of the asynchronized MV updates and suggests the algorithm to determine the moments to asynchronously update the MV Phụ thuộc vào thời hạn đưa thay đổi vào bảng KNT, chế cập nhật phân đồng [1÷4] khơng đồng [5] Cập nhật đồng thực thi khơng chậm trễ có thay đổi liệu bảng gốc phần giao tác thực thay đổi Ngược lại, cập nhật không đồng thực vào thời điểm sau giao tác sửa đổi liệu bảng gốc cố định Cập nhật khơng đồng khai thác thời gian trì hoãn cho phép cập nhật liệu xác định công nghệ xử lý liệu hệ thống thông tin ý nghĩa tốn giải I CÁC CƠ CHẾ CẬP NHẬT Cứ liệu bảng gốc (base tables, BG) cập nhật, KNT sử dụng liệu trở nên khơng thực tiễn Để trì bảng KNT trạng thái thực tiễn (actual state), cần phải cập nhật chúng có thay đổi liệu (insert, update, delete) BG Quá trình làm cho liệu KNT tương ứng với liệu bảng gốc gọi thực tiễn hoá (actualization, cập nhật) Tuỳ thuộc vào cách thức thực hiện, cập nhật chia thành ba phương pháp chính, hồn tồn (COMPLETE), gia tăng (FAST hay gọi INCREMENTAL) ép buộc (FORCE) Cập nhật hoàn toàn thực tế tạo lại KNT cách thực thi truy vấn sở KNT tạo Cập nhật gia tăng sửa đổi phần liệu KNT liên quan đến thay đổi liệu bảng gốc Cập nhật ép buộc nghĩa có khả thực cập nhật gia tăng, khơng sử dụng cập nhật hồn tồn II ĐẶT VẤN ĐỀ Hiện KNT hỗ trợ ba hệ quản trị sở liệu thương mại Microsoft SQL Server, Oracle IBM DB2 Tuy nhiên, viết [6] đưa khả khai thác ý tưởng KNT hệ quản trị sở liệu kể thương mại phi thương mại không hỗ trợ KNT Trong SQL Server (từ phiên 2000), KNT gọi khung nhìn mục hố 30 TẠP CHÍ KHOA HỌC & CÔNG NGHỆ CÁC TRƯỜNG ĐẠI HỌC KỸ THUẬT  SỐ 74 - 2009 (indexed views) chúng tự động cập nhật đồng với thay đổi liệu Các tài liệu hướng dẫn IBM DB2, Oracle (từ phiên 8.15) cơng trình nghiên cứu khác đề cập đến khả cập nhật không đồng KNT Tuy nhiên, khả cập nhật khơng đồng tài liệu mơ tả tuý mặt kỹ thuật cài đặt [2] thuật tốn [5] thực cập nhật khơng đồng KNT sở truy cập liệu cần thiết hệ quản trị sở liệu tồn KNT để thực cập nhật tức thời phần giao tác thay đổi liệu bảng gốc khoảng thời gian Tác giả chưa gặp tài liệu phân tích lý do, ý nghĩa cập nhật không đồng chọn mà gây số tác hại chi phí tài nguyên để trì Số lượng KNT hệ thống bị giới hạn dựa chi phí tổng thể để trì KNT hệ thống, chẳng hạn, chi phí ổ cứng, nhớ, thời gian CPU Danh sách số lượng truy vấn tạo KNT giảm đáng kể phân tích hệ thống thơng tin nhóm truy vấn [7] nhằm tạo KNT, mà KNT sử dụng để trả lời nhiều truy vấn khác [8–9] Ngồi ra, danh sách điều chỉnh số lượng cập nhật KNT giảm Từ xuất khả tạo KNT cho nhiều truy vấn khác Đặc biệt, trì hỗn cập nhật KNT giúp giảm tải hệ thống giai đoạn cao điểm tải [7] Thơng qua điểm đó, chế cập nhật khơng đồng cho phép nâng cao rõ rệt suất tổng thể hệ thống III CẬP NHẬT KHÔNG ĐỒNG BỘ Chẳng hạn, liệu mà KNT_01 sử dụng thay đổi n (n > 1) lần khoảng thời gian Có ba trường hợp xảy A) Nếu KNT_01 sử dụng thường xuyên sau thay đổi, cập nhật đồng KNT_01 sau thay đổi mang lại lợi ích tuyệt đối điều hiển nhiên B) Nếu KNT_01 sử dụng sau lần thay đổi thứ n sau thời gian tải hệ thống, cập nhật khơng đồng vào thời tải thường có lợi C) Bởi vì, cập nhật lần cho n thay đổi tốt cập nhật n lần Nếu cập nhật gia tăng cập nhật gia tăng n lần tương ứng với n thay đổi liệu gốc có chi phí cao lần cập nhật hoàn toàn cập nhật gia tăng lần cho n thay đổi, thực cập nhật lần có lợi hơn, ngược lại, cập nhật gia tăng n lần có lợi Trong trường hợp cập nhật lần lựa chọn, thơng thường, có khả cập nhật gia tăng cập nhật gia tăng cho n thay đổi đòi hỏi chi phí thấp cập nhật hồn tồn thơng thường sử dụng Ngược lại, sử dụng cập nhật hoàn toàn Nếu khơng có khả cập nhật gia tăng, dễ thấy cập nhật hoàn toàn n lần cho n lần thay đổi liệu gốc đòi hỏi chi phí gấp n lần so với chi phí lần cập nhật hồn tồn sau thay đổi thứ n Rõ ràng, cập nhật không đồng lần cho n thay đổi có lợi tuyệt đối so với cập nhật đồng n lần 3.1 Phân tích cập nhật khơng đồng Ngồi lý thiếu thơng tin nêu trên, khả ứng dụng chế cập nhật không đồng dựa sở thực tế có tốn hệ thống thơng tin đòi hỏi tính đến phần số thay đổi liệu bảng gốc cách không chậm trễ Từ xuất khả trì hỗn cập nhật KNT, rõ ràng, khả cho phép giảm số lượng cập nhật KNT Không kiện sửa đổi liệu bảng gốc ảnh hưởng đến giới hạn (thời lượng) trì hỗn cập nhật KNT, mà cách thức khai thác liệu Chẳng hạn, khai báo thêm điểm mơn học cho sinh viên không gây thay đổi đáng kể đến điểm trung bình cho tồn khoa, tồn ngành, có thể, chí mơn học đó; bán thêm vài hàng khơng ảnh hưởng đến doanh thu toàn cầu, doanh thu theo châu lục, doanh thu theo vùng, chí doanh thu theo quốc gia Tuy nhiên, tồn nhiều liệu, mà trì hỗn cập nhật chúng vào KNT dẫn đến hậu nghiêm trọng Chẳng hạn, trì hỗn việc cố định thay đổi số dư tài khoản ngân hàng cho phép khách hàng rút từ tài khoản số tiền lớn số dư thực tế Các ví dụ cho thấy cần thiết việc phân tích liệu để đưa chế cập nhật KNT KNT khơng mang lại lợi ích, Tuỳ thuộc vào trì hỗn cho phép cập nhật liệu KNT, phân loại liệu theo loại sau: 31 TẠP CHÍ KHOA HỌC & CƠNG NGHỆ CÁC TRƯỜNG ĐẠI HỌC KỸ THUẬT  SỐ 74 - 2009 a) Dữ liệu đòi hỏi phải cập nhật KNT khơng chậm trễ có thay đổi thời gian cập nhật trường (dữ liệu) Khi tập hợp khoảng thời gian cập nhật trường G cho nhóm T F  N T F b) Dữ liệu cho phép trì hỗn điều chỉnh KNT giới hạn thời gian Ti có thay đổi i thời gian cập nhật KNT TiF  min(TiF ) Bước Phân tích chế độ làm việc nhân viên trạm làm việc sử dụng KNT cụ thể nhằm mục đích làm rõ thời gian nghỉ công việc T R  {T R | x  1,2, N R } Với N R số d) Các liệu xử lý hàm thống kê cho phép khơng tính lại KNT chưa tích luỹ thay đổi đến tổng tới hạn i Ti Ti F Bước Bằng cách so sánh tương ứng TiR xác định khả trì hỗn cập nhật KNT thời gian nghỉ công việc Bước Lặp lại bước từ 1–6 cho tất truy vấn tập hợp Z Bằng cách phân tích tất T F  {T F | i  1,2, N} Giả sử ta có tập hợp truy vấn Z  {Zi | i  1,2, N} , với Zi – truy vấn đại diện cho nhóm truy vấn Gi, N – tổng số nhóm R Tmin  {TiR imin | i  1,2, , N} đưa tập hợp truy vấn Zum cần cập nhật KNT thời gian nghỉ thứ m Bước Đối với tập hợp truy vấn Có thể cập nhật KNT với truy vấn chứa hàm thống kê theo chế độ đặc biệt Thông thường, vài sửa đổi liệu làm ảnh hưởng không nhiều lượng kết thống kê số lượng liệu thống kê lớn Vì thế, tồn khả đánh giá vùng giá trị liệu thống kê ảnh hưởng đến kết truy vấn từ thay đổi liệu Điều cho phép trì hỗn cập nhật KNT đến thời điểm đạt tổng tới hạn thay đổi liệu thống kê Có thể xác định tổng cách đếm số thay đổi liệu gốc ZiG  {ZiGj | j  1,2, NiG} tạo nên nhóm Gi, xác định máy trạm làm việc người dùng Mỗi truy vấn Z iGj tương ứng với tập hợp trường bảng G N Trong đó, Fi j  {Fi jl | l  1,2, , N F j } i – số N F j – số trường chọn ZiGj Bước Bằng cách điều tra người dùng cho trường Ti Bước Tìm giá trị nhỏ tập hợp TiR  min(TiR ) Cơ chế cập nhật không đồng tính đến việc phân tích liệu quan điểm yêu cầu tính thực tiễn chúng cho người sử dụng, thời gian biểu ngày tổ chức kinh tế - xã hội Sau bước thuật toán đơn giản xác định thời điểm cập nhật không đồng KNT lựa truy vấn ix lượng nghỉ 3.2 Thuật toán xác đinh thời điểm thực cập nhật không đồng Gi , ij Bước Tìm giá trị nhỏ tập hợp Ti Fj xác định ranh giới cao khoảng c) Dữ liệu đòi hỏi phải cập nhật KNT vào thời điểm định trình hoạt động hệ thống Chẳng hạn, thời điểm cập nhật tính doanh thu ngày vào cuối ngày, thời điểm bắt đầu xếp học bổng cho sinh viên, giải lao, nghỉ trưa, cuối ngày làm việc, thay ca,… truy vấn nhóm j 1 NiG Fi   Fi j xác định III KẾT LUẬN j 1 Thơng qua nghiên cứu vấn đề, kết F khoảng thời gian cho phép tối đa Ti j thời luận: l điểm thay đổi liệu thời điểm cần phải cập nhật thay đổi KNT Gọi khoảng 32 TẠP CHÍ KHOA HỌC & CÔNG NGHỆ CÁC TRƯỜNG ĐẠI HỌC KỸ THUẬT  SỐ 74 - 2009 Khả ứng dụng chế cập nhật khơng đồng dựa sở thực tế có tốn hệ thống thơng tin đòi hỏi phải tính đến phần số thay đổi liệu bảng gốc cách khơng chậm trễ Từ xuất khả trì hỗn cập nhật KNT giai đoạn cao điểm tải Thơng qua điểm đó, cho phép nâng cao suất tổng thể hệ thống thơng tin Bài viết phân tích cập nhật khơng đồng đề nghị thuật tốn xác định thời điểm cập nhật không đồng KNT Vì yêu cầu cập nhật xuất phát từ nhu cầu sử dụng KNT người dùng, nên loại trừ tham gia người sử dụng thuật tốn đơn giản thơng qua kết điều tra Cập nhật không đồng cho phép giảm số lượng cập nhật KNT Đặc biệt, trì hỗn cập nhật KNT giúp giảm tải hệ thống TÀI LIỆU THAM KHẢO SQL Server 2005 manual http://msdn.microsoft.com/en-us/library/ms191432 (SQL.90).aspx 15/12/2008 Eric Hanson and Contributors Improving Performance with SQL Server 2005 Indexed Views http://www.microsoft.com/technet/prodtechnol/sql/ 2005/impprfiv.mspx 20/01/2009 Oracle 11g manual http://download.oracle.com/docs/cd/B28359_01/server statements_6002.htm 17/01/2009 Thomas Kyte; Expert one-on-one Oracle Apress, 2003 L.S Colby, T Griffin, L Libkin, I.S Mumick, H Trickey; Algorithms for deferred view maintenance; ACM SIGMOD Record V 25 Issue 2, 06/1996 Nguyễn Trần Quốc Vinh; Ứng dụng khung nhìn thực để nâng cao tốc độ thực thi truy vấn; Tạp chí Khoa học Công nghệ - Đại học Đà Nẵng, số 1(30), 2009 Quoc Vinh Nguyen Tran, A B Kungurtsev; The analysis of the information systems for applying the materialized views // Метод анализа информационной системы для применения материализованных представлений Холодильна Техніка і Технология Одеса, 2005 – 2(94) – tr 102-105 A B Kungurtsev, Quoc Vinh Nguyen Tran; The analysis of feasibility of applying the materialized views in information systems // Анализ возможности применения МП в ИС Тр Одесск политехн ун–та Одеса, 2003 – 2(20) – tr 102-106 A B Kungurtsev, Quoc Vinh Nguyen Tran; Data extraction from materialized views in information systems // Извлечение данных из материализованных представлений в информационных системах Тр Одесск политехн ун–та Одеса, 2005 – 1(23) – tr 82-87 Địa liên hệ: 111/b28286/ Nguyễn Trần Quốc Vinh - Tel: 0914.780.898, Email: ntquocvinh@gmail.com Trường Đại học Kinh tế, Đại học Đà Nẵng 33 ... cứu khác đề cập đến khả cập nhật không đồng KNT Tuy nhiên, khả cập nhật khơng đồng tài liệu mô tả tuý mặt kỹ thuật cài đặt [2] thuật toán [5] thực cập nhật không đồng KNT sở truy cập liệu cần... cập nhật hoàn toàn cập nhật gia tăng lần cho n thay đổi, thực cập nhật lần có lợi hơn, ngược lại, cập nhật gia tăng n lần có lợi Trong trường hợp cập nhật lần lựa chọn, thông thường, có khả cập. .. n sau thời gian tải hệ thống, cập nhật khơng đồng vào thời tải thường có lợi C) Bởi vì, cập nhật lần cho n thay đổi tốt cập nhật n lần Nếu cập nhật gia tăng cập nhật gia tăng n lần tương ứng