Nghiên cứu xây dựng hệ thống hỗ trợ khung nhìn thực cho các hệ quản trị cơ sở dữ liệu quan hệ nguồn mở

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TÓM TẮT BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ NGHIÊN CỨU XÂY DỰNG HỆ THỐNG HỖ TRỢ KHUNG NHÌN THỰC CHO CÁC HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU QUAN HỆ NGUỒN MỞ Mã số: KYTH-01 (B2017.DNA.06) Chủ nhiệm đề tài: TS NGUYỄN TRẦN QUỐC VINH Đà Nẵng, 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG TÓM TẮT BÁO CÁO TỔNG KẾT' ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ NGHIÊN CỨU XÂY DỰNG HỆ THỐNG HỖ TRỢ KHUNG NHÌN THỰC CHO CÁC HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU QUAN HỆ NGUỒN MỞ Mã số: KYTH-01 (B2017.DNA.06) Chủ nhiệm đề tài NGUYỄN TRÀN QUỐC VINH PGS TS Nguyên Lê Hùng Đà Nẵng, 2020 DANH SÁCH NHỮNG THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI VÀ ĐƠN VỊ PHỐI HỢP CHÍNH Những thành viên tham gia nghiên cứu chính: STT Nguyễn Trần Quốc Vinh Nguyễn Quang Thanh Phạm Anh Phương Nguyễn Hoàng Hải Nguyễn Văn Vương Lê Thành Công Lê Thị Thảo Nguyên Đơn vị công tác lĩnh vực chuyên môn Họ tên Phạm Dương Thu Hằng Trường Đại học Sư phạm - Đại học Đà Nẵng Công nghệ thông tin; Tiến sĩ Sở Thông tin Truyền thông Đà Nẵng Công nghệ thông tin; Tiến sĩ Trường Đại học Sư phạm - Đại học Đà Nẵng Công nghệ thông tin; Tiến sĩ Trường Đại học Sư phạm - Đại học Đà Nẵng Công nghệ thông tin; Tiến sĩ Trường Đại học Sư phạm - Đại học Đà Nẵng Công nghệ thông tin; Học viên cao học Trường Đại học Sư phạm - Đại học Đà Nẵng Công nghệ thông tin; Thạc sĩ Học viên cao học CN Hệ thống thơng tin khố K32 Trường Đại học Sư phạm - Đại học Đà Nẵng Trường Đại học Sư phạm - Đại học Đà Nẵng Công nghệ thông tin; Thạc sĩ Nội dung NC Nghiên cứu tổng thuật; nghiên cứu lý thuyết & đề xuất giải pháp; thử nghiệm triển khai ứng dụng; viết báo cáo Nghiên cứu lý thuyết; thử nghiệm hệ thống, phần mềm Thử nghiệm hệ thống, phần mềm Phát triển hệ thống, phần mềm Phát triển hệ thống, phần mềm Phát triển hệ thống, phần mềm Phát triển hệ thống, phần mềm Nghiên cứu tổng thuật, viết báo cáo Những đơn vị phối hợp chính: Tên đơn vị ngồi nước Trường Đại học Sư phạm, Đại học Đà Nẵng Nội dung phối hợp nghiên cứu Thử nghiệm triển khai ứng dụng hệ thống, phần mềm Sở Thông tin Truyền thông Đà Nẵng Triển khai thử nghiệm hệ thống, phần mềm Họ tên người đại diện đơn vị Nguyễn Bảo Hoàng Thanh Nguyễn Quang Thanh MỤC LỤC DANH MỤC VIẾT TẮT DANH MỤC BẢNG BIỂU DANH MỤC HÌNH ẢNH THÔNG TIN KẾT QUẢ NGHIÊN CỨU INFORMATION ON RESEARCH RESULTS MỞ ĐẦU Tính cấp thiết đề tài 65 Mục tiêu Cách tiếp cận Phương pháp nghiên cứu .7 Đối tượng phạm vi nghiên cứu 7 Nội dung nghiên cứu .8 TỔNG QUAN Khung nhìn ảo khung nhìn thực CHƯƠNG thực .8 Ứng dụng khung nhìn 1.1 Cập nhật khung nhìn thực 1.2nhìn thực để trả lời truy vấn Dùng khung 1.3 PostgreSQL Kiến trúc 1.4 .8 Kết chương 1.5 VÀ SO SÁNH TRUY VẤN BIỂU DIỄN 1.6 diễn truy vấn Mơ hình biểu CHƯƠNG kiện So sánh biểu thức điều 2.1 Chiến lược so sánh truy vấn .9 2.2 .9 Kết chương 2.3 GIA TĂNG ĐỒNG BỘ CẬP NHẬT 2.4 Truy vấn SPJ CHƯƠNG gộp 10 Truy vấn bao gồm hàm 3.1 Truy vấn đệ quy 10 3.2 13 Truy vấn lồng 3.3 .13 Kết chương 3.4 GIA TĂNG BẤT ĐỒNG BỘ 13 CẬP NHẬT 3.5tăng KNT lỗi trạng thái 13 Cập nhật gia CHƯƠNG Thuật toán cập nhật4gia tăng bất đồng .13 4.1 .14 Kết chương 4.2 NGUỒN TỰ ĐỘNG ĐỂ THỰC HIỆN CẬP NHẬT GIA TĂNG14 Một số tính SINH MÃ 4.3PostgreSQL 14 trigger CHƯƠNG 14 Một số kỹ thuật chung 5.1 Truy vấn SPJ 14 5.2 gồm hàm gộp 14 Truy vấn bao 5.3quy 15 Truy vấn đệ 5.4đồng 16 Cập nhật bất 5.5 thảo luận 16 Thực nghiệm 5.6 .17 Kết chương 5.7 TRUY VẤN ĐỂ SỬ DỤNG KHUNG NHÌN THỰC .17 VIẾT LẠI Nghiên cứu5.8mã nguồn PostgreSQL 17 Lưu trữ CHƯƠNG thông tin khung nhìn thực 17 6.1 Truy vấn SPJ 17 6.2hàm gộp 17 Truy vấn với 6.3 18 Truy vấn lồng Xây dựng 6.4 mô-đun 18 6.5 Tích hợp vào mã nguồn 18 6.6và đánh giá 18 Thử nghiệm 6.7 .19 Kết chương 6.8 ■*'ĩ 20 6.9 KẾT DANH MỤC VIẾT TẮT LUẬN Viết tắt Diễn giải CNGT Cập nhật gia tăng CSDL HQT KNT CTE SQL Cơ sở liệu Hệ quản trị Khung nhìn thực Common table expression Structured query language DANH MỤC BẢNG BIỂU Bảng 5.1 Thời gian thực thi truy vấn thao tác liệu bảng gốc (ms) Bảng 5.2 Thời gian CNGT KNT đệ quy (ms) Bảng 5.3 Thời gian CNGT bất đồng (ms) Bảng 6.3 Đánh giá hiệu mô-đun viết lại truy vấn Bảng 6.6 Đánh giá hiệu tích hợp mơ-đun viết lại truy vấn 19 16 16 17 18 DANH MỤC HÌNH ẢNH Hình 3.1 Truy vấn đệ quy chung ban đầu 10 Hình 3.2 Truy vấn đệ quy chung chuyển đổi 10 Hình 3.7 CNGT cho kiện thêm trường hợp khơng cần đảm bảo tính tồn vẹn tham chiếuio Hình 3.8 CNGT cho kiện xóa 'rong trường hợp khơng cần đảm bảo tính tồn vẹn tham chiếu 11 Hình 3.9 CNGT cho kiện xóa trường hợp phải đảm bảo tính tồn vẹn tham chiếu 11 Hình 3.10 CNGT trường hợp khơng cần đảm bảo tính tồn vẹn tham chiếu cho kiện xóa 12 Hình 3.11 Trường hợp nrt_query trả cung 13 Hình 5.1 Thủ tục sinh mã nguồn triggei 15 Hình 5.2 Mơ hình ngun mẫu hệ thống cập nhật bất đồng 16 Hình 6.1 Quá trình xử lý truy vấn PostgreSQL mơ-đun viết lại truy vấn 18 THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung - Tên đề tài: Nghiên cứu xây dựng hệ thống hỗ trợ khung nhìn thực cho hệ quản trị sở liệu quan hệ nguồn mở - Mã số: KYTH-01 (B2017.DNA.06) - Chủ nhiệm đề tài: TS Nguyễn Trần Quốc Vinh - Tổ chức chủ trì: Đại học Đà Nẵng - Thời gian thực hiện: Từ tháng 01 năm 2017 đến tháng 12 năm 2018 Mục tiêu Mục tiêu tổng quát: Xây dựng hệ thống hỗ trợ khung nhìn thực cho hệ quản trị sở liệu quan hệ nguồn mở Mục tiêu cụ thể: - Xây dựng thuật toán phân hệ thực cập nhật gia tăng đồng bất đồng cho khung nhìn thực sở truy vấn - Xây dựng thuật toán phân hệ viết lại truy vấn để sử dụng toàn bộ, phần khung nhìn thực kết hợp với bảng gốc để trả lời truy vấn người dùng - Tích hợp vào hệ quản trị sở liệu mã nguồn mở (dự kiến PostgreSQL) Tính sáng tạo Khung nhìn thực mở nhiều vấn đề nghiên cứu lý thuyết triển khai Cho đến có hàng trăm báo khoa học lĩnh vực 'đã công bố cập nhật gia tăng khung nhìn thực, tìm kiếm ọ khả sử dụng khung nhìn thực viết lại truy vấn để sử dụng khung nhìn thực lựa chọn truy vấn để tạo khung nhìn thực Tuy nhiên, có bốn hệ quản trị sở liệu thương mại hàng đầu giới triển khai thành công khung nhìn thực, Oracle, SQL Server, DB2 gần SQL Anywhere PostgreSQL hệ quản trị sở liệu quan hệ mã nguồn mở hàng đầu giới, Bộ Thông tin Truyền thông Việt Nam lựa chọn khuyến cáo sử dụng đến chưa hỗ trợ khung nhìn thực cấp độ cập nhật gia tăng hay tự động viết lại truy vấn để sử dụng khung nhìn thực Vấn đề chủ yếu nằm chỗ từ lý thuyết kết cơng trình nghiên cứu đến triển khai thực tế khoảng cách lớn, thiếu nghiên cứu triển khai thực tiễn cách tự động cho truy vấn đầu vào chí cho truy vấn đầu vào thoả mãn điều kiện cho trước Đề tài này tham khảo 150 cơng trình nghiên cứu khác nhau, từ cung cấp tương đối đầy đủ từ lý thuyết liên quan cập nhật gia tăng viết lại truy vấn để sử dụng khung nhìn thực đến cách thức triển khai hệ quản trị sở liệu mã nguồn mở, cụ thể PostgreSQL Kết nghiên cứu Đề tài cung cấp tương đối đầy đủ mặt lý thuyết cách thức triển khai KNT HQT CSDL quan hệ mã nguồn mở, cụ thể PostgreSQL - Nghiên cứu tổng quan khung nhìn thực - Xây dựng mơ hình biểu diễn so sánh truy vấn - Xây dựng thuật toán CNGT đồng bất đồng cho KNT sở truy vấn SPJ, truy vấn bao gồm hàm thống kê, truy vấn lồng, truy vấn đệ quy có chứa phép nối - Xây dựng thuật tốn cơng cụ sinh mã nguồn tự động triển khai thuật toán CNGT đề xuất - Xây dựng thuật toán viết lại truy vấn để sử dụng KNT cho trường hợp truy vấn SPJ, truy vấn bao gồm hàm gộp - Thực thực nghiệm phân tích, đánh giá kết thu Sản phẩm Tên sản phẩm Stt SL Yêu cầu chất lượng sản phẩm I Sản phẩm khoa học (Các cơng trình khoa học cơng bố: sách, báo khoa học ) Bài báo quốc tế thuộc danh mục Scopus (Q3): A solution for synchronous incremental maintenance of materialized views based on SQL recursive query Authors: Nguyen Tran Quoc Vinh, Dang Thanh Hao, Pham Duong Thu Hang, Abeer Alsadoon, PW Chandana Prasad, Nguyen Viet Anh Eastern-European Journal of Enterprise Technologies (Q3) No: 11 Pages: 12 Year 2019 (Feb 27 2020) Bài báo tạp chí/kỷ 1.1 02 Bài báo quốc tế thuộc danh mục Scopus (Q3): A new solution for yếu hội thảo quốc tế asynchronous incremental maintenance of materialized views Authors: Nguyen Tran Quoc Vinh, Le Van Khanh, Tran Trong Nhan, Tran Dang Hung, PW Chandana Prasad, Abeer Alsadoon, Pham Duong Thu Hang Eastern-European Journal of Enterprise Technologies (Q3) No: VOL 1, NO (103) Pages: 6-13 Year 2020 1.2 Sách giáo trình 01 Cơ sở liệu, NXB Đà Nẵng, 2019 1.3 Sách tham khảo 01 Khung nhìn thực: Lý thuyết triển khai, NXB Đà Nẵng, 2019 II Sản phẩm đào tạo (Cử nhân, 'hạc sỹ, Tiến sỹ ) Bảo vệ thành cơng Học viên 1: Trần Duy Bình Tên đề tài: Nghiên cứu ứng dụng Anchor Modeling khung nhìn thực để nâng cao hiệu quản lý điểm học sinh trường THPT Ba Gia tỉnh Quảng Ngãi Người hướng dẫn: TS Nguyễn Trần Quốc Vinh 2.1 Thạc sĩ 02 Năm bảo vệ: 2019 Học viên 2: Lê Thị Thanh Châu Tên đề tài: Nghiên cứu ứng dụng khung nhìn thực để nâng cao hiệu phần mềm Quản lý đào tạo Trường Đại học Tài - Kế toán Người hướng dẫn: TS Nguyễn Trần Quốc Vinh Năm bảo vệ: 2019 III Sản phẩm ứng dụng Hoạt động tốt Phân hệ hỗ trợ khung Mã nguồn mở nhìn thực tích Đảm bảo yêu cầu đặt mục tiêu đề tài (cập 3.1 hợp vào hệ quản trị 01 nhật gia tăng; cập nhật đồng bất đồng bộ; truy vấn nối sở liệu PostgreSQL trong, nối ngoài, bao gồm hàm gộp, truy vấn lồng, đệ quy; viết lại truy vấn để khai thác khung nhìn thực) Phương thức chuyển giao, địa ứng dụng, tác động lợi ích mang lại kết nghiên cứu Phương thức chuyển giao: Sản phẩm ứng dụng dự kiến chuyển giao: Phân hệ hỗ trợ khung nhìn thực tích hợp vào PostgreSQL, cung cấp dạng mã nguồn mở Phân hệ thực cập nhật gia tăng đồng bất đồng khung nhìn thực nhận biết khả sử dụng khung nhìn thực để viết lại truy vấn nhằm tăng tốc độ thực thi truy vấn Các lệnh liên quan bổ sung vào hệ thống lệnh PostgreSQL Địa ứng dụng: PostgreSQL tích hợp khả hỗ trợ khung nhìn thực sử dụng rộng rãi, đặc biệt hữu dụng hệ thống thông tin quản lý có yêu cầu xử lý phức tạp lượng liệu lớn với thời gian thực thi truy vấn thấp chí chế độ thời gian thực yêu cầu giảm tải tài nguyên hệ thống Tại Việt Nam, PostgreSQL ngày sử dụng rộng rãi, đặc biệt quan quản lý Nhà nước hệ thống giáo dục đại học, cao đẳng Tác động lợi ích mang lại kết nghiên cứu: Đối với lĩnh vực giáo dục đào tạo: Kết đề tài tạo sách giáo trình sách tham khảo có giá trị liên quan đến lĩnh vực tối ưu hoá thực thi truy vấn hệ quản trị sở liệu nói riêng lĩnh vực liên quan quản trị liệu nói chung Tài liệu sử dụng để phục vụ đào tạo bậc đại học sau đại học, nguồn tham khảo có giá trị mặt khoa học độ tin cậy cao góp phần nâng cao chất lượng đào tạo, trước hết Đại học Đà Nẵng, lĩnh vực công nghệ thơng tin Ngồi ra, tham gia thực đề tài cịn có học viên cao học giảng viên trẻ Đại học Đà Nẵng Việc tham gia thực đề tài giúp học viên cao học cán tích lũy thêm nhiều kinh nghiệm q báu góp phần rèn luyện kỹ nghiên cứu khoa học Đối với lĩnh vực khoa học cơng nghệ có liên quan; Đối với phát triển kinh tế-xã hội; Đối với tổ chức chủ trì sở ứng dụng kết nghiên cứu INFORMATION ON RESEARCH RESULTS Reneral information - Title: Building a system for supporting materialized views in open source database management systems -Code number: KYTH-01 (B2017.DNA.06) - Cordinator: Nguyen Tran Quoc Vinh - Implementing organization: The University of Da Nang - Duration: From 01/2017 to 12/2018 (12/2019) Objective This research aims to build a sub-system that supports materialized views for open source database management systems with the following concrete objectives: - Build the algorithms for synchronous and asynchronous incremental update of materialized views created based on any SQL queries - Build a sub-system that implements incremental update of materialized views synthrisizing source code in C which undertake those built algorithms - Build the algorithms and sub-system for query re-writing to use whole materialized view, part of materialized view or in combination with base tables to answer user' queries Integrating sub-systems to a open source database management system (PostgreSQL is suggested) Creativeness and innovativeness Materialized views are implemented in the famous database management systems, such as Oracle, IBM DB2 and MS SQL Server They are not supported in the open source database management systems The possible obstructs are the difficulty in building the sub-systems that i) update the materialized views incrementally by the automatic way; and ii) re-write user' queries to use materialized views automatically The research builds the algorithms for synchronous and asynchronous incremental updates of materialized views based on SPJ queries, queries with aggregate functions, nested subqueries and recursive queries It proposes the algorithms as well as builds the programs that generates automatically the source code on C proggramming language for incremental update of materialized views in the database management system PostgreSQL by synchronous and asynchronous manner Concerning using materialized views to answer queries, this research builds algorithms for the cases of SPJ queries, queries with aggregations and nested subqueries The supporting subsytem is built and integrated into PostgreSQL Research results The research meets above mentioned targets It provides relatively adequate theory and implementing approach to support materialized views in open source database management systems, PostgreSQL in concrete - Studies exhaustedly more than 150 published works in the field - Builds models for queries presentation and comparision - Builds the algorithms for synchronous and asynchronous incremental updates of materialized views based on SPJ queries, queries with aggregate functions, nested subqueries and recursive queries - Builds the algorithms and tool for automatic source code synthesization implementing proposed incremental update algorithms - Bilds the algorithms for queries rewriting to use materialized views - Provides number of experiments, analyzes and evaluates obtained experimental results Products # Product name Qlty Requirements I Scientific results published, Scopus Q3; accepted, Papers on international journals / 1.1 02 Scopus Q3 conference proceedings 1.2 Textbook 01 Accepted by UD-USE and printed 1.3 Book 01 Printed II Trainning products 2.1 Master 02 Defensed thethises III Application products The sub-systems work well, satisfy all the features mentioned above and Sub-systems supporting materialized 3.1 01 is integrated into PostgreSQL v10 views which is integrated into PostgreSQL and tested Effects, transfer alternatives of research results and applicability Transfer alternatives All the source code of related projects are published as open souce under PostgreSQL lisence Applicability PostgreSQL with supporting materialized views may be used popularly It especially useful for the management information systems with features which require complicated processing on large amount of data, even require processing results in realtime mode but decreasing amount of system resource used In Vietnam, PostgreSQL becomes popular database management system day after day, especially in the government institutions and higher education system Positive effects - The Ministry of Information and Communication of Vietnam has issued the circular No 49/2009/TT-BTTTT that recommends to choose the PostgreSQL as the database management system for state and public organiztions The success of the implementation of the materialized view technology in PostgreSQL will reward the big social-economic effectiveness - The textbook and book published may be very valued reference source for undergradute students, grateduate, postgradute students and reserachers The project clearly improves the ability of master students and young lecturers who directly participate in the research MỞ ĐẦU Tính cấp thiết đề tài Có thể nâng cao hiệu hệ thống thơng tin nói chung hệ quản trị sở liệu nói riêng giải pháp đẩy mạnh trang bị phần cứng áp dụng giải pháp phần mềm Tuy nhiên, giải pháp phần cứng giúp giải vấn đề khơng thể đắt đỏ, đặc biệt yêu cầu kết xử lý phức tạp lượng liệu lớn với thời gian thực thi truy vấn thấp chí chế độ thời gian thực ngày trở nên thường xun Khung nhìn thực cơng nghệ hữu dụng, giúp tăng tốc độ thực thi truy vấn nhiều lần, giúp giảm tải cho hệ quản trị sở liệu nói riêng hệ thống nói chung Cụ thể, khung nhìn thực giúp giảm số lượng lần đọc/ghi vật lý, khối lượng liệu cần xử lý giảm; giảm tải vi xử lý trung tâm tài nguyên nói chung; giảm khối lượng thao tác nối, xếp tính hàm tổng hợp Tất nhiên, hệ thống phải trả giá định để thực cập nhật khung nhìn thực Khung nhìn thực triển khai ứng dụng hiệu bốn hệ quản trị sở liệu thương mại hàng đầu giới, Oracle, SQL Server, IBM DB2 SQL Anywhere Chưa có hệ quản trị sở liệu nguồn mở hỗ trợ khung nhìn thực Nguyên nhân việc chậm triển khai ứng dụng công nghệ hiệu hệ quản trị sở liệu nguồn mở phức tạp mặt lý thuyết nghiên cứu lại rời rạc, triển khai thực tế cập nhật gia tăng tự động cho truy vấn ' đầu vào lại khó khăn hơn, làm kìm hãm việc sử dụng rộng rãi khung nhìn thực hệ thống thơng tin Nếu vấn đề cập nhật gia tăng liệu khung nhìn thực ý nhiều cơng trình khoa học, nói chưa có cơng trình nghiên cứu cách đầy đủ vấn đề triển khai thuật toán cập nhật gia tăng hệ quản trị sở liệu thực tế cho truy vấn đầu vào vấn đề tìm kiếm ứng cử viên để viết lại truy vấn sử dụng khung nhìn thực Việc xây dựng phân hệ hỗ trợ khung nhìn thực hệ quản trị sở liệu nguồn mở địi hỏi nguồn lực lớn với nhiều khó khăn dựa kết nghiên cứu công bố PostgreSQL hệ quản trị sở liệu nguồn mở hàng đầu nay, thể hiệu tính ổn định vượt trội so với hệ quản trị sở liệu khác quản trị lượng lớn liệu; Bộ Thông tin Truyền thông khuyến cáo lựa chọn theo Thông tư số 49/2009/TT-BTTTT Nghiên cứu xây dựng hệ thống hỗ trợ khung nhìn thực cho hệ quản trị sở liệu quan hệ nguồn mở triển khai thực tế với PostgreSQL cấp thiết Mục tiêu Mục tiêu tổng quát: Xây dựng hệ thống hỗ trợ khung nhìn thực cho hệ quản trị sở liệu quan hệ nguồn mở Mục tiêu cụ thể: - Xây dựng thuật toán phân hệ thực cập nhật gia tăng đồng bất đồng cho khung nhìn thực sở truy vấn - Xây dựng thuật toán phân hệ viết lại truy vấn để sử dụng tồn bộ, phần khung nhìn thực kết hợp với bảng gốc để trả lời truy vấn người dùng - Tích hợp vào hệ quản trị sở liệu mã nguồn mở (dự kiến PostgreSQL) Cách tiếp cận Phương pháp nghiên cứu - Phương pháp nghiên cứu lý thuyết: i) Nghiên cứu tài liệu hệ quản trị sở liệu nói chung khung nhìn thực nói riêng; kiến trúc xử lý hệ quản trị sở liệu; chế phương pháp cập nhật khung nhìn thực; sinh mã nguồn tự động; vấn đề viết lại truy vấn tương đương; kỹ thuật đánh giá hiệu hệ quản trị sở liệu ii) Nghiên cứu cơng trình cơng bố, thực tổng hợp, cải tiến thuật toán cập nhật gia tăng công bố phát triển thuật toán cập nhật gia tăng iii) Phát triển thuật toán sinh mã nguồn tự động, triển khai thuật tốn gia tăng khung nhìn thực chế đồng bất đồng - Phương pháp nghiên cứu thực nghiệm: Xây dựng phân hệ theo mơ hình phát triển phần mềm thác nước: i) Xây dựng phân hệ sinh tự động mã nguồn trigger thực cập nhật đồng bộ; xây dựng phân hệ sinh tự động mã nguồn cá trigger thu thập thông tin cập nhật liệu sở liệu, sinh tự động mã nguồn mô đun thực cập nhật bất đồng bộ; nghiên cứu tích hợp phân hệ vào hệ quản trị sở liệu mã nguồn mở PostgreSQL ii) Xây dựng phân hệ phát viết lại truy vấn để sử dụng khung nhìn thực; tích hợp vào phân hệ vào hệ quản trị sở liệu mã nguồn mở PostgreSQL Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu đề tài bao gồm: - Các hệ quản trị sở liệu thương mại có hỗ trợ khung nhìn thực - Các hệ quản trị sở liệu mã nguồn mở kiến trúc chúng - Truy vấn lựa chọn liệu SQL đại số quan hệ - Khung nhìn thực, thuật tốn cập nhật khung nhìn thực - Kỹ thuật viết lại truy vấn - Các kỹ thuật sinh mã nguồn tự động Trong khuôn khổ đề tài này, phạm vi nghiên cứu giới hạn: - Cập nhật gia tăng đồng bất đồng - Truy vấn bao gồm phép nối trong, nối ngoài; truy vấn SPJ, truy vấn bao gồm hàm gộp; truy vấn lồng; truy vấn đệ quy - Truy vấn không bao gồm phép tự nối - Phân hệ phần mềm xây dựng cho trường hợp hệ quản trị sở liệu mã nguồn mở PostgreSQL Nội dung nghiên cứu Để đạt mục tiêu đặt ra, nội dung nghiên cứu triển khai gồm: a) Nghiên cứu tổng quan đề tài b) Nghiên cứu đề xuất mơ hình giải pháp - Phát triển mơ hình biểu diễn truy vấn Định nghĩa phép toán truy vấn Phát triển thuật toán biến đổi so sánh biểu thức, chiến lược so sánh truy vấn - Xây dựng thuật toán cập nhật gia tăng đồng khung nhìn thực tạo sở truy vấn đầu vào thuộc lớp truy vấn hỗ trợ, bao gồm SPJ, nối ngồi, hàm gộp nhóm, truy vấn lồng, truy vấn đệ quy sở tổng hợp cải tiến thuật tốn cơng bố - Xây dựng thuật toán cập nhật gia tăng bất đồng khung nhìn thực tạo sở truy vấn đầu vào thuộc lớp truy vấn hỗ trợ, bao gồm SPJ, nối ngồi, hàm gộp nhóm, truy vấn lồng, truy vấn đệ quy sở tổng hợp cải tiến thuật tốn cơng bố - Xây dựng thuật toán sinh tự động mã nguồn cho tất kiện cập nhật liệu bảng gốc liên quan cho trường hợp cập nhật đồng cập nhật bất đồng Mã nguồn sinh thực triển khai thuật tốn cập nhật gia tăng khung nhìn thực - Xây dựng thuật tốn sinh mã nguồn mơ-đun thực cập nhật bất đồng - Xây dựng thuật toán phát viết lại truy vấn nhằm sử dụng khung nhìn thực thực thi truy vấn Cơ chế kết hợp có tính đến trường sử dụng phần bảng gốc, phần khung nhìn thực thế, cho phép mở rộng phạm vi sử dụng khung nhìn thực c) Cài đặt kiểm thử - Cài đặt phân hệ sinh tự động mã nguồn trigger triển khai thuật toán cập nhật đồng - Cài đặt phân hệ sinh tự động mã nguồn trigger thực thu thập thông tin cập nhật liệu sở liệu; phân hệ sinh tự động mô-đun triển khai thuật toán cập nhật bất đồng - Cài đặt mô-đun phát khả sử dụng khung nhìn thực viết lại truy vấn nhằm sử dụng khung nhìn thực thực thi truy vấn - Cài đặt, tích hợp triển khai thành cơng phân hệ hỗ trợ khung nhìn thực PostgreSQL; bổ sung lệnh vào hệ thống lệnh PostgreSQL d) Triển khai thử nghiệm, đánh giá phân hệ xây dựng - Thử nghiệm hệ thống - Phân tích đánh giá kết CHƯƠNG TỔNG QUAN 1.1 Khung nhìn ảo khung nhìn thực Khung nhìn thực bảng đặc biệt lưu trữ cách dư thừa kết thực thi truy vấn, sử dụng để trả lời truy vấn tương đương truy vấn khác xuất sau KNT quan trọng đặt nhiều câu hỏi nghiên cứu, chẳng hạn cập nhật KNT bao gồm cập nhật gia tăng (CNGT, incremental update, incremental maintenance) chiến lược bảo trì, sử dụng KNT để trả lời truy vấn tối ưu hóa, lĩnh vực khác nhau, lĩnh vực truyền thống kho liệu, truyền liệu, web web ngữ nghĩa, hệ thống phân tán quan tâm đến định hướng tương lai IoT, thương mại thơng minh phân tích, ứng dụng web 1.2 Ứng dụng khung nhìn thực 1.3 Cập nhật khung nhìn thực Mỗi liệu bảng gốc cập nhật, KNT sử dụng liệu từ bảng gốc trở nên khơng thực tiễn (not actual, khơng cịn đúng) Quá trình làm cho liệu KNT tương ứng với thay đổi liệu bảng gốc gọi cập nhật (actualization, update, maintenance) KNT Nếu thực thi lại truy vấn lưu trữ kết vào KNT (giống tạo KNT), q trình cập nhật gọi tính lại hoàn toàn Nếu thay đổi KNT tương ứng với phần liệu thay đổi bảng gốc, gọi CNGT 1.4 Dùng khung nhìn thực để trả lời truy vấn 1.5 Kiến trúc PostgreSQL 1.6 Kết chương Cần phải có nhóm thuật toán CNGT thực hệ thống hoá, tổng hợp ưu điểm thuật toán cơng bố trước đây; thực thống hố theo chiến lược; cần thực cải tiến chúng xây dựng thuật toán sinh mã nguồn tự động để tự động triển khai thuật tốn CNGT KNT viết lại truy vấn để sử dụng KNT sở truy vấn đầu vào CHƯƠNG BIỂU DIỄN VÀ SO SÁNH TRUY VẤN 2.1 Mơ hình biểu diễn truy vấn 2.1.1 Truy vấn SPJ Mỗi truy vấn SPJ thứ xth Qx mà KNT thứ xth dựa vào bao gồm: Qx (Sx,Tx,Jx,W x) (2.1) 2.1.2 Truy vấn bao gồm hàm gộp Mỗi truy vấn Q thứ x có hàm thống kê sở ta tạo KNT thứ x bộ: Qx (Sx,Tx,Jx,Wx,Gx ) (2.2) 2.2 So sánh biểu thức điều kiện 2.2.1 Phủ điều kiện chọn ghi 2.2.2 So sánh dạng chuẩn tắc 2.2.3 So sánh điều kiện giản đơn 2.2.3.1 Biểu thức đại số 2.2.3.2 Biểu thức chuỗi ký tự Chiến lược so sánh truy vấn 2.3 Kết chương 2.4 Không vấn đề phát viết lại truy vấn để sử dụng KNT, so sánh truy vấn CHƯƠNG CẬP NHẬT ĐỒNG quan trọng' trình cập nhật3KNT ChươngGIA TĂNG tìm hiểu mơBỘ hình biểu diễn truy vấn cho trường hợp truy vấn SPJ truy vấn bao gồm hàm thống kê, đề xuất thuật toán biến đổi biểu thức điều 3.1 SPJ kiện vềTruy dạngvấn tắc tuyển truy vấn thống trình tạo KNT trình 3.1.1 Một số tính tốnviệc so sánh truy vấn phục vụ việc sử dụng cập nhật KNT Phần đề cập nhật để tối ưu hoá newM xuất bước chiến lượcđại so số sánh truy có dạng biểu thức quan hệvấn nhưSPJ, sau: phát triển mở rộng cho trường hợp truy vấn bao gồm hàm thống kê Để phục vụ viết KNT newM TTđể trả lời truy vấn (CHƯƠNG 6), mơ hình biểu diễn ' )fr) lại truy vấn sử dụng *■ J truy vấn SPJ truy vấn bao gồm hàm gộp chương điều chỉnh, bổ sung nhãn trường/biểu thức mệnh đề SELECT Đó cột lưu bảng KNT ■-■-,)w-) 71^s, i ( ) ) , o0dM có dạng biểu thức đại số quan hệ sau: o ' = vfw)(T’XJ; 11 ••*■J:, T’••>