LUẬN văn THẠC sỹ tối ưu hóa TRUY vấn TRONG các cơ sở dữ LIỆU PHÂN tán

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN&TRUYỀN THƠNG LƯƠNG KIM CƯƠNG TỐI ƯU HĨA TRUY VẤN TRONG CÁC CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN&TRUYỀN THƠNG LƢƠNG KIM CƢƠNG TỐI ƢU HĨA TRUY VẤN TRONG CÁC CƠ SỞ DỮ LIỆU PHÂN TÁN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS ĐỒN VĂN BAN Thái Ngun - LỜI CAM ĐOAN Tơi xin cam đoan, kết luận văn hoàn toàn kết tự thân tơi tìm hiểu nghiên cứu thông qua tham khảo tài liệu đƣợc thực dƣới hƣớng dẫn PGS.TS Đoàn Văn Ban Các tài liệu tham khảo đƣợc trích dẫn thích đầy đủ Tác giả Lƣơng Kim Cƣơng LỜI CẢM ƠN Lời đầu tiên, xin chân thành cảm ơn PGS.TS Đoàn Văn Ban, ngƣời trực tiếp giảng dạy thời gian học tập ngƣời trực tiếp hƣớng dẫn, giúp đỡ tạo điều kiện thuận lợi cho từ lúc nhận đề tài đến hoàn thành luận văn Tôi xin gửi lời cảm ơn sâu sắc đến tất Thầy cô tham gia giảng dạy truyền đạt kiến thức, kinh nghiệm quý báu cho hai năm học cao học trƣờng Đại học Công Nghệ Thông Tin Truyền Thông – Đại học Thái Nguyên Những kiến thức giúp tơi nhiều q trình làm luận văn Cuối cùng, tơi xin cảm ơn tất ngƣời thân, bạn bè đồng nghiệp khích lệ, động viên, đóng góp ý kiến giúp đỡ tơi hồn thành luận văn Thái Nguyên, ngày… tháng….năm 2019 Lƣơng Kim Cƣơng i DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Ký hiệu Diễn giải CSDL Cơ sở liệu CPU Bộ xử lý trung tâm I/O Cổng vào/ DP Quy hoạch động ACO Tối ƣu đàn kiến ii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Kiến trúc tham chiếu sở liệu phân tán [3] Hình 1.2: Cây phân tách quan hệ 13 Hình 2.1: Giải pháp A 18 Hình 2.2: Giải pháp B 18 Hình 2.3: Sơ đồ quy trình xử lý truy vấn [4] 21 Hình 2.4: Đồ thị truy vấn Đồ thị nối 25 Hình 2.5: Đồ thị truy vấn Đồ thị nối với câu truy vấn sai ngữ nghĩa 25 Hình 2.6: Cây đại số quan hệ 28 Hình 2.7: Cây đại số quan hệ sau tái cấu trúc 30 Hình 2.8: Câu truy vấn gốc 32 Hình 2.9: Câu truy vấn rút gọn .32 Hình 2.10: Rút gọn phân mảnh ngang 33 Hình 2.11: Rút gọn phân mảnh dọc 35 Hình 2.12: Rút gọn cho phân mảnh ngang dẫn xuất 36 Hình 2.13: Rút gọn phân mảnh hỗn hợp 37 Hình 2.14: Bộ tối ƣu truy vấn 38 Hình 2.15: Các nối .39 Hình 2.16: Hình dáng số nối 40 Hình 2.17: Đồ thị minh họa tổng chi phí thời gian trả lời .42 Hình 2.18: Đồ thị nối truy vấn q1 .58 Hình 2.19: Các thứ tự kết nối 59 Hình 2.20: Quá trình định đƣờng đàn kiến .64 MỤC LỤC GIỚI THIỆU CHƢƠNG CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm hệ sở liệu phân tán 1.1.1 Khái niệm 1.1.2 Hệ quản trị sở liệu phân tán 1.1.3 Những ƣu điểm sở liệu phân tán 1.1.4 Những nhƣợc điểm sở liệu phân tán [3] 1.2 Các đặc trƣng suốt sở liệu phân tán 1.2.1 Trong suốt phân tán 1.2.2 Trong suốt giao dịch 1.2.3 Trong suốt thất bại 1.2.4 Trong suốt thao tác 1.2.5 Trong suốt tính khơng 1.3 Kiến trúc tham chiếu sở liệu phân tán 1.4 Các kỹ thuật xây dựng sở liệu phân tán 1.4.1 Phân mảnh 1.4.1.1 Phân mảnh ngang 10 1.4.1.2 Phân mảnh ngang dẫn tiếp 11 1.4.1.3 Phân mảnh dọc 12 1.4.1.4 Phân mảnh hỗn hợp 13 1.4.2 Nhân liệu 14 1.4.3 Định vị liệu 14 1.5 Kết luận chƣơng 15 CHƢƠNG TỐI ƢU HÓA TRUY VẤN CƠ SỞ DỮ LIỆU PHÂN TÁN 16 2.1 Vấn đề tối ƣu hóa xử lý truy vấn 16 2.2 Quá trình xử lý truy vấn 20 2.2.1 Phân rã truy vấn 21 2.2.2 Cục hóa liệu phân tán 30 2.2.2.1 Rút gọn cho phân mảnh ngang nguyên thủy 31 2.2.2.2 Rút gọn cho phân mảnh dọc 34 2.2.2.3 Rút gọn cho phân mảnh ngang dẫn xuất 35 2.2.2.4 Rút gọn cho phân mảnh hỗn hợp 37 2.2.3 Tối ƣu hóa tồn cục 38 2.2.3.1 Khơng gian tìm kiếm 39 2.2.3.2 Mơ hình chi phí 41 2.2.4 Tối ƣu hóa cục 47 2.3 Tối ƣu hóa truy vấn dựa vào phƣơng pháp tối ƣu đàn kiến 47 2.4 Một số thuật tốn tối ƣu hóa truy vấn phân tán 48 2.4.1 Thuật toán D-INGRES 49 2.4.2 Thuật toán R* 54 2.4.3 Thuật toán SDD-1 59 2.4.4 Thuật toán Hybrids đàn kiến tối ƣu truy vấn phân tán 63 2.5 Kết luận chƣơng 68 CHƢƠNG 70 CÀI ĐẶT THUẬT TỐN TỐI ƢU HĨA TRUY VẤN PHÂN TÁN 70 3.1 Xác định toán 70 3.2 Mơ hình phân tán CSDL, cơng cụ, ngơn ngữ lập trình 73 3.3 Thuật toán áp dụng 76 3.4 Kết thử nghiệm 76 3.5 Kết luận thực nghiệm 81 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 82 TÀI LIỆU THAM KHẢO 83 GIỚI THIỆU Lý chọn đề tài Cơ sở liệu phân tán đáp ứng phần lớn nhu cầu thực tế liệu phục vụ công tác quản lý ngày lớn đa dạng Đặc biệt, hệ quản trị sở liệu phân tán giải đƣợc vấn đề lƣu trữ liệu phục vụ cho nhiều ngƣời dùng phân tán khắp nơi Khi khối lƣợng thông tin phải xử lý ngày lớn, đa dạng phong phú, liệu đƣợc phân bố nhiều nơi vấn đề đặt xử lý thông tin nhƣ để giảm chi phí đến mức tối thiểu Một giải pháp có tính khả thi phải tối ƣu hóa câu lệnh truy vấn liệu Nghiên cứu tối ƣu hóa truy vấn sở liệu phân tán cần thiết để khai thác có hiệu liệu phân tán Do đó, tơi chọn nghiên cứu đề tài “Tối ƣu hóa truy vấn sở liệu phân tán” làm luận văn tốt nghiệp Mục đích nghiên cứu Đề tài phân tích, trình bày cách có hệ thống nghiên cứu sở liệu quan hệ, nghiên cứu phƣơng pháp thiết kế sở liệu phân tán, kỹ thuật tối ƣu hóa câu truy vấn sở liệu phân tán, cài đặt thử nghiệm số thuật toán tối ƣu hóa câu truy vấn sở liệu phân tán, từ đƣa lựa chọn phù hợp với toán thực tế Đối tƣợng phạm vi nghiên cứu Đối tƣợng phạm vi nghiên cứu luận văn sở liệu phân tán, câu truy vấn phân tán, số thuật tốn tối ƣu hóa truy vấn phân tán cài đặt thuật tốn tối ƣu hóa truy vấn Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết: Tìm hiểu nghiên cứu từ tài liệu, tạp chí viết mạng internet… sau tổng hợp so sánh để viết thành luận văn Nghiên cứu thực nghiệm: Cài đặt thử nghiệm thuật toán R* Bố cục luận văn Với yêu cầu trên, nội dung luận văn trình bày khái quát chung sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán, tối ƣu hóa truy vấn q trình xử lý truy vấn, trình bày số thuật tốn tối ƣu hóa truy vấn phân tán, cài đặt thuật tốn R* để tối ƣu hóa truy vấn Luận văn đƣợc chia làm chƣơng: Chƣơng 1: Khái quát sở liệu phân tán Trong chƣơng trình bày khái quát sở liệu phân tán: Khái niệm sở liệu phân tán, ƣu nhƣợc điểm sở liệu phân tán, mức suốt phân tán, kiến trúc tham chiếu sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán Chƣơng 2: Trình bày tối ƣu hóa truy vấn sở liệu phân tán: Quá trình xử lý truy vấn, tối ƣu hóa truy vấn dựa vào phƣơng pháp tối ƣu đàn kiến, trình bày số thuật tốn tối ƣu hóa truy vấn Chƣơng 3: Cài đặt thuật toán tối ƣu hóa truy vấn phân tán: Xác định tốn, mơ hình phân tán sở liệu, sử dụng thuật tốn R* để áp dụng, trình bày kết thử nghiệm kết luận thực nghiệm ... suốt phân tán, kiến trúc tham chiếu sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán Chƣơng 2: Trình bày tối ƣu hóa truy vấn sở liệu phân tán: Quá trình xử lý truy vấn, tối ƣu hóa truy vấn. .. chung sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán, tối ƣu hóa truy vấn q trình xử lý truy vấn, trình bày số thuật tốn tối ƣu hóa truy vấn phân tán, cài đặt thuật tốn R* để tối ƣu hóa truy. .. tối ƣu hóa câu lệnh truy vấn liệu Nghiên cứu tối ƣu hóa truy vấn sở liệu phân tán cần thiết để khai thác có hiệu liệu phân tán Do đó, tơi chọn nghiên cứu đề tài ? ?Tối ƣu hóa truy vấn sở liệu phân