Thông tin tài liệu
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYẾN QUANG THẢO Cơ sở liệu phân tán v ti u hoỏ tin luận văn thạc S CƠNG NGHỆ THƠNG TIN Hµ néi - 2006 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYẾN QUANG THẢO Cơ sở liệu phân tán tối ưu hoá vấn tin Mó s : 1.01.10 luận văn thạc S CễNG NGH THÔNG TIN Người hướng dẫn khoa học: PGS.TS Hồ Thuần Hµ néi - 2006 TIEU LUAN MOI download : skknchat@gmail.com MỤC LỤC LỜI NÓI ĐẦU Chương KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Cơ sở liệu quan hệ 1.2 Các dạng chuẩn 1.3 Ngôn ngữ liệu quan hệ [4] 1.4 Hệ sở liệu phân tán [4] .11 1.4.1 Các khái niệm CSDL PT 12 1.4.2 Các mục tiêu hệ quản trị CSDL PT 13 1.4.3 Kiến trúc hệ quản trị CSDL PT 14 1.4.4 Phân mảnh, nhân cấp phát liệu 17 Chương MỘT SỐ NGUYÊN LÝ CHUNG CỦA TỐI ƯU HÓA TRUY VẤN 23 2.1 Mục tiêu toán xử lý truy vấn [4] .23 2.2 Độ phức tạp phép toán đại số quan hệ 27 2.3 Mô tả xử lý truy vấn 28 2.4 Phân rã truy vấn định vị liệu 32 2.4.1 Phân rã truy vấn .32 2.4.2 Định vị liệu 40 2.5 Tối ưu hóa truy vấn phân tán .46 2.5.1 Tối ưu hóa truy vấn 47 2.5.2 Tối ưu hóa truy vấn mơi trường tập trung 54 2.5.3 Các thuật toán tối ưu hóa truy vấn mơi trường phân tán 61 Chương MỘT SỐ ĐỀ XUẤT KHÁC VỀ XỬ LÝ PHÉP NỐI TRONG CÁC HỆ CSDL .85 3.1 Ứng dụng lý thuyết đồ thị tối ưu hóa truy xuất CSDL để thực phép nối [9] .85 3.1.1 Sử dụng mục để thực phép nối 86 3.1.2 Mơ hình đồ thị kết nối trang 88 3.1.3 Xác định cận kích thước nhớ đệm .90 3.1.4 Các Heuristic để làm giảm lượng nhớ đệm cần thiết 92 3.1.5 Lược đồ nhớ đệm dựa sở lưu trữ toàn trang 94 3.1.6 Xác định kích thước nhớ đệm để thực truy xuất cho trang 95 3.2 Một số phương án tiếp cận xử lý nối phân tán khác 102 3.2.1 Sử dụng thông tin phụ thuộc vị trí (placement dependency) để thực nối [7] 102 3.2.2 Thuật toán phân mảnh nhân [7] 105 3.2.3 Thuật toán qui hoạch băm [7] 107 3.2.4 Xử lý truy vấn chuỗi [7] .110 3.2.5 Tăng tốc xử lý truy vấn nhờ AHYPERF [12] 114 KẾT LUẬN .124 TÀI LIỆU THAM KHẢO .125 TIEU LUAN MOI download : skknchat@gmail.com DANH MỤC CÁC HÌNH VẼ Hình 1 CSDL trung tâm mạng 12 Hình Mơi trường hệ CSDL PT 12 Hình Kiến trúc tham chiếu CSDL PT 15 Hình Các thành phần hệ quản trị CSDL PT 17 Hình Các kiểu phân mảnh 18 Hình Các quan hệ chuẩn hóa 19 Hình Phân mảnh ngang nguyên thủy cho quan hệ DUAN 20 Hình Phân mảng dọc cho quan hệ DUAN 21 Hình Các chiến lược thực thi .25 Hình 2 Lược đồ tổng quát xử lý truy vấn phân tán .31 Hình Các đồ thị quan hệ 35 Hình Đồ thị truy vấn khơng liên thông 35 Hình Thí dụ truy vấn .37 Hình Cây truy vấn tương đương 39 Hình Cây truy vấn viết lại 40 Hình Cây truy vấn sau thay 41 Hình Rút gọn phân mảnh ngang (với phép chọn) 42 Hình 10 Rút gọn cho phân mảnh ngang (với phép nối) 43 Hình 11 Rút gọn cho phân mảnh dọc 44 Hình 12 Rút gọn cho phân mảnh gián tiếp 45 Hình 13 Rút gọn cho phân mảnh hỗn hợp 46 Hình 14 Quá trình tối ưu hóa truy vấn 47 Hình 15 Các nối tương đương 48 Hình 16 Hai hình thái nối 49 Hình 17 Hành động tối ưu hóa áp dụng chiến lược đơn định .49 Hình 18 Hành động tối ưu hóa áp dụng chiến lược ngẫu nhiên 50 Hình 19 Thí dụ truyền liệu cho truy vấn 51 Hình 20 Đồ thị nối câu truy vấn q1 60 Hình 21 Các thứ tự nối khác 61 Hình 22 Truyền tốn hạng phép tốn hai ngơi 62 Hình 23 Đồ thị nối câu truy vấn phân tán 63 Hình 24 Biến đổi câu truy vấn có chu trình 73 Hình 25 Truy vấn mẫu số liệu thống kê 76 Hình Quan hệ với tham gia nối .87 Hình Hai dãy truy xuất trang liệu hình 3.1 87 Hình 3 Đồ thị kết nối trang CSDL hình 3.1 88 Hình Quan hệ kích thước tập trang hệ số chọn .89 Hình Một đồ thị kết nối trang tổng quát 90 Hình Giá trị lát cắt biểu diễn lượng nhớ đệm cần thiết .91 Hình Kích thước thước nhớ đệm heuristic 93 Hình Kích thước trung bình danh sách tìm 93 Hình Đồ thị kết nối trang đồ thị khơng chu trình tương ứng 96 TIEU LUAN MOI download : skknchat@gmail.com Hình 10 Đồ thị kết nối trang 99 Hình 11 Đồ thị khơng chu trình thu từ hình 3.10 .99 Hình 12 Hai quan hệ phân mảnh 102 Hình 13 Cấu hình trước xử lý nối 105 Hình 14 Một ví dụ phân mảnh trạm 107 Hình 15 Mô tả cách tạo cho 108 Hình 16 Tính tốn chi phí từ – lên 112 Hình 17 PERF R S 115 Hình 18 Mơ tả quan hệ 118 TIEU LUAN MOI download : skknchat@gmail.com LỜI NÓI ĐẦU Cơ sở liệu (CSDL) lĩnh vực quan tâm nhiều công nghệ thông tin Ra đời từ năm 60 đến nay, xuất nhiều hệ quản trị CSDL, có nhiều ứng dụng khoa học kỹ thuật ngành kinh tế khác Việc nghiên cứu CSDL phát triển ngày phong phú, đa dạng Từ năm 70, mơ hình liệu quan hệ E.F Codd đưa tạo sở vững cho vấn đề nghiên cứu CSDL Với ưu điểm tính cấu trúc, khả hình thức hóa phong phú, CSDL quan hệ dễ dàng mô hệ thống thông tin đa dạng thực tiễn, làm tăng khả xử lý, quản trị, khai thác liệu, thông tin Trên thực tế nhiều hệ quản trị CSDL thương mại, xây dựng mơ hình quan hệ, lưu hành, sử dụng rộng rãi thị trường như:DBASE, ORACLE, MS SQL… Cho đến có hàng loạt vấn đề CSDL nghiên cứu, giải Với mục đích tìm hiểu để nâng cao khả ứng dụng của hệ CSDL, luận văn tập trung vào việc nghiên cứu vấn đề “tối ưu hóa câu truy vấn CSDL phân tán” CSDL phân tán nói riêng hệ phân tán nói chung lĩnh vực nghiên cứu khơng mới, gần với phát triển nhanh chóng mạnh mẽ công nghệ truyền thông, mạng Internet đặc biệt xu phát triển thương mại điện tử, CSDL phân tán trở thành lãnh vực thu hút nhiều quan tâm nhà nghiên cứu nhà sản xuất phần mềm Như ta biết, thành công ngày tăng công nghệ CSDL quan hệ việc xử lý liệu phần tính dễ dùng khả khai thác, tìm kiếm liệu ngơn ngữ phi thủ tục (như SQL), cải thiện đáng kể công việc phát triển ứng dụng khả sáng tạo người dùng Các ngôn ngữ phi thủ tục CSDL quan hệ cho phép diễn tả câu truy vấn phức tạp cách xác đơn giản Đặc biệt để có câu trả lời cho câu truy vấn người sử dụng TIEU LUAN MOI download : skknchat@gmail.com khơng cần phải xác định xác trình tự tiến hành thao tác/phép toán câu truy vấn Trình tự xử lý Bộ xử lý truy vấn (query processor) hệ quản trị CSDL, tốn xử lý truy vấn hay tối ưu hóa truy vấn Tối ưu hóa truy vấn việc xác định chiến lược thực truy vấn cho cực tiểu hóa hàm chi phí Đây tốn khó, đặc biệt mơi trường phân tán tốn thuộc lớp NP-Hard Để tránh chi phí tối ưu hóa q lớn cách tiếp cận dùng heuristic sử dụng để đạt chiến lược thực thi gần tối ưu Các yếu tố cần xem xét giải toán là: phân tán liệu, chi phí xử lý cục bộ, chi phí truyền… Các yếu tố định đến việc cực tiểu hàm chi phí có nhiều, yếu tố quan trọng trình tự thực tối ưu phép nối, việc chọn sao, mảnh phải truy xuất, việc chọn trạm thực việc sử dụng giải thuật truy xuất liệu cục phân tán Với nét trên, nội dung luận văn trình bày nguyên lý chung, kỹ thuật, thuật tốn liên quan đến vấn đề tối ưu hóa truy vấn số phương án đề xuất cho việc giải toán tối ưu Luận văn chia làm phần: Chương 1: KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN - Chương trình bày kiến thức hệ CSDL phân tán, kiến trúc tham chiếu, kiểu phân mảnh, mức suốt phân tán Chương 2: MỘT SỐ NGUYÊN LÝ CHUNG CỦA TỐI ƯU HÓA CÂU TRUY VẤN - Chương trình bày nguyên lý chung tối ưu hóa truy vấn CSDL nói chung CSDL phân tán nói riêng Trong chương có trình bày số thuật toán kinh điển để tối ưu hóa câu truy vấn sử dụng hệ CSDL quan hệ INGRES, SYSTEM R… Chương 3: Chương MỘT SỐ ĐỀ XUẤT KHÁC VỀ XỬ LÝ PHÉP NỐI TRONG CÁC HỆ CSDL - Chương trình bày số đề xuất cải tiến, kỹ thuật xử lý truy vấn dựa việc xử lý nối có nhận xét, đánh giá so sánh TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 Chương KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN Chương trình bày cách khái quát kiến thức sở mơ hình quan hệ (lược đồ quan hệ, ngôn ngữ liệu quan hệ…), hệ CSDL phân tán (các kiến trúc, đặc trưng, vấn đề CSDL phân tán…)[4] Chương cung cấp kiến thức sở cho chương sau 1.1 Cơ sở liệu quan hệ Cơ sở liệu (CSDL) tập hợp liệu có cấu trúc, liên quan đến tượng thực tế mà cố gắng mơ hình hóa chúng CSDL quan hệ loại CSDL cấu trúc theo dạng bảng (table) Về hình thức quan hệ (relation) tập tích Descartes nhiều miền trị (domain) xác định tập thuộc tính (attributes) Một quan hệ r xác định tập thuộc tính Ω = { A1 , A2 , An } , : r ⊆ Dom( A1 ) × Dom( A2 ) × × Dom( An ) Mỗi hàng quan hệ gọi (tuple), quan hệ r tập hợp n-bộ có dạng: r ⊆ {(a1 , a2 , , an ) | ∈ Dom( Ai ), với i = 1,2, n} Trong Dom( Ai ) miền giá trị thuộc tính Ai Số thuộc tính quan hệ gọi bậc quan hệ Quan hệ r bị thay đổi theo thời gian việc thực phép toán cập nhật r (thêm vào, loại bỏ, sửa đổi bộ) Lược đồ quan hệ (relation scheme) Một lược đồ quan hệ R cặp có thứ tự R =< Ω, F > , Ω tập hữu hạn thuộc tính quan hệ, F tập điều kiện thuộc tính (F cịn gọi tập ràng buộc toàn vẹn) Một ràng buộc tập thuộc tính { A1 , A2 , , An } tính chất tập tất quan hệ xác định tập thuộc tính (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 Cịn nói đến lược đồ quan hệ, tập trung vào khía cạnh mơ tả cấu trúc quan hệ mà không quan tâm đến cụ thể, ta dùng ký hiệu: R ( A1 , A2 , , An ) Với R tên quan hệ, A1 , A2 , , An danh sách tên thuộc tính Thể quan hệ Với lược đồ quan hệ R, theo thời gian, nhiều quan hệ có cấu trúc ràng buộc tồn vẹn mơ tả lược đồ Mỗi quan hệ gọi thể lược đồ R Lược đồ quan hệ mô tả cấu trúc quan hệ Tại thời điểm lược đồ quan hệ có thể quan hệ cụ thể Khóa lược đồ quan hệ tập thuộc tính khơng rỗng nhỏ cho giá trị thuộc tính khóa cho phép xác định quan hệ Các thuộc tính có mặt khóa gọi thuộc tính khóa Một tập có chứa khóa gọi siêu khóa (supperkey) Ta định nghĩa cách hình thức sau: Cho lược đồ quan hệ R =< Ω, F > , K ⊆ Ω , K gọi khóa lược đồ quan hệ R thỏa mãn điều kiện sau: i Bất kỳ hai khác t1 , t ∈ r , r thể R, có t1[ K ] ≠ t [ K ] ii Không tồn K ' ⊂ K thỏa mãn điều kiện Tập K siêu khóa thỏa mãn điều kiện (i) 1.2 Các dạng chuẩn Chuẩn hóa – q trình bước thay tập quan hệ cho tập quan hệ có cấu trúc ngày đơn giản chuẩn tắc [Tsichritzis and Lochovsky, 1977] Mục đích chuẩn hóa loại bỏ bất thường quan hệ Quan hệ chuẩn hóa quan hệ miền thuộc tính chứa giá trị nguyên tố (atomic), tức không phân nhỏ giá trị quan hệ nguyên tố Theo lý thuyết ban đầu Codd đưa có dạng chuẩn quan hệ: (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 Về sau Boyce Codd định nghĩa phiên sửa đổi dạng 3NF, thường gọi dạng chuẩn Boyce-Codd (BCNF) Tiếp sau dạng chuẩn 4NF [Fagin, 1977] chuẩn 5NF [Fagin, 1979] u cầu chuẩn hóa khơng làm mát thông tin thay quan hệ quan hệ khác Nếu nối quan hệ kết để tạo thành quan hệ ban đầu, q trình phân rã gọi phân rã không thông tin Một yêu cầu khác q trình chuẩn hóa bảo tồn phụ thuộc (dependency preservation) Phân rã gọi bảo toàn phụ thuộc hợp phụ thuộc hàm quan hệ phân rã tương đương với bao đóng (closure) phụ thuộc hàm quan hệ ban đầu Định nghĩa dạng chuẩn 1NF Một lược đồ quan hệ R gọi dạng chuẩn 1NF tồn miền có mặt R chứa giá trị nguyên tố [2] Định nghĩa dạng chuẩn 2NF Lược đồ quan hệ R dạng chuẩn 2NF dạng chuẩn 1NF thuộc tính khơng khóa R phụ thuộc hàm đầy đủ vào khóa [2] Định nghĩa dạng chuẩn 3NF Lược đồ quan hệ R dạng chuẩn 3NF dạng chuẩn 1NF thuộc tính khơng khóa R khơng phụ thuộc hàm bắc cầu vào khóa [2] Định nghĩa dạng chuẩn BCNF Lược đồ quan hệ với tập phụ thuộc hàm gọi dạng chuẩn BCNF X → A thỏa R, A ∉ X X siêu khóa R [2] (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 111 cos t i +1,i + , ta có chi phí nhỏ để thực nối quan hệ chi phí thực nhỏ cho phép nối quan hệ cộng thêm chi phí nối bổ sung Q trình lặp lại với tập 4, 5, … quan hệ liền kề, thu chi phí nhỏ cho chuỗi nối n quan hệ Q trình mơ tả sau: Gọi cos t i , j , i < j chi phí nhỏ để thực nối quan hệ liền kề Ri , Ri +1 , , R j , Ri , j kết dãy nối Nó thu phép nối Ri Ri +1, j , Ri ,i +1 với Ri + 2, j , …, Ri , j −1 với R j Khi chi phí để thu Ri +1, j cos t i +1, j , ta có chi phí để có Ri , j cos t i +1, j + joinc( Ri , Ri +1, j ) , với joinc() chi phí nhỏ để nối hai quan hệ Ta có: cos t i , j = i ≤ k < j {cos t i ,k + cos t k +1, j + joinc( Ri ,k , Rk +1, j )} (***) Trong cos t k ,k = , Rk ,k = Rk Mục tiêu việc thực tối ưu hóa truy vấn chuỗi tìm phương án thực thi để có R1,n với chi phí cos t1,n nhỏ Giá trị biểu thức (***) chưa xác định truy vấn chưa thực thi, nên cần phải dự đốn q trình tối ưu hóa Có nhiều yếu tố ảnh hưởng đến chi phí nối, số kích thước quan hệ trung gian, cần phải dự đoán Một thuật toán từ – lên xây dựng dựa biểu thức (***), j-i = s, chi phí nhỏ để nối tất (s+1) quan hệ tính tốn Tối ưu hóa – chuỗi – truy vấn Tính tốn cos t1,n For j-i=1 to n-1 {tính cos t i , j dựa biểu thức (***); Gọi K(i,j) giá trị k cho vế phải biểu thức (***) nhỏnhất, nghĩa cos t i , j = cos t i , K (i , j ) + cos t K (i , j )+1, j + joinc( Ri , K (i , j ) , RK ( i , j ) +1, j ) ; } Đưa phương án thực thi Phương án thực thi tối ưu sinh việc tìm ngược (tracing back) giá trị K(i,j) thích hợp trước tiên với K(1,n) (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 112 tương ứng với thao tác nối cuối R1, K (1,n ) >< AK ( i , j ) RK ( i , j )+1,n Chi phí nhỏ để có R1, K (1,n ) cos t1, K (1,n ) Thêm ta có K(1,K(1,n)), mà với thao tác nối cuối tương ứng cho quan hệ R1, K (1,n ) thu Tương tự thao tác nối cuối tương ứng cho kết quan hệ RK (1,n )+1,n thu Bằng việc lặp lại thao tác thứ tự thực n-1 nối xác định cos t1,n cos t1,n−1 cos t 2,n … cos t1,3 cos t , … cos t n−2 ,n cost1, cos t 2,3 cos t3, … cos t n−1,n cos t1,1 cost 2, cos t3,3 cost 4, … cos t n ,n Hình 16 Tính tốn chi phí từ – lên Cần n-1 vịng lặp để tính tốn cos t1,n , vịng lặp tất chi phí cos t i , j tính tốn (với j-i=1), có n-1 phép tốn Trong vịng lặp thứ 2, tất chi phí cos ti , j tính tốn (với j-i=2), có n-2 phép toán Tổng quát, phép lặp thứ l tất chi phí cos ti , j tính tốn (với j-i=l), có n-l phép tốn ∑ n −1 l =1 l= Như tổng số chi phí cần phải tính là: (n − 1)(n − 2) = O(n ) Với i, j cho trước ta có cos ti , j thơng qua việc tính tốn so sánh biểu thức j-i Rõ ràng ta có n-1 cận ji nên tổng số phép tốn cần thiết để tính tốn cos t1,n O(n ) Giai đoạn hai thuật toán cần O(n) , Như độ phức tạp thuật toán O(n ) Hình 3.16 mơ tả việc tính tốn từ lên Thí dụ 3.4: Xét truy vấn chuỗi quan hệ: R1 >< A1 R2 >< A2 R3 >< A3 R4 (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 113 Khởi đầu chi phí nhỏ phép nối hai quan hệ kề ước lượng Giả sử ta có: cos t1, = joinc ( R1 , R2 ) = , cos t ,3 = joinc ( R2 , R3 ) = cos t 3, = joinc( R3 , R4 ) = Rõ ràng K(1,2)=1, K(2,3)=2 K(3,4)=3 Ta có chi phí nối nhỏ R1 >< A1 R2 >< A2 R3 cos t1,3 tính bởi: min{cos t1, + joinc( R1, , R3 ), cos t 2,3 + joinc( R1 , R2,3 )} Giả sử joinc( R1, , R3 ) = joinc( R1 , R2, ) = 1, ta có cost1,3 = min{3+4, 5+1}=6, K(1,3)=1 Chí phí tối thiểu để xử lý R2 >< A2 R3 >< A3 R4 cos t , ước lượng, với joinc ( R2, , R4 ) =3 joinc ( R2 , R3, ) =4, cos t , = min{5+3, 6+4}=8 K(2,4)=3 Cuối chi phí để thực nối cho quan hệ là: min{cos t1, + joinc( R1,3 , R4 ), cos t1, + cos t 3, + joinc( R1, , R3, ), cos t , + joinc( R1 , R2 , )} Giả sử joinc ( R1, , R4 ) =5, joinc( R1, , R3, ) =4, joinc ( R1 , R2 , ) =2 ta có cost1, = min{6+5, 3+6+4, 8+2}=10 K(1,4)=1 Bây ta sử dụng K(i,j) để xây dựng phương án thực thi với tổng chi phí 10, với K(1,4)=1 ta biết nối cuối R1 >< A1 R2 , , từ K(2,4)=3 ta biết nối cuối để có R2 , R2 ,3 >< A3 R4 , cuối từ K(2,3)=2 ta biết R2 , thu từ R2 >< A2 R3 Từ ta có phương án thực thi sau: R1 >< A1 (( R2 >< A2 R3 ) >< A3 R4 ) Nhận xét: Thuật tốn sử dụng qui hoạch động, qua phương án tối ưu xây dựng từ lời giải tối ưu toán (subproblems) Tuy nhiên qui hoạch động khơng phải lúc áp dụng cho tốn Thí dụ xét toán thực nối quan hệ R1 , R2 R3 Giả sử mảnh R1 R2 định vị trạm S1 S mảnh R3 định vị S S Giải pháp tối ưu để nối R1 R2 cần đến mảnh quan hệ kết trạm S1 S Các phương (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 114 án tối ưu phận (suboptimal solution) để thực nối có mảnh trạm S S , nhiên quan hệ kết với mảnh trạm S S , lại lời giải tối ưu nối thực với R3 Do phương án qui hoạch động lúc đưa lại lời giải tốt Thuật toán dựa biểu thức (***) với giả thiết thao tác thực Nhưng nhiều trường hợp thao tác thực cách song song Ví dụ thực nối cho quan hệ Ri với Ri +1 quan hệ Ri + , Ri +3 , …, R j thực nối Do cần áp dụng heuristic cho thuật tốn Thuật tốn sử dụng kết hợp phương án thực nối nêu trước (như thuật tốn Phụ thuộc vị trí, Phân mảnh nhân bản, phương pháp băm…) 3.2.5 Tăng tốc xử lý truy vấn nhờ AHYPERF [12] Như đề cập phần trước vấn đề tối ưu hóa truy vấn trọng đến nhiều trình xử lý truy vấn, có nhiều nghiên cứu theo hướng khác nhau, nhìn chung kỹ thuật tập trung vào hai hướng chính: Giảm thiểu chi phí cho việc truyền liệu mạng bàng cách rút gọn lượng thông tin phải truyền Tối thiểu thời gian đáp ứng truy vấn kỹ thuật xử lý song song Một cách tiếp cận đưa chương hai, thuật tốn AHY trình bày Apers, Hevner Yao Sau có nhiều đề xuất mới, có kỹ thuật dựa nối nửa sử dụng bit-vector nhằm cực tiểu chi phí bước “ngược” (backward phase) nối hai chiều 2SJ (two-way-semijoin)[10], [11] gọi PERF (Partially Encoded Record Filter) trình bày Kenneth Ross [11] Ở phần này, cải tiến AHY sử dụng nối PERF gọi AHYPERF nghiên cứu Ramzi A Haraty Roula C.Fany [12] nhằm tăng tốc xử lý truy vấn CSDL PT trình bày (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 115 3.2.5.1 Thuật toán AHYPERF Xét hai quan hệ R S, Tư tưởng PERF thực theo bước sau đây: Chiếu quan hệ R thuộc tính nối X, thu Π X ( R) Chuyển Π X ( R) tới trạm chứa S Rút gọn quan hệ S cách thực nối nửa với Π X ( R) , thu S’ Gửi bit-vector (PERF) ngược lại trạm chứa R, thay gửi S’ Bước thứ bước “ngược”, bit-vector (PERF) chứa bit tương ứng với R, bit gán có Π X ( S ' ) ngược lại ( Π X ( S ' ) kết thu phép chiếu S’ thuộc tính nối X) Trong đại đa số trường hợp PERF có kích thước nhỏ đáng kể so với Π X ( S ' ) Thí dụ 3.5: Xét quan hệ R(A,X) S(X,B), ví dụ thứ bit-vector PERF(R) thứ R tham gia phép nối , PERF(R) PERF(S) rút gọn R >< S Hình 17 PERF R S PERF thiết kế để làm cực tiêu chi phí bước “ngược”, chi phí bước bước “xi” (forward) lớn bước ngược” Khi sử dụng PERF với thuật tốn AHY bước sau thực hiện: Thực tất xử lý cục ban đầu Tạo lich trình ứng cử (candidate schedules) cách lập thuộc tính nối tạo câu truy vấn đơn (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 116 For quan hệ Ri a Sử dụng thuật toán SERIAL_PERF tạo lịch trình ứng cử b Sử dụng thủ tục TOTAL_PERF để tích hợp lịch trình thích hợp Thuật toán SERIAL_PERF Sắp xếp quan hệ Ri cho size(R ) ≤ size(R ) ≤ ≤ size(R n ) if khơng có quan hệ nằm trạm kết then chọn chiến lược sau: R1 → R2 → → Rn → trạm kết Else if Rr nằm trạm kết then chọn phương án sau: R1 → R2 → → Rr → → Rn → Rr Hoặc R1 → R2 → → Rr −1 → Rr +1 → Rn → Rr cho có chi phí nhỏ Xây dựng PERF list cho PERFRi Ri +1 j gán việc truyền thực từ trạm chứa Ri tới Ri +1 thuộc tính nối j Tính tốn chi phí truyền If PERFRi Ri +1 j =1 then cos t = Else cos t = C + C1 ∗ bk + (bk ∗ ρ ( i +1) k ) / Với C + C1 ∗ bk hàm tuyến tính chi phí truyền, C1 chí cố định cho việc truyền byte, bk kích thước quan hệ thu chiếu thuộc tính nối (byte), chi phí gọi chi phí bước “xi” (bk ∗ ρ (i +1) k ) / chi phí bước “ngược” Chọn chiến lược có chi phí thấp Thuật tốn TOTAL_PERF Bổ sung lịch trình ứng cử: với quan hệ lịch trình ứng cử, lịch trình chứa việc truyền liệu thuộc tính nối quan hệ bổ sung lịch trình khác tương tự khơng có việc truyền liệu thuộc tính nối quan hệ Tính tốn chi phí lịch trình bổ sung, tương tự bước SERIAL_PERF (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 117 Chọn ứng cử viên tốt nhằm cực tiểu tổng thời gian truyền thuộc tính nối Cập nhật danh sách PERF (PERF list): gán giá trị cho tất lịch trình truyền liệu BESTij chọn Sắp xếp lịch trình ứng cử: với quan hệ Ri , xếp lịch trình ứng cử BESTij thuộc tính nối dij cho: ARTi1 + C ( s1 ∗ SLTi1 ) ≤ ≤ ARTiσ + C ( si ∗ SLTiσ ) Trong đó: ART thời gian trở (arrival time) lịch trình tốt SLT độ chọn tích lũy thuộc tính lịch trình tốt s độ chọn quan hệ tương ứng Tích hợp lịch trình: với BESTij xây dựng lịch trình tích hợp Ri gồm truyền song song BESTij tất BESTik với k < j Phiên PERF thuật tốn AHY khơng loại trừ việc truyền dư thừa từ lịch trình, làm cho chi phí việc xảy ra, cách bổ sung thêm vào tổng chi phí truyền chi phí “ngược” nhỏ Nếu việc truyền thực từ trạm A tới trạm B, sử dụng thuộc tính nối j , thao tác truyền từ B tới A sử dụng j có chi phí Từ việc nối PERF coi hàm khơng dư thừa đối xứng (non-redundant symmetric function), với tính chất cho phép cải tiến thuật toán AHY GENERAL truyền thống 3.2.5.2 Ví dụ so sánh Xét truy vấn: liệt kê danh sách số hiệu sản phẩm, tên sản phẩm toàn số lượng phụ kiện đơn hàng cung cấp nhà cung cấp cung cấp linh kiện cho công việc có mã 10 20 CSDL chứa quan hệ sau: PARTS(P#,PNAME), chứa mã số tên linh kiện ON_ORDER(S#,P#,QTY), chứa mã số nhà cung cấp, mã số linh kiện số lượng đơn hàng (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 118 S_P_J(S#,P#,J#), chứa mã số nhà cung cấp, cung cấp linh P# cho công việc có mã số J# Các quan hệ lưu trạm khác nhau, hai thuộc tính nối P# S# Hàm chi phí tính theo cơng thức sau: C(X)= 20 + X, hàm tuyến tính dạng y= aX + b, với: a chi phí truyền byte b chi phí cố định phụ thuộc vào mạng, trường hợp b=20 Kích thước độ chọn quan hệ đưa hình sau: Ri |Ri| size(Ri) di1=P# bi1 di2=S# ρi1 bi2 ρi R1 70 1000 400 0.4 100 0.2 R2 140 2000 400 0.4 450 0.9 R3 150 3000 900 0.4 - - Hình 18 Mô tả quan hệ |Ri| lực lượng quan hệ (tính theo bộ) d ij thuộc tính nối bij độ lớn thuộc tính nối (tính byte) quan hệ tương ứng ρ ij với thuộc tính nối có độ chọn tương ứng Sau khởi tạo, áp dụng AHYPERF cho truy vấn này, truy vấn đơn sau tạo thành thuộc tính d i1 d i Các lịch trình ứng cử nối tiếp tạo thành sau: Với d i1 : (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 119 Với d i : d12 120 d12 C(100) d12 d22 d22 120 110 C(100) C(0.2*450) Xây dựng lịch trình cho quan hệ Với R1 Với thuộc tính d 11 lịch trình sau bổ sung (bằng cách xóa bỏ việc truyền d 11 khỏi lịch trình d 21 d 31 ) d21 d’21 d21 420 d’31 C(400) 436 C(400+140*0.9/8) d31 380 C(0.4*900) Với lịch trình d 11 áp dụng cho R1 ta có: Tổng thời gian=C(400+70*0.4/8) + C(0.4*400) + C(0.4*1000)=1024 Tổng thời gian= C(400+70*0.4/8) + C(0.4*400+140*0.9/8) + C(0.4*0.4*900) + C(0.4*0.9*1000)=1164 Tổng thời gian= C(400 +140*0.4/8) + C(0.4*1000)= 847 Tổng thời gian= C(400+140*0.9/8) + C(0.4*900+150*0.4/8) + C(0.4*0.9*1000)= 1204 (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 120 Rõ ràng thấy d 21 ' BEST11 với thời gian 847 Với thuộc tính d12 lịch trình sau bổ sung Với lịch trình d12 áp dụng cho R1 ta có: Tổng thời gian= C(100+70*0.9/8) + C(0.2*450+140*0.2/8) + C(0.9*1000)= 1162 R1 d22 920 474 d’22 Tổng thời gian= C(450+140*0.2/8) + C(0.9*1000)= 1394 Như BEST12 d 22 với thời gian 1162 Cuối cùng, với R1 se chọn BEST11 với thời gian 847, bước PERF2−1,1 = PERF1− 2,1 = Với R2 Với thuộc tính d 11 Khi áp dụng lịch trình d 11 cho R2 ta có: Tổng thời gian= + C(0.4*400) + C(0.4*2000)= 1000 Lưu ý PERF1− 2,1 = nên việc truyền từ sang thuộc tính d11 d31 d21 187 d31 R2 740 Tổng thời gian= + C(0.4*400+140*0.4*0.9/8) + + C(0.4*0.9*2000)= 927 (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 121 Tổng thời gian= C(400+140*0.4/8) + C(0.4*2000)= 1247 Tổng thời gian= C(400+70*0.9/8) + C(0.4*900+150*0.4*0.9/8) + C(0.4*0.9*2000)= 1555 Rõ ràng BEST21 d 31 với tổng thời gian 927 BEST22 d 22' với thời gian 1948 Và ta chọn d 31 cho R2 Như PERF2−3,1 = PERF3− 2,1 = Tương tự với R3 ta có BEST31 với tổng thời gian 740 Như ta có tổng thời gian tối ưu là: 847+927+740=2514 Như ta có tỷ lệ so sánh AHY AHYPERF sau: (C AHY − C AHYPERF ) / C AHY =12.7% 3.2.5.3 Một số kết thực nghiệm [12] Nhóm tác giả xây dựng chương trình C++ chạy Windows với nhiều kịch khác nhau, cho kết Trong cột TYPE cho ta biết số quan hệ, số thuộc tính nối lớn tham gia nối Trong trường hợp chưa tối ưu, tồn liệu truyền từ trạm đến trạm khác Kịch 1: kích thước thuộc tính byte TYPE 2-2 2-3 2-4 3-2 3-3 3-4 4-2 4-3 4-4 5-2 5-3 5-4 TB Unoptimized 15166.54 20176.99 25324.95 20675.39 25983.89 30977.84 26656.58 33149.04 39281.91 32613.54 41224.43 48771.57 30000.22 AHY 11281.77 12514.91 13195.31 15610.47 16727.14 17211.87 18105.75 20203.26 21067.12 19919.32 22975.32 24180.39 17749.39 AHYPERF 10244.36 11210.69 11518.01 14097.76 15110.53 15422.78 16167.82 18039.28 18746.14 17448.54 20212.85 21166.99 15782.15 (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 122 60000 50000 40000 Unoptimized 30000 AHY 20000 AHYPERF 10000 2-2 2-3 2-4 3-2 3-3 3-4 4-2 4-3 4-4 5-2 5-3 5-4 Kịch 2: Kích thước thuộc tính byte TYPE 2-2 2-3 2-4 3-2 3-3 3-4 4-2 4-3 4-4 5-2 5-3 5-4 TB Unoptimized 77094.85 100824.51 128113.97 102374.75 126861.52 154160.29 133156.13 165297.06 194790.69 162878.19 204638.73 244435.78 149552.2 AHY 57045.23 61996.65 66652.65 77600.45 83015.71 85602.33 91216.04 101571.73 105177.11 100808.91 114924.46 121233.3 88903.71 AHYPERF 51343.36 54589.02 57004.79 69121.66 73938.19 75057.11 79985.85 89211.25 91628.56 85699.6 98263.82 103244.1 77423.94 300000 250000 200000 Unoptimized 150000 AHY 100000 AHYPERF 50000 2-2 2-3 2-4 3-2 3-3 3-4 4-2 4-3 4-4 5-2 5-3 5-4 Kịch 3: kích thước thuộc tính 50 byte TYPE 2-2 2-3 2-4 3-2 3-3 3-4 4-2 4-3 4-4 5-2 5-3 5-4 TB Unoptimized 774307.23 1025722.9 1286922.7 1034533.1 1272349.4 1558745 1343785.1 1636465.9 1954307.2 1622776.1 2025497 2471104.4 1500543 AHY 571559.9 631131.25 654111.03 782855.95 814956.83 870137.82 919758.2 1007484 1056676.8 1005206.8 1142050.7 1227620.7 890295.84 AHYPERF 512075.76 553042.67 555093.58 695615.08 719179.11 758737.1 800893.21 882273.47 914048.56 849381.99 975639.24 1041665.4 771470.43 (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 123 3000000 2500000 2000000 Unoptimized 1500000 AHY 1000000 AHYPERF 500000 2-2 2-3 2-4 3-2 3-3 3-4 4-2 4-3 4-4 5-2 5-3 5-4 Nhận xét: Nhìn chung áp dụng PERF vào AHY, khơng làm tăng độ phức tạp thuật tốn [12], phần tính tốn bổ sung việc trì danh sách PERF, trường hợp danh sách PERF mảng ba chiều Và khơng tính tổng qt AHYPERF khơng phức tạp O(σm ) , σ số câu truy vấn đơn khác nhau, m số quan hệ truy vấn Dựa kết thực nghiệm ta thấy AHYPERF thực tốt so với phiên AHY ban đầu (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 124 KẾT LUẬN Luận văn trình bày cách hệ thống tương đối đầy đủ số nội dung sau: Một số nguyên lý chúng tối ưu hóa câu truy vấn bao gồm: chiến lược tối ưu tổng quát, kỹ thuật tối ưu hóa câu truy vấn (cơ thứ tự phép toán biểu thức đại số quan hệ phân rã câu truy vấn ban đầu thành truy vấn con) Đánh giá câu truy vấn CSDL phân tán bao gồm: phân rã câu truy vấn, định vị liệu tối ưu truy vấn phân tán Các kỹ thuật thuật tốn tối ưu hóa câu truy vấn sử dụng số hệ quản trị CSDL phân tán hành Một số hướng phát triển đề tài: Nghiên cứu, phân tích sâu sắc phương án kết hợp nối nối nửa heuristic nhằm áp dụng cách có hiệu trường hợp, để đưa nghiên cứu mặt lý thuyết vào ứng dụng hoạt động tác nghiệp (như lựa chọn giải pháp xử lý truy vấn phân tán hệ quản trị CSDL PT…) Nghiên cứu phân tích kỹ cách tiếp cận mơ hình xác xuất việc xác định kích thước danh sách tìm (fetch-list size) việc ứng dụng mơ hình đồ thị để tối ưu hóa việc truy xuất CSDL xử lý nối Nghiên cứu sâu thuật tốn AHYPERF để ứng dụng vào mơi trường thực tế (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 TIEU LUAN MOI download : skknchat@gmail.com (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10 (LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10(LUAN.van.THAC.si).co.so.du.lieu.phan.tan.va.toi.uu.hoa.van.tin.luan.van.ths.cong.nghe.thong.tin.1.01.10
Ngày đăng: 17/12/2023, 02:04
Xem thêm:
