Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)

Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán (Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN&TRUYỀN THƠNG LƢƠNG KIM CƢƠNG TỐI ƢU HĨA TRUY VẤN TRONG CÁC CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2019 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN&TRUYỀN THƠNG LƢƠNG KIM CƢƠNG TỐI ƢU HĨA TRUY VẤN TRONG CÁC CƠ SỞ DỮ LIỆU PHÂN TÁN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS ĐOÀN VĂN BAN Thái Nguyên - 2019 LỜI CAM ĐOAN Tôi xin cam đoan, kết luận văn hồn tồn kết tự thân tơi tìm hiểu nghiên cứu thơng qua tham khảo tài liệu đƣợc thực dƣới hƣớng dẫn PGS.TS Đoàn Văn Ban Các tài liệu tham khảo đƣợc trích dẫn thích đầy đủ Tác giả Lƣơng Kim Cƣơng LỜI CẢM ƠN Lời đầu tiên, tơi xin chân thành cảm ơn PGS.TS Đồn Văn Ban, ngƣời trực tiếp giảng dạy thời gian học tập ngƣời trực tiếp hƣớng dẫn, giúp đỡ tạo điều kiện thuận lợi cho tơi từ lúc nhận đề tài đến hồn thành luận văn Tôi xin gửi lời cảm ơn sâu sắc đến tất Thầy cô tham gia giảng dạy truyền đạt kiến thức, kinh nghiệm quý báu cho hai năm học cao học trƣờng Đại học Công Nghệ Thông Tin Truyền Thông – Đại học Thái Nguyên Những kiến thức giúp tơi nhiều q trình làm luận văn Cuối cùng, tơi xin cảm ơn tất ngƣời thân, bạn bè đồng nghiệp khích lệ, động viên, đóng góp ý kiến giúp đỡ tơi hồn thành luận văn Thái Ngun, ngày… tháng….năm 2019 Lƣơng Kim Cƣơng i DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Ký hiệu Diễn giải CSDL Cơ sở liệu CPU Bộ xử lý trung tâm I/O Cổng vào/ DP Quy hoạch động ACO Tối ƣu đàn kiến ii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Kiến trúc tham chiếu sở liệu phân tán [3] Hình 1.2: Cây phân tách quan hệ 13 Hình 2.1: Giải pháp A 18 Hình 2.2: Giải pháp B 18 Hình 2.3: Sơ đồ quy trình xử lý truy vấn [4] 21 Hình 2.4: Đồ thị truy vấn Đồ thị nối 25 Hình 2.5: Đồ thị truy vấn Đồ thị nối với câu truy vấn sai ngữ nghĩa 25 Hình 2.6: Cây đại số quan hệ 28 Hình 2.7: Cây đại số quan hệ sau tái cấu trúc 30 Hình 2.8: Câu truy vấn gốc 32 Hình 2.9: Câu truy vấn rút gọn 32 Hình 2.10: Rút gọn phân mảnh ngang 33 Hình 2.11: Rút gọn phân mảnh dọc 35 Hình 2.12: Rút gọn cho phân mảnh ngang dẫn xuất 36 Hình 2.13: Rút gọn phân mảnh hỗn hợp 37 Hình 2.14: Bộ tối ƣu truy vấn 38 Hình 2.15: Các nối 39 Hình 2.16: Hình dáng số nối 40 Hình 2.17: Đồ thị minh họa tổng chi phí thời gian trả lời 42 Hình 2.18: Đồ thị nối truy vấn q1 58 Hình 2.19: Các thứ tự kết nối 59 Hình 2.20: Quá trình định đƣờng đàn kiến 64 MỤC LỤC GIỚI THIỆU CHƢƠNG CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm hệ sở liệu phân tán 1.1.1 Khái niệm 1.1.2 Hệ quản trị sở liệu phân tán 1.1.3 Những ƣu điểm sở liệu phân tán 1.1.4 Những nhƣợc điểm sở liệu phân tán [3] 1.2 Các đặc trƣng suốt sở liệu phân tán 1.2.1 Trong suốt phân tán 1.2.2 Trong suốt giao dịch 1.2.3 Trong suốt thất bại 1.2.4 Trong suốt thao tác 1.2.5 Trong suốt tính khơng 1.3 Kiến trúc tham chiếu sở liệu phân tán 1.4 Các kỹ thuật xây dựng sở liệu phân tán 1.4.1 Phân mảnh 1.4.1.1 Phân mảnh ngang 10 1.4.1.2 Phân mảnh ngang dẫn tiếp 11 1.4.1.3 Phân mảnh dọc 12 1.4.1.4 Phân mảnh hỗn hợp 13 1.4.2 Nhân liệu 14 1.4.3 Định vị liệu 14 1.5 Kết luận chƣơng 15 CHƢƠNG TỐI ƢU HÓA TRUY VẤN CƠ SỞ DỮ LIỆU PHÂN TÁN 16 2.1 Vấn đề tối ƣu hóa xử lý truy vấn 16 2.2 Quá trình xử lý truy vấn 20 2.2.1 Phân rã truy vấn 21 2.2.2 Cục hóa liệu phân tán 30 2.2.2.1 Rút gọn cho phân mảnh ngang nguyên thủy 31 2.2.2.2 Rút gọn cho phân mảnh dọc 34 2.2.2.3 Rút gọn cho phân mảnh ngang dẫn xuất 35 2.2.2.4 Rút gọn cho phân mảnh hỗn hợp 37 2.2.3 Tối ƣu hóa tồn cục 38 2.2.3.1 Khơng gian tìm kiếm 39 2.2.3.2 Mơ hình chi phí 41 2.2.4 Tối ƣu hóa cục 47 2.3 Tối ƣu hóa truy vấn dựa vào phƣơng pháp tối ƣu đàn kiến 47 2.4 Một số thuật tốn tối ƣu hóa truy vấn phân tán 48 2.4.1 Thuật toán D-INGRES 49 2.4.2 Thuật toán R* 54 2.4.3 Thuật toán SDD-1 59 2.4.4 Thuật toán Hybrids đàn kiến tối ƣu truy vấn phân tán 63 2.5 Kết luận chƣơng 68 CHƢƠNG 70 CÀI ĐẶT THUẬT TOÁN TỐI ƢU HÓA TRUY VẤN PHÂN TÁN 70 3.1 Xác định toán 70 3.2 Mơ hình phân tán CSDL, cơng cụ, ngơn ngữ lập trình 73 3.3 Thuật toán áp dụng 76 3.4 Kết thử nghiệm 76 3.5 Kết luận thực nghiệm 81 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 82 TÀI LIỆU THAM KHẢO 83 GIỚI THIỆU Lý chọn đề tài Cơ sở liệu phân tán đáp ứng phần lớn nhu cầu thực tế liệu phục vụ công tác quản lý ngày lớn đa dạng Đặc biệt, hệ quản trị sở liệu phân tán giải đƣợc vấn đề lƣu trữ liệu phục vụ cho nhiều ngƣời dùng phân tán khắp nơi Khi khối lƣợng thông tin phải xử lý ngày lớn, đa dạng phong phú, liệu đƣợc phân bố nhiều nơi vấn đề đặt xử lý thông tin nhƣ để giảm chi phí đến mức tối thiểu Một giải pháp có tính khả thi phải tối ƣu hóa câu lệnh truy vấn liệu Nghiên cứu tối ƣu hóa truy vấn sở liệu phân tán cần thiết để khai thác có hiệu liệu phân tán Do đó, tơi chọn nghiên cứu đề tài “Tối ƣu hóa truy vấn sở liệu phân tán” làm luận văn tốt nghiệp Mục đích nghiên cứu Đề tài phân tích, trình bày cách có hệ thống nghiên cứu sở liệu quan hệ, nghiên cứu phƣơng pháp thiết kế sở liệu phân tán, kỹ thuật tối ƣu hóa câu truy vấn sở liệu phân tán, cài đặt thử nghiệm số thuật tốn tối ƣu hóa câu truy vấn sở liệu phân tán, từ đƣa lựa chọn phù hợp với toán thực tế Đối tƣợng phạm vi nghiên cứu Đối tƣợng phạm vi nghiên cứu luận văn sở liệu phân tán, câu truy vấn phân tán, số thuật toán tối ƣu hóa truy vấn phân tán cài đặt thuật tốn tối ƣu hóa truy vấn Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết: Tìm hiểu nghiên cứu từ tài liệu, tạp chí viết mạng internet… sau tổng hợp so sánh để viết thành luận văn Nghiên cứu thực nghiệm: Cài đặt thử nghiệm thuật toán R* Bố cục luận văn Với yêu cầu trên, nội dung luận văn trình bày khái quát chung sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán, tối ƣu hóa truy vấn trình xử lý truy vấn, trình bày số thuật tốn tối ƣu hóa truy vấn phân tán, cài đặt thuật toán R* để tối ƣu hóa truy vấn Luận văn đƣợc chia làm chƣơng: Chƣơng 1: Khái quát sở liệu phân tán Trong chƣơng trình bày khái quát sở liệu phân tán: Khái niệm sở liệu phân tán, ƣu nhƣợc điểm sở liệu phân tán, mức suốt phân tán, kiến trúc tham chiếu sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán Chƣơng 2: Trình bày tối ƣu hóa truy vấn sở liệu phân tán: Quá trình xử lý truy vấn, tối ƣu hóa truy vấn dựa vào phƣơng pháp tối ƣu đàn kiến, trình bày số thuật tốn tối ƣu hóa truy vấn Chƣơng 3: Cài đặt thuật tốn tối ƣu hóa truy vấn phân tán: Xác định tốn, mơ hình phân tán sở liệu, sử dụng thuật toán R* để áp dụng, trình bày kết thử nghiệm kết luận thực nghiệm 70 CHƢƠNG CÀI ĐẶT THUẬT TOÁN TỐI ƢU HÓA TRUY VẤN PHÂN TÁN 3.1 Xác định tốn Trong quản lý bán hàng khách hàng mua hay nhiều sản phẩm, mua lần hay nhiều lần Do đó, cần có phần mềm để quản lý việc bán hàng Vì thiết kế sở liệu bao gồm thông tin sản phẩm (mã sản phẩm, tên sản phẩm, màu sắc, kích cỡ, trọng lƣợng, giá, ngày nhập,…) thông tin khách hàng (tên, ngày sinh, địa chỉ, điện thoại,…) thơng tin hàng hóa khách hàng lần mua (mã đơn hàng, sản phẩm, số lƣợng, đơn giá, tổng tiền hóa đơn,…) Trong phạm vi luận văn, demo phần sở liệu gồm bảng sau: Table: Geography Tên cột Kiểu liệu Giải thích GeographyKey Int Khóa City nvarchar(30) Tỉnh, thành phố StateProvinceCode nvarchar(3) Mã thành phố StateProvinceName nvarchar(50) Tên tỉnh, thành phố CountryRegionCode nvarchar(3) Mã vùng EnglishCountryRegionName nvarchar(50) Tên vùng PostalCode nvarchar(15) Mã vùng quốc tế 71 Table: InternetSales Tên cột ProductKey CustomerKey SalesOrderNumber OrderQuantity UnitPrice Discount Amount ProductStandardCost TotalProductCost Kiểu liệu Int Int nvarchar(20) Smallint Money Float Money Money Giải thích Khóa ngoại (bảng Product) Khóa ngoại (bảng Customer) Mã đặt đơn hàng Chất lƣợng yêu cầu Giá đơn vị sản phẩm Lƣợng giảm giá Giá chuẩn sản phẩm Tổng giá trị sản phẩm Table: Customer Tên cột Kiểu liệu Giải thích CustomerKey Int Khóa GeographyKey Int Khóa ngoại (bảng Geography) FirstName nvarchar(50) Tên MiddleName nvarchar(50) Tên đệm LastName nvarchar(50) Tên họ BirthDate Datetime Ngày sinh MaritalStatus nchar(1) Tình trạng nhân Gender nvarchar(1) Giới tính EmaiAddress nvarchar(50) Địa mail TotalChildren Tinyint Tổng số NumberCarsOwned Tinyint Số xe ô tô sở hữu AddressLine1 nvarchar(120) Địa AddressLine2 nvarchar(120) Địa Phone nvarchar(20) Điện thoại DateFirstPurchase Datetime Ngày mua hàng CommuteDistance nvarchar(15) Khoảng cách 72 Table: Product Tên cột Kiểu liệu Giải thích ProductKey Int Khóa ProductAlternateKey nvarchar(25) Mã sản phẩm EnglichsProductName nvarchar(50) Tên sản phẩm SandardCost Money Giá chuẩn Color nvarchar(15) Màu sắc SafetyStockLevel Smallint Mức độ lƣu trữ hàng ListPrice Money Giá ghi bao bì Ze nvarchar(50) Kích thƣớc Weight Float Cân nặng EnglishDescription nvarchar(400) Ghi thêm StartDate Datetime Ngày nhập EndDate Datetime Ngày kết thúc Status nvarchar(7) Trạng thái 73 Sơ đồ quan hệ bảng sau: 3.2 Mơ hình phân tán CSDL, cơng cụ, ngơn ngữ lập trình Cơ sở liệu đƣợc phân tán trạm, sử dụng hệ quản trị CSDL SQL Server 2008 • Trạm 1: gồm bảng Customer (18484 ghi) Geography (655 ghi) • Trạm 2: bảng IntenetSales (60398 ghi) • Trạm 3: bảng Product (606 ghi) Diễn giải bƣớc thực thuật toán Bƣớc 1: Phân tách câu hỏi truy vấn thành câu hỏi truy vấn máy trạm Bƣớc 2: Tìm chi phí lớn truyền liệu (bỏ qua tốc độ băng thông mạng) Chi phí truyền liệu mạng chủ yếu dung lƣợng bytes cần truy vấn Để giảm chi phí truyền thơng, chi phí máy trạm lớn khơng truyền 74 Thay vào chi phí nhỏ đƣợc truyền để thực q trình tích hợp liệu Giao diện chính: Giao diện kết nối máy trạm Thông tin để kết nối trạm gồm: IP máy trạm (hoặc tên máy), loại kết nối sở liệu (SQL server, Mysql, Microsoft Access,…), tên truy cập, mật khẩu, tên sở liệu sử dụng 75 Giao diện kết nối máy trạm Các thông tin trạm gồm thành phần giống nhƣ trạm Giao diện kết nối máy trạm Các thông tin trạm gồm thành phần giống nhƣ trạm trạm 76 Ứng dụng cho phép truy vấn máy trạm, với câu truy vấn lấy liệu máy đơn lẻ 3.3 Thuật toán áp dụng Chƣơng trình cài đặt thử nghiệm thuật tốn R* đƣợc trình bày mục 2.4.2 3.4 Kết thử nghiệm Thử nghiệm 1: Truy vấn với câu hỏi nhƣ sau: Select Customer GeographyKey, Customer.FirstName, InternetSales.ProductKey, InternetSales.TotalProductCost From Customer, InternetSales Where InternetSales.CustomerKey = Customer.CustomerKey Truy vấn với sở liệu tập trung: - Thời gian để thực truy vấn hiển thị là: 1093.75 Milliseconds - Số lƣợng ghi trả 60398 77 Truy vấn với sở liệu phân tán: - Thời gian để thực truy vấn hiển thị là: 1968.75 Miliseconds - Số lƣợng ghi trả 60398 78 Các bƣớc thực câu truy vấn nhƣ hình bên dƣới: 79 Thử nghiệm 2: Truy vấn với câu hỏi nhƣ sau: Select Customer.GeographyKey, Customer.FirstName, InternetSales.ProductKey, InternetSales.TotalProductCost, Product.EnglishProductName From Customer, InternetSales, Product Where InternetSales.CustomerKey = Customer.CustomerKey and Product.ProductKey = InternetSales.ProductKey and Customer.GeographyKey = 11 and Product.Color = ‘Silver’ Truy vấn với sở liệu tập trung: - Thời gian để thực truy vấn hiển thị là: 62.5 Milliseconds - Số lƣợng ghi trả 17 Truy vấn với sở liệu phân tán: - Thời gian để thực truy vấn hiển thị là: 875 Milliseconds 80 - Số lƣợng ghi trả 17 Các bƣớc thực câu truy vấn nhƣ hình bên dƣới: 81 3.5 Kết luận thực nghiệm Chƣơng trình bày chƣơng trình cài đặt thuật toán R* bao gồm: Thiết kế sở liệu phân tán, hệ quản trị sở liệu kết thực nghiệm chạy số truy vấn để so sánh thời gian chạy truy vấn tối ƣu sử dụng thuật toán trạm khác Ứng dụng cho phép thực : - Thực câu truy vấn máy trạm - Thực câu truy vấn sở liệu tập trung - Cho phép thực câu truy vấn đơn giản phân tán máy trạm thực cài đặt thuật toán R* - Đƣa thời gian thực câu truy vấn sở liệu tập trung để so sánh Hiện đề tài thực câu truy vấn đơn giản, chƣa cho phép phân tán với câu truy vấn lồng Q trình tích hợp liệu có đƣợc từ máy trạm chƣa đƣợc tối ƣu, nên thời gian thực câu truy vấn phân tán chƣa nhanh nhiều so với sở liệu tập trung 82 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Cơ sở liệu phân tán đáp ứng phần lớn nhu cầu thực tế liệu phục vụ cho công tác quản lý ngày lớn đa dạng Đặc biệt hệ quản trị sở liệu phân tán giải đƣợc vấn đề lƣu trữ liệu phục vụ cho nhiều ngƣời dùng phân tán kháp nơi Hệ thống phân tán hệ thống sở liệu phức tạp hơn, đòi hỏi việc tổ chức vật lý, mơ hình mạng phức tạp Việc tìm hiểu lựa chọn giải pháp thiết kế sở liệu phân tán phù hợp với yêu cầu thực tế, tối ƣu hóa phân tán có ý nghĩa quan trọng, định đến hiệu hệ thống hiệu kinh tế Với phạm vi đề tài “Tối ƣu hóa truy vấn CSDL phân tán”, luận văn đạt đƣợc số kết sau: - Trình bày khái quát sở liệu phân tán, phân tích đặc điểm sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán - Giới thiệu bƣớc trình xử lý truy vấn, giới thiệu số thuật tốn tối ƣu hóa truy vấn (thuật toán D-Ingres, thuật toán SystemR*, thuật toán SDD-1, thuật toán Hybrids đàn kiến tối ƣu) - Cài đặt đánh giá tính hiệu thuật tốn R* Hƣớng phát triển đề tài: Tiếp tục nghiên cứu phƣơng pháp tối ƣu hóa truy vấn sở liệu phân tán khác, kết hợp thuật toán tối ƣu hóa đàn kiến với số thuật tốn khác nhƣ thuật toán di truyền, thuật toán tối ƣu bầy đàn…Trên sở đƣa đánh giá ƣu nhƣợc điểm phƣơng pháp để áp dụng cho toán cụ thể cho phù hợp để đạt đƣợc hiệu cao 83 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Thế Quế (2009) “Giáo trình Cơ sở liệu phân tán”, NXB thông tin truyền thông [2] Nguyễn Bá Tƣờng (2005), Nhập môn sở liệu liệu phân tán, NXB Khoa học kỹ thuật [3] Nguyễn Văn Huân, Phạm Việt Bình (2009), “Giáo trình hệ sở liệu phân tán & suy diễn: Lý thuyết thực hành”, NXB Khoa học kỹ thuật [4] Vũ Đức Thi (1997), “Cơ sở liệu – kiến thức thực hành”, NXB Thống kê Tiếng Anh [5] Alaa Aljanaby, Emad Abuelrub, and Mohammed Odeh (2005), “A Survey of Distributed Query Optimization”, The International Arab Journal of Information Technology, Vol 2, No [6] Tansel Programming with Dokeroglu, Ant Ahmet Cosar (2011), Colony Optimization “Dynamic Metaheuristic for optimization of Distributed Database Queries”, ISCIS:26th International Symposium on Computer and Information Sciences, IEEE, Vol 2, pp.107113 [7] Preeti Tiwari, Swati V Chande (2013), Optimization of Distributed Database Queries Using Hybrids of Ant Colony Optimization Algorithm, International Journal of Advanced Research in Computer Science and Software Engineering, Volume 3, Issue [8] Abhijeet Raipurkar, G.R Bamnote (2013), Query Optimization In Distributed Database System, International Journal Of Computer Science And Applications, Vol 6, No.2 84 [9] Yasmeen Raushan, Amit r Welekar (2015), Distributed Query Optimization Using Hybrid Ant Colony Algorithm, International Journal of Computer Science & Communication Networks,Vol 5(3) [10] M Tamer Ozsu, Patrick Valduriez (2011), Principles of Distributed Database Systems third edition, Springer [11] Clement T.Yu, Weiyi Meng (1998), “Principles of Database Query Processing for Advanced Applications”, Morgan Kaufmann Publishers, Inc ... sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán, tối ƣu hóa truy vấn trình xử lý truy vấn, trình bày số thuật tốn tối ƣu hóa truy vấn phân tán, cài đặt thuật toán R* để tối ƣu hóa truy vấn. .. tối ƣu hóa câu lệnh truy vấn liệu Nghiên cứu tối ƣu hóa truy vấn sở liệu phân tán cần thiết để khai thác có hiệu liệu phân tán Do đó, tơi chọn nghiên cứu đề tài Tối ƣu hóa truy vấn sở liệu phân. .. tham chiếu sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán Chƣơng 2: Trình bày tối ƣu hóa truy vấn sở liệu phân tán: Quá trình xử lý truy vấn, tối ƣu hóa truy vấn dựa vào phƣơng pháp tối ƣu