Tối ưu hóa truy vấn trong các cơ sở dữ liệu phân tán

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN&TRUYỀN THƠNG LƯƠNG KIM CƯƠNG TỐI ƯU HĨA TRUY VẤN TRONG CÁC CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2019 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN&TRUYỀN THƠNG LƯƠNG KIM CƯƠNG TỐI ƯU HĨA TRUY VẤN TRONG CÁC CƠ SỞ DỮ LIỆU PHÂN TÁN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS ĐOÀN VĂN BAN Thái Nguyên - 2019 LỜI CAM ĐOAN Tôi xin cam đoan, kết luận văn hồn tồn kết tự thân tơi tìm hiểu nghiên cứu thơng qua tham khảo tài liệu thực hướng dẫn PGS.TS Đoàn Văn Ban Các tài liệu tham khảo trích dẫn thích đầy đủ Tác giả Lương Kim Cương LỜI CẢM ƠN Lời đầu tiên, tơi xin chân thành cảm ơn PGS.TS Đồn Văn Ban, người trực tiếp giảng dạy thời gian học tập người trực tiếp hướng dẫn, giúp đỡ tạo điều kiện thuận lợi cho tơi từ lúc nhận đề tài đến hồn thành luận văn Tôi xin gửi lời cảm ơn sâu sắc đến tất Thầy cô tham gia giảng dạy truyền đạt kiến thức, kinh nghiệm quý báu cho hai năm học cao học trường Đại học Công Nghệ Thông Tin Truyền Thông – Đại học Thái Nguyên Những kiến thức giúp tơi nhiều q trình làm luận văn Cuối cùng, tơi xin cảm ơn tất người thân, bạn bè đồng nghiệp khích lệ, động viên, đóng góp ý kiến giúp đỡ tơi hồn thành luận văn Thái Ngun, ngày… tháng….năm 2019 Lương Kim Cương i DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT Ký hiệu Diễn giải CSDL Cơ sở liệu CPU Bộ xử lý trung tâm I/O Cổng vào/ DP Quy hoạch động ACO Tối ưu đàn kiến ii DANH MỤC CÁC HÌNH VẼ Hình 1.1: Kiến trúc tham chiếu sở liệu phân tán [3] Hình 1.2: Cây phân tách quan hệ 13 Hình 2.1: Giải pháp A 18 Hình 2.2: Giải pháp B 18 Hình 2.3: Sơ đồ quy trình xử lý truy vấn [4] 21 Hình 2.4: Đồ thị truy vấn Đồ thị nối 25 Hình 2.5: Đồ thị truy vấn Đồ thị nối với câu truy vấn sai ngữ nghĩa 25 Hình 2.6: Cây đại số quan hệ 28 Hình 2.7: Cây đại số quan hệ sau tái cấu trúc 30 Hình 2.8: Câu truy vấn gốc 32 Hình 2.9: Câu truy vấn rút gọn 32 Hình 2.10: Rút gọn phân mảnh ngang 33 Hình 2.11: Rút gọn phân mảnh dọc 35 Hình 2.12: Rút gọn cho phân mảnh ngang dẫn xuất 36 Hình 2.13: Rút gọn phân mảnh hỗn hợp 37 Hình 2.14: Bộ tối ưu truy vấn 38 Hình 2.15: Các nối 39 Hình 2.16: Hình dáng số nối 40 Hình 2.17: Đồ thị minh họa tổng chi phí thời gian trả lời 42 Hình 2.18: Đồ thị nối truy vấn q1 58 Hình 2.19: Các thứ tự kết nối 59 Hình 2.20: Quá trình định đường đàn kiến 64 MỤC LỤC GIỚI THIỆU CHƯƠNG CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm hệ sở liệu phân tán 1.1.1 Khái niệm 1.1.2 Hệ quản trị sở liệu phân tán 1.1.3 Những ưu điểm sở liệu phân tán 1.1.4 Những nhược điểm sở liệu phân tán [3] 1.2 Các đặc trưng suốt sở liệu phân tán 1.2.1 Trong suốt phân tán 1.2.2 Trong suốt giao dịch 1.2.3 Trong suốt thất bại 1.2.4 Trong suốt thao tác 1.2.5 Trong suốt tính khơng 1.3 Kiến trúc tham chiếu sở liệu phân tán 1.4 Các kỹ thuật xây dựng sở liệu phân tán 1.4.1 Phân mảnh 1.4.1.1 Phân mảnh ngang 10 1.4.1.2 Phân mảnh ngang dẫn tiếp 11 1.4.1.3 Phân mảnh dọc 12 1.4.1.4 Phân mảnh hỗn hợp 13 1.4.2 Nhân liệu 14 1.4.3 Định vị liệu 14 1.5 Kết luận chương 15 CHƯƠNG TỐI ƯU HÓA TRUY VẤN CƠ SỞ DỮ LIỆU PHÂN TÁN 16 2.1 Vấn đề tối ưu hóa xử lý truy vấn 16 2.2 Quá trình xử lý truy vấn 20 2.2.1 Phân rã truy vấn 21 2.2.2 Cục hóa liệu phân tán 30 2.2.2.1 Rút gọn cho phân mảnh ngang nguyên thủy 31 2.2.2.2 Rút gọn cho phân mảnh dọc 34 2.2.2.3 Rút gọn cho phân mảnh ngang dẫn xuất 35 2.2.2.4 Rút gọn cho phân mảnh hỗn hợp 37 2.2.3 Tối ưu hóa tồn cục 38 2.2.3.1 Không gian tìm kiếm 39 2.2.3.2 Mơ hình chi phí 41 2.2.4 Tối ưu hóa cục 47 2.3 Tối ưu hóa truy vấn dựa vào phương pháp tối ưu đàn kiến 47 2.4 Một số thuật tốn tối ưu hóa truy vấn phân tán 48 2.4.1 Thuật toán D-INGRES 49 2.4.2 Thuật toán R* 54 2.4.3 Thuật toán SDD-1 59 2.4.4 Thuật toán Hybrids đàn kiến tối ưu truy vấn phân tán 63 2.5 Kết luận chương 68 CHƯƠNG 70 CÀI ĐẶT THUẬT TỐN TỐI ƯU HĨA TRUY VẤN PHÂN TÁN 70 3.1 Xác định toán 70 3.2 Mơ hình phân tán CSDL, cơng cụ, ngơn ngữ lập trình 73 3.3 Thuật toán áp dụng 76 3.4 Kết thử nghiệm 76 3.5 Kết luận thực nghiệm 81 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 82 TÀI LIỆU THAM KHẢO 83 GIỚI THIỆU Lý chọn đề tài Cơ sở liệu phân tán đáp ứng phần lớn nhu cầu thực tế liệu phục vụ công tác quản lý ngày lớn đa dạng Đặc biệt, hệ quản trị sở liệu phân tán giải vấn đề lưu trữ liệu phục vụ cho nhiều người dùng phân tán khắp nơi Khi khối lượng thông tin phải xử lý ngày lớn, đa dạng phong phú, liệu phân bố nhiều nơi vấn đề đặt xử lý thông tin để giảm chi phí đến mức tối thiểu Một giải pháp có tính khả thi phải tối ưu hóa câu lệnh truy vấn liệu Nghiên cứu tối ưu hóa truy vấn sở liệu phân tán cần thiết để khai thác có hiệu liệu phân tán Do đó, tơi chọn nghiên cứu đề tài “Tối ưu hóa truy vấn sở liệu phân tán” làm luận văn tốt nghiệp Mục đích nghiên cứu Đề tài phân tích, trình bày cách có hệ thống nghiên cứu sở liệu quan hệ, nghiên cứu phương pháp thiết kế sở liệu phân tán, kỹ thuật tối ưu hóa câu truy vấn sở liệu phân tán, cài đặt thử nghiệm số thuật toán tối ưu hóa câu truy vấn sở liệu phân tán, từ đưa lựa chọn phù hợp với toán thực tế Đối tượng phạm vi nghiên cứu Đối tượng phạm vi nghiên cứu luận văn sở liệu phân tán, câu truy vấn phân tán, số thuật tốn tối ưu hóa truy vấn phân tán cài đặt thuật tốn tối ưu hóa truy vấn Phương pháp nghiên cứu Nghiên cứu lý thuyết: Tìm hiểu nghiên cứu từ tài liệu, tạp chí viết mạng internet… sau tổng hợp so sánh để viết thành luận văn Nghiên cứu thực nghiệm: Cài đặt thử nghiệm thuật toán R* Bố cục luận văn Với yêu cầu trên, nội dung luận văn trình bày khái quát chung sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán, tối ưu hóa truy vấn q trình xử lý truy vấn, trình bày số thuật tốn tối ưu hóa truy vấn phân tán, cài đặt thuật tốn R* để tối ưu hóa truy vấn Luận văn chia làm chương: Chương 1: Khái quát sở liệu phân tán Trong chương trình bày khái quát sở liệu phân tán: Khái niệm sở liệu phân tán, ưu nhược điểm sở liệu phân tán, mức suốt phân tán, kiến trúc tham chiếu sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán Chương 2: Trình bày tối ưu hóa truy vấn sở liệu phân tán: Quá trình xử lý truy vấn, tối ưu hóa truy vấn dựa vào phương pháp tối ưu đàn kiến, trình bày số thuật tốn tối ưu hóa truy vấn Chương 3: Cài đặt thuật toán tối ưu hóa truy vấn phân tán: Xác định tốn, mơ hình phân tán sở liệu, sử dụng thuật tốn R* để áp dụng, trình bày kết thử nghiệm kết luận thực nghiệm CHƯƠNG CÀI ĐẶT THUẬT TỐN TỐI ƯU HĨA TRUY VẤN PHÂN TÁN 3.1 Xác định toán Trong quản lý bán hàng khách hàng mua hay nhiều sản phẩm, mua lần hay nhiều lần Do đó, cần có phần mềm để quản lý việc bán hàng Vì thiết kế sở liệu bao gồm thông tin sản phẩm (mã sản phẩm, tên sản phẩm, màu sắc, kích cỡ, trọng lượng, giá, ngày nhập,…) thông tin khách hàng (tên, ngày sinh, địa chỉ, điện thoại,…) thông tin hàng hóa khách hàng lần mua (mã đơn hàng, sản phẩm, số lượng, đơn giá, tổng tiền hóa đơn,…) Trong phạm vi luận văn, demo phần sở liệu gồm bảng sau: Table: Geography Tên cột Kiểu liệu Giải thích GeographyKey Int Khóa City nvarchar(30) Tỉnh, thành phố StateProvinceCode nvarchar(3) Mã thành phố StateProvinceName nvarchar(50) Tên tỉnh, thành phố CountryRegionCode nvarchar(3) Mã vùng EnglishCountryRegionName nvarchar(50) Tên vùng PostalCode nvarchar(15) Mã vùng quốc tế Table: InternetSales Tên cột ProductKey CustomerKey SalesOrderNumber OrderQuantity UnitPrice Discount Amount ProductStandardCost TotalProductCost Kiểu liệu Int Int nvarchar(20) Smallint Money Float Money Money Giải thích Khóa ngoại (bảng Product) Khóa ngoại (bảng Customer) Mã đặt đơn hàng Chất lượng yêu cầu Giá đơn vị sản phẩm Lượng giảm giá Giá chuẩn sản phẩm Tổng giá trị sản phẩm Table: Customer Tên cột Kiểu liệu Giải thích CustomerKey Int Khóa GeographyKey Int Khóa ngoại (bảng Geography) FirstName nvarchar(50) Tên MiddleName nvarchar(50) Tên đệm LastName nvarchar(50) Tên họ BirthDate Datetime Ngày sinh MaritalStatus nchar(1) Tình trạng nhân Gender nvarchar(1) Giới tính EmaiAddress nvarchar(50) Địa mail TotalChildren Tinyint Tổng số NumberCarsOwned Tinyint Số xe ô tô sở hữu AddressLine1 nvarchar(120) Địa AddressLine2 nvarchar(120) Địa Phone nvarchar(20) Điện thoại DateFirstPurchase Datetime Ngày mua hàng CommuteDistance nvarchar(15) Khoảng cách Table: Product Tên cột Kiểu liệu Giải thích ProductKey Int Khóa ProductAlternateKey nvarchar(25) Mã sản phẩm EnglichsProductName nvarchar(50) Tên sản phẩm SandardCost Money Giá chuẩn Color nvarchar(15) Màu sắc SafetyStockLevel Smallint Mức độ lưu trữ hàng ListPrice Money Giá ghi bao bì Ze nvarchar(50) Kích thước Weight Float Cân nặng EnglishDescription nvarchar(400) Ghi thêm StartDate Datetime Ngày nhập EndDate Datetime Ngày kết thúc Status nvarchar(7) Trạng thái Sơ đồ quan hệ bảng sau: 3.2 Mơ hình phân tán CSDL, cơng cụ, ngơn ngữ lập trình Cơ sở liệu phân tán trạm, sử dụng hệ quản trị CSDL SQL Server 2008 • Trạm 1: gồm bảng Customer (18484 ghi) Geography (655 ghi) • Trạm 2: bảng IntenetSales (60398 ghi) • Trạm 3: bảng Product (606 ghi) Diễn giải bước thực thuật toán Bước 1: Phân tách câu hỏi truy vấn thành câu hỏi truy vấn máy trạm Bước 2: Tìm chi phí lớn truyền liệu (bỏ qua tốc độ băng thông mạng) Chi phí truyền liệu mạng chủ yếu dung lượng bytes cần truy vấn Để giảm chi phí truyền thơng, chi phí máy trạm lớn khơng truyền Thay vào chi phí nhỏ truyền để thực q trình tích hợp liệu Giao diện chính: Giao diện kết nối máy trạm Thông tin để kết nối trạm gồm: IP máy trạm (hoặc tên máy), loại kết nối sở liệu (SQL server, Mysql, Microsoft Access,…), tên truy cập, mật khẩu, tên sở liệu sử dụng 75 Giao diện kết nối máy trạm Các thông tin trạm gồm thành phần giống trạm Giao diện kết nối máy trạm Các thông tin trạm gồm thành phần giống trạm trạm 76 Ứng dụng cho phép truy vấn máy trạm, với câu truy vấn lấy liệu máy đơn lẻ 3.3 Thuật toán áp dụng Chương trình cài đặt thử nghiệm thuật tốn R* trình bày mục 2.4.2 3.4 Kết thử nghiệm Thử nghiệm 1: Truy vấn với câu hỏi sau: Select Customer GeographyKey, Customer.FirstName, InternetSales.ProductKey, InternetSales.TotalProductCost From Customer, InternetSales Where InternetSales.CustomerKey = Customer.CustomerKey Truy vấn với sở liệu tập trung: - Thời gian để thực truy vấn hiển thị là: 1093.75 Milliseconds - Số lượng ghi trả 60398 77 Truy vấn với sở liệu phân tán: - Thời gian để thực truy vấn hiển thị là: 1968.75 Miliseconds - Số lượng ghi trả 60398 78 Các bước thực câu truy vấn hình bên dưới: 79 Thử nghiệm 2: Truy vấn với câu hỏi sau: Select Customer.GeographyKey, Customer.FirstName, InternetSales.ProductKey, InternetSales.TotalProductCost, Product.EnglishProductName From Customer, InternetSales, Product Where InternetSales.CustomerKey = Customer.CustomerKey and Product.ProductKey = InternetSales.ProductKey and Customer.GeographyKey = 11 and Product.Color = ‘Silver’ Truy vấn với sở liệu tập trung: - Thời gian để thực truy vấn hiển thị là: 62.5 Milliseconds - Số lượng ghi trả 17 Truy vấn với sở liệu phân tán: - Thời gian để thực truy vấn hiển thị là: 875 Milliseconds 80 - Số lượng ghi trả 17 Các bước thực câu truy vấn hình bên dưới: 81 3.5 Kết luận thực nghiệm Chương trình bày chương trình cài đặt thuật tốn R* bao gồm: Thiết kế sở liệu phân tán, hệ quản trị sở liệu kết thực nghiệm chạy số truy vấn để so sánh thời gian chạy truy vấn tối ưu sử dụng thuật toán trạm khác Ứng dụng cho phép thực : - Thực câu truy vấn máy trạm - Thực câu truy vấn sở liệu tập trung - Cho phép thực câu truy vấn đơn giản phân tán máy trạm thực cài đặt thuật toán R* - Đưa thời gian thực câu truy vấn sở liệu tập trung để so sánh Hiện đề tài thực câu truy vấn đơn giản, chưa cho phép phân tán với câu truy vấn lồng Q trình tích hợp liệu có từ máy trạm chưa tối ưu, nên thời gian thực câu truy vấn phân tán chưa nhanh nhiều so với sở liệu tập trung 82 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Cơ sở liệu phân tán đáp ứng phần lớn nhu cầu thực tế liệu phục vụ cho công tác quản lý ngày lớn đa dạng Đặc biệt hệ quản trị sở liệu phân tán giải vấn đề lưu trữ liệu phục vụ cho nhiều người dùng phân tán kháp nơi Hệ thống phân tán hệ thống sở liệu phức tạp hơn, đòi hỏi việc tổ chức vật lý, mơ hình mạng phức tạp Việc tìm hiểu lựa chọn giải pháp thiết kế sở liệu phân tán phù hợp với yêu cầu thực tế, tối ưu hóa phân tán có ý nghĩa quan trọng, định đến hiệu hệ thống hiệu kinh tế Với phạm vi đề tài “Tối ưu hóa truy vấn CSDL phân tán”, luận văn đạt số kết sau: - Trình bày khái quát sở liệu phân tán, phân tích đặc điểm sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán - Giới thiệu bước trình xử lý truy vấn, giới thiệu số thuật tốn tối ưu hóa truy vấn (thuật tốn D-Ingres, thuật toán SystemR*, thuật toán SDD-1, thuật toán Hybrids đàn kiến tối ưu) - Cài đặt đánh giá tính hiệu thuật tốn R* Hướng phát triển đề tài: Tiếp tục nghiên cứu phương pháp tối ưu hóa truy vấn sở liệu phân tán khác, kết hợp thuật tốn tối ưu hóa đàn kiến với số thuật toán khác thuật toán di truyền, thuật toán tối ưu bầy đàn…Trên sở đưa đánh giá ưu nhược điểm phương pháp để áp dụng cho toán cụ thể cho phù hợp để đạt hiệu cao 83 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Phạm Thế Quế (2009) “Giáo trình Cơ sở liệu phân tán”, NXB thông tin truyền thông [2] Nguyễn Bá Tường (2005), Nhập môn sở liệu liệu phân tán, NXB Khoa học kỹ thuật [3] Nguyễn Văn Huân, Phạm Việt Bình (2009), “Giáo trình hệ sở liệu phân tán & suy diễn: Lý thuyết thực hành”, NXB Khoa học kỹ thuật [4] Vũ Đức Thi (1997), “Cơ sở liệu – kiến thức thực hành”, NXB Thống kê Tiếng Anh [5] Alaa Aljanaby, Emad Abuelrub, and Mohammed Odeh (2005), “A Survey of Distributed Query Optimization”, The International Arab Journal of Information Technology, Vol 2, No [6] Tansel Programming Dokeroglu, with Ant Ahmet Cosar (2011), Colony Optimization “Dynamic Metaheuristic for optimization of Distributed Database Queries”, ISCIS:26th International Symposium on Computer and Information Sciences, IEEE, Vol 2, pp.107113 [7] Preeti Tiwari, Swati V Chande (2013), Optimization of Distributed Database Queries Using Hybrids of Ant Colony Optimization Algorithm, International Journal of Advanced Research in Computer Science and Software Engineering, Volume 3, Issue [8] Abhijeet Raipurkar, G.R Bamnote (2013), Query Optimization In Distributed Database System, International Journal Of Computer Science And Applications, Vol 6, No.2 84 [9] Yasmeen Raushan, Amit r Welekar (2015), Distributed Query Optimization Using Hybrid Ant Colony Algorithm, International Journal of Computer Science & Communication Networks,Vol 5(3) [10] M Tamer Ozsu, Patrick Valduriez (2011), Principles of Distributed Database Systems third edition, Springer [11] Clement T.Yu, Weiyi Meng (1998), “Principles of Database Query Processing for Advanced Applications”, Morgan Kaufmann Publishers, Inc ... tối ưu hóa câu lệnh truy vấn liệu Nghiên cứu tối ưu hóa truy vấn sở liệu phân tán cần thiết để khai thác có hiệu liệu phân tán Do đó, tơi chọn nghiên cứu đề tài Tối ưu hóa truy vấn sở liệu phân. .. chung sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán, tối ưu hóa truy vấn q trình xử lý truy vấn, trình bày số thuật tốn tối ưu hóa truy vấn phân tán, cài đặt thuật tốn R* để tối ưu hóa truy. .. suốt phân tán, kiến trúc tham chiếu sở liệu phân tán, kỹ thuật xây dựng sở liệu phân tán Chương 2: Trình bày tối ưu hóa truy vấn sở liệu phân tán: Quá trình xử lý truy vấn, tối ưu hóa truy vấn dựa