Nghiên cứu các kỹ thuật tách gộp sông song trên cơ sở dữ liệu phân tán và ứng dụng (tt)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - Dƣơng Thị Nguyệt NGHIÊN CỨU CÁC KỸ THUẬT TÁCH-GỘP SONG SONG TRÊN CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2014 Luận văn đƣợc hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THÔNG Ngƣời hƣớng dẫn khoa học: PGS NCVC TS Lê Huy Thập Phản biện 1: TS Nguyễn Trọng Đƣờng Phản biện 2: TS Hà Hải Nam Luận văn đƣợc bảo vệ trƣớc Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bƣu Viễn thơng Vào lúc: 10h 15 ngày 15 tháng 02 năm 2014 Có thể tìm hiểu luận văn tại: - Thƣ viện Học viện Cơng nghệ Bƣu Viễn thơng MỞ ĐẦU Trong năm gần công nghệ thông tin ngày phát triển ngày đƣợc ứng dụng linh hoạt phổ biến vào thực tế.Nhƣng vấn đề quan trọng làm để áp dụng cơng nghệ vào thực tế cách khoa học có ý nghĩa nhƣ hiệu cao có thể.Đó tốn khó ngành cơng nghệ thơng tin Có thể xét khía cạnh thực tế yêu cầu hệ thống có quy mơ lớn cần quan tâm vấn đề xử lý thông tin nhanh trả kết xác với chi phí tối ƣu Nhƣ biết q trình xử lý thơng tin hệ thống lớn hoạt động hệ thống mạng, để tăng tốc độ xử lý khơng xây dựng hạ tầng mạng có đƣờng truyền lớn, mà cần phải nghĩ đến việc phân tán liệu nhƣ hệ thống định lớn đến kết xử lý thông tin Trong thời gian qua tơi tìm hiểu hệ thống sở liệu phân tán thấy để giải vấn đề ách tắc vào thƣờng gặp hệ CSDL song song, việc áp dụng kiến trúc phần cứng thích hợp, ngƣời ta tiến hành phân mảnh liệu cách hợp lý cho xử lý thực câu vấn tin cho cách đồng thời mảnh Hiện chƣơng trình viết ngơn ngữ SQL dùng để xử lý CSDL đƣa vào máy đa xử lý để thực song song Phần mềm SQL viết cho hệ thống đơn xử lý đƣa vào máy tính song song để thực song song thơng qua chƣơng trình dịch ngơn ngữ lập trình song song Do tơi chọn đề tài luận văn là: “Nghiên cứu kỹ thuật tách – gộp song song CSDL phân tán ứng dụng”, nội dung luận văn nghiên cứu đề xuất giải pháp tách-gộpsong song cho thấy đƣợc kết thuật toán làm tăng nhiều hiệu xử lý liệu truyền liệu so với sở liệu tập trung CHƢƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Tổng quan CSDL phân tán Hệ sở liệu phân tán (Distributed Database System – DDBS) tập hợp liệu có liên đới logic đƣợc phân bố nút mạng máy tính Cơ sở liệu phân tán (CSDLPT) có đặc điểm: Tính phân tán tính tƣơng quan logic 1.2 Các kỹ thuật phân mảnh liệu CSDL Quy tắc phân mảnh đắn Phải tuân thủ ba quy tắc phân mảnh mà chúng bảo đảm CSDL khơng có thay đổi ngữ nghĩa phân mảnh:Tính đầy đủ, tính tái thiết đƣợc, tính tách biệt Các u cầu thơng tin Một điều cần lƣu ý việc thiết kế phân tán nhiều yếu tố có ảnh hƣởng đến thiết kế tối ƣu Tổ chức logic CSDL, vị trí ứng dụng, đặc tính truy xuất ứng dụng đến CSDL, đặc tính hệ thống máy tính vị trí có ảnh hƣởng đến định phân tán Điều khiến cho việc diễn đạt toán phân tán trở nên phức tạp Nhƣ biết phép chiếu quan hệ cho kết quan hệ trùng lặp phải đƣợc loại bỏ (chỉ giữ lại giống nhau) Phép chiếu mở rộng quan hệ chấp nhận giống nhau, trƣờng hợp kết thu đƣợc bảng Thuật ngữ bảng để quan hệ ngƣợc lại 1.2.1 Phân mảnh ngang Phân mảnh ngang quan hệ tổng thể n-bộ R tách R thành quan hệ n-bộ R1, R2, … Rk cho quan hệ R đƣợc khôi phục lại từ quan hệ phép hợp R = R1 U R2 U … U Rk 1.2.1.1 Phân mảnh ngang (Vòng tròn Robin) Phần giả mã đƣợc viết nhƣ sau: Ký hiệu Y = { n0, n1, …, np-1, np} For i = to N-1 For Each element In Y If element mod N = i Save element vào vùng i Y - = element End if Next element End For Cách phân mảnh dễ cài đặt khơng xảy tình trạng thiếu cân đối liệu vùng tối đa Kỹ thuật phân mảnh dựa thứ tự nên khơng phụ thuộc vào thuộc tính quan hệ đƣợc phân mảnh Phân mảnh Robin khơng thích hợp với truy vấn khoảng phải tiến hành tìm kiếm tất vùng có lƣu quan hệ xét 2.2.1.2 Phân mảnh ngang theo hàm băm Phân mảnh theo hàm băm trƣờng hợp tổng quát Robin Giả sử cần phân mảnh quan hệ R cho N vùng đƣợc đánh số 0, 1, …, N-1 với thuộc tính phân mảnh A Bộ t thuộc R đƣợc đƣa vào vùng k k = t(A) mod N, t(A) giá trị thuộc tính A t Giả mã đƣợc viết nhƣ sau: Y = {t(A)} For i = to N-1 For each element In Y If element mod N = i Save ghi tƣơng ứng với element vào vùng i Y - = element End if Next element; End for Ta thấy: - Khi truy xuất đến mẫu tin phải dựa vào giá trị thuộc tính dùng để phân mảnh - Dữ liệu đƣợc phân mảnh cho vùng thuận tiện cho việc tìm kiếm kết hợp - Giảm tải phải khởi động truy vấn tất vùng Thông thƣờng liệu liên quan đƣợc nhóm lại với lƣu trữ trang vật lý - Nhƣng phân mảnh theo hàm băm mẫu tin đƣợc phân mảnh ngẫu nhiên vào vùng khơng đƣợc nhóm lại với nên khơng thích hợp với truy vấn khoảng 1.2.1.3 Phân mảnh ngang theo khoảng Gộp mà giá trị thuộc tính của chúng thuộc miền Thơng thƣờng dùng câu lệnh SQL để phân nhiều mảng, có dạng nhƣ sau: Vùng Select * From Where Vùng Select * From Where … Vùng n Select * From Where Chú ý Conditioni, Conditionj, với i # j khoảng loại trừ 1.2.1.4 Phân mảnh ngang dẫn xuất Phân mảnh ngang dẫn xuất đƣợc định nghĩa quan hệ thành viên đƣờng nối dựa theo phép toán chọn quan hệ chủ nhân đƣờng nối đó.Chúng ta cần lƣu ý điểm.Một đƣờng nối quan hệ chủ nhân thành viên đƣợc định nghĩa đƣờng nối bằng.Thứ hai, nối đƣợc cài đặt nhờ nối nửa Điều quan trọng với mục đích muốn phân hoạch quan hệ thành viên theo phân mảnh chủ nhân nhƣng muốn mảnh thu đƣợc định nghĩa thuộc tính quan hệ thành viên Nhƣ cho trƣớc đƣờng nối L, owner(L) = S member(L) = R, mảnh ngang dẫn xuất R đƣợc định nghĩa (hình1.8) Ri = R Si, 1