Chuong 2 co so du lieu phan tan

Chương Cơ sở liệu phân tán Nội dung Tại cần CSDLPT Khái niệm CSDLPT Phân loại CSDLPT Đặc điểm CSDLPT Mục tiêu Hệ quản trị CSDLPT Kiến trúc hệ CSDLPT Định nghĩa liệu Đánh giá truy vấn Quản lý giao tác phân tán Tại cần CSDLPT Nhu cầu dùng chung liệu hợp  Các tổ chức có nhiều trụ sở phân tán nhiều vị trí địa lý khác  Làm để quản lý luồng liệu sử dụng chung liệu, chương trình tổ chức?  Một hệ thống phân tán bao gồm hai phần: mạng máy tính CSDL phân tán Khái niệm CSDL phân tán tập hợp nhiều CSDL có liên quan logic phân bố mạng máy tính Trạm Trạm Trạm Mạng truyền liệu Trạm Trạm Môi trường hệ CSDL phân tán Phân loại CSDLPT CSDLPT  Các CSDL máy trạm quản lý hệ QTCSDL  Thường kết thiết kế từ xuống từ CSDL tập trung  Dùng cho CSDL thiết kế từ đầu CSDLPT khơng  CSDLPT tích hợp từ CSDL máy trạm khác hệ QTCSDL  Thích hợp cho thiết kế từ lên  Tích hợp CSDL có Đặc điểm CSDLPT Chia sẻ tài nguyên:  Các tài nguyên (dữ liệu) phân bố mạng  Có chương trình quản lý truy cập quán tin cậy Tính mở  Dễ dàng mở rộng phần cứng phần mềm  Các hệ thống phần cứng phần mềm có nhiều loại khác chung chuẩn Khả song song  Có thể thực đồng thời nhiều thao tác CSDL Khả thứ lỗi  Có khả thay đảm bảo hoạt động liên tục Đặc điểm CSDLPT (tiếp) Tính suốt  Trong suốt vị trí  Trong suốt việc sử dụng  Trong suốt phân chia  Trong suốt trùng lặp Tính tin cậy quán  Dữ liệu lặp lại quán Kiến trúc CSDLPT Sơ đồ tổng thể Sơ đồ phân đoạn Sơ đồ định vị Sơ đồ ánh xạ địa phương DBMS vị trí CSDL địa phương vị trí Sơ đồ ánh xạ địa phương DBMS vị trí CSDL địa phương vị trí Kiến trúc CSDL phân tán Các vị trí khác… Kiến trúc CSDLPT(tiếp) Sơ đồ tổng thể: Định nghĩa tất liệu lưu trữ CSDL phân tán Sơ đồ phân đoạn: Mỗi quan hệ tổng thể chia thành vài phần không giao gọi đoạn (fragments) Sơ đồ định vị: Sơ đồ định vị định nghĩa đoạn định vị vị trí Sơ đồ ánh xạ địa phương: ánh xạ ảnh vật lý đối tượng lưu trữ trạm Hệ quản trị CSDLPT Hệ quản trị CSDLPT gồm chức năng: Các chương trình quản trị liệu phân tán Các chương trình để quản trị việc truyền thơng liệu Các chương trình để quản trị CSDL địa phương Các chương trình quản trị từ điển liệu  Từ điển liệu chứa thông tin: lược đồ liệu, bố trí liệu, ràng buộc liệu  Mơ hình chi phí tối ưu hóa truy vấn  Chi phí chiến lược thực phân tán biểu diễn theo tổng chi phí theo thời gian trả lời  Tổng chi phí tổng tất thành phần chi phí bao gồm chi phí truyền thơng, chi phí I/O chi phí CPU  Tuy nhiên, để đơn giản ta bỏ qua chi phí xử lý địa phương (I/O, CPU), coi chi phí truyền thơng trọng yếu  Thời gian trả lời truy vấn thời gian tính từ bắt đầu xử lý đến hồn thành truy vấn Cơng thức chung cho xác định tổng chi phí: Tổng chi phí: tổng tất chi phí CCPU, CI/O CMSG Total_cost= CCPU * #instr + CI/O * #I/OS + CMSG * #msgs + + CTR * #bytes  Trong đó: Total_cost: tổng chi phí  CCPU: chi phí lệnh CPU  CI/O: chi phí xuất/nhập đĩa  CMSG: chi phí việc khởi đầu nhận thơng báo  CTR: chi phí truyền đơn vị liệu từ trạm đến tram khác, ta xem số  #instr: tổng tất lệnh CPU trạm  #I/OS: số lần xuất/nhập đĩa  #msgs: số thơng báo  #bytes: tổng kích thước tất thông báo CTR Trong công thức: Total_cost= CCPU* #instr + CI/O*#I/OS + CMSG *#msgs + + CTR *#bytes     Hai thành phần chi phí đầu (CCPU,CI/O) chi phí địa phương Hai thành phần chi phí sau (CMSG, CTR) chi phí truyền thơng Chi phí truyền thơng để chuyển #byte liệu từ trạm đến trạm khác giả thiết hàm tuyến tính theo số #bytes truyền đi, xác định công thức CC(#byte)= CMSG + CTR * bytes Thời gian trả lời: Response_time = CCPU * seq_#instr + CI/O * seq_#I/OS + CMSG * seq_#msgs + CTR* seq_#bytes Trong đó: seq_#x (x số lệnh CPU, I/O, số thông báo, số byte) số lớn x thực truy vấn cách  Trong đó: Response_time: thời gian trả lời truy vấn  CCPU: chi phí lệnh CPU  CI/O: chi phí xuất/nhập đĩa  CMSG: chi phí việc khởi đầu nhận thơng báo  CTR: chi phí truyền đơn vị liệu từ trạm đến trạm khác     #instr: tổng tất lệnh CPU trạm #I/OS: số lần xuất/nhập đĩa #msgs: số thơng báo #bytes: tổng kích thước tất thơng báo Ví dụ: Minh hoạ khác tổng chi phí thời gian trả lời, máy tính trả lời truy vấn trạm với liệu từ trạm 2, có chi phí truyền thơng xét Trạm x Trạm Trạm biểu thị theo đơn vị thời gian Tổng chi phí truyền x Giả sử, CMSG CTR y đơn vị từ trạm đến trạm y đơn vị từ trạm đến trạm là: Hình 4.12: Ví dụ biến đổi truy vấn + CMSG+ CTR*y = 2CMSG+ CTR* (x+y) Total_cost = CMSG + CTR*x Vì việc truyền liệu thực song song nên thời gian trả lời truy vấn Response_time = max{CMSG + CTR* x, CMSG + CTR* y} Các thống kê liệu Yếu tố ảnh hưởng đến hiệu suất chiến lược thực thi kích thước quan hệ trung gian sinh trình thực Khi phép tốn đặt trạm khác, quan hệ trung gian phải truyền mạng Do để tối thiểu hố khối lượng liệu truyền đi, điều quan tâm đánh giá kích thước kết trung gian phép toán đại số quan hệ Đánh giá dựa thông tin thống kê quan hệ sở cơng thức ước tính lực lượng kết phép toán quan hệ Mục đích thống kê liệu:  Xác định kích thước quan hệ trung gian sinh trình thực câu truy vấn  Xác định chi phí truyền thơng cho đại lượng trung gian Một số ký hiệu Cho quan hệ R xác định tập thuộc tính A={A1, , An} R phân mảnh thành R1, R2, , Rr   length(Ai): độ dài (byte) thuộc tính Ai ,Ai∈R,     max(Ai): giá trị cực đại thuộc tính Ai Dom(Ai) card(π Ai(Rj): lực lượng phép chiếu mảnh Rj lên thuộc tính Ai (số giá trị phân biệt thuộc tính Ai) min(Ai): giá trị cực tiểu thuộc tính Ai Dom(Ai) card(dom(Ai)): lực lượng thuộc tính Ai card(Ri)): số mảnh Ri Ngoài ra, liệu thống kê bao gồm hệ số chọn phép nối (SFJ) số cặp đại số quan hệ, hệ số SFJ quan hệ R S số thực 1, xác định bởi: card(R    S) SF = J Hệ số SFJ nhỏ phépcard(R)*card(S) nối có tính chọn tốt, ngược lại có tính chọn tồi Các thống kê có lợi để đánh giá kích thước quan hệ trung gian Kích thước quan hệ trung gian R xác định size(R) = card(R)*length(R) Trong đó,  length(R) độ dài (số byte) R, tính theo độ dài thuộc tính nó,  card(R) số R tính theo cơng thức phần Lực lượng kết trung gian Phần đưa công thức để ước tính lực lượng kết phép toán sở đại số quan hệ (phép chọn, phép chiếu, phép tích Decartes, nối, nửa nối, phép hợp phép trừ) Các toán hạng quan hệ ký hiệu R S Hệ số chọn phép toán SFOP, (OP biểu thị phép toán) tỷ lệ toán hạng quan hệ tham gia vào kết phép tốn Ví dụ:   SFJ : hệ số chọn phép nối SFS : hệ số chọn phép chọn 1 Phép chọn card(σ (R)) = SFS(F) * card(R) Trong SFS(F) phụ thuộc vào cơng thức chọn tính sau, với p(Ai), p(Aj) tân từ tương ứng với thuộc tính Ai, Aj max(A) - value SFS (A>value) = max(A)-min(A) SFS (A=value) = Card(π A(R)) Value - min(A) SFS(p(Ai) ∧ p(Aj)) = SFS(p(Ai)) * SFS(p(Aj)) SFS (A>value) = SFS(p(Ai)∨ p(Aj)) = SFS(p(Ai))+SFS(p(Aj))-SFS(p(Ai))* SFS(p(Aj)) SFS(A ∈{value}) = SFS(A=value) * card({value}) max(A)-min(A) 2 Phép chiếu Phép chiếu có khơng loại bỏ sao, xét phép chiếu loại bỏ Lực lượng quan hệ kết phép chiếu tùy ý khó đánh giá xác, tương quan thuộc tính chiếu thường khơng biết Tuy nhiên, có hai trường hợp tầm thường đặc biệt có lợi:  Nếu phép chiếu R thuộc tính đơn A lực lượng tính đơn giản số phép chiếu thực  Nếu thuộc tính chiếu khố R, card(πA(R)) = card(R) card(R×S) = card(R) * card(S) 3 Phép nối  Khơng có cách tổng quát để xác định lực lượng phép nối khơng có thơng tin thêm   Cận lực lượng phép nối lực lượng tích Decartes Tuy nhiên, có số trường hợp xuất thường xuyên việc đánh giá đơn giản:  - Nếu R * AB S với A∈R, B∈S, A khố R, B khố ngồi S, lực lượng kết xấp xỉ là: card(R * AB S) = card(R)  Với phép nối khác, lực lượng kết là: card(R * S) = SFJ * card(R) * card(S)  4 Phép nửa nối Hệ số chọn phép nửa nối (SFSJ) xấp xỉ là: Card(π A(S)) SFSJ (R S) = Card(dom[A]) Công thức phụ thuộc vào thuộc tính A S, nên thường gọi hệ số chọn thuộc tính A S, ký hiệu SFSJ(S.A) hệ số chọn S.A thuộc tính nối khác Vì thế, lực lượng phép nối tính sau: card(R AS) = SFSJ(S.A) * card(R) Phép hợp  Rất khó đánh giá số lượng R∪S, giống R S bị loại bỏ phép hợp  Ở đưa cơng thức tính:  cận card(R∪S) card(R)+card(S),  cận card(R∪S) max{card(R),card(S)}  (giả sử R S không chứa lặp) Phép trừ Cũng phép hợp đưa cận cận dưới, cận card(R-S) card(R), cận Ví dụ Xét hai quan hệ sở liệu công ty máy tính: E=NHANVIEN (MANV, TENNV, CHUCVU) G=HOSO (MANV, MADA, NHIEMVU, THOIGIAN)  Với câu truy vấn “Cho biết tên nhân viên quản lý dự án” Ta có câu truy vấn SQL tương ứng là: SELECT TENNV E, G FROM WHERE E.MANV=G.MANV AND NHIEMVU=”Quản lý”  Hai truy vấn đại số tương đương với truy vấn là: ΠTENNV(σNHIEMVU=”Quản lý” ∧ E.MANV=G.MANV (E × G)) (1) (2) và ΠTENNV(E MANV(σNHIEMVU=”Quản lý” G)) Rõ ràng truy vấn (2) tránh khỏi phải tích số E G, nên dùng phép tính tài nguyên truy vấn (1) ... rộng phần cứng phần mềm  Các hệ thống phần cứng phần mềm có nhiều loại khác chung chuẩn Khả song song  Có thể thực đồng thời nhiều thao tác CSDL Khả thứ lỗi  Có khả thay đảm bảo hoạt động... xử lý đơn vị, cho phép thực nhiều giao dịch đồng thời  Việc phân mảnh quan hệ cho phép thực song song câu truy vấn cách chia thành tập câu vấn tin hoạt tác mảnh Phân mảnh liệu (tiếp)  Nếu... điển liệu chứa thông tin: lược đồ liệu, bố trí liệu, ràng buộc liệu Thiết kế sở liệu phân tán Nội dung Yêu cầu thiết kế hệ thống phân tán Các chiến lược phân tán liệu Phương pháp thiết kế CSDL