3 phan manh doc backup

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ DỮ LIỆU PHÂN TÁN THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN Phân mảnh dọc Ts Phan Thị Hà Phân mảnh dọc Định nghĩa Phân mảnh dọc quan hệ R sinh mảnh R1, R2, , Rr, cho mảnh chứa tập thuộc tính quan hệ R khố Mục đích Phân chia quan hệ R thành mảnh nhỏ nhiều ứng dụng thực mảnh tối ưu, giảm thiểu thời gian thực ứng dụng Nâng cao hiệu xử lý đồng thời Tối ưu ? Một phân mảnh tối ưu phân mảnh sinh lược đồ phân mảnh cho phép giảm tối đa thời gian thực thi ứng dụng chạy phân mảnh Phân mảnh dọc Purpose: Phân mảnh dọc gom thuộc tính thường truy xuất chung với vào mảnh A7 VD: Hình bên Purpose Vd: Xác định phân mảnh R1, R2, ứng dụng thực thi phân mảnh AdvantageVD: Khi nhiều ứng dụng sử dụng R1và nhiều ứng dụng sử dụng R2 site khác nhau, giảm thiểu thời gian thực ứng dụng Nâng cao hiệu xử lý đồng thời R2 Site A1 R1 Site Phân mảnh dọc gom thuộc tính thường truy xuất chung với vào mảnh Để tiến hành phân mảnh dọc cần số thơng tin có liên quan đến ứng dụng (các câu truy vấn) quan hệ thuộc tính, ứng dụng với thuộc tính: - Ma trận sử dụng thuộc tính: biểu diễn mối liên hệ câu truy vấn thuộc tính - Ma trận lực hút AA: Đo lực hút thuộc tính (Ai,Aj) -Ma trận lực hút tụ nhóm: gom nhóm thuộc tính lại với (các thuộc tính có số đo lực hút gần xếp kề nhau) Split Approach phân mảnh dọc Ma trận sử dụng thuộc tính (A) Thuật tụ nhóm (BEA) để nhóm thuộc tính xuất cúng dựa ma trận lực hút thuốc tính Thuật toán sản xuất ma trận lực hút tụ nhóm (CA) Sử dụng thuật tốn Phân mảnh dọc tách thuộc tính thành nhóm thuộc tính Ma trận lực hút thuộc tính (AA) đc xây dựng từ ma trận A, phụ thuộc vào tần số truy cập truy vấn qk vào cặp thuộc tính (Ai,Ạj)trên site tần số truy cập qk vào site Ma trận giá trị sử dụng thuộc tính ❑ R(A1, A2,…, An) quan hệ toàn cục ❑ Q={q1, q2, , qm} tập ứng dụng ❑ Ma trận giá trị sử dụng thuộc tính định nghĩa sau: A= (use(qi , Aj ))m*n use(qi,Aj) = Nếu qi tham chiếu đến thuộc tính Aj Ngược lại i=1 m j=1 n n =  m=Q Ma trận giá trị sử dụng thuộc tính A1 A= A2 … An q1 Use(q1,A1) Use(q1,A2) Use(q1,An) q2 Use(q2,A1) Use(q2,A2) Use(q2,An) … … … qm Use(qm,A1) Use(qm,A2) … … Use(qm,An) Ví dụ ma trận giá trị sử dụng thuộc tính Quan hệ: PROJ (PNO, PNAME, BUDGET, LOC) Tập ứng dụng: q1: Kinh phí dự án biết mã dự án SELECT BUDGET FROM PROJ WHERE PNO = Value q2: Tên kinh phí tất dự án SELECT PNAME, BUDGET FROM PROJ q3: Tìm tên dự án biết thành phố SELECT PNAME FROM PROJ WHERE LOC = Value q4:Tổng kinh phí dự án thành phố SELECT SUM(BUDGET) FROM PROJ WHERE LOC = Value Ví dụ ma trận giá trị sử dụng thuộc tính Ký hiệu: A1= PNO, A2=PNAME, A3=BUDGET, A4=LOC q1: SELECT A3 FROM PROJ WHERE A1= Value q2: SELECT A2, A3 FROM PROJ q3: SELECT A2 FROM PROJ WHERE A4 = Value q4: SELECT SUM(A3) FROM PROJ WHERE A4= Value A= Trọng số lực hút (Attribute Affinit Measure) ❑ R (A1, A2,…, An) quan hệ toàn cục ❑ Q={q1, q2, , qm} tập ứng dụng ❑ Các site: S = {S1, S2,…,St} ❑ Khi AA = (aff( Ai , Aj ))n*n ❑ aff( Ai , Aj ): Trọng số lực hút (Ai, Aj) với ứng dụng Site aff ( Ai , A j ) = Ma trận lực hút   k :[ ( use( qk , Ai )  ( use ( qk , A j ) ] =1  S l ref l ( qk )accl ( qk ) Trong đó: ❑ refl(qk) số lượng truy suất (Ai,Aj) cho lần thực qk vị trí Sl ❑ accl (qk) tần số truy cập ứng dụng qk vị trí Sl 10 vdThuật toán phân mảnh dọc PROJ PROJ1 PROJ2 44 Phân mảnh lai (Hybrid Fragmentation) Sử dụng phân mảnh dọc phân mảnh ngang=> Phân mảnh lai Có hai hướng: Phân mảnh ngang đến phân mảnh dọc ngược lại Kiểm tra tính đắn Phân mảnh lai: Khôi phục phân đoạn lai + VF; Dùng phép kết nối + HF: Dùng phép hợp www.ptit.edu.v n Phân mảnh lai R HF HF R1 VF R11 R2 VF VF R12 Bài 2: Thiêt kế Cơ sở liệu phân tán R21 46 VF R22 VF R23 KHOA CÔNG NGHỆ THÔNG TIN Nhân cấp phát liệu (1) www.ptit.edu.v n ▪ ▪ Nhân bản: mảnh lưu trữ nhiều ▪ ▪ Nhân tồn phần Nhân có lựa chọn Cấp phát: Mảnh lưu vị trí nào? Bài 2: Thiêt kế Cơ sở liệu phân tán 47 KHOA CƠNG NGHỆ THƠNG TIN Bài tốn cấp phát liệu www.ptit.edu.v n ▪ ▪ Phát biểu toán ▪ Cho ▪ F = {F1, F2, …, Fn} mảnh ▪ S ={S1, S2, …, Sm} vị trí mạng ▪ Q = {q1, q2,…, qq} ứng dụng ▪ Tìm phân bổ tối ưu F tới S Tính tối ưu ▪ Chi phí tối thiểu ▪ ▪ Truyền thông + lưu trữ+ xử lý(read & update) Chi phí thời gian ▪ Hiệu ▪ Thời gian đáp ứng và/hoặc thông lượng ▪ Các ràng buộc ▪ Các ràng buộc vị trí (lưu trữ & xử lý) Bài 2: Thiêt kế Cơ sở liệu phân tán 48 KHOA CÔNG NGHỆ THÔNG TIN Cấp phát - Yêu cầu thông tin www.ptit.edu.vn ▪ Thông tin liệu - Chọn lựa mảnh: Seli(Fj): Số lượng Fj đc qi truy xuất xử lý - Kích cỡ mảnh: Size(Fj)= Card(Fj)*length(Fj) ▪ Thơng tin ứng dụng - RRij: số lần truy cập đọc ứng dụng qi từ mảnh Fj - URij: số ghi truy cập nhập (ghi) ứng dụng qi đến mảnh Fj - uij phần tử ma trận truy vấn ghi mảnh - rij phần tử ma trận truy vấn đọc mảnh Bài 2: Thiêt kế Cơ sở liệu phân tán 49 TS HÀ HẢI NAM KHOA CÔNG NGHỆ THƠNG TIN ▪ Thơng tin vị trí ▪ USCk chi phí đơn vị cho lưu trữ liệu vị trí Sk ▪ LPCk chi phí cho xử lý đơn vị liệu vị trí Sk ▪ Thơng tin mạng ▪ Chi phí/khung truyền thơng hai vị trí Si Sj: gij ▪ Kích cỡ khung: fsize() Mơ hình cấp phát www.ptit.edu.v n Dạng tổng qt min(Tổng chi phí) ràng buộc thời gian đáp ứng ràng buộc lưu trữ ràng buộc xử lý Các biến định xij = 1  0 mảnh (đoạn) Fi lưu vị trí Sj trường hợp khác Bài 2: Thiêt kế Cơ sở liệu phân tán 51 KHOA CÔNG NGHỆ THÔNG TIN Cấp phát mảnh liệu (1) ▪ Hàm chi phí tổng có hai thành phần: lưu trữ www.ptit.edu.vn truy vấn (xl& TT) - Chi phí lưu trữ mảnh Fj vị trí Sk: STCjk=USCk*size(Fj)*Xjk USCk chi phí lưu trữ đơn vị vị trí Sk - Chi phí truy vấn ( xl tt) truy vấn qi bao gồm hai thành phần chi phí xử lý PC chi phí truyền thơng TC Bài 2: Thiêt kế Cơ sở liệu phân tán 52 Cấp phát mảnh liệu (2) www.ptit.edu.v n - Chi phí xử lý tổng thành phần Chi phí truy cập (AC)(đọc, ghi), chi phí đảm bảo tồn vẹn (IE), chi phí điều khiển tương tranh CC qi PCi = ACi + IEi +CCi + Chi phí truy cập(đọc,ghi) LPCk: Chi phí xử lý đơn vị vị trí k +Chi phí đảm bảo tồn vẹn điều khiển tương tranh (tính tốn tương tự dựa vào ràng buộc cụ thể) Bài 2: Thiêt kế Cơ sở liệu phân tán 53 KHOA CÔNG NGHỆ THÔNG TIN Cấp phát mảnh liệu (3) - Chi phí truyền dẫn ( Chi phí truyền dẫn cho truy vấn www.ptit.edu.v n qi)gồm: hai thành phần: chi phí xử lý cập nhập (ghi) chi phí xử lý truy vấn (đọc) TCi = TCUi + TCRi Chi phí truyền dẫn cập nhập: chi phí truyền dẫn cho truy vấn cập nhập) Bài 2: Thiêt kế Cơ sở liệu phân tán 54 KHOA CÔNG NGHỆ THÔNG TIN Chi phí truyền dẫn cho truy vấn Cấp phát mảnh liệu (4) www.ptit.edu.v n ▪ Mơ hình hóa ràng buộc ▪ Ràng buộc thời gian đáp ứng cho truy vấn qi Thời gian thực thi qi