Phương pháp phân mảnh dọc trong CSDL phân tán

Lý do phân mảnh Trước tiên, khung nhìn của các ứng dụng thường chỉ là một tập con của quan hệ nên xem tập con của quan hệ là đơn vị phân tán sẽ là điều thích hợp duy nhất.. Phân mảnh dọc

MỤC LỤC

LỜI MỞ ĐẦU 2

PHẦN NỘI DUNG 3

I TỔNG QUAN VỀ THIẾT KẾ PHÂN MẢNH TRONG CSDL PHÂN TÁN 3

1 Lý do phân mảnh 3

2 Các phương pháp phân mảnh 3

3 Các quy tắc phân mảnh 3

II PHƯƠNG PHÁP PHÂN MẢNH DỌC 4

1 Giá trị sử dụng thuộc tính và tần xuất truy xuất ứng dụng 5

2 Thuật toán BEA tìm ma trận ái lực tụ 8

3 Thuật toán phân hoạch thuộc tính 12

III CHƯƠNG TRÌNH DEMO 14

KẾT LUẬN 17

TÀI LIỆU THAM KHẢO 18

LỜI MỞ ĐẦU

Ngày nay cùng với sự phát triển toàn cầu hóa là sự bùng nổ của các công ty và tập đoàn đa quốc gia Mỗi công ty, tập đoàn quản lý hoạt động qua một hệ thống dữ liệu phân tán khắp nơi đã cho thấy vai trò to lớn của cơ sở dữ liệu phân tán trong lĩnh vực công nghệ thông tin và hoạt động kinh doanh

Nói đến cơ sở dữ liệu phân tán thì không thể không nói đến việc thiết kế phân tán

Để phân tán cơ sở dữ liệu có hai hoạt động chính đó là: Phân mảnh các quan hệ và Phân tán các quan hệ (cấp phát các mảnh) Trong đó phân mảnh là bước trước tiên Phân mảnh các quan hệ có tác dụng rất lớn, nó giúp làm tăng mức độ hoạt động đồng thời của cả hệ thống, tăng lưu lượng hoạt động của hệ thống… Nó là một bước trọng tâm trong việc thiết kế cơ sở dữ liệu phân tán Tiểu luận này xin được trình bày về một trong các phương pháp phân mảnh là phương pháp phân mảnh dọc cùng một chương trình demo thuật toán dùng để phân mảnh dọc

Em xin chân thành cảm ơn thầy PGS TS Đỗ Phúc, giảng viên phụ trách môn cơ

sở dữ liệu nâng cao đã tận tình truyền đạt những kiến thức quý báu giúp em hoàn thành bài tiểu luận này

PHẦN NỘI DUNG

I TỔNG QUAN VỀ THIẾT KẾ PHÂN MẢNH TRONG CSDL PHÂN TÁN

1 Lý do phân mảnh

Trước tiên, khung nhìn của các ứng dụng thường chỉ là một tập con của quan hệ nên xem tập con của quan hệ là đơn vị phân tán sẽ là điều thích hợp duy nhất

Phân rã quan hệ giúp giải quyết vấn đề các ứng dụng có các khung nhìn được định nghĩa trên một quan hệ cho trước lại nằm tại những vị trí khác nhau

Cuối cùng, việc phân rã một quan hệ thành nhiều mảnh, mỗi mảnh được xử lý như một đơn vị, sẽ cho phép thực hiện nhiều giao dịch đồng thời Ngoài ra việc phân mảnh các quan hệ sẽ cho phép thực hiện song song một câu vấn tin bằng cách chia nó thành một tập các câu vấn tin con hoạt tác trên các mảnh Vì thế việc phân mảnh sẽ làm tăng mức độ hoạt động đồng thời (song hành) và như thế làm tăng lưu lượng hoạt động của hệ thống

2 Các phương pháp phân mảnh

Phân mảnh ngang: chia một quan hệ theo các bộ Có 2 loại phân mảnh ngang:

- Phân mảnh ngang nguyên thủy (primary horizontal fragmentation) của một quan hệ được thực hiện dựa trên các vị từ được định nghĩa trên quan hệ

- Phân mảnh ngang dẫn xuất (derived horizontal fragmentation) là phân rã một quan hệ dựa vào các vị từ được định nghĩa trên một quan hệ khác

Phân mảnh dọc: chia nhỏ một quan hệ theo các thuộc tính Phân mảnh dọc cho

một quan hệ R sinh ra các mảnh R1, R2,…, Rn, mỗi mảnh chứa một tập con thuộc tính của R và cả khóa của R

Phân mảnh hỗn hợp: là loại phân mảnh phối hợp cả phân mảnh ngang và phân

mảnh dọc

3 Các quy tắc phân mảnh

Các quy tắc này nhằm đảm bảo tính nhất quán của cơ sở dữ liệu, đặc biệt về ngữ nghĩa của dữ liệu

q1 Tính đầy đủ.

Nếu một quan hệ R được phân mảnh thành các mảnh con R1, R2, , Rn thì mỗi mục dữ liệu phải nằm trong một hoặc nhiều các mảnh con Ở đây trong phân ngang thì mục dữ liệu được hiểu là các bộ còn trong phân mảnh dọc là các thuộc tính Quy tắc này đảm bảo không bị mất dữ liệu khi phân mảnh

q2 Tính tái thiết được.

Nếu một quan hệ R được phân mảnh thành các mảnh con R1, R2, , Rn thì phải định nghĩa được một toán tử quan hệ ∇ sao cho R = Ri

q3 Tính tách biệt.

Giả sử một quan hệ R được phân mảnh thành các mảnh con R1, R2, , Rn Đối với phân mảnh ngang mục di đã nằm trong mảnh Rj thì nó sẽ không nằm trong mảnh Rk với k≠j

Đối với phân mảnh dọc thì khóa chính phải được lặp lại trong các mảnh con, còn các thuộc tính khác phải tách rời

II PHƯƠNG PHÁP PHÂN MẢNH DỌC

Ý nghĩa của phân mảnh dọc là tạo ra các quan hệ nhỏ hơn để sao cho giảm tối

đa thời gian thực hiện của các ứng dụng chạy trên mảnh đó Việc phân mảnh dọc là hoạt động chia một quan hệ R thành các mảnh con R1, R2, , Rn sao cho mỗi mảnh con chứa tập con thuộc tính và chứa cả khóa của R Với cách đặt vấn đề như vậy thì việc phân mảnh dọc không chỉ là bài toán của hệ cơ sở dữ liệu phân tán mà còn là bài toán của ngay cả hệ cơ sở dữ liệu tập trung

Phân mảnh dọc là một bài toán hết sức phức tạp, người ta đã chứng minh được rằng nếu quan hệ có m thuộc tính không phải là thuộc tính khóa thì số lượng các mảnh dọc được phân ra là số Bell thứ m (kí hiệu B(m)), số này tăng rất nhanh với số m lớn

và đạt đến mm Chẳng hạn m=10 thì B(m)≈115.000, với m=15 thì B(m)≈109, với m=30

thì B(m)≈1023 Vì vậy bài toán phân mảnh dọc phải sử dụng đến các thuật giải heuristic Có hai phương pháp chính đã được nghiên cứu đó là phương pháp nhóm và phương pháp tách, trong hai phương pháp thì phương pháp tách tỏ ra có sự tối ưu hơn

Phương pháp nhóm: Khởi đầu bằng tập các mảnh, mỗi mảnh có một thuộc

tính, tại mỗi bước ghép một số mảnh lại cho đến khi thỏa mãn một tiêu chuẩn nào đó

Phương pháp tách: Tại mỗi bước tìm một phân hoạch có lợi cho việc truy xuất

của ứng dụng trên các thuộc tính của nó

Thông tin dùng để phân mảnh dọc có liên quan đến các ứng dụng, một mảnh dọc thường chứa các thuộc tính thường xuyên được truy xuất chung bởi một ứng dụng, người ta tìm cách lượng hóa khái niệm này bằng một số đo gọi là “ái lực” (affinity – ái lực hoặc sự lôi cuốn) Số đo này có thể tính được khi ta tính được tần số truy xuất tới các thuộc tính đó của ứng dụng Trên cơ sở khái niệm “ái lực” và tính được độ sử dụng thuộc tính của các câu vấn tin của ứng dụng người ta đã xây dựng được giải thuật tách rất hữu hiệu

Để minh họa cho phương pháp phân mảnh dọc, các ví dụ minh họa đều được dựa trên quan hệ dự án như sau:

PROJ(PNo, PName, Budget, Loc)

Với PNo là mã dự án, PName là tên dự án, Budget là ngân sách dự án, Loc là vị trí của dự án

1 Giá trị sử dụng thuộc tính và tần xuất truy xuất ứng dụng

Gọi Q = {q1, q2, , qt} là tập các câu vấn tin mà ứng dụng sẽ truy xuất trên quan hệ R(A1, A2, , An) Với mỗi câu vấn tin qi và thuộc tính Aj chúng ta sẽ đưa ra một giá trị sử dụng thuộc tính, kí hiệu là use (qi, Aj) được định nghĩa như sau:

1 nếu Aj được vấn tin qi sử dụng

use (qi, Aj) =

0 trong trường hợp ngược lại

Các giá trị use (qi, *) rất dễ xác định nếu chúng ta biết được các ứng dụng chạy trên CSDL

Ví dụ 1: Xét quan hệ PROJ, giả sử các ứng dụng sử dụng câu vấn tin SQL truy xuất đến nó:

q1: Tìm ngân sách của dự án theo mã số

SELECT Budget

FROM PROJ

WHERE PNo = V

q2: Tìm tên và ngân sách của tất cả các dự án

SELECT PName, Budget

FROM PROJ

q3: Tìm tên của dự án theo vị trí

SELECT PName

FROM PROJ

WHERE Loc = V

q4: Tìm tổng ngân sách dự án tại mỗi vị trí

SELECT Sum (Budget)

FROM PROJ

WHERE Loc = V

Để thuận tiện ta kí hiệu A1 = PNo, A2 = PName; A3 = Budget; A4 = Loc Chúng ta có ma trận sau đây:

A1 A2 A3 A4

Hình 1 Ma trận sử dụng thuộc tính (Use)

aff (Ai, Aj) =

Trong đó ref(qk) là số truy xuất đến các thuộc tính (Ai, Aj) cho mỗi ứng dụng của qk tại vị trí Sl và acc(qk) là kí hiệu số đo tần số truy xuất ứng dụng Kết quả tính toán được một ma trận vuông nxn và ta gọi nó là ma trận ái lực thuộc tính AA

Ví dụ 2: Tiếp tục với ví dụ trên và để cho đơn giản chúng ta giả sử ref(qk) = 1 cho tất cả qk và Sl Số đo tần số truy xuất ứng dụng giả thiết như sau:

acc1(q1) = 15 acc2(q1) = 20 acc3(q1) = 10

acc1(q2) = 5 acc2(q2) = 0 acc3(q2) = 0

acc1(q3) = 25 acc2(q3) = 25 acc3(q3) = 25

acc1(q4) = 3 acc2(q4) = 0 acc3(q4) = 0

Như vậy chúng ta tính số đo ái lực giữa các thuộc tính A1 và A3 và bởi vì ứng dụng duy nhất truy xuất đến cả hai thuộc tính này là q1 nên ta có:

aff(A1, A3) = = acc1(q1) +acc2(q1) + acc3(q1) = 45

Ma trận ái lực thuộc tính đầy đủ như sau:

Hình 2 Ma trận ái lực thuộc tính (AA)

2 Thuật toán BEA tìm ma trận ái lực tụ

Mục tiêu của thuật toán này là tìm một phương pháp nào đó để nhóm các thuộc tính của một quan hệ lại dựa trên các giá trị ái lực thuộc tính trong AA Ý tưởng chính của thuật toán là từ một ma trận ái lực thuộc tính AA sinh ra một ma trận ái lực tụ CA dựa trên các hoán vị hàng và cột, hoán vị được thực hiện sao cho số đo ái lực chung

AM là lớn nhất

AM = aff(Ai,Aj).[aff(Ai,Aj-1)+aff(Ai,Aj+1)+aff(Ai-1,Aj)+aff(Ai+1,Aj)]

Trong đó aff(A0,Aj) = aff(Ai,A0) = aff(An+1,Aj) = aff(Ai,An+1) = 0 là các điều kiện biên khi một thuộc tính được đặt vào CA vào bên trái của thuộc tính cận trái hoặc về bên phải của thuộc tính cận phải trong các hóan vị cột, tương tự cận trên dưới đối với hoán vị hàng Vì ma trận ái lực AA có tính đối xứng nên công thức trên có thể thu gọn:

AM = aff(Ai,Aj).[aff(Ai,Aj-1) + aff(Ai,Aj+1)]

Chúng ta định nghĩa cầu nối (bond) giữa hai thuộc tính Ax và Ay là:

bond(Ax,Ay) =aff(Az,Ax).aff(Az,Ay)

Dựa vào định nghĩa đó chúng ta có thể viết lại AM như sau:

AM = [bond(Aj,Aj-1) + bond(Aj,Aj+1)]

Bây giờ chúng ta xét dãy thuộc tính như sau:

A1 Ai-1 Ai Aj Aj+1 An

Số đo ái lực chung cho các thuộc tính này là:

AMold = AM’+AM’’ + bond(Ai-1,Ai)+bond(Ai,Aj) + bond(Aj,Ai)+bond(Aj,Aj+1) = AM’+AM ’’+ bond(Ai-1,Ai)+bond(Aj,Aj+1)+ 2bond(Ai,Aj)

Khi đặt một thuộc tính mới Ak giữa các thuộc tính Ai và Aj thì số đo ái lực chung mới là:

AMnew = AM’+AM’’ + bond(Ai-1,Ai) +

bond(Ai,Ak) + (Ak,Ai) + bond(Ak,Aj) + bond(Aj,Ak) + bond(Aj,Aj+1)

= AM’+AM ’’ + bond(Ai-1,Ai) + bond(Aj,Aj+1) + 2bond(Ai,Ak) + 2bond(Ak,Aj)

Đóng góp thực cho số đo ái lực chung khi đặt Ak giữa Ai và Aj là:

cont(Ai,Ak,Aj) = AMnew – AMold = 2bond(Ai,Ak) + 2bond(Ak,Aj)

- 2bond(Ai,Aj)

Ví dụ 3: Với ma trận AA được tính ở trên, tính đóng góp thực khi chuyển thuộc tính A4 vào giữa các thuộc tính A1 và A2:

cont(A1,A4,A2) = 2bond(A1,A4) + 2bond(A4,A2) - 2bond(A1,A2)

Ta có:

bond(A1,A4) = 45*0 + 0*75 + 45*3 + 0*78 = 135

bond(A4,A2) = 11865

bond(A1,A2) = 225

Vì vậy: cont(A1,A4,A2) = 2*135 + 2*11865 – 2*225 = 23550

Thuật toán năng lượng nối BEA (Bond Energy Algorithm)

Thuật toán năng lượng nối được thực hiện qua ba bước

B1 Khởi gán Đặt và cố định một trong các cột của AA vào trong CA Cột 1 được chọn trong thuật toán này

B2 Thực hiện lặp Lấy lần lượt một trong n-i cột còn lại (i là số cột đã đặt vào trong CA) và thử đặt chúng vào i+1 vị trí còn lại trong ma trận CA Nơi đặt được chọn sao cho nó đóng góp nhiều nhất cho số ái lực chung được mô tả ở trên Việc lặp được kết thúc khi không còn cột nào để đặt

B3 Sắp thứ tự hàng Một khi thứ tự cột đã được xác định, các hàng cũng cần được đặt lại để các vị trí tương đối của chúng phù hợp với các vị trí tương đối của cột

Thuật toán BEA

Đầu vào: AA ma trận ái lực thuộc tính

Đầu ra: CA ma trận ái lực tụ

Begin

/* Khởi gán */

CA(*,1) := AA(*,1) ; CA(*,2) := AA(*,2) ; index := 3 ;

While index <= n Do /*Chọn vị trí tốt nhất cho thuộc tính AAindex */ Begin

For i :=1 To index -1 Do tính cont (Ai-1,Aindex,Ai);

tính cont (Aindex-1, Aindex, Aindex+1);

loc := nơi đặt được chọn bởi giá trị cont lớn nhất For j := index DownTo loc Do CA(*,j) := AA(*,j-1);

CA(*,loc) := AA(*,index);

index := index + 1 End

Sắp thứ tự các hàng theo thứ tự tương đối của cột

End

Ví dụ 4 Tiếp tục với những kết quả tính toán ở những ví dụ trên, chúng ta xem xét quá trình gom tụ các thuộc tính của quan hệ PROJ

Khởi đầu chúng ta đặt cột 1 và 2 của AA vào ma trận CA Tiếp theo chúng ta xét cột 3 (thuộc tính A3), có ba cách đặt mô tả theo vị trí là 3-1-2, 1-3-2 hoặc 1-2-3

Chúng ta tính đóng góp cho số đo ái lực chung của mỗi khả năng này :

Thứ tự 0-3-1:

cont(A0,A3,A1) = 2bond(A0,A3) + 2bond(A3,A1) - 2bond(A0,A1)

chúng ta biết rằng bond(A0,A1) = bond(A0,A3) = 0, vì vậy:

cont(A0,A3,A1) = 2bond(A3,A1) = 2(45*48+5*0+53+45+3*0) = 8820

Thứ tự 1-3-2 :

bond(A1,A3) = bond(A3,A1) = 4410

bond(A3,A2) = 890

bond(A1,A2) = 225

cont(A1,A3,A2) = 2bond(A1,A3) + 2bond(A3,A2) - 2bond(A1,A2) =

10150

Thứ tự 2-3-4 :

bond(A1,A4) = 890

bond(A3,A4) = bond(A2,A4) = 0

cont(A2,A3,A4) = 2bond(A2,A3) + 2bond(A3,A4) - 2bond(A2,A4) = 1780 Trong những cách tính toán trên lưu ý rằng cột A0 và cột A4 là các vị trí rỗng của ma trận CA trong ngữ cảnh hiện tại, không được nhầm lẫn với thuộc tính A4.Ta thấy thứ tự 1-3-2 có số đóng góp lớn nhất nên vị trí này được chọn

Hình 3 Quá trình tạo ma trận ái lực tụ (CA)

Trong bảng (d) ở trên ta thấy ma trận có hai tụ, góc trên trái bao gồm các giá trị

ái lực nhỏ, góc dưới phải có các giá trị ái lực lớn, tuy nhiên trên thực tế sự tách biệt này không hoàn toàn rõ ràng Nếu ma trận CA lớn ta sẽ thấy có nhiều tụ hơn vì vậy sẽ dẫn đến có nhiều phân hoạch để lựa chọn hơn

3 Thuật toán phân hoạch thuộc tính

Xét ma trận tụ, một điểm nằm trên đường chéo sẽ xác định hai tập thuộc tính Giả sử điểm đó nằm ở cột i thì các tập đó là {A1, , Ai} và {Ai+1, , An}, ta gọi là tập đỉnh (top) TA và tập đáy (bottom) BA

A1 A2 … Ai Ai+1 … An

A1

…

Ai

Ai+1

An

Hình 4 Xác định điểm tách trong phân hoạch

Xét tập ứng dụng Q = {q1, q2, , qt}, ta định nghĩa các tập ứng dụng chỉ truy xuất TA, chỉ truy xuất BA hoặc cả hai AQ(qi) tập thuộc tính được truy xuất bởi ứng dụng qi, TQ và BQ là tập ứng dụng chỉ truy xuất TA và BA, OQ là tập ứng dụng truy xuất cả hai

AQ(qi) = {Aj | use (qi,Aj) = 1} TQ = {qi | AQ(qi) ⊆ TA}

BQ = {qi | AQ(qi) ⊆ BA} OQ = Q – {TQ ∪ BQ}

Giả sử có n thuộc tính thì chúng ta có n-1 vị trí có thể chọn cho điểm phân chia

Vị trí tốt nhất để chọn sao cho tống các truy xuất chỉ một mảnh là lớn nhất còn tổng truy xuất cả hai mảnh là nhỏ nhất Chúng ta định nghĩa phương trình chi phí như sau:

CQ = ref(q i )acc j (q i )

CTQ = ref(q i )acc j (q i )

CBQ = ref(q i )acc j (q i )

COQ = ref(q i )acc j (q i )

Phương trình tối ưu hóa xác định điểm x (1≤x≤n) sao cho:

z = CTQ * CBQ – COQ2 → max

Để chọn được x theo phương trình tối ưu hóa chúng ta phải xét tất cả n-1 trường hợp Để cho đơn giản chúng ta chỉ xét trường hợp điểm z là duy nhất và tụ nằm ở góc trên trái và góc dưới phải của ma trận CA Điểm z chia quan hệ R thành hai mảnh R1

và R2 sao cho R1∩R2 = K (tập thuộc tính khóa chính)

Thuật toán PARTITION

Đầu vào: CA ma trận ái lực tụ, R quan hệ, ref ma trận sử dụng thuộc tính, acc ma trận tần số truy xuất, K tập thuộc tính khóa chính của R

Đầu ra: F tập các mảnh dọc

Begin

z là vị trí thuộc cột thứ nhất;

tính CTQ1; tính CBQ1; tính COQ1; best := CTQ1 * CBQ1 – COQ1

For i := 2 To n-1 Do Begin

tính CTQi;

tính CBQi; tính COQi;

z := CTQi * CBQi – COQi2;

If z > best Then best := z End;

R1 := ∏TA(R) ∪ K;

R2 := ∏BA(R) ∪ K;

F := R1∪R2; End

Ví dụ 5 : Tiếp tục với các tính toán ở trên và với những dữ liệu đã có

Ở vị trí 1: TA = {A1}, TQ = {}, BQ = {q2, q3, q4}, OQ = {q1}

CTQ1 = 0 CBQ1 = acc1(q2) + acc2(q2) + acc3(q2) + acc1(q3) + acc2(q3) + acc3(q3)

+ acc1(q4) + acc2(q4) + acc3(q4) = 83 COQ1 = 45

z = - 2025

Ở vị trí 2: TA = {A1, A3}, TQ = {q1}, BQ = {q3}, OQ = {q2, q4}

CTQ2 = 45 CBQ2 = 75 COQ2 = 8

z = 3311

Ở vị trí 3 : TA = {A1, A3, A2}, TQ = {q1, q2}, BQ = {}, OQ = {q3, q4}

CTQ3 = 50 CBQ3 = 0 COQ3 = 78

z = - 6084

Ta chọn vị trí 2 làm điểm phân chia vì tại vị trí này giá trị trọng tâm là lớn nhất Như vậy chúng ta có PROJ1 = {A1, A3} và PROJ2 = {A1, A2, A4} Tức là PROJ1 = {PNo, Budget} và PROJ2 = {PNo, PName, Loc}

III CHƯƠNG TRÌNH DEMO