Nghiên cứu vấn đề cấp phát mảnh trên các vị trí trong cơ sở dữ liệu phân tán

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG LÊ THỊ NGỌC HIẾU NGHIÊN CỨU VẤN ĐỀ CẤP PHÁT MẢNH TRÊN CÁC VỊ TRÍ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN ĐỒNG NAI, 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG LÊ THỊ NGỌC HIẾU NGHIÊN CỨU VẤN ĐỀ CẤP PHÁT MẢNH TRÊN CÁC VỊ TRÍ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Chuyên ngành: Công nghệ thông tin Mã số: 60.48.02.01 Người hướng dẫn khoa học: PGS.TS Đỗ Phúc Đồng Nai, 2013 -1- MỞ ĐẦU Đặt vấn đề Trong năm gần đây, có tiến đáng kể phát triển hệ thống mạng máy tính Cùng với xu toàn cầu hóa lĩnh vực, đặc biệt thương mại, sở liệu (CSDL) phân tán trở thành lĩnh vực thu hút nhiều quan tâm nhà nghiên cứu lý thuyết lẫn nhà sản xuất phần mềm Công nghệ hệ CSDL phân tán hợp hai hướng tiếp cận trình xử lý liệu: công nghệ CSDL công nghệ mạng máy tính Chúng ta hiểu hệ CSDL phân tán CSDL lưu trữ nhiều máy tính đặt vị trí vật lý khác nhau, phân tán qua mạng lưới máy tính kết nối với Như vậy, hệ CSDL phân tán hệ thống mà CSDL lại nằm nút mạng Trong số tình huống, người ta cho CSDL cần nhân để lưu trữ nút khác mạng tốt phải tải khối lượng liệu từ vị trí trung tâm đến vị trí khác Tuy nhiên cần thiết phải cập nhật liệu nhân nhiều đòi hỏi phải cài đặt nghi thức điều khiển đồng thời ủy thác hợp lý Vì vấn đề khó khăn việc thiết kế CSDL phân tán giải toán cấp phát liệu (fragment allocation) vị trí (site) cho hợp lý Bài toán thuộc loại NP-hard, giải pháp đề xuất trước dựa thuật giải heuristic Trong [8], March Rho đưa phương pháp tiếp cận theo thuật giải di truyền Park Baik đề xuất phương pháp dựa xác suất kết hợp với thuật giải di truyền (xem [9]) Theo Yin-Fu Huang and Jyh-Her Chen [12]: “Mặc dù số lượng lớn nhà nghiên cứu đề xuất mô hình thuật toán phân bổ mảnh sở liệu phân tán, hầu hết -2- mô hình họ phức tạp chưa hiểu rõ Vì vậy, khó khăn để sử dụng chúng thực tế” Năm 2008, Hassan I Abdalla trình bày thuật toán bố trí mảnh dựa thuật toán tham lam (xem [1]) Năm 2009 [5] Karimi Adl R and Rouhani Rankoohi SMT đưa thuật toán bố trí mảnh dựa thuật toán đàn kiến Năm 2012, Hassan I Abdalla viết báo [2] “Phương pháp xác suất phương pháp heuristic số tiếp cận khác mà nhà nghiên cứu áp dụng để giải vấn đề bố trí mảnh Phương pháp xác suất cho nhiều kịch tìm thấy giải pháp tối ưu, tốn Trong tiếp cận theo phương pháp heuristic dẫn đến giải pháp gần tối ưu gặp giải pháp tối ưu.” Trong báo Hassan I Abdalla đề xuất mô hình kết hợp hai phương pháp heuristic phương pháp xác suất Mục tiêu luận văn Mục tiêu luận văn nghiên cứu phương pháp giải toán cấp phát liệu CSDL phân tán, cài đặt chương trình, thực nghiệm ví dụ minh họa, tìm giải pháp tối ưu Phương pháp nghiên cứu Luận văn nghiên cứu giải toán tối ưu theo phương pháp: - Phương pháp giải toán tối ưu theo thuật giải di truyền: thuật giải di truyền thuật giải heuristic nên kết tìm tốt chưa thể tốt - Phương pháp giải toán tối ưu theo mô hình qui hoạch tuyến tính: thuật giải phương pháp đơn giản kết tìm lại tối ưu Các chương mục luận văn Bố cục phần nghiên cứu luận văn trình bày sau : Mở đầu Chương 1: Đề cập đến lý thuyết CSDL phân tán Trình bày rõ khía cạnh quan trọng thiết kế CSDL phân tán phân mảnh cấp phát -3- Chương 2: Giới thiệu nội dung, phương pháp giải toán tối ưu theo thuật giải di truyền theo mô hình qui hoạch tuyến tính Chương 3: Nêu toán cấp phát tổng quát, đề xuất, cài đặt chương trình để giải toán theo phương pháp Chương 4: Thực nghiệm, so sánh kết toán cụ thể, đưa nhận xét, tìm giải pháp tối ưu Chương 5: Kết luận -4- CHƯƠNG HỆ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 HỆ CƠ SỞ DỮ LIỆU PHÂN TÁN Hệ CSDL phân tán CSDL, phần CSDL lưu trữ nhiều máy tính mạng Người sử dụng truy cập vào phần CSDL có liên quan đến nhiệm vụ mình, vị trí (site) họ, mà không cần can thiệp người khác Hệ quản trị CSDL phân tán hệ thống phần mềm cho phép quản lý CSDL phân tán thể tất liệu lưu trữ máy tính Hệ quản trị CSDL phải đồng tất liệu trường hợp mà nhiều người sử dụng truy cập vào liệu Đảm bảo người sử dụng thực cập nhật xóa liệu địa điểm tự động phản ánh liệu lưu trữ nơi khác Hình 1.1 Mô hình CSDL phân tán (Nguồn http://vietan-enviro.com/home/wp-content/uploads/2012/01/G1.jpg) -5- 1.2 CÁC ĐẶC ĐIỂM CHÍNH CỦA CƠ SỞ DỮ LIỆU PHÂN TÁN 1.2.1 Chia sẻ tài nguyên Việc chia sẻ tài nguyên hệ CSDL phân tán thực thông qua mạng truyền thông Để chia sẻ tài nguyên cách có hiệu tài nguyên cần quản lý chương trình có giao diện truyền thông, tài nguyên truy cập, cập nhật cách tin cậy quán Quản lý tài nguyên lập kế hoạch dự phòng, đặt tên cho lớp tài nguyên, cho phép tài nguyên truy cập từ nơi đến nơi khác, ánh xạ lên tài nguyên vào địa truyền thông, 1.2.2 Tính mở Tính mở hệ thống máy tính dễ dàng mở rộng phần cứng (thêm thiết bị ngoại vi, nhớ, giao diện truyền thông ) phần mềm (các mô hình hệ điều hành, giao thức truyền tin, dịch vụ chung tài nguyên ) Một hệ CSDL phân tán có tính mở hệ tạo từ nhiều loại phần cứng phần mềm nhiều nhà cung cấp khác với điều kiện thành phần phải theo tiêu chuẩn chung Tính mở hệ CSDL phân tán xem mức độ bổ sung dịch vụ dùng chung tài nguyên mà không phá hỏng hay nhân đôi dịch vụ tồn Tính mở hoàn thiện cách xác định hay phân định rõ giao diện hệ làm cho tương thích với nhà phát triển phần mềm 1.2.3 Khả song song Hệ CSDL phân tán hoạt động mạng truyền thông có nhiều máy tính, máy có hay nhiều CPU Trong thời điểm có N tiến trình tồn tại, ta nói chúng thực đồng thời Việc thực tiến trình theo chế phân chia thời gian (một CPU) hay song song (nhiều CPU) Khả làm việc song song hệ CSDL phân tán thực hai tình sau: - Nhiều người sử dụng đồng thời lệnh hay tương tác với chương trình ứng dụng -6- - Nhiều tiến trình Server chạy đồng thời, tiến trình đáp ứng yêu cầu từ tiến trình Client khác 1.2.4 Khả khứ lỗi Việc thiết kế khả khứ lỗi hệ thống máy tính dựa hai giải pháp sau: - Dùng khả thay để đảm bảo hoạt động liên tục hiệu - Dùng chương trình hồi phục xảy cố Xây dựng hệ thống khắc phục cố theo cách thứ người ta nối hai máy tính với để thực chương trình, hai máy chạy chế độ Standby (không tải hay chờ) Giải pháp tốn phải nhân đôi phần cứng hệ thống Một giải pháp để giảm phí tổn Server riêng lẻ cung cấp ứng dụng quan trọng để thay có cố xuất Khi cố Server hoạt động bình thường, có cố Server đó, ứng dụng Clien tự chuyển hướng sang Server lại Cách hai phần mềm hồi phục thiết kế cho trạng thái liệu thời (trạng thái trước xảy cố) khôi phục lỗi phát Các hệ CSDL phân tán cung cấp khả sẵn sàng cao để đối phó với sai hỏng phần cứng 1.2.5 Tính suốt Tính suốt hệ CSDL phân tán hiểu việc che khuất thành phần riêng biệt hệ người sử dụng người lập trình ứng dụng 1.2.5.1 Tính suốt vị trí Người sử dụng không cần biết vị trí vật lý liệu Người sử dụng có quyền truy cập tới đến CSDL nằm vị trí Các thao tác lấy, cập nhật liệu điểm liệu xa tự động thực hệ thống điểm đưa yêu cầu, người sử dụng không cần biết đến phân tán CSDL mạng -7- 1.2.5.2 Tính suốt việc sử dụng Việc chuyển đổi phần hay toàn CSDL thay đổi tổ chức hay quản lý, không ảnh hưởng tới thao tác người sử dụng 1.2.5.3 Tính suốt việc phân chia Nếu liệu phân chia tăng tải, không ảnh hưởng tới người sử dụng 1.2.5.4 Tính suốt trùng lập Nếu liệu trùng lặp để giảm chi phí truyền thông với CSDL nâng cao độ tin cậy, người sử dụng không cần biết đến điều 1.2.6 Đảm bảo tin cậy quán Hệ thống yêu cầu độ tin cậy cao, bí mật liệu phải bảo vệ, chức khôi phục hư hỏng phải đảm bảo Ngoài yêu cầu hệ thống tính quán quan trọng thể hiện, mâu thuẫn nội dung liệu Khi thuộc tính liệu khác thao tác phải quán 1.3 MỤC ĐÍCH CỦA VIỆC SỬ DỤNG CSDL PHÂN TÁN - Xuất phát từ yêu cầu thực tế tổ chức kinh tế: Trong thực tế nhiều tổ chức không tập trung, liệu ngày lớn phục vụ cho đa người dùng nằm phân tán, CSDL phân tán đường thích hợp với cấu trúc tự nhiên tổ chức Đây yếu tố quan trọng thức đẩy việc phát triển CSDL phân tán - Sự liên kết CSDL địa phương tồn tại: CSDL phân tán giải pháp tự nhiên có CSDL tồn cần thiết xây dựng ứng dụng toàn cục Trong trường hợp CSDL phân tán tạo từ lên dựa tảng CSDL tồn Tiến trình đòi hỏi cấu trúc lại CSDL cục mức định Dù sao, sửa đổi nhỏ nhiều so với việc tạo lập CSDL tập trung hoàn toàn -8- - Làm giảm tổng chi phí tìm kiếm: Việc phân tán liệu cho phép nhóm làm việc cục kiểm soát toàn liệu họ Tuy vậy, thời điểm người sử dụng truy cập đến liệu xa cần thiết Tại cácvị trí cục bộ, thiết bị phần cứng chọn cho phù hợp với công việc xử lý liệu cục điểm - Sự phát triển mở rộng: Các tổ chức phát triển mở rộng cách thêm đơn vị mới, vừa có tính tự trị, vừa có quan hệ tương đơn vị tổ chức khác Khi giải pháp sở liệu phân tán hỗ trợ mở rộng uyển chuyển với mức độ ảnh hưởng tối thiểu tới đơn vị tồn - Trả lời truy vấn nhanh: Hầu hết yêu cầu truy vấn liệu từ người sử dụng vị trí cục thoả mãn liệu thời điểm - Độ tin cậy khả sử dụng nâng cao: có thành phần hệ thống bị hỏng, hệ thống trì hoạt động - Khả phục hồi nhanh chóng: Việc truy nhập liệu không phụ thuộc vào máy hay đường nối mạng Nếu có lỗi hệ thống tự động chọn đường lại qua đường nối khác 1.4 CÁC VẤN ĐỀ KHI THIẾT KẾ CSDL PHÂN TÁN Câu hỏi tập trung giải làm để CSDL ứng dụng chạy đặt nhiều vị trí Hai khía cạnh quan trọng cần phải ý đến thiết kế hệ thống CSDL phân tán phân mảnh (fragmentation), nghĩa tách CSDL thành nhiều phần, gọi mảnh (fragment), phân bố (distribution) việc cấp phát (allocation) mảnh cho tối ưu (xem hình 1.2) - Phân mảnh: Mỗi quan hệ chia thành số mảnh nhỏ, mảnh nằm rãi rác vị trí khác - Nhân cấp phát: Các mảnh nhân thành giống hệt cấp phát đến vị trí mạng cho cấp phát tối ưu -50- Hình 4.2 Khai báo tham số toán WinQSB Kết Hình 4.3 Kết toán WinQSB Theo bảng kết (xem hình 4.3), ma trận cấp phát tối ưu có giá trị sau: F1 F2 F3 F4 F5 FAMop : S1 0 S2 0 Chi phí : 10592 S3 0 0 S4 0 0 -51- 4.2.2.2 Bài toán (a) Tính ajl : Dùng chương trình TinhAjl.exe để tính 10 a jl   eik uij s j ckl j  1,10 ; l  1,10 k 1 i 1 Kết nhận được: Hình 4.4 Màn hình kết tính Ajl toán Ma trận Ajl 8640 9440 24768 21216 0 12240 6880 61376 33152 4320 4720 4128 3536 0 18360 10320 87680 47360 7200 15264 10560 33600 3600 2544 15840 48000 7360 22464 15840 66304 3680 3744 23760 94720 6880 18144 9120 40096 3440 3024 13680 57280 12000 28896 9440 47936 6000 4816 14160 68480 11520 23040 4080 21504 5760 3840 6120 30720 11680 30240 14880 64512 5840 5040 22320 92160 6480 17424 8640 43680 3240 2904 12960 62400 7600 18864 10980 41328 3800 3144 16470 59040 -52- (b) Mô hình toán học toán: Minimize 8640x11 + 9440x12 + 7200x13 + 7360x14 + 6880x15 + 12000 x16 + 11520x17 + 11680x18 +6480 x19 + 7600x1,10 + 24768x21 + 21216x22 + 15264x23 + 22464x24 + 18144x25 + 28896x26 + 23040x27 + 30240x28 +17424 x29 + 18864x2,10+ 12240x41 + 6880x42 + 10560x43 + 15840x44 + 9120x45 + 9440x46 + 4080x47 + 14880x48 +8640 x49 + 10980x4,10+ 61376x51 + 33152x52 + 33600x53 + 66304x54 + 40096x55 + 47936x56 + 21504x57 + 64512x58 +43680x59 + 41328x5,10+ 4320x61 + 4720x62 + 3600x63 + 3680x64 + 3440x65 + 6000x66 + 5760x67 + 5840x68 + 3240x69 + 3800x6,10+ 4128x71 + 3536x72 + 2544x73 + 3744x74 + 3024x75 + 4816x76 + 3840x77 + 5040x78 + 2904x79 + 3144x7,10+ 18360x91 + 10320x92 + 15840x93 + 23760x94 + 13680x95 + 14160x96 +6120 x97 + 22320x98 + 12960x99 + 16470x9,10+ 87680x10,1 + 47360x10,2 + 48000x10,3 + 94720x10,4 + 57280x10,5 + 68480x10,6 + 30720x10,7 + 92160x10,8 + 62400x10,9 + 59040x10,10 Subject to  10  xij  i  1,10  j 1  10  xij  j  1,10  i 1  xij  {0,1}   -53- (c) Sử dụng WinQSB để giải toán Tham số cho mô hình: Đặt X [10(i  1)  j ]  xij i  1,10; j  1,10 Hình 4.5a Khai báo tham số toán WinQSB Hình 4.5b Khai báo tham số toán WinQSB -54- Hình 4.5c Khai báo tham số toán WinQSB Hình 4.5d Khai báo tham số toán WinQSB Kết toán WinQSB Combined Report for Vidu2 16:11:20 Sunday c(j) May 12 Decision Solution Unit Cost orTotal Allowable Allowable Variable Value Profit c(j) Contribution Max c(j) 2013 Reduced Basis Cost Status Min -55- 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 X1 X2 X3 X4 X5 X6 X7 X8 X9 6,880 X10 X11 X12 X13 17,424 X14 X15 X16 X17 X18 X19 X20 X21 X22 X23 X24 X25 X26 X27 X28 X29 X30 X31 X32 X33 X34 X35 X36 X37 6,880 X38 X39 X40 X41 X42 X43 X44 8,640 9,440 7,200 7,360 6,880 12,000 11,520 11,680 6,480 0 0 0 0 6,480 2,160 2,960 720 880 400 5,520 5,040 5,200 at bound at bound at bound at bound at bound at bound at bound at bound basic 6,480 6,480 6,480 6,480 6,480 6,480 6,480 6,480 M M M M M M M M 7,600 24,768 21,216 15,264 0 15,264 1,120 9,504 5,952 at bound at bound at bound basic 6,480 15,264 15,264 M M M 22,464 18,144 18,896 23,040 30,240 17,424 18,864 0 0 0 0 0 12,240 6,880 10,560 15,840 9,120 9,440 4,080 0 0 0 0 0 0 0 0 0 0 0 4,080 7,200 2,880 3,632 7,776 14,976 2,160 3,600 0 0 0 0 0 8,160 2,800 6,480 11,760 5,040 5,360 at bound at bound at bound at bound at bound at bound at bound basic basic at bound basic basic basic at bound basic at bound basic at bound at bound at bound at bound at bound at bound basic 15,264 15,264 15,264 15,264 15,264 15,264 15,264 0 0 0 0 0 4,080 4,080 4,080 4,080 4,080 4,080 M M M M M M M 0 M 0 M M M M M M M M 14,880 8,640 10,980 61,376 33,152 33,600 66,304 0 0 0 10,800 4,560 6,900 39,872 11,648 12,096 44,800 at bound at bound at bound at bound at bound at bound at bound 4,080 4,080 4,080 21,504 21,504 21,504 21,504 M M M M M M M -56- 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 X45 X46 X47 33,152 X48 X49 X50 X51 X52 X53 X54 X55 X56 X57 X58 X59 3,440 X60 X61 X62 X63 2,904 X64 X65 X66 X67 X68 X69 X70 X71 X72 X73 X74 X75 X76 X77 X78 X79 X80 X81 X82 X83 X84 X85 X86 X87 10,320 40,096 47,936 21,504 0 21,504 18,592 at bound 26,432 at bound basic 21,504 21,504 M M 64,512 43,680 41,328 4,320 4,720 3,600 3,680 3,440 6,000 5,760 5,840 3,240 0 0 0 0 0 3,240 43,008 22,176 19,824 1,080 1,480 360 440 200 2,760 2,520 2,600 at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound basic 21,504 21,504 21,504 3,240 3,240 3,240 3,240 3,240 3,240 3,240 3,240 M M M M M M M M M M M 3,800 4,128 3,536 2,544 0 2,544 560 1,584 992 at bound at bound at bound basic 3,240 2,544 2,544 M M M 3,744 3,024 4,816 3,840 5,040 2,904 3,144 0 0 0 0 0 18,360 10,320 15,840 23,760 13,680 14,160 6,120 0 0 0 0 0 0 0 0 0 0 0 6,120 1,200 480 2,272 1,296 2,496 360 600 0 0 0 0 0 12,240 4,200 9,720 17,640 7,560 8,040 at bound at bound at bound at bound at bound at bound at bound basic at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound at bound basic 2,544 2,544 2,544 2,544 2,544 2,544 2,544 0 0 0 0 0 6,120 6,120 6,120 6,120 6,120 6,120 M M M M M M M M M M M M M M M M M M M M M M -57- 88 89 90 91 92 93 94 95 96 97 X88 X89 X90 X91 X92 X93 X94 X95 X96 X97 47,360 98 X98 99 X99 100 X100 Objective Function 22,320 12,960 16,470 87,680 47,360 48,000 94,720 57,280 68,480 30,720 0 0 0 0 30,720 16,200 6,840 10,350 56,960 16,640 17,280 64,000 26,560 37,760 at bound at bound at bound at bound at bound at bound at bound at bound at bound basic 6,120 6,120 6,120 30,720 30,720 30,720 30,720 30,720 30,720 M M M M M M M M M 92,160 62,400 59,040 (Min.) = 0 89,952 61,440 at bound 31,680 at bound 28,320 at bound 30,720 30,720 30,720 M M M Theo bảng kết quả, ma trận cấp phát tối ưu có giá trị sau: FAM op: S1 F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 S2 0 0 0 0 S3 0 0 0 S4 0 0 0 0 Chi phí : 89952 S5 0 0 0 0 S6 0 0 0 0 S7 0 1 0 1 S8 0 0 0 0 S9 S10 0 0 0 0 0 0 0 0 -58- 4.3 SO SÁNH KẾT QUẢ 4.3.1 Bài toán Theo thuật giải di truyền: với lần chạy ta phương án khác với chi phí : FAM1 12580, FAM2 11620, FAM3 11460, FAM4 12420, FAM5 13380 Theo mô hình qui hoạch tuyến tính: cho kết phương án tối ưu FAMop với chi phí: 10592  Nếu sử dụng chức đột biến kiểm chứng FAMop thuật giải di truyền có chi phí 10660, thấp so với phương án FAM1, FAM2, FAM3, FAM4, FAM5, Hình 4.6 Kết kiểm chứng FAMop toán chương trình cấp phát -59- 4.3.2 Bài toán Theo thuật giải di truyền: với lần chạy ta phương án khác với chi phí : FAM1 365245, FAM2 336289, FAM3 420731, FAM4 355383, FAM5 395741 Theo mô hình qui hoạch tuyến tính: cho kết phương án tối ưu FAMop với chi phí: 89952  Nếu sử dụng chức đột biến kiểm chứng FAMop thuật giải di truyền có chi phí 90945, thấp so với phương án FAM1, FAM2, FAM3, FAM4, FAM5, Hình 4.7 Kết kiểm chứng FAMop toán chương trình cấp phát -60- 4.4 NHẬN XÉT 4.4.1 Với toán - Theo tiếp cận thuật giải di truyền kết tốt tìm sau lần thử nghiệm là: Lần F1 F2 F3 F4 F5 FAM3 : S1 S2 0 0 0 0 S3 0 0 S4 0 1 Chi phí : 11460 Có nghĩa : F1 cấp cho S1 F2 cấp cho S2 F3 cấp cho S4 F4 cấp cho S4 F5 cấp cho S3 - Theo tiếp cận mô hình qui hoạch tuyến tính kết tối ưu tìm được: FAMop : S1 S2 F1 F2 F3 0 F4 F5 0 S3 0 0 S4 0 0 Chi phí : 10660 Có nghĩa : F1 cấp cho S1 F2 cấp cho S2 F3 cấp cho S4 -61- F4 cấp cho S1 F5 cấp cho S3 - Kết luận: Phương án cấp phát FAM3 tìm thấy xấp xỉ phương án tối ưu FAMop (chỉ khác mảnh F4) 4.4.2 Với toán - Theo tiếp cận thuật giải di truyền, kết tốt tìm sau lần thử nghiệm là: Lần FAM 2: S1 S2 F1 F2 0 F3 F4 F5 0 F6 1 F7 F8 F9 0 F10 0 S3 0 0 0 S4 1 0 0 0 S5 1 1 S6 0 0 0 S7 0 1 0 S8 1 0 0 0 S9 S10 0 0 0 0 0 0 0 Chi phí : 336289 Có nghĩa : F1 cấp cho S1, S4, S8 F2 cấp cho S3, S5, S9 F3 cấp cho S1, S4, S8 F4 cấp cho S2, S5, S7 F5 cấp cho S6, S7 F6 cấp cho S1, S2, S4, S5, S9 F7 cấp cho S2, S5, S7, S10 F8 cấp cho S1, S8 F9 cấp cho S5, S6 -62- F10 cấp cho S3, S10 - Theo tiếp cận mô hình qui hoạch tuyến tính sau có kết ma trận Ajl kết tối ưu tìm được: FAM op: S1 F1 F2 F3 F4 F5 F6 F7 F8 F9 F10 S2 0 0 0 0 S3 0 0 0 S4 0 0 0 0 S5 0 0 0 0 S6 0 0 0 0 S7 0 1 0 1 S8 0 0 0 0 S9 S10 0 0 0 0 0 0 0 0 Chi phí : 89952 Có nghĩa : F1 cấp cho S9 F2 cấp cho S3 F3 cấp cho S2, S4, S5, S6, S8, S10 F4 cấp cho S7 F5 cấp cho S7 F6 cấp cho S10 F7 cấp cho S3 F8 cấp cho S1 F9 cấp cho S7 F10 cấp cho S7 - Kết luận: Phương án cấp phát FAM2 tìm thấy khác nhiều so phương án tối ưu FAMop -63- 4.4.3 Nhận xét - Với toán nhỏ, liệu ít, theo tiếp cận thuật giải truyền kết tìm xấp xỉ với phương án tối ưu - Với toán lớn, liệu nhiều, theo tiếp cận thuật giải di truyền kết tìm khác nhiều so với tiếp cận theo mô hình qui hoạch tuyến tính, số phương án quần thể nhỏ so với số phương án có -64- KẾT LUẬN CSDL phân tán ngày sử dụng nhiều tổ chức khác Việc định làm để tổ chức phân phối CSDL cách sử dụng hệ thống quản lý CSDL phân tán vấn đề quan trọng, ảnh hưởng đến chi phí hiệu suất Hiệu suất hệ thống CSDL phân tán phụ thuộc nhiều vào việc phân bổ liệu vị trí khác mạng, chi phí việc thực truy vấn phân tán vị trí hay vị trí khác khác Cần có thuật toán tối ưu để giảm thiểu số lượng chuyển liệu trình xử lý ứng dụng Và toán cấp phát khía cạnh quan trọng việc thiết kế CSDL phân tán Trong luận văn này, trình bày cách tiếp cận để giải toán cấp phát mảnh vào vị trí site CSDL phân tán Cách tiếp cận theo thuật giải di truyền, thuật giải đề xuất cách xây dựng phương án cấp phát ngẫu nhiên chọn phương án có chi phí thấp Việc thực lặp lặp lại nhiều lần công việc tìm phương án cấp phát tốt chưa kết luận phương án tối ưu Trong đó, cách tiếp cận theo mô hình qui hoạch tuyến tính luôn cho kết phương án cấp phát tối ưu Thực chất ý tưởng phương pháp tìm chi phí bố trí giá trị xjl ma trận FAM (tìm ajl) toán đạt tối ưu tổng chi phí đạt giá trị thấp với ràng buộc Tính hiệu cách tiếp cận rõ ràng; kết tìm luôn tối ưu thuật giải heuistic kết tìm gần tối ưu, đạt kết tối ưu Kết hạn chế tần số truy cập chi phí mạng thay đổi cần có phương án cấp phát Vì vậy, hướng nghiên cứu xây dựng chương trình tìm giá trị ajl kết hợp với chương trình giải toán qui hoạch tuyến tính, tự cập nhật phương án cấp phát liệu đầu vào thay đổi [...]... 1.2 Phân mảnh và lưu trữ trên các vị trí Khi thiết kế CSDL phân tán, cần quan tâm đến các vấn đề liên quan với nhau sau đây : - CSDL được phân mảnh như thế nào ? - Có bao nhiêu bản sao của các mảnh cần được nhân rộng ? - Các mảnh được cấp phát vào các vị trí nào trên mạng ? - Những thông tin nào sẽ cần thiết cho việc phân mảnh và cấp phát ? 1.5 PHÂN MẢNH 1.5.1 Các lý do phân mảnh Người ta phân mảnh. .. một đơn vị, sẽ cho phép thực hiện nhiều giao dịch đồng thời Ngoài ra việc phân mảnh các quan hệ sẽ cho phép thực hiện song song một câu vấn tin bằng cách chia nó ra thành một tập các câu vấn tin -10- con hoạt tác trên các mảnh Vì thế việc phân mảnh sẽ làm tăng mức độ hoạt động đồng thời 1.5.2 Các kiểu phân mảnh Có 3 phương pháp phân mảnh (xem hình 1.3): - Phân mảnh ngang: mảnh là một phần của các bộ... 1.6 BỐ TRÍ CÁC MẢNH TẠI CÁC VỊ TRÍ Sau khi các quan hệ đã được phân mảnh, để một hệ thống CSDL phân tán hoạt động hiệu quả, các mảnh của CSDL cần phải được đặt như thế nào ở các vị trí khác nhau trên mạng Như vậy, việc xác định số lượng nhân bản của từng mảnh và sau đó tìm kiếm một bố trí tối ưu cho tất cả các mảnh và cả luôn những nhân bản của nó trong một mạng máy tính sao cho tổng số các chi phí... phân mảnh (xem hình 1.3): - Phân mảnh ngang: mảnh là một phần của các bộ (tuples) trong quan hệ - Phân mảnh dọc: mảnh là một phần của các thuộc tính (atributes) trong quan hệ - Phân mảnh hỗn hợp : là sự kết hợp giữa phân mảnh ngang và phân mảnh dọc Phân mảnh ngang Phân mảnh dọc Phân mảnh hỗn hợp Hình 1.3 Các kiểu phân mảnh Ví dụ : Cho lược đồ CSDL : EMP (ENO, ENAME, TITLE) ASG (ENO, PNO, RESP, DUR)... phí lưu mỗi mảnh Fi tại vị trí Sj, chi phí vấn tin Fi tại vị trí Sj, chi phí cập nhật Fi tại tất cả vị trí có chứa nó, và chi phí truyền dữ liệu Vì thế bài toán cấp phát mảnh cố gắng tìm một lược đồ bố trí với hàm chi phí thấp nhất - Hiệu năng : Hai chiến lược đã biết là giảm thời gian đáp ứng và tăng tối đa lưu lượng hệ thống tại mỗi vị trí * Ma trận FAM (nxm) thể hiện cách cấp phát các mảnh vào site... giản như load một mảnh tại vị trí nào đó - Yêu cầu cập nhật: phức tạp hơn vì khi cập nhật thì phải bảo đảm thống nhất ở tất cả các nhân bản của mảnh đó đang nằm ở vị trí bất kỳ trên mạng 1.6.1 Bài toán cấp phát Giả sử rằng có một tập các mảnh F={F1, F2, … , Fn} và một mạng bao gồm các site S={S1, S2, … , Sm} trên đó có một tập các ứng dụng Q={Q1, Q2, …, Qq} Bài toán cấp phát là tìm một phân phối tối ưu... hiện số lần truy vấn như sau : * Ma trận RM (qxn) (dòng là các truy vấn, cột là các mảnh) thể hiện số lần truy vấn chỉ đọc Phần tử rij trong ma trận RM thể hiện số lần câu truy vấn qi thực hiện chỉ đọc tại mảnh Fj * Ma trận UM (qxn) (dòng là các truy vấn, cột là các mảnh) thể hiện số lần truy vấn cập nhật Phần tử uij trong ma trận UM thể hiện số lần câu truy vấn qi thực hiện cập nhật tại mảnh Fj Ví dụ... hiện quan hệ R được phân rã thành các mảnh R1, R2,…,Rn, thì cần phải định nghĩa một toán tử quan hệ  sao cho có thể thiết lập lại quan hệ R từ các mảnh Ri R= R1  R2 . Rn 1.5.3.3 Tính tách biệt (Disjointness) Nếu quan hệ R được phân rã ngang thành các mảnh R1, R2,…,Rn, và mục dữ liệu di nằm trong mảnh Rj, thì nó sẽ không nằm trong mảnh Rk khác ( k j) Tiêu chuẩn này đảm bảo các mảnh ngang sẽ tách... được phân rã dọc, các thuộc tính khoá chính phải được lặp lại trong mỗi mảnh Vì thế trong trường hợp phân mảnh dọc, tính tách biệt chỉ được định nghĩa trên các trường không phải là khoá chính của một quan hệ (xem hình 1.4) K A01 A02 B03 C04 C05 D06 Phân mảng ngang A B C D Phân mảng dọc Hình 1.4: Phân mảnh ngang và phân mảnh dọc K A01 A02 B03 C04 C05 D06 A B K A01 A02 B03 C04 C05 D06 C D -15- 1.6 BỐ TRÍ... PNO, PNAME, LOC (PROJ) -14- 1.5.3 Các qui tắc phân mảnh đúng đắn Chúng ta sẽ tuân thủ ba quy tắc trong khi phân mảnh để bảo đảm rằng CSDL sẽ không có thay đổi nào về ngữ nghĩa khi phân mảnh 1.5.3.1 Tính đầy đủ (Completeness) Nếu một thể hiện quan hệ R được phân rã thành các mảnh R1, R2,…,Rn, thì mỗi mục dữ liệu có thể gặp trong R cũng có thể gặp trong một hoặc nhiều mảnh Ri 1.5.3.2 Tính tái thiết được ... GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG LÊ THỊ NGỌC HIẾU NGHIÊN CỨU VẤN ĐỀ CẤP PHÁT MẢNH TRÊN CÁC VỊ TRÍ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Chuyên ngành: Công... cho cấp phát tối ưu -9- Hình 1.2 Phân mảnh lưu trữ vị trí Khi thiết kế CSDL phân tán, cần quan tâm đến vấn đề liên quan với sau : - CSDL phân mảnh ? - Có mảnh cần nhân rộng ? - Các mảnh cấp phát. .. phát (allocation) mảnh cho tối ưu (xem hình 1.2) - Phân mảnh: Mỗi quan hệ chia thành số mảnh nhỏ, mảnh nằm rãi rác vị trí khác - Nhân cấp phát: Các mảnh nhân thành giống hệt cấp phát đến vị trí