Cấp phát trong cơ sở dữ liệu phân tán

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI NGUYỄN THỊ VÂN HÀ CẤP PHÁT TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH HÀ NỘI, 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM HÀ NỘI NGUYỄN THỊ VÂN HÀ CẤP PHÁT TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN Chuyên ngành: Khoa Học Máy Tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS TS Lê Huy Thập HÀ NỘI, 201 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới thầy giáo, PGS.TS Lê Huy Thập - ngƣời hƣớng dẫn tận tình để tơi hồn thành luận văn Tơi xin bày tỏ lòng biết ơn tới Ban giám hiệu trƣờng Đại học Sƣ phạm Hà Nội 2, phòng Sau đại học, q thầy trực tiếp giảng dạy tơi suốt khóa học Xin trân trọng cảm ơn giúp đỡ động viên gia đình, bạn bè đồng nghiệp giúp đỡ tạo điều kiện tốt để tơi hồn thành luận văn Mặc dù có cố gắng, tìm tòi định, song chắn luận văn khơng tránh khỏi hạn chế Vì vậy, tơi mong nhận đƣợc ý kiến đóng góp thầy, bạn để luận văn đƣợc hoàn thiện Hà Nội, ngày 28 tháng 11 năm 2017 Học viên Nguyễn Thị Vân Hà LỜI CAM ĐOAN Luận văn đƣợc hoàn thành dƣới hƣớng dẫn trực tiếp thầy giáo, PGS.TS Lê Huy Thập Tôi xin cam đoan: - Luận văn kết nghiên cứu tìm tòi riêng tơi - Những tƣ liệu đƣợc trích dẫn luận văn trung thực - Những đƣợc triển khai luận văn khơng trùng khít với cơng trình nghiên cứu tác giả đƣợc công bố trƣớc Hà Nội, ngày 28 tháng 11 năm 2017 Học viên Nguyễn Thị Vân Hà MỤC LỤC LỜI CẢM ƠN…………………………………………………………………i LỜI CAM ĐOAN…………………………………………………………… ii MỤC LỤC………………………………………………………………… iii DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT…………………………… v DANH MỤC CÁC BẢNG……………………………………………… viii DANH MỤC CÁC HÌNH VẼ……………………………………………… ix PHẦN MỞ ĐẦU 1 Lý chọn đề tài Mục đích nghiên cứu Nhiệm vụ nghiên cứu Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Giả thuyết khoa học Cấu trúc luận văn………………………………………………………… PHẦN NỘI DUNG Chƣơng CƠ SỞ LÝ THUYẾT ……… 1.1 Logic mệnh đề …………………………………………… 1.1.1 Mệnh đề toán học ………………………………………………… 1.1.2 Các biểu thức logic………………………………………… 1.2 Cơ sở liệu phân tán ………………………………………… 1.2.1 Khái quát sở liệu phân tán sở liệu quan hệ…… 1.2.2 Các phương pháp phân mảnh ……… …………………… 12 1.3 Bài toán quy hoạch nguyên …………………………………………… 19 1.3.1 Phát biểu toán ………………………………………………… 19 1.3.2 Một số phương pháp giải ………….……………………………… 21 Kết luận chƣơng 1……………………………………………………… 25 Chƣơng CẤP PHÁT TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN ……… 26 2.1 Các thông tin cho cấp phát 26 2.1.1 Thông tin sở liệu quan hệ 26 2.1.2 Thông tin ứng dụng ………………………………………… 26 2.1.3 Thơng tin vị trí………………………………………………… 27 2.1.4 Thơng tin mạng……………………………………………… 27 2.2 Mơ hình cấp phát ………………………………………………… 28 2.2.1 Phát biểu toán cấp phát ……………………………………… 28 2.2.2 Hàm chi phí ……………………………………………………… 33 2.2.3 Các ràng buộc …………………………………………………… 36 2.2.4 Phƣơng pháp giải ………………………………………………… 38 Kết luận chƣơng ………………………………………………………… 41 Chƣơng CHƢƠNG TRÌNH DEMO ………………………………… 42 3.1 Tóm tắt tốn…………… …………… 42 3.2 Code……………………………………………………………… 42 3.3 Các giao diện DEMO ………………………………………………… 46 3.3.1 Giao diện ………………………………………………… 46 3.3.2 Giao diện liệu DEMO ………………………………………… 47 3.3.3 Giao diện nhập liệu ……………………………………… 47 3.3.4 Giao diện kết ………………………………………………… 49 Kết luận chƣơng ………………………………………………………… 51 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ………………………………… 52 TÀI LIỆU THAM KHẢO 53 DANH MỤC CÁC KÝ HIỆU, TỪ VIẾT TẮT STT Ký hiệu, từ viết tắt CSDL QTCSDL DDBS DDBMS GCS LCS QHTT f Hàm mục tiêu D Tập hữu hạn phần tử 10 P Tính chất 11 x Phần tử 12 F Mảnh liệu 13 S Vị trí 14 q Ứng dụng 15 RRij Số truy xuất đọc 16 URij Số truy xuất cập nhật 17 UM Ma trận cho truy xuất cập nhật 18 RM Ma trận cho truy xuất đọc 19 uij Diễn giải Cơ sở liệu Quản trị sở liệu Cơ sở liệu phân tán (Distributed Database System) Hệ quản trị sở liệu phân tán (Distributed Database Management System) Lƣợc đồ khái niệm toàn cục (Global Conception Schema) Lƣợc đồ khái niệm cục (Local Conception Schema) Quan hệ tuyến tính Phần tử ma trận truy xuất cập nhật Phần tử ma trận truy xuất đọc 20 rij 21 USCk Chi phí lƣu liệu vị trí Sk 22 LPCk Chi phí xử lý liệu vị trí Sk 23 Cij 24 C’ij 25 FAP 26 DAP 27 U 28 CR Ma trận chi phí truyền đọc 29 CRkh Phần tử ma trận chi phí truyền đọc 30 CU Ma trận chi phí truyền theo yêu cầu cập nhật 31 cUkh Phần tử ma trận chi phí truyền theo yêu cầu cập nhật 32 CW Ma trận chi phí lƣu trữ 33 Cwij Phần tử ma trận chi phí lƣu trữ 34 TOC Tổng chi phí 35 QPC Chi phí xử lý câu vấn tin 36 STC Chi phí lƣu mảnh 37 PC Chi phí xử lý 38 TC Chi phí truyền 39 AC Chi phí truy xuất 40 IE Chi phí tồn vẹn 41 CC Chi phí điều khiển đồng thời Chi phí truyền đơn vị yêu cầu đọc vị trí Si Sj Chi phí truyền đơn vị yêu cầu cập nhật vị trí Si Sj Bài toán cấp phát tập tin (File Allocation Problem) Bài toán cấp phát CSDL (Database Allocation Problem) Ma trận chi phí cập nhật mảnh 42 TCU Thành phần chi phí cập nhật hàm truyền liệu 43 TCR Thành phần chi phí đọc hàm truyền liệu 44 C Ma trận hƣởng lợi 45 cij Phần tử ma trận hƣởng lợi DANH MỤC CÁC BẢNG STT Bảng Trang Bảng 1.1-1: Chân trị phép toán mệnh đề Bảng 1.1-2: Bảng ƣu tiên phép toán mệnh đề Bảng 1.1-3: Bảng mệnh đề tƣơng đƣơng Bảng 1.1-4: Biểu thức logic tƣơng đƣơng Bảng 1.2-1: Quan hệ DuAn 12 Bảng 1.2-2: DuAn1 lƣu thông tin ngân sách dự án 13 Bảng 1.2-3: DuAn2 lƣu tên vị trí dự án 13 Bảng 1.2-4: DuAH1 lƣu thông tin dự án có ngân sách dƣới $2000,000 Bảng 1.2-5: DuAH2 lƣu thơng tin dự án có ngân sách lớn $2000,000 14 14 39 Trong trƣờng hợp tổng quát, xét tốn (I) – (V) giả thiết tập mảnh collection với mảnh, khơng phải mà có số tùy ý mảnh Khi ràng buộc (V) xij  {0,1} thay xij  Z Trong Z tập số nguyên dƣơng {0,1,…,n,…} Bài toán đƣợc giải phƣơng pháp nhánh cận tốt Giả thiết mảnh Fj chuyển đến vị trí Si chi phí aij bao gồm: chi phí lƣu trữ chi phí đọc, cập nhật, … Vậy tốn phát biểu nhƣ sau: Tìm X cho: m n f ( X )   xij * cij  Max! (1) i 1 j 1 m x i 1  a11 a  21 T AX =   am1 ij  , xik  {0, 1}, i , k =1,2,…,n a1n  a22 a2 n     am amn  a12  x11 x  21    xm1 x12 x22 xm (2) T x1n  1  2  x2 n    B        xmn  m (3) Do ràng buộc (2) nên ma trận X ma trận thƣa, có số dùng thuật tốn duyệt tồn Việc duyệt tồn gặp số khó khăn có bùng nổ tổ hợp chuỗi nhị phân độ dài n Ví dụ n Số xâu nhị phân 256 10 1,024 20 1,048,576 40 Tuy nhiên ràng buộc (2) số nghệ thuật lập trình, khắc phục đƣợc khó khăn nhƣ sau: 1/ Số chuỗi nhị phân mũ “số vị trí nhân với số mảnh” (2 “số vị trí nhân với số mảnh” ) số chuỗi bùng nổ số vị trí số mảnh hai lớn 2/ Để tiết kiệm nhớ tránh dùng thuật toán xếp tìm cực trị hàm mục tiêu, bƣớc duyệt thực chuỗi đƣợc tạo 3/ Cho fmax= - Tạo chuỗi nhị phân ban dầu độ dài “số vị trí nhân với số mảnh” số không 4/ Nếu chuỗi đƣợc tạo không thỏa hai ràng buộc (2) (3) dùng thuật tốn “quay lui” [6], [7] để tạo chuỗi thay cho nó, tức không cần thêm không gian nhớ Nếu chuỗi thỏa hai ràng buộc (2) (3) tính hàm mục tiêu (1) thay cho fmax lớn Tạo chuỗi khác theo thuật toán quay lui thay cho chuỗi 5/ Nếu chuỗi cuối chƣa phải chuỗi thứ 2“số vị trí nhân với số mảnh” quay lại 4/, ngƣợc lại kết thúc chƣơng trình 41 Kết luận chƣơng Chƣơng trình bày kiến thức về:  Các thơng tin cho cấp phát, gồm có: Về sở liệu, ứng dụng, vị trí, mạng  Mơ hình cấp phát, gồm có: tốn cấp phát với việc xác định tính tối ƣu tốn; Với hàm chi phí nhỏ nhất; Các ràng buộc tốn ràng buộc thời gian ràng buộc xử lý; Từ đƣa Phương pháp giải toán cấp phát 42 Chƣơng CHƢƠNG TRÌNH DEMO 3.1 Tóm tắt tốn Nhập số vị trí Nhập số mảnh Nhập ma trận A, C B Cho fmax= - Tạo chuỗi nhị phân ban dầu độ dài “số vị trí nhân với số mảnh” số không LOOP Kiểm tra ràng buộc (2) (3) Nếu chuỗi thỏa hai ràng buộc (2) (3) tính hàm mục tiêu (1) thay cho fmax lớn Tạo chuỗi khác theo thuật toán quay lui thay cho chuỗi Nếu chuỗi cuối chƣa phải chuỗi thứ 2“số vị trí nhân với số mảnh” LOOP ngƣợc lại EXIT 3.2 Code Một số code đặc trƣng 'Khoi tao chuoi nhi phan For j = To SoBienNhiPhan BB(1, j) = Next j ' Sao chuỗi nhị phân thứ sang chuỗi thứ For j = To SoBienNhiPhan BB(chuoithu, j) = BB(chuoithu - 1, j) Next j ' Tim vi tri co gia tri o cua mang nhi phan For k = SoBienNhiPhan To Step -1 43 If BB(chuoithu, k) = Then h=k 'Tim thay thi ghi lai Exit For End If Next k 'Tao chuoi moi j = SoBienNhiPhan While (j >= h) BB(chuoithu, j) = j=j-1 Wend BB(chuoithu, h) = 'Tao bang bien quyet dinh BienQD Kt = For i = To SoViTri For j = To SoManh BienQD(i, j) = BB(chuoithu, Kt + j) ThongBao = ThongBao & " " & BienQD(i, j) Next j Kt = Kt + SoViTri Next i 'Kiểm tra điều kiện x1j + x2j + +xmj Then KiemTra1 = False 'Nếu chi co mot manh nhung duoc chuyen den nhieu vi tri Exit For End If Next j KiemTra2 = True If KiemTra1 Then 'Tat cac cot deu co mot manh thi kiem tra cac ca rang buoc AX B(i) Then KiemTra2 = False 'Neu ton tai mot rang buoc khong thoa man Exit For End If Next i Else KiemTra2 = False End If 'Tinh ham muc tieu sum1 = If KiemTra2 Then 'Neu da thoa cac rang buoc For i = To SoViTri 45 For j = To SoManh sum1 = sum1 + C(i, j) * BienQD(i, j) Next j Next i If HamMucTieu < sum1 Then HamMucTieu = sum1 For i = To SoViTri For j = To SoManh Nghiem(i, j) = BienQD(i, j) Next j Next i End If End If 'Thông báo nghiệm Dim Bien As String Bien = "" For i = To SoViTri For j = To SoManh Bien = Bien & "x" & i & j & " , " Next j Bien = Left(Bien, Len(Bien) - 4) & vbCrLf Next i Me.Label1.Caption = "A" & vbCrLf & MtrA Me.Label2.Caption = "X" & vbCrLf & Bien Me.Label3.Caption = "B" & vbCrLf & MtrB Me.Label4.Caption = "C" & vbCrLf & MtrC Me.Label5.Caption = "HAM MUC TIEU: " & HamMucTieu 46 Me.Label6.Caption = "NGHIEM BAI TOAN" & vbCrLf & vbCrLf & ThongBaoKetQua Me.Label9.Caption = "So bien nhi phan " & SoBienNhiPhan & vbCrLf & "So chuoi nhi phan " & Sochuoinhiphan chuoithu = chuoithu + Wend End Sub 3.3 Các giao diện demo 3.3.1 Giao diện 47 3.3.2 Giao diện liệu Demo 3.3.3 Các giao diện nhập liệu Nhập giá trị chƣơng trình chạy với liệu 48 Nhập số mảnh Nhập số vị trí Nhập ma trận lợi ích C (từ C(11) đến C(43)) Nhập ma trận chi phí A (Từ A(11) đến A(43)) 49 Nhập ma trận vế phải B (Từ B[1] đến B[4] 3.3.4 Giao diện kết 50 51 Kết luận chƣơng Trong chƣơng tác giả áp dụng lý thuyết chƣơng thuật toán chƣơng vào sở liệu (dạng Demo) để tìm vị trí cấp phát mảnh mà có chi phí cấp phát nhỏ 52 KẾT LUẬN LUẬN VĂN Sử dụng thuật tốn phƣơng pháp duyệt để giải mơ hình cấp phát Thuật toán duyệt tất chuỗi nhị phân biến định, trình gặp số khó khăn có bùng nổ tổ hợp chuỗi nhị phân độ dài n Để tránh phải thực nhiều lần phép duyệt gây tốn thời gian phải kiểm tra ràng buộc, tính hàm mục tiêu so sánh, phép duyệt ta thực chuỗi đƣợc tạo Nếu không thỏa mãn yêu cầu đặt loại từ đầu Nếu chuỗi có số số nhiều số mảnh loại, số mảnh cố somanh định Nhƣ để duyệt 2n chuỗi ta duyệt tổ hợp Cdodaichuoi chuỗi Tiến hành cộng theo mod, tổng lớn loại bỏ chuỗi thỏa mãn mảnh tập số mảnh nên chuyển mảnh tới nhiều vị trí khác Viêc giúp giảm thời gian thực công việc nhiều lần HƢỚNG PHÁT TRIỂN CỦA LUẬN VĂN Sử dụng thuật toán phƣơng pháp duyệt, số nghệ thuật lập trình để khắc phục khó khăn nảy sinh Đề tài phát triển mạng LAN, WAN, EXTRA,…khi có xử lý phân tán ứng dụng cho toán nhƣ du lịch số toán phân phối 53 TÀI LIỆU THAM KHẢO Danh mục tài liệu tham khảo [1] Discrete Mathematics and Its Applications: Kenneth H Rosen www.amazon.com [2] M.Tamer Ozsu, Patrick Valduriez “Nguyên lý hệ liệu phân tán” Trần Đức Quang biên dịch NXB Thống kê,1999 [3] Đỗ Xuân Lôi, “Cấu trúc liệu giải thuật”, NXB Khoa học Kỹ thuật, 1996 [4] Lê Huy Thập, “Bài giảng CSDL quan hệ nâng cao” ĐH Sƣ Phạm Hà Nội Học Viện CN Bƣu Chính Viễn Thơng [5] Lê Huy Thập, “Bài giảng CSDL phân tán” ĐH Sƣ Phạm Hà Nội Học Viện CN Bƣu Chính Viễn Thơng [6] Lê Huy Thập, Giáo trình kỹ thuật lập trình, Tập 1, NXB Khoa học tự nhiên công nghệ, 10/2008 [7] Lê Huy Thập, Cơ sở lý thuyết song song, NXB THÔNG TIN VÀ TRUYỀN THÔNG, 8-2010 [8] Le Huy Thap, Algorithms, Lecture at the Genetic – Singapore Computer Science School 2006 [9] Bùi Minh Trí, Quy hoạch tốn học, NXB KHOA HỌC VÀ KỸ THUẬT, 10-2001 [10] Lê Tiến Vƣơng, “Nhập môn sở liệu quan hệ”, NXB Thống Kê, 2000 ... luận chƣơng 1……………………………………………………… 25 Chƣơng CẤP PHÁT TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN ……… 26 2.1 Các thông tin cho cấp phát 26 2.1.1 Thông tin sở liệu quan hệ 26 2.1.2 Thông tin ứng... cho truy xuất đọc 19 uij Diễn giải Cơ sở liệu Quản trị sở liệu Cơ sở liệu phân tán (Distributed Database System) Hệ quản trị sở liệu phân tán (Distributed Database Management System) Lƣợc đồ khái... Chƣơng Cơ sở lý thuyết Chƣơng Cấp phát sở liệu phân tán Chƣơng Chƣơng trình DEMO PHẦN NỘI DUNG Chƣơng CƠ SỞ LÝ THUYẾT Logic mệnh đề 1.1 1.1.1 Mệnh đề toán học a Định nghĩa  Mệnh đề logic phát biểu