Khái niệm hệ thống phân tán và cơ sở dữ liệu phân tán (CSDL phân tán)

CHƯƠNG I  KHÁI NIỆM HỆ THỐNG XỬ LÝ PHÂN TÁN VÀ CƠ SỞ DỮ LIỆU PHÂN TÁN PGS.NCVC.TS LÊ HUY THẬP n ENO TITLE SAL Elect Eng Syst Anal Mech.Eng Progammer 40000 34000 27000 24000 Quan hệ PAY E1 E2 E3 E4 E5 E6 E7 E8 ENAME TITLE J.Doe M Smith A.Lee J.Mmith B.Casey L.Chu R.David J.Jones Elect Eng Syst Anal Mech.Eng Programmer Syst.Anal Elect.Eng Mech.Eng Syst Anal Quan hệ EMP n n ENO PNO RESP DUR E1 E2 E2 E3 E3 E4 E5 E6 E7 E8 P1 P1 P2 P3 P4 P2 P2 P4 P3 P3 Manager Analyst Analyst Consultant Engineer Programmer Manager Manager Engineer Manager 12 24 10 48 18 24 48 36 40 Title- Chuyên môn SAL: Salary-Lương Elect Eng Kỹ sư điện tử Syst Anal Nhà phân tích hệ thống Mech.Eng Kỹ sư khí Programmer Lập trình viên EMP: Employee-Nhân viê PAY: Payment- Trả lương Proj: Project-Dự án ASG: assignment-Phân nhiệm Resp: responsibility-Trách nhiệm Manager: Người quản lý Analyst: Nhà phân tích Consultant: Tư vấn Budget: Ngân sách PNO PNAME BUDGET LOC P1 P2 P3 P4 Instrumentation Dabatase Develop CAD/ CAM Maintenance 150000 135000 250000 310000 Montreal New York New York Paris Quan hệ PROJ Quan hệ ASG Asso Prof.Dr Thap Lehuy n MaNV TrinhDoCM Luong Kỹ sư điện Phân tích thiết kế hệ thống Kỹ sư khí Lập trình viên 4000 3400 2700 2400 NV1 NV2 NV3 NV4 NV5 NV6 NV7 NV8 Quan hệ TraLuong TenNV TrinhDoCM Nguyễn Văn Bổng Lê Hồng Ngoc Hoàng Trung Mã Trịnh Kim Thanh Ngơ Đình Vinh Trần Mỹ Lệ Lê Hồng Hạnh Nguyễn Trường Tam Kỹ sư điện Phân tích thiết kế hệ thống Kỹ sư khí Lập trình viên Phân tích thiết kế hệ thống Kỹ sư điện Kỹ sư khí Phân tích thiết kế hệ thống Quan hệ NhanVien n n MaNV MaDuAn ChucVu ThoiGianLV NV1 NV2 NV2 NV3 NV3 NV4 NV5 NV6 NV7 NV8 DA1 DA1 DA2 DA3 DA4 DA2 DA2 DA4 DA3 DA3 Giám đốc Nhân viên phân tích thiết kế Nhân viên phân tích thiết kế Nhân viên tư vấn Kỹ sư Lập trình viên Giám đốc Giám đốc Kỹ sư Giám đốc 12 24 10 48 18 24 48 36 40 MaD uAn TenDuAn NganSac h ViTri DA1 DA2 DA3 DA4 Thiết bị đo đạc Phát triển CSDL CAD/ CAM Bảo dưỡng 150000 135000 250000 310000 Hải Phịng Hà Nội Hà Nội TP.Hồ Chí Minh Quan hệ DuAn Quan hệ PhanNhiem Asso Prof.Dr Thap Lehuy 1.1 HỆ XỬ LÝ PHÂN TÁN Định nghĩa đơn vị xử lý Đơn vị xử lý hệ thống gồm thiết bị tính tốn chạy chương trình, truyền nhận thông tin,… Định nghĩa hệ thống xử lý phân tán Hệ thống xử lý phân tán hệ thống gồm đơn vị xử lý “tự vận hành” - liên kiết mạng truyền dẫn hợp đồng thực nhiệm vụ mà chúng phân cơng Những phân tán Các thiết bị xử lý (máy tính, CPU, máy in…) Các chức (chức hệ thống phân tán giao cho phần cứng phần mềm đảm nhận) Dữ liệu (được dùng số ứng dụng phân tán cho số vị trí xử lý) • Quyền điều khiển (quyền điều khiển việc thực số nhiệm vụ phân tán) • Các hệ sở liệu phấn tán đượ xem xét khn khổ khung xử lý nhũng cơng cụ làm cho việc xử lý liệu phân tán dễ dàng hiệu Asso Prof.Dr Thap Lehuy 4 Phân loại hệ thống xử lý phân tán: • Mức độ kết nối • Sự liên đới thành phần • Cấu trúc tương giao • Cách đồng hố thành phần Tại phải phân tán • Thích ứng tốt cho việc phân bố rộng rãi cơng ty, xí nghiệp, sở đào tạo,… • Nhiều ứng dụng công nghệ thông tin cần phân tán • Gải tốn lớn phức tạp • Tận dụng sức mạnh tính toán cách sử dụng nhiều đơn vị xử lý • Tận dụng hệ thống xử lý song song • Giải tốn theo nhóm hoạt động độc lập, nên kiểm sốt chi phí phát triển phần mềm Asso Prof.Dr Thap Lehuy 1.2 HỆ THỐNG ĐA BỘ XỬ LÝ VÀ HỆ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.2.1 Hệ thống đa xử lý Định nghĩa Là hệ thống có nhiều đơn vị xử lý dùng chung dạng nhớ Một số hệ thống đa xử lý hay gặp: Hệ thống đa xử lý dùng chung nhớ Đơn vị xử lý Đơn vị xử lý …… Đơn vị xử lý n Bộ nhớ O/I Asso Prof.Dr Thap Lehuy Hệ đa xử lí shared disk Hệ đa xử lý sở hữu cá nhân Computer2 Computer1 Computer2 Computer1 Kênh chuyển mạch Disk Computer3 Computer4 Computer3 Computer4 1.2.2 HỆ CSDL PHÂN TÁN VÀ HỆ QT CSDL PHÂN TÁN Định nghĩa Hệ CSDL phân tán - Distributed Database System (DDBS): Là tập hợp liệu có liên đới logic phân bố nút mạng máy tính Asso Prof.Dr Thap Lehuy CSDL phân tán mạng CSDL tập trung Worstatio n5 Worstatio n4 Worstation Worstatio n1 Worstation Worstatio n2 Mạ ng Tru yền DL CSDL CSDL Worstatio n3 Worstation CSDL Mạng Truyền DL Worstation CSDL Worstation CSDL Định nghĩa Hệ quản trị CSDL phân tán - DDB Management Sytem (DDBM): Là hệ thống phần mềm cho phép quản lý DDB làm cho việc phân tán trở nên vơ hình - tức che dấu phần mà người lập trình người sử dụng biết ứng dụng khơng cần phải biết cách hành xử chúng Asso Prof.Dr Thap Lehuy Nhận xét: • DDBS khơng phải tập tập liệu lưu trữ riêng rẽ nút mạng máy tính mà tập liệu vừa liên đới logic vừa phải truy xuất qua giao diện chung • Phân bố vật lý không thiết xử lí phải cách xa mặt địa lý mà thể máy, phòng Tuy nhiên việc giao tiếp chúng thực mạng truyền dẫn Nếu tất CSDL nằm nút mạng khơng phải DDBS, quản trị CSDL không khác với quản trị CSDL môi trường tập trung kiểu client/server Nếu sở liệu phân tán nhiều nút mạng, CSDL sở liệu phân tán • • Asso Prof.Dr Thap Lehuy 1.3 CÁC YÊU CẦU VỀ HỆ CSDL PHÂN TÁN Từ lý xã hội kinh tế xã hội phi tập trung, nên để có hiệu kinh tế người ta phân mảnh, phân tán xử lý chúng vị trí khác Ví dụ 1.3-1 Một cơng ty Máy tính, có văn phòng Hà Nội , Hải Phòng, Nha Trang TP Hồ Chí Minh, có số dự án thực địa điểm đó, muốn dùng CSDL để quản lý nhân công, quản lý dự án liệu liên quan khác Giả sử CSDL CSDL quan hệ , cho quan hệ sau: Bảng nhân viên NhanVien(MaNV, TenNV, TrinhDoCM) Trong NhanVien Nhân viên, MaNV mã nhân viên, TenNV tên nhân viên, TrinhDoCM trình độ chuyên mơn Bảng dự án DuAn(MaDuAn, TenDuAn, NganSach) Trong MaDuAn mã số dự án; TenDuAn - Tên dự án NganSach ngân sách dự án Bảng trả lương TraLuong(TrinhDoCM, Luong) Trong Luong - Tiền lương Asso Prof.Dr Thap Lehuy 10 Bảng phân nhiệm PhanNhiem (MaNV, MaDuAn, ThoiGianLV, ChucVu) Trong PhanNhiem: giao nhân viên làm dự án, thời gian làm, với nhiệm vụ, ThoiGianLV thời gian làm việc.ChucVu chức vụ Nếu liệu lưu hệ CSDL tập trung muốn có danh sách tên lương nhân viên làm dự án 12 tháng câu lệnh truy vấn SQL là: SELECT TenNV, Luong FROM NhanVien, PhanNhiem , TraLuong WHERE PhanNhiem.ThoiGianLV > 12 AND NhanVien.MaNV = PhanNhiem.MaNV AND TraLuong.TrinhDoCM = NhanVien.TrinhDoCM Các yêu cầu phân mảnh, nhân truy xuất vơ hình u cầu nhân (Replication) Do yêu cầu hiệu độ tin cậy cho CSDL nên phần liệu phân mảnh cần phải lưu (bản sao) số vị trí khác Q trình gọi nhân Asso Prof.Dr Thap Lehuy 11 Định nghĩa vơ hình Vơ hình cách cho ẩn mà người sử dụng không cần quan tâm đến u cầu truy xuất vơ hình CSDL phân tán nút mạng, người sử dụng vấn tin vấn tin CSDL tập trung điểm nút thực truy vấn Yêu cầu phân mảnh CSDL (Fragmentation) Vì cơng ty phân tán vị trí khác Hà Nội, Hải Phịng, Nha Trang TP.Hồ Chí Minh, nên cơng ty muốn để liệu nhân viên dự án vị trí lưu vị trí đó, cần phải phân hoạch quan hệ N.viên H.Nội, N Trang D.án HN Hà Nội N.viên D.án Hà Nội, Nha Trang Nha Trang Mạng Truyền liệu Hải Phòng N.viên D.án HP, D.án Nha Trang TP Hồ Chí Minh Nhân viên dự án TP Hồ Chí Minh Hình 1.3-1 Ứng dụng phân tán nhân Asso Prof.Dr Thap Lehuy 12 MỘT SỐ YÊU CẦU CỦA QUẢN TRỊ DỮ LIỆU PHÂN TÁN Yêu cầu độc lập liệu Độc lập liệu miễn nhiễm tác động hay che đậy chi tiết cấu trúc lưu trữ liệu Đôc lập liệu dạng vô hình bàn DDBMS Có hai mức độc lập liệu: 1/ Mức độc lập liệu logic Chương trình ứng dụng truy xuất vào tập thuộc tính CSDL khơng bị ảnh hưởng thêm bớt số thuộc tính vào CSDL cho 2/ Mức độc lập liệu vật lý Người viết ứng dụng không cần quan tâm đến liệu để đâu (ổ đĩa, hay băng từ, nút mạng,… nào) cách truy xuất liệu hay ngẫu nhiên u cầu vơ hình liên kết mạng Vơ hình liên kết mạng làm cho NSD khơng biết làm việc mạng Vơ hình liên kết mạng chia thành hai loại: + Vơ hình vị trí: Việc thực lệnh độc lập với vị trí + Vơ hình đặt tên: Cần cung cấp tên trước cho đối tượng CSDL Asso Prof.Dr Thap Lehuy 13 Yêu cầu vơ hình nhân Vơ hình nhân làm cho người sử dụng biết họ làm việc với CSDL gốc hay với Ưu điểm vơ hình nhân 1.Việc nhân làm tăng hiệu làm giảm xung đột đường truyền truy cập vào sở liệu, giảm thời gian truyền liệu tăng độ an toàn bảo mật 2.Nếu số máy lưu liệu có "hỏng hóc" máy khác truy cập đến nhân máy khác,.… Nhược điểm vơ hình nhân 1.Khi nhân có thay đổi tất khác phải cập nhật 2.Nhân 3.Lưu trữ nút mạng Vô hình phân mảnh (Fragmentation transparency) Làm cho NSD khơng cần tham gia phân mảnh họ làm việc với CSDL gốc hay với mảnh CSDL gốc Asso Prof.Dr Thap Lehuy 14 Vơ hình ngơn ngữ Người sử dụng biết dùng ngôn ngữ cung cấp để giao tiếp với máy Mà không cần biết máy tính chương trình dùng ngơn ngữ khác Nhiệm vụ cung cấp đặc tính vơ hình Có bốn tầng cung cấp dịch vụ vơ hình Tầng truy xuất Cung cấp tính vơ hình truy xuất đến tài nguyên Tầng cấp độ hệ điều hành Các hệ điều hành cung cấp vơ hình cho người sử dụng hệ thống Ví dụ trình điều khiển thiết bị Tầng quản trị CSDL Vơ hình tầng giải tương tác hệ điều hành DDBMS phân tán Tầng ngơn ngữ Người sử dụng truy xuất đên hai liệu dạng trừu tượng hóa cao Ví dụ: Nhờ giao diện đồ họa GUI, truy xuất ngôn ngữ tự nhiên Asso Prof.Dr Thap Lehuy 15 GIAO DỊCH PHÂN TÁN Định nghĩa giao dịch Một giao dịch bao gồm loạt thao tác CSDL nhằm chuyển CSDL từ trạng thái sang trạng thái khác DDBMS hỗ trợ cho giao dịch đảm bảo cho việc thực đồng thời giao dịch người sử dụng mà không vi phạm tính quán CSDL Ví dụ Khi cập nhật tăng lương cho tất nhân viên Nếu có cố thực câu truy vấn trên, DDBMS phải tự xác định nơi chương trình phải dừng lại, để trở lại phải biết nơi phải tiếp tục thực Một người tính lương trung bình nhân viên mà hoạt động cập nhật liệu tiến hành mảnh kết tính trung bình sai Vậy DDBMS phải có khả đồng hóa việc thực đồng thời hai chương trình Asso Prof.Dr Thap Lehuy 16 YÊU CẦU NÂNG CAO HIỆU NĂNG Tăng hiệu DDBMS cần dựa vào hai điều kiện: DDBMS có khả phân mảnh CSDL mức khái niệm Ưu tiên liệu lưu gần nơi sử dụng Hai ưu điểm cục hóa liệu: Mỗi trạm xử lý phần CSDL, nên việc tranh chấp CPU dịch vụ I/O không nghiêm trọng CSDL tập trung Giảm độ trễ truy xuất liệu nơi sử dụng mà không cần truy cập từ xa WAN phải qua: vệ tinh, viba,… Tính chất song hành hệ phân tán tận dụng để thực song hành liên vấn tin nội vấn tin: Song hành liên vấn tin khả thực lúc nhều câu vấn tin Song hành nội vấn tin tách câu vấn tin thành câu vấn tin con, câu thực vị trí Asso Prof.Dr Thap Lehuy 17 1.4 CÁC ĐẶC ĐIỂM CỦA HỆ CSDL PHÂN TÁN Phức tạp Phức tạp chúng có vấn đề mơi trường tập trung mà cịn có hàng loạt vấn để phân tán Chi phí cao Tăng chi phí phải thêm thiết bị Phần chi phí đáng kế chỗ cần phải có phần mềm phương pháp truyền thông phức tạp Phần chi phí quan trọng chi phí nhân lực Phải tăng thêm nhân cho hoạt động xứ lý liệu vị trí cơng việc Vì cần phải phân tích việc tăng lợi nhuận chi phí nhân Khó khăn phân tán quyền điều khiển Sự phân tán gây vấn đề đồng hóa hiệp đồng Việc điều khiến phân tán trở thành gánh nặng khơng có chiến lược phù hợp để giải chúng Vấn đề an ninh Môi trường mạng kèm theo làm cho vấn đề an ninh hệ CSDL phân tán phức tạp so với hệ tập trung Asso Prof.Dr Thap Lehuy 18 1.5 KIẾN TRÚC HỆ Q.TRỊ CSDL PHÂN TÁN 1.5.1 Tiêu chuẩn hóa hệ quản trị CSDL Ba cách tiếp cận mơ hình: 1/ Dựa vào thành phần Các thành phần hệ thống cần định nghĩa kèm với mối liên kết chúng DDBMS gồm số thành phần, thành phần cung cấp chức vận hành 2/ Dựa vào chức Các chức tạo hệ thống phân cấp với giao diện xác định chức tầng khác 3/ Dựa vào liệu Các kiểu liệu khác định nghĩa khung kiến trúc đặc tả để định nghĩa đơn vị chức tiếp nhận sử dụng liệu theo góc độ khác này: liệu tài nguyên mà DDBMS cần quản lý, cách tiếp cận ưa chuộng hoạt động tiêu chuẩn hóa Ưu điểm cách tiếp cận nội dung chủ chốt đặt vào tài nguyên liệu Asso Prof.Dr Thap Lehuy 19 1.5.2 Yêu cầu thiết kế mơ hình kiến trúc hệ CSDL phân tán Tính tự vận hành Tự vận hành nói lên hoạt động độc lập DDBMS tham gia vào phức hệ Các hoạt động cục DDBMS không bị ảnh hưởng tham gia chúng vào phức hệ Phương thức xử lý tối ưu hóa vấn tin DDBMS khơng bị ảnh hưởng việc thực u cầu tồn cục có truy nhập nhiều CSDL Tính quán, hoạt động có hệ thống khơng bị tổn hại DDBMS riêng rẽ tham gia tách khỏi phức hệ Du and Elmagarmid, 1989 mơ tả đặc tính tự vận hành sau: Tính tự trị thiết kế: Mỗi DDBMS tự sử dụng mơ hình liệu kỹ thuật quản lý giao dịch thích hợp Tính tự trị truyền thơng: Mỗi DDBMS tự định xem loại thông tin muốn cung cấp cho DDBMS khác cho phần mềm điều khiển hoạt đọng tồn cục Tính tự trị thực thi:Mỗi DDBMS thực giao dịch giao cho theo cách tùy ý miễn thực giao dịch Asso Prof.Dr Thap Lehuy 20 Tính tích hợp chặt: Chỉ tồn hình ảnh hệ thống CSDL có nhiều sở liệu tích hợp lại Trong hệ thống tích hợp chặt, hệ quản trị liệu nắm quyền kiểm soát việc xử lý hệ quản trị liệu tham gia xử lý Tính bán tự trị Các DDBMS hoạt động độc lập chia sẻ liệu Mỗi DDBMS phải xác định liệu riêng chia sẻ Chúng khơng phải hệ thống tự vận hành hồn tồn chúng cần phải sửa đổi lại để trao đổi thơng tin với hệ thống khác Tính đóng Những DDBMS lập, khơng biết có diện DDBMS khác Trong hệ thống đóng, việc XL truy cập đến nhiều CSDL khó khăn khơng có kiểm sốt tồn cục hoạt động DDBMS Tính phân tán Chúng ta khái quát thành lớp: Client/Server Peer To Peer Tính đa chủng Tính đa chủng liên quan đến liệu, ngôn ngữ vấn tin nghi thức quản lý giao dịch Tính đa chủng liệu thể công cụ, cách truy cập, vấn tin ngôn ngữ sử dụng khác Asso Prof.Dr Thap Lehuy 21 1.5.3 Kiến trúc hệ quản trị CSDL phân tán Hệ Client/Server • Server chịu trách nhiệm thực xử lý vấn tin, quản lý giao dịch quản lý thiết bị,… • Các Client có trách nhiệm chuyển câu SQL tới Server Server làm tất việc tối ưu hóa câu vấn tin, thực truy vấn trả lại kết cho Client • Mỗi Client biết Server trực tiếp mình, muốn giao tiếp với Server khác phải thơng qua Server trực tiếp Hệ Peer To Peer Các máy trạm không chia thứ Mỗi máy có chức đầy đủ DDBMS trao đổI thơng tin với trạm khác để thực vấn tin giao dịch Lớp gọi phân tán hoàn toàn Asso Prof.Dr Thap Lehuy 22 ... Định nghĩa hệ thống xử lý phân tán Hệ thống xử lý phân tán hệ thống gồm đơn vị xử lý “tự vận hành” - liên kiết mạng truyền dẫn hợp đồng thực nhiệm vụ mà chúng phân công Những phân tán Các thiết... hệ thống xử lý song song • Giải tốn theo nhóm hoạt động độc lập, nên kiểm sốt chi phí phát triển phần mềm Asso Prof.Dr Thap Lehuy 1.2 HỆ THỐNG ĐA BỘ XỬ LÝ VÀ HỆ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.2.1 Hệ. .. tán) • Các hệ sở liệu phấn tán đượ xem xét khn khổ khung xử lý nhũng công cụ làm cho việc xử lý liệu phân tán dễ dàng hiệu Asso Prof.Dr Thap Lehuy 4 Phân loại hệ thống xử lý phân tán: • Mức độ