Quản trị cơ sở dữ liệu phân tán

IT4660 Quản trị CSDL phân tán Tên học phần: QUẢN TRỊ CSDL PHÂN TÁN Mã số: IT4661 Khối lượng: 2(2-1-0-4) • • Lý thuyết: 30 Bài tập : 15 Đối tượng tham dự: Sinh viên chuyên ngành Truyền thông Mạng máy tính từ học kỳ Điều kiện học phần: • • • Học phần tiên quyết: Học phần học trước: IT3080 Học phần song hành: Mục tiêu: Nhằm cung cấp cho sinh viên kiến thức tính tương tranh, quán, toàn vẹn, tin cậy , riêng tư an ninh hệ thống sở liệu phân tán Giới thiệu ứng dụng sở liệu phân tán Thông qua đó, định hướng cho sinh viên phát triển ứng dụng dựa việc xây dựng, khai thác sở liệu phân tán Nội dung: Tổng quan sở liệu phân tán quản trị sở liệu phân tán Những vấn đề giải pháp ( tương tranh, xử lý câu hỏi , nhân bản, chịu lỗi, an toàn – an ninh) Các ứng dụng sở liệu phân tán Các hệ quản trị sở liệu phân tán tiêu biểu: SQL Server, Oracle Nhiệm vụ sinh viên: • • Dự lớp: đầy đủ theo quy chế Bài tập: hoàn thành tập học phần Đánh giá kết quả: KT/BT(0.3)-T(TN/TL:0.7) • • • • Điểm trình: trọng số 0.3 Bài tập làm đầy đủ Hoàn thành tốt thí nghiệm theo yêu cầu giáo viên Thi cuối kỳ (trắc nghiệm / tự luận): trọng số 0.7 10 Tài liệu học tập M Tamer Ozsu , Patrick Valduriez, Principles of Distributed Database Systems, Prentice Hall, 2nd edition M T Ozsu and P Valduriez, Principles of Distributed Databases, Prentice-Hall, (2nd edition), Elmasri , Navathe, Fundamentals of database systems , Addison-Wesley Longman, (3rd edition) 11 Nội dung chi tiết học phần: CHƯƠNG I NHỮNG NGUYÊN LÝ CƠ BẢN 1.1 Mở đầu A NHU CẦU Tại cần CSDL-PT? Ví dụ: Công ty Big Corp Có văn phòng London, New York, Hong Kong Dữ liệu Employee : – EMP(ENO, NAME, TITLE, SALARY, …) Chúng ta nên đặt liệu EMP đâu? Big Corp Dữ liệu mẫu Hầu như, liệu nhân viên quản lý văn phòng nơi mà nhân viên làm Ví dụ: Luơng, phụ cấp, tiền thuê Định kỳ, Big Corp cần hợp truy xuất đến liệu nhân viên – Ví dụ: Tính tông số lương cần trả cho bảng cân đối lương – Ví dụ: Thưởng thêm hàng năm phụ thuộc lợi ích mạng toàn cục Tập trung Phân tán Những vấn đề đòi hỏi: - Sự phân tán hỗ trợ việc xử lý song song(Chạy LD,NY,HK) Việc lặp lại liệu làm tăng hiệu năng(dữ liệu HK NY) - Mô hình tập trung     Tăng khả thông tin thiết bị nhớ khó khăn Độ sẵn sàng CSDL không cao số NSD tăng Khả tính toán máy tính đơn lẻ dần đến giới hạn vật lý Mô hình không phù hợp với tổ chức kinh tế, xã hội, đa quốc gia B TẠI SAO CSDLPT CẦN THIẾT & PHÁT TRIỂN  Những lý tổ chức kinh tế : (Organizational and economic reasons)  Liên kết với liệu có (Interconnection of existing database)  Sự tăng trưởng ( Incremental growth)  Giảm chi phí truyền thông (Reduced communication overhead)  Cân đối hiệu ( Performance consideration)  Độ tin cậy tính sẵn sàng (Reliability and availability) - Độ tin cậy : xác suất hệ thống chạy số thời điểm - Độ sẵn sàng : xác suất hệ thống liên tục sẵn sàng khoảng thời gian Khi liệu hệ quản trị phân tán nhiều site site bị lỗi site khác hoạt động Như liệu site bị lỗi truy cập (ưu điểm so với hệ thống trung tâm) MỘT SỐ NHƯỢC ĐIỂM KHI SỬ DỤNG HỆ PHÂN TÁN  Sự thiếu kinh nghiệm: (Lack of Experience)  Sự phức tạp (Complexity)  Chi phí : (Cost)  Tính an toàn: (Security)  Khó khăn chuyển đổi (Difficulty of change) từ tập trung sang phân tán C Định nghĩa: CSDLPT tập CSDL có quan hệ logic với trải mạng máy tính Mỗi trạm mạng có khả xử lý tự quản thực ứng dụng cục bộ, trạm tham gia vào ứng dụng toàn cục, có yêu cầu truy xuất liệu nhiều trạm Chú ý: liệu phân tán (vật lý) nhiều máy Tuy nhiên, việc truy xuất liệu máy tích hợp liệu máy Trường hợp này, không thuộc loại hệ thống có CSDL phân tán xem xét Cơ sở liệu phân tán(Các CSDL MFG.ACME.COM, HQ.ACME.COM SALES ACME.COM) - - - Các ứng dụng CSDL bao gồm ba phần : Xử lý ứng dụng, Phần mềm CSDL thân CSDL Các mô hình kiến trúc vật lý truy cập CSDL(5): CSDL tập trung + CSDL File Server + Xử lý phần CSDL + CSDL Clietn/Server + CSDL pt Sự hợp hướng tiếp cận trình xử lý liệu: Lý thuyết hệ CSDL công nghệ mạng máy tính Xử lý phân tán: tập phần tử xử lý tự tri (không đồng nhất) kết nối với mạng máy tính phối hợp thực công việc theo chức Có khái niệm xử lý phân tán (Client/Server: tính toán phần giao dịch t.hiện phức tạp nhiều hệ thống) Hệ thống xl pt : tập hợp máy tính cài đặt CSDL phần mềm cho phép nhiều người chia xẻ thong tin chung Các đối tượng phân tán bao gồm (Logic xl pt : phân tử hay chức phân tán, ủy quyền; Pt liệu: ; Đk pt: gdich nút ) CSDL phân tán lien quan đến khía cạnh: Tính pt Mối quan hệ logic Mô hình tham chiếu CSDL pt : (lược đồ toàn cục /Lược đồ phân mảnh/Lược đồ cấp phát/Lược đồ ánh xạ cục bộ/Hệ QTCSDL site cục bộ) Lược đồ tổng thể Lược đồ phân mảnh Lược đồ cấp phát Lược đồ ánh xạ cục Lược đồ ánh xạ cục Lược đồ ánh xạ cục n Hệ quản trị csdl Hệ quản trị csdl Hệ quản trị csdl n csdl cục site csdl cục site csdl cục site n 1.2 Csdl quan hệ - Định nghĩa quan hệ- - khóa- thuộc tính- • bảng rỗng cho cấu trúc liệu: lược đồ quan hệ; bảng có liệu lấp đầy: thể quan hệ Chuẩn hóa vai trò • • - Ngôn ngữ liệu quan hệ • • • Đại số quan hệ (chọn, chiếu, hợp, hiệu, tích Đề cac , tuyển, kết nối, bán kết nối , chia) Tính toán quan hệ (trên biến 1.3 Mạng máy tính - Định nghĩa mạng máy tính(site-node- cấu hình(điểm-điểm/nhiều điểm)-băng thôngdung lượng kênhPhân loại mạng(theo khoảng cách/cmach kênh gói/) Mô hình tham chiếu Giao thức mạng 1.4 Cơ sở liệu phân tán A HỆ QUẢN TRỊ CSDL - PT ĐỊNH NGHĨA: Là phần mềm cho phép tạo lập CSDL phân tán, điều khiển truy cập CSDL-PT đảm bảo suốt người sử dụng – Chương trình quản trị DL địa phương – Chương trình quản trị DL phân tán – Chương trình quản trị truyền thông DL – Chương trình quản trị tự điển DL Các chức đặc thù Hệ QTCSDL-PT – Chương trình quản trị tự điển DL – Đánh giá câu hỏi phân tán – Quản trị giao dịch phân tán – Các chức phục hồi & toàn vẹn DL Các thành phần Hệ QTCSDL-PT (Xử lý tương tác người dùng Xử lý liệu) - Xử lý tương tác người dùng  Xử lý giao diện  Kiểm soát dl ngữ nghĩa  Phân rã tối ưu hóa truy vấn toàn cục  Giám sát thực phân tán phối hợp thực phân tán yêu cầu NSD - Xử lý liệu  Bộ tối ưu hóa truy vấn cục bộ(chọn đường dẫn truy cập tốt vào mục dl)  Bộ quản lý khôi phục cục bộ( trì tính quán)  Bộ hõ trợ thời gian thực (lập lịch biểu) PHÂN LOẠI HỆ QTCSDL-PT  Hệ thống Homogenous hệ thống Heterogenous: • THUẦN NHẤT(Homogeneous) -DDBMS với hệ quản trị CSDL trạm , máy tính / hệ điều hành không • KHÔNG THUẦN NHẤT (Heterogeneous) - DDBMS với hệ quản trị CSDL khác trạm - Có chức chuyển đổi mô hình liệu khác hệ quản trị CSDL cục khác Hệ thống không Về Platform IBM DEC_VAX IBM AS400 RISC PC Pentium CPU Về DBMS DB2 VAX rdb SQL/400 Infomix Oracle Về Hệ ĐH MVS MVS OS/400 UNIX Windows Về Protocol APPC LU 6.2 DECnet 3270 TCP/IP NetBIOS  CÁC QUAN ĐIỂM PHÂN LOẠI HỆ QTCSDL-PT KHÁC Theo Bochmann, loại hệ xử lý phân tán phân loại dựa theo tiêu chuẩn : Độ kết dính : (degree of coupling)là số đo mức độ nối kết chặt chẽ phần tử xử lý, tính tỷ số lượng liệu trao đổi với lượng xử lý chỗ, thực trọng việc hoàn thành giao tác (dữ liệu thay đổi/dữ liệu xử lý chỗ) Cấu trúc nối kết ( Interconnection structure) Nối kết điểm - diểm (point-to-point) phần tử xủ lý hay dùng kênh truyền chung(multipoint) Sự đồng hóa: (Synchronization) Sự đồng hóa phần tử xử lý trì phương cách đồng hay bất đồng B NHỮNG ĐẶC ĐIỂM CỦA CSDL PHÂN TÁN SO VỚI CSDL TẬP TRUNG - Điều khiển tập trung (Centralize control)  Tự quản trạm (site autonomy): tính tự trị địa phương Người quản tị CSDL(DBA) đkhiển phân cấp: (DBA toàn cục DBA địa phương có độc lập định)  độc lập vị trí - Độc lập liệu (Data independence)  Tính suốt p.tán CSDL (transparent) i Trong suốt phân tán : có loại  Trong suốt vị trí : câu lệnh người dùng thực không phụ thuộc vào vị trí liệu vị trí hệ thống dùng  Trong suốt tên : Một gán tên hệ thống vật thể truy cập mà không cần cung cấp thêm thông tin khác ii Trong suốt nhân bản: Nhiều copy liệu lưu nhiều nơi để nâng cao tốc độ thực hiện, độ tin cậy Người dung hữu nhiều copy - Giảm dư thừa ( Reduction of redundancy)  Tính lặp liệu (replication) • Làm tăng tính cục • Làm tăng tính sẵn sàng CHú ý ứng dụng đọc nhân tốt - Cải thiện hiệu  Phân mảnh(cục hóa liệu)  Tính song song hệ thống phân tán(truy vấn song song truy vấn nội bộ)  Chương trình đường (navigational) - Sự ràng buộc toàn vẹn, phục hồi điều khiển tương tranh (Intergrity, recovery, and concurrency control) Giao dịch: chuỗi thao tác CSDL thực chuyển từ trạng thái CSDL quán sang trạng thái CSDL quán khác  Các giao dịch phân tán hạn chế lỗi đơn lẻ  Các giao dịch tuân theo quy tắc toàn vẹn CSDL - Tính riêng rẽ & tính an toàn: (Privacy and security) C NHỮNG VẤN ĐỀ CẦN GIẢI QUYẾT KHI TIẾP CẬN CSDL PHÂN TÁN - Thiết kế CSDL phân tán (Distributed Database Design): Hai phương pháp đặt liệu: Phân vùng (rời nhau) nhân bản( toàn hay phân vùng)  Tối ưu hóa chi phí, cấu trúc, lưu trữ CSDL , giao dịch - Xử lý câu hỏi phân tán ( Distributed Query Processing): Phân tích thuật toán truy vấn chuyển thành dãy thao tác liệu  Cần xem xét phân tán liệu, chi phí truyền thong, thong tin cục có sẵn, tối ưu hóa vị trí thực song song - Quản trị thư mục phân tán (Distributed Directory Management): Thư mục chứa thông tin mô tả vị trí, liệu Có thể toàn cục hay cục bộ, tập trung hay nhiều nơi, có/không có - Điều khiển tương tranh phân tán (Distributed Concurrency Control): Đồng việc truy cập đảm bảo tính toàn vẹn quán Các giá trị mục liệu phải quy giá trị gọi quán chung  Hai lớp giải pháp(bi quan lạc quan) Bi quan:đồng yêu cầu thực thi Lạc quan:Thực thi yêu cầu kiểm chứng tính quán  Dựa chế khóa, độc quyền tương hỗ gán nhãn thời gian - Quản trị khóa chết phân tán (Distributed Deadlock Management): Ngăn cản, Tránh, Phát khôi phục hệ điều hành - Độ tin cậy hệ quản trị CSDL phân tán ( Reliability of Distributed DBMS) Nhờ đảm bảo tính quán: lỗi không thay đổi trạng thái cập nhật Nhờ khôi phục lại CSDL trạm bị lỗi (Khó tách rời nhiều nóm nhóm không lien hệ với nhau) - Hỗ trợ hệ điều hành (Operating System Support) - Cơ sở liệu không đồng (Heterogeneous Database) :theo vị trí, phương pháp cấu trúc liệu, chế truy xuất liệu cần có chế chuyển dịch hệ thống: hệ đa sở liệu D TRIỂN VỌNG CỦA HỆ CSDL PHÂN TÁN  Tự trị  Tính song song nâng cao hiệu truy cập     Các vấn đề tương tranh (dvu, CPU, vào ) xảy tập trung, độ trễ Độ tin cậy tính sẵn sàng Kinh tế tổ chức hệ máy tính thay cho máy tính lớn Khả mở rộng hệ thống phân chia tài nguyên BÀI TẬP - phân tán - mạng - SQL BÀI TẬP (CSDL ko CSDL phân tán)  Consider a DBMS that uses multigranularity locks for concurrency control Using this DBMS, we see two levels of database elements: the relation level and the tuple level Suppose that we have a relation R containing some tuples, and a sequence of actions as follows: (1) Transaction T1 insert a tuple t1 into R (2) Transaction T2 reads a tuple t2 in R (3) Transaction T3 scans relation R (4) Transaction T4 writes tuple t2 in R (5) Transaction T5 deletes tuple t2 from R (6) Transaction T6 deletes relation R  We make the following assumptions about timing: i Action (1) is issued to the scheduler at time 0, and the other actions then arrive in the order shown above at an interval of t ii Each transaction requests the necessary lock right before its action is issued, and releases the lock right after its action completes iii Whenever a new lock request arrives or a lock is released, the system examines the waiting queue for that lock and grants the lock to as many compatible requests as it can The locks are granted to the transactions in a firstcomefirstserve manner iv Each action completes 10t after it obtains the lock on relation R  (a) For each transaction, list the weakest type of lock (S, X, IS, IX) that the transaction should hold on relation R before its action can be executed?  (b) Draw the lock table structure for all the locked data elements in the database, after action(1) completes and before action (2) completes Suppose all actions have arrived at the scheduler and requested their locks at this point  (c) Fill out the time table for the lock and unlock actions on relation R in the output schedule from the scheduler You may use li and ui to represent the actions that transaction i obtains and releases the lock on relation R, respectively Question  Consider the following single transaction running in isolation: T = r(A) r(B) w(A) w(B) r(C) w(C) w(D) Say that the system crashes and when it restarts we have an opportunity to examine the log A number of scenarios are given below In each scenario, the logging method and log are given For each scenario, determine which writes to data elements must be reflected in the database on disk, and which writes must not be reflected on disk If no data elements fit a category, simply write “empty” in the box       a) UNDO logging: log =  must: empty  must not: C,D b) UNDO logging: log =  must: A,B,C,D  must not: empty c) REDO logging: log =  must: empty  must not: A,B,C,D d) REDO logging: log =  must: empty  must not: empty e) UNDO/REDO logging with nonquiescent (fuzzy) checkpointing: log =  must: empty  must not: C,D f) UNDO/REDO logging with nonquiescent (fuzzy) checkpointing: log =  must: A  must not: empty Question  Consider the following schedule involving three transactions T1, T2 and T3:  a) Draw the precedence graph for this schedule  b) Is this schedule conflict serializable? Why or why not? If it is conflict serializable, give the equivalent serial schedule (just write the order of the transactions)   - No because Precedence Graph has cycle c) Write down all instances where one transaction “reads from” another transaction (If T2 reads from T1, write T1◊ T2.)  T1◊ T3 (A)  T3◊ T2 (C) ... xuất liệu nhiều trạm Chú ý: liệu phân tán (vật lý) nhiều máy Tuy nhiên, việc truy xuất liệu máy tích hợp liệu máy Trường hợp này, không thuộc loại hệ thống có CSDL phân tán xem xét Cơ sở liệu phân. .. trình quản trị DL địa phương – Chương trình quản trị DL phân tán – Chương trình quản trị truyền thông DL – Chương trình quản trị tự điển DL Các chức đặc thù Hệ QTCSDL-PT – Chương trình quản trị. .. kênhPhân loại mạng(theo khoảng cách/cmach kênh gói/) Mô hình tham chiếu Giao thức mạng 1.4 Cơ sở liệu phân tán A HỆ QUẢN TRỊ CSDL - PT ĐỊNH NGHĨA: Là phần mềm cho phép tạo lập CSDL phân tán,