Nhập môn sở liệu Hệ CSDL Tổ chức liệu vật lý Ứng dụng Hệ QTCSDL Trần Việt Trung Vũ Tuyết Trinh trungtv@soict.hust.edu.vn Bộ môn Hệ thống thông tin, Viện CNTT&TT Đại học Bách Khoa Hà Nội CSDL Bộ xử lý câu hỏi Quản lý lưu trữ • Tổ chức tệp: xếp ghi thiết bị nhớ Bộ quản lý lưu trữ Bộ quản lý lưu trữ – RID (record id): xác định địa vật lý ghi – Chỉ số: cấu trúc liệu xác định tương ứng RID ghi giá trị trường (khoá) • Vùng nhớ đệm: trung gian thiết bị nhớ nhớ Bộ quản lý Giao dịch Quản lý giao dịch Quản lý buffer Quản lý tệp CSDL Storage of Databases • Databases are too large to fit entirely in main memory • Data persistency – Disk = nonvolatile storage – Memory = volatile storage • The cost of storage per unit Metadata & Data dictionary Data & index Các thiết bị nhớ Đĩa từ vs nhớ • Đĩa từ, băng từ, trống từ, • Đĩa từ: tổ chức thành trang – Chí phí truy nhập đến trang tương đương – Chí phí đọc nhiều trang liền < chí phí đọc trang theo thứ tự • Băng từ: – đọc trang liền – rẻ đĩa từ chi phí truy nhập thương lớn • HTTT, SoICT • Tốc độ truy nhập ms vs ns (~1000 lần) • Kích thước TB vs GB (~ 100 lần với chi phí) • Lưu trữ ổn định (kể điện) vs tạm thời • Phân chia block 4KB vs 1Byte Nhập môn sở liệu Buffering of blocks • To speed up I/O transfer – Reading – Writing • Cache consistency? Records serialized into a file • struct employee{ – char name[30]; – char ssn[9]; – int salary; – int job_code; – char department[20]; • } ; Records serialized into a file Primary file organizations • Refer to how the file records are physically placed on the disk, and how the records can be accessed • Heap file (unordered file) • Sorted file • Hashed file • B-tree Tổ chức nhớ • Mục đích: giảm thiểu truy xuất đến liệu không cần thiết thiết bị nhớ • Các vấn đề cần quan tâm Auxiliary access structure • A secondary organization or auxiliary access structure allows efficient access to file records based on alternate fields – Indexes – Cấu trúc lưu trữ – Các phép toán (thêm, xoá, sửa, tìm kiếm) HTTT, SoICT Nhập môn sở liệu Heap files Ordered files • Simplest and most basic type of organization • Records are placed in the file in the order they are inserted • Insert? • Delete? • Physically order the records of a file on disk based on the values of one of their fields (the ordering field) • Binary search • Scan? Tổ chức tệp băm (Hash File) • Mục đích – Sử dụng số để hạn chế số lượng phép truy xuất đĩa phân nhóm ghi (giả thiết n nhóm) – Mapping giá trị khoá với vị trí (nhóm) ghi tương ứng • Dựa bảng băm (hash table) – Hàm băm (hash function) Internal hashing Ví dụ • Position of records in file HTTT, SoICT Nhập môn sở liệu Collision resolution External hashing • Hashing for disk files • To suit disk access characteristics – address space = {bucket} – bucket = one disk block or a cluster of contiguous disk blocks • Hash function – To map a key into a relative bucket number • Collision? External hashing Handling overflow Tiêu chí chọn hàm băm Tổ chức tệp dẫn (Index File) • Phân bố ghi tương đối đồng (theo cụm) • Hạn chế việc sử dụng nhiều trang nhớ cho cụm • Static hashing • Extendible hashing • Dynamic hashing • Linear hashing HTTT, SoICT • Tệp dẫn theo khoá chọn ghi • Tệp dẫn bao gồm cặp (k,d), k giá trị khoá ghi đầu tiên, d địa khối (hay trỏ khối) • Tệp dẫn xếp theo giá trị khoá Nhập môn sở liệu Cây cân (BalanceTree) Ví dụ • B-tree cân tổ chức theo cấp m, có tính chất sau đây: – Gốc nút có hai – Mỗi nút (trừ nút gốc nút lá) có từ [m/2] đến m – Mỗi đường từ nút gốc đến nút có độ dài Nhận xét • Cấu trúc nút B-tree (p0, kl, p1, k2, ,kn, pn) – pi (i=l n) trỏ trỏ tới khối i nút có ki khoá khối – Các khoá k nút xếp theo thứ tự tăng dần • Mọi khoá con, trỏ pi nhỏ ki+1 • Mọi khoá con, trỏ pn lớn kn Kết luận • Truy cập đến CSDL thường liên quan đến phần nhỏ ghi tệp liệu hay vài trường (đặc biệt trường khoá) ghi liệu Ø Xác định yêu cầu cho phép thiết kế liệu vật lý hiệu thông qua việc sử dụng tổ chức lưu trữ đặc biệt • Tệp dẫn tạo lập khoá tìm kiếm để tăng hiệu lưu trữ liệu Ø Hiệu cấu trúc dẫn khác phụ thuộc vào điều kiện áp dụng chúng Các điểm cần lưu ý HTTT, SoICT Nhập môn sở liệu B+ Tree Index B+ Tree Example With B+ tree, a full index is maintained, allowing the ordering of the records in the file to be independent of the index This allows multiple B+ tree indices to be kept for the same set of data records 60 n the lowest level in the index has one entry for each data record n the index is created dynamically as data is added to the file n as data is added the index is expanded such that each record requires the same number of index levels to reach it (thus the tree stays ‘balanced’) n the records can be accessed via an index or in insertion order B+ Tree Build Example 60 30 55 10 30 55 90 60 69 70 60 55 65 69 70 60 90 Add 90 Add 60 55 60 55 60 Add 55 10 69 60 60 90 30 90 B+ Tree Build Example Cont… 30 55 90 65 70 70 70 90 10 30 Add 70 55 60 65 70 90 Add 10 60 60 60 70 55 55 60 65 70 70 30 55 30 55 60 Add 65 65 70 90 10 30 • Để thực phép toán, cần: – Ghi nhớ số trang tệp Ghi nhớ không gian trống trang Ghi nhớ ghi trang Ø Có trỏ trỏ tới tất trang tệp trỏ lưu trữ nhớ HTTT, SoICT 60 65 69 70 90 Add 69 Cài đặt tệp đống danh sách • Lưu trữ ghi trang không tuân theo thứ tự đặc biệt – 55 Add 30 Tổ chức tệp đống (Heap File) – 69 70 90 Data Page Data Page Data Page Full Pages Header Page Data Page Data Page Data Page Pages with Free Space • Cần lưu trữ HeaderPage tên tệp • Mỗi trang gồm liệu trỏ Nhập môn sở liệu Các phép toán Sử dụng trang danh bạ • Tìm kiếm ghi • Thêm ghi Data Page Header Page Data Page • Xoá ghi DIRECTORY • Sửa đổi ghi Data Page N • Lưu thông tin số byte trống trang • Danh bạ tập trang Tìm kiếm ghi • Tìm kiếm – Duyệt tệp dẫn từ ghi đến tìm thấy ghi có khoá k cần tìm – Nhận xét • chậm tệp dẫn nói chung • Thích hợp với tệp dẫn nhỏ đủ để lưu nhớ • Tìm kiếm nhị phân – Chia đôi tệp dẫn xếp để hạn chế số ghi cần duyệt – Tại lần chia hạn chế ½ số ghi cần xem xét HTTT, SoICT