Hệ thống file phân tán

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Giảng viên: TS Hoàng Xuân Dậu Điện thoại/E-mail: dauhx@ptit.edu.vn Bộ mơn: An tồn thơng tin - Khoa CNTT1 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống file phân tán www.ptit.edu.vn Hệ thống file hệ thống file phân tán Vấn đề đặt tên tính suốt DFS Các ngữ nghĩa việc chia sẻ Các phương pháp truy nhập từ xa Một mơ hình DFS đơn giản GFS - Google Distributed File System GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1 Hệ thống file hệ thống file phân tán  Hệ thống file (FS - File system)  Hệ thống file phân tán (DFS – Distributed file system)  Các khái niệm hệ thống phân tán hệ thống file phân tán www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file  Hệ thống file (file system) phương pháp tổ chức lưu trữ file liệu chúng  Hệ thống file cho phép người sử dụng dễ dàng tìm kiếm truy nhập file  Hệ thống file sử dụng:  Các thiết bị lưu trữ (đĩa cứng, đĩa mềm, CD) để lưu trữ files,  Cho phép truy nhập đến liệu máy chủ file thông qua giao thức mạng (NFS, SMB, …) www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:      Disk File System Database file system Transactional file system Network file system Special purpose file system www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:  Disk File System: • Sử dụng thiết bị lưu trữ có kết nối trực tiếp gián tiếp với máy tính để lưu trữ file (phổ biến đĩa); • Các files thường quản lý theo cấu trúc phân cấp (cây); • Các loại Disk FS thông dụng FAT (FAT16, FAT32), NTFS, ext2, ext3, ext4, ISO 9960 UDF (Universal Disk Format) www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:  Database file system: • Sử dụng khái niệm CSDL để quản lý files; • Các files nhận dạng thuộc tính, loại file, chủ đề, tác giả mô tả file www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:  Transactional file system: • Là loại hệ thống file chuyên dụng, dùng để lưu trữ giao dịch; • Thường dùng nhiều ngành Ngân hàng, file giao dịch www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:  Network file system: • Là hệ thống file cho phép truy nhập files lưu máy chủ; • NFS hoạt động client giao thức truy nhập file từ xa; • NFS gọi Distributed File System (DFS) • Ví dụ: NFS (Sun), AFS (Andrew FS), GFS (Google FS), HDFS FTP www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:  Special purpose file system: • Là hệ thống file khơng phải DFS NFS • Ví dụ: – Trong hệ thống mà files quản lý động phần mềm phục vụ cho giao tiếp tiến trình, dành cho khơng gian lưu trữ tạm thời; – Bảng trắng (White board) dạng file đặc biệt www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 10 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.2 Các giả thiết thiết kế (tiếp)  Tải hệ thống cấu thành từ hai thao tác chính:  Các thao tác đọc theo dòng (streaming reads): thường hệ thống đọc lượng lớn liệu, từ hàng trăm KB đến 1MB, lớn  Các thao tác đọc ngẫu nhiên với khối lượng liệu nhỏ www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 74 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.2 Các giả thiết thiết kế (tiếp)  Tải hệ thống phần cấu thành từ thao tác ghi liệu kiểu nối files Sau ghi, files cần sửa đổi  Hệ thống cần thực thi ngữ nghĩa chia sẻ cách hiệu có nhiều clients đồng thời ghi nối đuôi vào file  Băng thông mạng quan trọng độ trễ đường truyền mạng www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 75 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.3 Kiến trúc hệ thống www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 76 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.3 Kiến trúc hệ thống (tiếp)  GFS gồm master nhiều chunkservers  Master: quản lý tồn thơng tin hệ thống file:     Không gian tên (namespace) Thông tin kiểm soát truy nhập Ánh xạ từ files đến chunks (phân đoạn) Vị trí chunks  Tồn thơng tin master lưu nhớ -> giảm thời gian tìm kiếm  GFS cần khoảng 64 bytes để quản lý chunk www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 77 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.3 Kiến trúc hệ thống (tiếp)  Chuỗi chunkservers: lưu trữ liệu file  File chia thành chunks có kích thước cố định  Mỗi chunk nhận dạng tên nhận dạng tồn cục (chunk handle), độ dài 64bits  Kích thước chunk cố định 64MB  Mỗi chunk thường có thứ cấp (replicas) Các lưu máy vật lý khác  Master giao tiếp với chunkservers thông qua thông điệp HeartBeat www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 78 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.3 Kiến trúc hệ thống (tiếp)  Master có shadow masters lưu liệu hệ thống Khi master gặp cố, shadow masters thay tạm thời  Toàn thao tác master log vào đĩa cục thứ cấp để phục vụ cho khôi phục gặp cố www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 79 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.4 Hoạt động - Các thao tác file  GFS hỗ trợ thao tác file sở, bao gồm: tạo, xố, mở, đóng ghi  Ngồi ra, GFS hỗ trợ thao tác:  Snapshot: tạo file thư mục với chi phí thấp  Record append (nối đuôi file): cho phép nhiều clients đồng thời ghi nối đuôi file, mà đảm bảo tính nguyên tử thao tác ghi client www.ptit.edu.vn GIẢNG VIÊN: TS HOÀNG XUÂN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 80 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.4 Hoạt động - Điều khiển ghi dòng liệu www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 81 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.4 Hoạt động - Điều khiển ghi dòng liệu Client yêu cầu master cung cấp thông tin chunks cần truy nhập (vị trí replicas) Master tìm kiếm thông báo kết cho client Client đẩy thông tin cần ghi đến tất replicas chunk Khi replicas xác nhận nhận liệu, client gửi yêu cầu ghi đến primary replica Primary replica chọn trật tự ghi chuyển tiếp yêu cầu ghi đến replicas lại Các replicas thơng báo hồn tất thao tác ghi Primary replica thơng báo lại cho client Nếu có lỗi client lặp lại bước từ 3-7 Nếu có lỗi client lặp lại tồn q trình ghi www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 82 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.5 Thử nghiệm đo hiệu  Cấu hình GFS thử nghiệm:     master master replicas 16 chunkservers 16 clients  Tất máy sử dụng cấu hình PIII 1.4GHz, 2GB RAM, 2x80GB 5400 vòng/phút HDD  Switch 100Mb/s full-duplex www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 83 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.5 Thử nghiệm đo hiệu (tiếp) www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THÔNG TIN - KHOA CNTT1 Trang 84 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.5 Thử nghiệm đo hiệu (tiếp) www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 85 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN 2.6.5 Thử nghiệm đo hiệu (tiếp) www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 86 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống GFS - clusters - Cấu hình www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 87 BÀI GIẢNG MÔN HỌC HỆ ĐIỀU HÀNH MẠNG HỆ THỐNG FILE PHÂN TÁN Hệ thống GFS-2 clusters - Hiệu www.ptit.edu.vn GIẢNG VIÊN: TS HỒNG XN DẬU BỘ MƠN: AN TỒN THƠNG TIN - KHOA CNTT1 Trang 88 ... FILE PHÂN TÁN 2.1.1 Hệ thống file  Hệ thống file (file system) phương pháp tổ chức lưu trữ file liệu chúng  Hệ thống file cho phép người sử dụng dễ dàng tìm kiếm truy nhập file  Hệ thống file. .. HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:      Disk File System Database file system Transactional file system Network file system Special purpose file system... HỆ THỐNG FILE PHÂN TÁN 2.1.1 Hệ thống file (tiếp)  Các loại hệ thống file:  Database file system: • Sử dụng khái niệm CSDL để quản lý files; • Các files nhận dạng thuộc tính, loại file, chủ