Google file system

THE GOOGLE FILE SYSTEM GVHD: TS Hồ Bảo Quốc Nhóm học viên thực hiện: • Dương Hữu Thành – 1212035 • Phạm Ngọc Vân Anh – 1212001 • Nguyễn Thanh Tòng – 1212039 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nội dung • • • • Giới thiệu GFS Kiến trúc tổng quan Sự tương tác hệ thống Trách nhiệm GFS-Master LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com GOOGLE FILE SYSTEM LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Giới thiệu GFS • Là hệ thống quản lý tập tin phân tán (DFS) phát triển Google • Được thiết kế để cung cấp khả truy xuất liệu hiệu tin cậy dựa việc sử dụng hệ thống cluster lớn commodity hardware • Phiên có tên Colossus (nguồn http://en.wikipedia.org/wiki/Google_File_System) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Giới thiệu GFS (cont.) • Chỉ sử dụng Google • Khơng phải sản phẩm open source • Được xem mơ hình DFS LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com KIẾN TRÚC TỔNG QUAN LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Các giả định (assumptions) • Tỷ lệ lỗi (failure rate) thành phần cao • Số lượng kích thước file lớn: ▫ Vài triệu file ▫ Mỗi file > 100 MB • Phần lớn thao tác file thêm vào cuối (append) • Large streaming read LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Các interface • • • • • • • • Create Delete Open Close Read Write Snapshot RecordAppend LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Thết kế tổng quan • Mỗi file chia lưu trữ thành nhiều chunk ▫ Mỗi chunk 64 MB ▫ Mỗi chunk nhân (replica) thành phần, phần lưu trữ chunk server • Một master server, nhiều chunk server nhiều client ▫ Quản lý tập trung để đơn giản việc quản lý • Không caching data LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kiến trúc LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Read Application phát sinh read request GFS client phiên dịch request gửi cho master Master trả chunk handle vị trí replica cho GFS client LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Read (cont.) Client sử dụng chunk handle location để gửi request đến chunk server Chunk server gửi data cho client Client chuyển data cho application LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Write Application phát sinh write request GFS client dịch phiên dịch request gửi cho master Master trả chunk handle vị trí tất replica cho GFS client LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Write (cont.) Client chuyển data cần write đến tất chunk server chứa replica Data lưu internal buffer chunk server LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Write (cont.) Client gửi yêu cầu write data đến primary replica Primary replica chọn thứ tự (serial order) khối data buffer ghi vào chunk theo thứ tự Primary replica gửi thứ tự mà định bước cho secondary replica yêu cầu chúng thực thao tác write theo thự tự nhận LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Write (cont.) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Write (cont.) Secondary replica phản hồi lại cho primary Primary replica phản hồi lại cho client LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Atomic Record Append • Append record cách đồng thời hóa • Giải pháp: ▫ Multi producer – single consumer LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Atomic Record Append (cont.) Tương tự write có khác biệt Client chuyển data cần append đến tất replica thuộc chunk cuối file Primary xác định xem data cần append làm cho kích thước chunk vượt giới hạn cho phép LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Atomic Record Append (cont.) Nếu chunk vượt giới hạn kích thước, Primary replica sẽ: - Chèn padding vào chunk - Yêu cầu tất secondary chèn padding vào chunk - Hồi đáp lại cho client yêu cầu client retry lại thao tác Ngược lại, Primary sẽ: - Append data - Yêu secondary append data - Hồi đáp lại cho client LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Fault Tolerance • High availability ▫ Fast recovery ▫ Chunk replication ▫ Shadow masters • Data integrity ▫ Checksum every 64KB block in each chunk LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TRÁCH NHIỆM CỦA GFS MASTER LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TRÁCH NHIỆM CỦA GFS MASTER • • • • Lưu giữ metadata Định kỳ liên lạc với chunk server Chunk creation, re-replication, rebalancing Thu dọn rác LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tài liệu tham khảo • The Google File System - Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Q&A LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... luanvanchat@agmail.com GOOGLE FILE SYSTEM LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Giới thiệu GFS • Là hệ thống quản lý tập tin phân tán (DFS) phát triển Google • Được thiết kế... Colossus (nguồn http://en.wikipedia.org/wiki /Google_ File_ System) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Giới thiệu GFS (cont.) • Chỉ sử dụng Google • Không phải sản phẩm open source... Tỷ lệ lỗi (failure rate) thành phần cao • Số lượng kích thước file lớn: ▫ Vài triệu file ▫ Mỗi file > 100 MB • Phần lớn thao tác file thêm vào cuối (append) • Large streaming read LUAN VAN CHAT