3. Tình hình thực hiện chế độ báo cáo, kiểm trac ủa đề tài: Số
62Chúng tôi sẽ thiết kế hệ thống như sau:
Chúng tôi sẽ thiết kế hệ thống như sau:
• Cho phép lưu trữ song song trên nhiều server
• Việc lựa chọn file ảnh đáp ứng request do chính server đó quyết định • Khi thêm server mới vào hệ thống, chỉ cần kết nối để cập nhật dữ liệu • Hệ thống Server tự động đồng bộ dữ liệu giữa các server
b. Hệ thống phân phối dữ liệu:
a. Xây dựng các máy chủ cache ảnh tạm thời
b. Máy chủ cache cho phép cache trên RAM và trên HDD c. Tổ chức thành hệ thống cache nhiều lớp
d. Các cụm máy chủ Cache phân tán
e. Xây dựng giải thuật phân giải tên miền trên hệ thống máy chủ DNS riêng biệt( Giải thuật này cho phép xác định với tên miền mỗi ảnh cần xem sẽ
Hình 12: Chính sách hoạt động của hệ thống Cache
63
trỏ đúng server cache, đúng địa chỉ ảnh, trả lại ảnh nhanh chóng cho người sử dụng )
Hệ thống cache được cấu thành từ nhiều server đơn lẻ có cấu hình tương đồng nhau (Hình 10). Mỗi server này có chung các đặc điểm:
- Có bộ nhớ RAM dung lượng lớn(đến hàng chục GB), tốc độ đọc ghi cực cao
- Những bức ảnh được truy xuất với tần số cao nhất sẽ được lưu trữ trên RAM
- Sử dụng các ổ cứng SSD công nghệ mới nhất trên thế giới, cho phép khả năng truy xuất tốc độ rất cao, kích thước các ổ cứng từ vài chục Gigabyte đến hàng trăm Gigabyte, với các bức ảnh có tần suất truy cập cao sẽ đươc lưu trữ lên vùng này
Hình 13: Minh họa sơ đồ các lớp được sử dụng trên hệ thống cache
- Kết hợp các ổ cứng dung lượng cao nhất hiện tại từ 1 Terabyte đến 2 Terabyte, các ảnh lưu trữ thông thường được lấy từ kho lưu chung toàn hệ thống và đươc lưu lại, với kích thước lưu trữ lớn, phần lớn các ảnh được truy cập thông thường sẽ được lưu lại
Với mô hình cache 03 lớp gồm: RAM, ổ tốc độ cao SSD, ổ lưu trữ dung lượng lớn HDD, tỷ lệ tìm thấy file trong hệ thống cache đạt mức rất cao, lên đến 95-98% request gửi đến, chỉ có một lượng nhỏ các file mới được upload hoặc các file ít được truy cập không có trong server cache cần được gửi yêu cầu đọc trực tiếp từ kho lưu chung của hệ thống
Hệ thống cache trên các server được tổ hợp từ nhiều phần mềm mã nguồn mở khác nhau bao gồm:
- Varnish cache quản lý bộ nhớ cache trên RAM - Squid cache quản lý bộ nhớ trên ổ SSD
64