Tìm hiểu và đánh giá một số hệ thống hỗ trợ lưu trữ lớn
Trang 2Mục Lục
I Tổng quan 4
1 Giới thiệu 4
2 Các đặc tính nổi bật 5
3 Các chức năng mới và được thay đổi 6
4 Hiệu suất, sự mở rộng, và kinh tế 6
5.Các chức năng GFS 8
6 Các thành phần của phần mềm GFS 9
7 Thông Tin trước khi cài đặt GFS 11
II Các yêu cầu hệ thống 11
1 Các yêu cầu nền tảng 12
2 Red Hat Cluster Suite 12
3 Hàng rào bảo vệ 12
4 Chuẩn kết nối mạng lưu trữ 12
5 Kết nối các thiết bị lưu trữ 13
6 Network Power Switches 13
7 Truy cập giao diện dòng lệnh 13
III Cài đặt GFS 14
Trang 31 Cài đặt các gói Red Hat Cluster Suite 14
IV Bắt đầu làm quen 22
1 Các thao tác đầu tiên 22
2 Các thao tác thiết lập ban đầu 23
V Quản lý GFS 24
1 Tạo một hệ thống file 24
2 Cài đặt một hệ thống file 26
3 Gỡ bỏ một hệ thống file 28
4 Quản lý hạn ngạch GFS 29
5 Phát triển một hệ thống file 32
6 Điều khiển vào/ra 33
Trang 4Red Hat Global File System
I Tổng quan
1 Giới thiệu
GFS là mã nguồn mở, hệ thống tập tin Cluster, trình quản lý volume tương thích POSIX,
làm việc trên tất cả phần cứng được hỗ trợ theo Enterprise Linux bao gồm thiết bị
SAN.GFS cho phép nhiều máy chủ Red Hat Enterprise Linux đồng thời đọc, ghi trên một
hệ thống tập tin
Red Hat GFS được tích hợp với Red Hat Enterprise Linux và được phân phối qua Red
Hat Network Điều này giúp đơn giản hóa tiến trình cài đặt, nâng cấp, quản trị phần mềm
Các ứng dụng chẳng hạn như Oracle 9i RAC, cluster, file, web, email sẽ dễ dàng được
quản lý và đạt được hiệu năng cao với tính sẵn sàng cao nhờ Red Hat GFS
Các máy Red Hat GFS được cấu hình và quản lý với các công cụ cấu hình và quản lý Red
Hat Cluster Suite Red Hat GFS cung cấp dữ liệu chia sẻ giữa các máy GFS trong một
Red Hat Cluster GFS cho phép các ứng dụng cài đặt và chạy không cần nhiều hiểu biết
về cơ sở hạ tầng lưu trữ ở dưới GFS hoàn toàn tuân thủ giao diện IEEE POSIX, cho phép
Trang 5các ứng dụng thực thi các file như là chúng đang chạy trên file hệ thống cục bộ vậy GFS
còn cung cấp các tính năng được yêu cầu riêng trong các môi trường doanh nghiệp như:
các hạn ngạch, đa nhật kí, và hỗ trợ đa đường dẫn
2 Các đặc tính nổi bật
2.1 Hiệu năng hoạt động
Red Hat GFS giúp các máy chủ Red Hat Enterprise Linux đạt được hiệu năng hoạt động
cao hơn đối với các ứng dụng đối với cơ sở dữ liệu, file, và quản trị Hiệu năng hoạt động
vẫn có thể đáp ứng với quy mô hàng trăm máy chủ Red Hat Enterprise Linux thông qua
việc sử dụng Red Hat GFS và SAN với iSCSI hoặc Fibre Channel
2.2 Tính sẵn sàng cao
Red Hat GFS là sản phẩm hoàn hảo, tương thích với bất cứ máy chủ, network, hoặc các
thiết bị lưu trữ dự phòng nào để cho phép các hoạt động vẫn được duy trì liên tục Thêm
vào đó, Red Hat GFS giúp nâng cao tính sẵn sàng của hệ thống bằng cách cho phép thực
hiện các thao tác cấu hình lại chẳng hạn như một file system và volume resizing trong khi
hệ thống vẫn hoạt động trực tuyến Có thể kết hợp sử dụng Red Hat Cluster Suite cùng
với GFS để chuyển các ứng dụng trong trường hợp máy chủ xảy ra sự cố hoặc để bảo
dưỡng định kỳ máy chủ
2.3 Dễ sử dụng
Red Hat GFS cho phép truy cập nhanh, tốc độ cao, nhiều truy cập đồng thời vào một file
system được chia sẻ, giảm thiểu sự phức tạp đối với các tác vụ quản trị bằng cách giảm
như cầu sao chép dữ liệu và bảo trì nhiều phiên bản khác nhau của dữ liệu để đảm bảo
việc truy cập được nhanh hơn Được tích hợp với Red Hat Enterprise Linux (AS,ES và
WS) và Cluster Suite, được cung cấp thông qua Red Hat Network, và được hỗ trợ bởi đội
ngũ chuyên gia hỗ trợ hàng đầu của Red Hat, Red Hat GFS là cluster file system hàng
đầu cho Linux trên thế giới
Trang 63 Các chức năng mới và được thay đổi
GULM (Grand Unified Lock Manager) không được hỗ trợ trong Red Hat Enterprise
Linux 5 Nếu hệ thống file GFS của bạn sử dụng GULM, bạn phải chuyển các hệ thống
file để sử dụng DLM Việc chuyển này gồm 2 quá trình xử lý:
- Trong khi chạy Red Hat Enterprise Linux 4, chuyển các hệ thống file GFS của bạn để
sử dụng DLM lock manager
- Nâng cấp hệ điều hành của bạn lên Red Hat Enterprise Linux 5, khi đó, bạn chuyển lock
manager sang DLM
4 Hiệu suất, sự mở rộng, và kinh tế
Bạn có thể triển khai GFS trong một cấu hình khác nhau cho phù hợp với nhu cầu của
bạn cho hiệu quả hoạt động,sự mở rộng, và kinh tế Đối với hiệu suất cao và mở rộng,
bạn có thể triển khai trong một nhóm GFS đã kết nối trực tiếp đến một SAN Để biết
thêm chi tiết các yêu cầu cần thiết cho kinh tế, bạn có thể triển khai trong một GFS cụm,
được kết nối với một mạng LAN với các máy chủ sử dụng GNBD (Global Network
Block Device)
Dưới đây là những phần cung cấp cho các ví dụ về việc làm thế nào GFS có thể được
triển khai cho phù hợp với nhu cầu của bạn cho hiệu quả hoạt động, mở rộng, và nền kinh
tế
4.1 Hiệu suất và mở rộng cao
Bạn có thể đạt được hiệu quả chia sẻ file cao khi các ứng dụng truy cập trực tiếp vào nơi
lưu trữ
Hình 1.1 thể hiện mô hình của GFS SAN
Trang 7GFS với một SAN cung cấp sự thực thi file nhanh hơn cho các file chia sẻ và các hệ
thống file Các ứng dụng Linux chạy trực tiếp trên các máy GFS
4.2 Hiệu suất, mở rộng, giá cả vừa phải
Các ứng dụng Linux đa khách hàng trên một LAN có thể chia sẻ cùng dữ liệu trên SAN
Hình 1.2 GFS and GNBD with a San
Khối lưu trữ SAN được thể hiện trong mạng lưới khách hàng như khối các thiết bị lưu trữ
của máy chủ GNBD Từ quan điểm của một ứng dụng khách, lưu trữ được truy cập nếu
Trang 8như nó được gắn trực tiếp vào máy chủ, nơi các ứng dụng đang chạy Dữ liệu được lưu
trữ thực trên SAN Dữ liệu và các thiết bị lưu trữ có thể được chia sẻ bình đẳng bởi các
mạng lưới ứng dụng khách Các chức năng chia sẻ và khóa file được xử lý bởi GFS cho
từng mạng lưới khách
4.3 Kinh Tế và Hiệu suất
Hình 1,3, "GFS và GNBD Kết nối trực tiếp với nơi lưu trữ" cho thấy các ứng dụng Linux
khách có thể tận dụng lợi thế của một Topology Ethernet hiện có để đạt được chia sẻ
quyền truy cập vào tất cả các khối thiết bị lưu trữ như thế nào Các file dữ liệu khách và
các hệ thống file có thể được chia sẻ với GFS trên từng máy khách Các ứng dụng
FAILOVER có thể được hoàn toàn tự động với Red Hat Cluster Suite
Hình 1.3
5.Các chức năng GFS
GFS là một hệ thống file nguôn thủy có giao diện trực tiếp với lớp VFS của giao diện file
nhân hệ thống Linux GFS là một hệ thống file cụm dùng để phát tán số lượng lớn dữ liệu
và đa sự kiện cho các hoạt động tối ưu trong một cluster Việc quản lý các máy trong
Trang 9GFS được quản lý thông qua Red Hat Cluster Suite Khối lượng quản lý được quản lý
thông qua CLVM (Cluster Logical Volume Manager)
- Thêm các sự kiện cho một hệ thống file
- Điều khiển vào/ra
- Nhật kí dữ liệu
- Cập nhật cấu hình
- Hoãn hoạt động trên một hệ thống file
- Hiển thị các thông tin GFS mở rộng và các thống kê
GFS gfs.ko Mô đun nhân, thực thi hệ
thống file GFS và được tải trên các máy Cluster GFS
gfs_fack Lệnh dùng để sửa và gỡ các hệ
thống file GFS
Gfs_grow Lệnh dùng để phát triển hệ
Trang 10thống file GFS đã được cài đặt
Lock_harness.ko Thực thi giao diện chức năng
pluggable lock cho GFS , cho phép nhiều phương pháp khoa học được sử dụng (ví dụ như:
chức năgn khóa DLM, lock_dlm.ko)
Lock_dlm.ko Mô đun khóa, thực hiện khóa
DLM cho GFS Nó gắn vào khóa harness, lock_harness.ko
và giao tiếp với trình quản lý khóa DLM trong Red Hat Cluster Suite
Lock_nolock.ko Mô đun khóa sử dụng khi GFS
chỉ được dùng như một hệ
Trang 11thống file cục bộ Nó gắn vào khóa harness, lock_harness.ko
và cung cấp khóa cục bộ
7 Thông Tin trước khi cài đặt GFS
Trước khi cài đặt và thiết lập GFS, bạn cần phải chú ý một số đặc điểm chính của các hệ
thống file GFS của bạn sau đây:
- Số lượng các hệ thống file - Xác định xem có bao nhiêu GFS để tạo ra hệ thống tập tin
ban đầu
- Tên hệ thống file - Xác định một tên duy nhất cho mỗi hệ thống tập tin Mỗi tập tin hệ
thống tên là bắt buộc trong mẫu của một tham số biến
- Nhật kí - Xác định số nhật kí của các hệ thống file GFS của bạn với mỗi máy cài đặt hệ
thống file GFS cần phải có một nhật kí Chắc chắn rằng tài khoản đã được thêm vào nhật
ký để mở rộng sau này
- Các máy GFS - Xác định các máy trong Red Hat Cluster Suite sẽ cài đặt hệ thống file
GFS
- Các máy chủ GNBD - Nếu bạn đang sử dụng GNBD, xác định có bao nhiêu máy chủ
GNBD cần dùng Chú ý hostname và địa chỉ IP của từng máy chủ GNBD phải được thiết
lập ở máy khách GNBD sau đó
- Các thiết bị lưu trữ và phân vùng - Xác định các thiết bị lưu trữ và các phân vùng được
sử dụng cho việc tạo các phân vùng vật lý (thông qua CLVM) trong các hệ thống file
II Các yêu cầu hệ thống
Phần này mô tả các yêu cầu hệ thống cho Red Hat GFS với Red Hat Enterprise Linux5
Trang 121 Các yêu cầu nền tảng
Bảng sau thể hiện các yêu cầu nền tảng cho GFS:
Operating System Hardware Architecture RAM
Red Hat Enterprise Linux
AS, ES hoặc WS phiên bản
4 trở lên
Ia64, x86-64, x86 SMP được hỗ trợ
Tối thiểu: 256 MB
2 Red Hat Cluster Suite
Red Hat GFS chạy với Red Hat Cluster Suite phiên bản 4.0 trở lên Phần mềm Red Hat
Cluster Suite phải được cài đặt trên các máy trong cluster trước khi bạn cài và chạy Red
Hat GFS
3 Hàng rào bảo vệ
Bạn phải cấu hình từng máy GFS trong Red Hat Cluster của bạn ít nhất một trong những
hàng rào bảo vệ Hàng rào bảo vệ được cấu hình và quản lý trong Red Hat Cluster Suite
4 Chuẩn kết nối mạng lưu trữ
Bảng 2.2, Mô tả các yêu cầu cho các máy GFS mà được kết nối tới một chuẩn SAN:
HBA (Host Bus Adapter) Tối thiểu một HBA trong mỗi máy GFS
Phương pháp kết nối Fibre Channel switch
Chú ý: nếu một FC switch được sử dụng cho hàng rào bảo vệ, bạn có thể sẽ nghĩ đến việc sử dụng Brocade, McDate hoặc Vixel FC switch
Chú ý: Khi số lượng các máy được sử
Trang 13dụng là ít, có thể kết nối các máy trực tiếp qua cổng của thiết bị lưu trữ
5 Kết nối các thiết bị lưu trữ
Bảng 2.3, mô tả các yêu cầu cho các thiết bị được kết nối tới một GFS Cluster:
Chú ý: Làm chắc chắn rằng, các thiết bị
có thể hoạt động đáng tin cậy khi rất nhiều truy cập đồng thời từ nhiều người dùng
Chú ý: Chắc chắn rằng, cấu hình GFS của bạn không được vượt quá số máy của mảng hoặc JBOD hỗ trợ
file GFS
6 Network Power Switches
Bạn có thể bảo vệ các máy GFS với power switches và các tác nhân bảo vệ có sẵn với
Red Hat Cluster Suite
7 Truy cập giao diện dòng lệnh
Chắc chắn rằng, bạn có quyền truy cập đến giao diện dòng lệnh trên mỗi máy GFS Truy
cập giao diện dòng lệnh trên mỗi máy đảm bảo rằng bạn có thể quản lý các máy và giải
quyết các vấn đề xảy ra
Trang 14III Cài đặt GFS
Việc cài đặt GFS bao gồm cài đặt các gói Red Hat GFS RPM trên các máy trong Red Hat
Cluster Trước khi cài đặt RPM, đảm bảo các vấn đề sau:
- các máy trong cluster phải đảm bảo yêu cầu hệ thống như đã được miêu tả ở trên
- Nắm được các thông tin về các đặc điểm chính của cấu hình GFS
- phần mềm Red Hat Cluster Suite được cài đúng trong cluster
1 Cài đặt các gói Red Hat Cluster Suite
Red Hat Cluster Suite bao gồm các gói sau:
Rgmanager Trình quản lý các dịch vụ và tài nguyên
System-config-cluster Chứa công cụ cấu hình Cluster (Cluster
Configuration Tool), được sử dụng cấu hình đồ họa cluster và hiển thị tình trạng hiện tại của các máy, tài nguyên, các tác nhân bảo vệ và các nhóm dịch vụ
Ccsd Chứa các nhóm dịch vụ cấu hình daemon
và các file được kết hợp
Magma Chứa giao diện thư viện cho trình quản lý
khóa cluster
Magma-plugins Chứa các Plugin cho thư viện magma
Cman Chứa Cluster Manager (CMAN), được
dùng cho việc quản lý các thành viên, thông điệp và thông báo trong nhóm
Cman-kernel Chứa các mô-đun hạt nhân CMAN cần
thiết
Trang 15Dlm Chứa thư viện quản lý khóa phân phối
(Distributed lock management - DLM)
Dlm-kernel Chứa các mô-đun hạt nhân DLM cần thiết
Fence Hệ thống hàng rào bảo vệ vào/ra cho phép
các máy kết nối tới nhiều network power switche, fibre channel switch, và giao diện tương tác trình quản lý điện năng
Gulm Chứa các công cụ userspace quản lý khóa
GULM và các thư viện (CMAN hoặc DLM)
Iddev Chứa các thư viện được sử dụng để nhận ra
các hệ thống file (hoặc trình quản lý hạn ngạch) cho một thiết bị được định dạng
Ngoài ra, bạn có thể cài đặt tùy chọn Red Hat GFS trên bộ Red Hat Cluster Suite của bạn
Red Hat GFS bao gồm các gói:
GFS-kernel Mô đun nhân Red Hat GFS
Gnbd Mô đun GFS Network Block Device
Gnbd-kernel Mô đun nhân cho GFS Network Block
Device
Lvm2-cluster Cluster mở rộng cho trình quản lý hạn
ngạch địa phương
GFS-kernheaders Các file tiêu đề nhân GFS
Gnbd-kernheaders Các file tiêu đề nhân gnbd
Trang 16Cài đặt Red Hat Cluster Suite và Red Hat GFS RPM bạn có thể sử dụng các phương
pháp:
- Tự động cài đặt RPM – sử dụng up2date
- Cài đặt tùy chọn RPM – Lựa chọn cài đặt RPM sử dụng các rpm cần thiết
1.1 Tự động cài đặt RPM
Tự động cài đặt RPM bao gồm các hoạt động chạy tiện ích up2date tại các máy của Red
Hat Cluster Suite và các sản phẩm Red Hat GFS
Chú ý: Nếu bạn đang cài các GFS RPM, bạn phải chạy up2date cho Red Hat Cluster
Suite trước khi chạy nó cho Red Hat GFS
Để tự động cài đặt các RPM, thực hiện các bước sau tại mỗi máy:
- Đăng nhập với tài khoản root
- chạy lệnh
up2date –installall –channel Label cho Red Hat Cluster Suite
- Ví dụ sau đây, là lệnh chạy cho các RPM i386:
# up2date installall channel rhel-i386-as-4-cluster
- (Tùy chọn) Nếu bạn đang cài Red Hat GFS, chạy:
up2date installall channel Label
cho Red Hat GFS Sau đây là ví dụ cho các gói RPM i386
# up2date installall channel rhel-i386-as-4-gfs-6.1
1.2 Cài đặt tùy chọn các RPM
Cài đặt tùy chọn RPM bao gồm các bước sau:
- Xác định các RPM để cài đặt
- Cài đặt các RPM sử dụng tiện ích rpm
Trang 17Chú ý: Nếu bạn đang cài đặt các GFS RPM, bạn phải cài Red Hat Cluster Suite trước Red
Hat GFS
1.2.1 Xác định các gói RPM để cài đặt
Việc xác định các gói RPM để cài đặt dựa trên các tiêu chuẩn sau:
- Trình quản lý khóa Red Hat Cluster Suite đang sử dụng: DLM hay GULM
- Các chức năng Red Hat Cluster Suite và Red Hat GFS bạn đang sử dụng (bên cạnh các
chức năng chuẩn)
-Có bao gồm các thư viện phát triển không
- Loại của nhân được cài đặt
Sử dụng các bảng sau để xác định các gói RPM được cài đặt
Trang 20Các bảng trên chứa các thông tin sau giúp bạn xác định các gói cần cài đặt:
+ Dev: RPM triển khai – được dùng cho các mục đích phát triển
- Purpose – Cung cấp một miêu tả ngắn gọn về mục đích của RPM Giúp trong việc xác
định các gói RPM bao gồm các gói khác hơn là các RPM được yêu cầu
Để xác định các gói RPM bao gồm trong cài đặt, thực hiện các bước sau:
- Xác định xem bạn đang cài Red Hat Cluster Suite với DLM hay Red Hat Cluster Suite
với GULM
Trang 21+ Nếu bạn đang cài đặt Red Hat Cluster Suite với DLM, tham khảo bảng 3.1 để nhận
dạng các gói RPM được yêu cầu, được chọn và triển khai
+ Nếu bạn đang cài Red Hat Cluster Suite với GULM, tham khảo bảng 3.2 để nhận dạng
các gói RPM được yêu cầu, được chọn và triển khai
- Nếu bạn đang cài đặt Red Hat GFS, tham khảo bảng 3.3 để nhận dạng các gói RPM
được yêu cầu, được chọn và triển khai
- Với các thông tin nghiên cứu ở các bước trên, tiến hành cài đặt các RPM theo các bước
được mô tả trong phần 1.2.2 sau đây
1.2.2 Cài đặt các gói với tiện ích rpm
Bạn có thể sử dụng tiện ích rpm để cài đặt các gói RPM từ CD đã được tạo với các RHN
ISO Quá trình bao gồm việc sao chép các RPM từ máy cục bộ, xóa các RPM không cần
thiết cho việc cài đặt, sao chép RPM đến các máy trong cluster, và cài đặt chúng
Hướng dẫn cài đặt RPM:
- tại máy nội bộ (không là thành phần trong cluster) tạo một thư mục tạm thời chứa các
RPM Ví dụ:
$ mkdir /tmp/RPMS/
- Chèn Red Hat Cluster Suite CD vào trong ổ đĩa CD-ROM
Chú ý: Nếu một câu hỏi thông báo hiện ra, trả lời nếu bạn muốn chạy tự động, click
- Sao chép tất cả các file RPM từ CD (/media/cdrom/RedHat/RPMS/) tới thư mục mới
được tạo tạm thời ở trên Ví dụ:
$ cp /media/cdrom/RedHat/RPMS/*.rpm /tmp/RPMS/
- Thoát CD khỏi ổ đĩa CD-ROM
- (Tùy chọn) Nếu bạn đang cài đặt Red Hat GFS, chèn Red Hat GFS CD vào trong ổ đĩa
CD-ROM Nếu bạn không cài đặt Red Hat GFS, thực hiện tới bước 8
Chú ý: Nếu một câu hỏi thông báo hiện ra, trả lời nếu bạn muốn chạy tự động, click