Nội dung Cơ sở hạ tầng trung tâm dữ liệu • Tổng quan về kiến trúc Server Farm • Yêu cầu thiết kế cho Server Farm • Mô hình thiết kế lớp truy nhập • Ảnh hưởng đến khả năng mở rộng và mật
Trang 1KẾT NỐI MẠNG TRUNG TÂM DỮ LiỆU
KiẾN TRÚC SERVER FARM VÀ HƯỚNG
DẪN THIẾT KẾ
TERRY SEETO
GIÁM ĐỐC GiẢI PHÁP KINH DOANH
Trang 2Nội dung
Cơ sở hạ tầng trung tâm dữ liệu
• Tổng quan về kiến trúc Server Farm
• Yêu cầu thiết kế cho Server Farm
• Mô hình thiết kế lớp truy nhập
• Ảnh hưởng đến khả năng mở rộng và mật độ
• Độ khả dụng cao trong trung tâm dữ liệu
• Tổng kết
Trang 3TỔNG QUAN VỀ KiẾN TRÚC
CHUYỂN MẠCH SERVER FARM
CỦA TRUNG TÂM DỮ LiỆU
3
Trang 4Blade Chassis w/
Integrated Switch
Blade Chassis w/
Pass Thru
Mainframe w/ OSA L2 w/ Clustering
and NIC Teaming
Lõi doanh nghiệp
Kết hợp DC Lõi DC
Truy nhập DC
Trang 5tiên tiến và chức năng
an ninh thông qua các
Cung cấp dịch vụ An ninh/Ứng dụng dùng chung
Lõi doanh nghiệp
Truy nhập DC
Mô đun dịch vụ
Truy nhập lớp 3
Blade Chassis w/
Integrated Switch
Blade Chassis w/
Pass Thru
Mainframe w/ OSA L2 w/ Clustering
and NIC Teaming
Trang 6• Phiến dịch vụ như phiến tường lửa và phiến cân bằng tải …
cung cấp các chức năng trạng thái dựa trên phần cứng
hình và đi cáp
Các dịch vụ lớp 4 – 7: FW, SLB, SSL, IDS
+
Trang 7Định nghĩa lớp tích hợp DC
Đường giao tiếp máy chủ đến máy chủ
• Mô đun kết hợp có thể cung cấp tuyến giao tiếp sơ cấp cho lưu lượng giữa các máy chủ
• Sự xuất hiện của lưu lượng phi truyền thống
• Tạo nên dự phòng và số lượng các đường lên 10GE ít hơn
• Máy chủ được cung cấp với PCI-X NIC’s và GE
• Quy hoạch băng thông cho dung lượng máy chủ thực trong tương lai
Truy nhập Kết hợp
Lõi DC
Tồn tại những loại lưu lượng máy chủ tới máy chủ nào?
Tương tác nhiều lớp, Dự phòng, Nhân bản, Thông điệp nhóm, Lưu trữ qua IP
Trang 8Định nghĩa lớp DC lõi
Ma trận chuyển mạch tốc độ cao cho các mô đun kết hợp
• Liên kết các mô đun AGG
• Cách biệt miền gây lỗi
• Mở rộng những đường kính STP lớn
• Cải thiện mở rộng 10GE
• Quy hoạch và xây dựng trước lõi DC
Trang 9Định nghĩa ma trận chuyển mạch máy chủ DC
Ma trận chuyển mạch máy chủ cho lưu lượng liên máy chủ
• Môi trường Cluster
Tạo cluster cơ sở dữ liệu
UNIX/Windows
Ma trận máy chủ ảo #2 (phiến)
Ma trận máy chủ ảo #1 Linux/Windows
Hạ tầng IP
UNIX WIN
Trang 10YÊU CẦU THIẾT KẾ TRONG
SERVER FARM
10 DC-2101
11127_05_2005_c1
Trang 11Khi nào cần có lân cận lớp 2?
Thỏa mãn yêu cầu ứng dụng Server Farm
• Tạo Cluster : các ứng dụng
thường được thực thi trên
nhiều máy chủ được tạo
cluster để xuất hiện như
một thiết bị đơn nhất;
chung cho các yêu cầu HA
và cân bằng tải; (Windows
Ứng dụng Java, J2EE…
Trang 12Định nghĩa Lân cận lớp 2
“Lân cận lớp 2 giữa các máy chủ có nghĩa là các máy chủ này nằm trong cùng miền quảng bá Khi các
máy chủ là lân cận lớp 2, mỗi máy chủ nhận được
tất cả các gói tin multicast và quảng bá từ máy chủ
khác.”
Packet Magazine: Quý hai, 2005
Thiết kế Lớp truy nhập trung tâm dữ liệu
Trang 13cáp nối chéo riếng để trao đổi dữ
liệu, trạng thái phiên, giám sát …
• Hai hay nhiều máy chủ dùng bọ
chyển mạch để cung cấp kết nối tại
vùng lớp 2 cách biệt/VLAN
• Ví dụ: Dịch vụ nhóm MS-Windows
2003 Advanced Server 2003 Cluster
Service (MSCS), cho Exchange and
SQL Servers (tối đa 8 nút)
• Veritas Clustering cho HA
• Cần có lân cận lớp 2
Server-A Server-B Mạng Cluster với 2 nút
- Kết nối cáp chéo Giao diện mặt trước
Giao diện mặt trước
Mạng cluster với 2 hay nhiều nút Chạy trên chuyển mạch VLAN
Trang 14“multicast” mọi gói tin đến
đến mọi máy chủ trong
nhóm (cần có Lân cận lớp 2)
• Một địa chỉ IP được gắn với
phản hồi arp nhóm
(Windows)
chế tạo đặc biệt cung cấp
phần cứng tiêu chuẩn dựa
trên giải pháp unicast hỗ trợ
hàng trăm nút mạng
Front-End Interface
Server-Based NLB Uses Flooding: Multicast Address Used in Arp Reply for Server IP
SLB Hardware:
Use Based Solution
Trang 15Định nghĩa máy chủ nhóm
Tạo nhóm CSDL
• Mục tiêu: cải thiện thời gian khóa CSDL
và cho phép quét song song hiệu quả
Cắt miếng CSDL
• Các lựa chọn kết nối theo chuẩn
Ethernet, Infiniband
Trễ thấp + băng thông cao
Gateway đa giao thức
Máy chủ ứng dụng
IBM DB2 Parallel Oracle RAC
Hạ tầng IP
Nhóm CSDL trên Ethernet
Mạng lưu trữ
Ma trận chuyển mạch
máy chủ
IBM DB2 Parallel
MySQL Cluster
Nhóm CSDL trên Infiniband
Máy chủ ứng dụng
Trang 16Eth ern
et ( NF
S, i SC SI) , F
C, IB G ate w ay
Có thể là giao diện/hạ tầng chung
Mặt sau để đồng bộ nút/chia sẻ dữ liệu bằng các giao thức IP/TCP hay RDMA (MPI, uDAPL, SDP, SRP)
Trang 17Ethernet, Infiniband, Myrinet, Quadrics
thống thường không trao
đổi rõ ràng các nhu cầu
Riêng
Đồng bộ nút
và chia sẻ
dữ liệu với MPI/DAPL/
Kết hợp
Lớp truy nhập
Trang 18Máy chủ nhóm
Ảnh hưởng của thiết kế mạng
• Máy chủ-A và máy chủ B
giao tiếp trên lớp 2 để trao
đổi trạng thái, phiên và các
máy chủ có thể yêu cầu
tuyến lên băng thông lớn
hơn (GEC, 10GE)
Trung kế
Kết hợp
Máy chủ-A Máy chủ-B
VLAN 10
Trang 19Yêu cầu máy chủ phiến
Các lựa chọn kết nối
Sử dụng mô đun nối thông Sử dụng chuyển mạch Ethernet tích hợp
Lớp kết hợp
Chuyển mạch lớp 2 ngoài
Chuyển mạch lớp 2 tích hợp
Giao diện 1 Giao diện 2
Trang 20CÁC MÔ HÌNH THIẾT KẾ LỚP
TRUY NHẬP
20 DC-2101
11127_05_2005_c1
Trang 21• Điều này không có
nghĩa phải chuyển
không cân thiết tất cả
VLAN qua mọi bộ
Trang 22Mô hình thiết kế với truy nhập lớp 2
Thiết kế hữu hoàn
Root thứ cấp HSRP thứ cấp
Trang 23Mô hình thiết kế với truy nhập lớp 2
Thiết kế hữu hoàn (looped)
• Các dịch vụ như firewall và
cân bằng tải có thể được
triển khai tại lớp kết hợp
và dùng chung trên nhiều
Trang 24Mô hình thiết kế với Truy nhập lớp 2
Nhược điểm của thiết kế hữu hoàn lớp 2
• Nhược điểm chính: nếu
Trang 25Mô hình thiết kế với Truy nhập lớp 2
Thiết kế phi hoàn (loop free)
• Spanning Tree được kích
hoạt nhưng không cổng
Gateway 10.10.20.1 VLAN 20
Lõi DC
Trang 26Mô hình thiết kế với Truy nhập lớp 2
Nhược điểm của thiết kế phi hoàn
• Nếu trung kế giữa
Gateway 10.10.20.1 VLAN 20
Lõi DC
Trang 27Lõi DC
Kết hợp DC
Truy nhập DC
• Mọi đường lên được kích hoạt,
không có khóa spanning tree
• Thời gian hội tụ thường tốt
hơn so với Spanning Tree
(Rapid PVST+ is close)
• Cung cấp sự cách biệt/đặt cho
các máy chủ bị quảng bá ảnh
hưởng
Trang 28• Thỏa mãn yêu cầu ổn định
của máy chỉ hoặc làm cách
biệt môi trường của ứng
dụng nhất định
• Tất cả tuyến lên là đường
khả dụng, không khóa (tối
đa đến ECMP)
• Lựa chọn đường cho tuyến
lên cân bằng tải với GLBP
hay cấu hình HSRP nhân
DC Core
Trang 29Mô hình thiết kế với Truy nhập lớp 3
Nhược điểm của thiết kế lớp 3
Lõi DC
Trang 30Khi nào sử dụng Truy nhập lớp 2 hay lớp 3
Ảnh hưởng tới Mô đun dịch vụ
• Có thể cấn các yêu cầu lân cận
lớp 2 giữa máy chủ và mô đun
10.10.10.0
Trang 31So sánh truy nhập lớp 2 và lớp 3
Yêu cầu của tôi là gì?
• Khó khăn khi quản lý vòng
• Kỹ năng nhân viên – thời gian quyết định
Trang 32MẬT ĐỘ VÀ KHẢ NĂNG MỞ RỘNG
Ảnh hưởng tới Trung tâm dữ liệu
32
Trang 33Ảnh hưởng của mật độ và khả năng mở rộng
Mô hình chuyển mạch lớp truy nhập mô đun và 1RU
Trang 34ĐỘ KHẢ DỤNG CAO TRONG
TRUNG TÂM DỮ LiỆU
34
Trang 35Độ khả dụng cao trong trung tâm dữ liệu
Độ khả dụng cao của máy chủ
Các điểm sự cố chung
Trang 36Độ khả dụng cao trong trung tâm dữ liệu
Gắn máy chủ: Nhiều NIC
L2 L3
Bạn có thể ghép nhiếu tuyển để cho phép tạo ra
băng thông cao hơn giữa máy chủ và máy khách
Kênh Etherchannels
Tất cả link tích cực:
Cân bằng tải
Chỉ 1 link tích cực:
Chế độ chịu lỗi
Trang 37Độ khả dụng cao trong trung tâm dữ liệu
Thời gian chuyển đổi
• Thời gian chuyển đổi tổng thể là tổ
hợp hội tụ tại Lớp 2,3,4
• Các thiết bị trạng thái nhân bản
thông tin kết nối và thường chuyển
đổi trong vòng 3 giây
• EtherChannels << 1s
• STP hội tụ <1
• HSRP có thể điều chỉnh đến <1s
nhưng liệu có cần thiết?
• Quay lại (Fallback) hội tụ trong~4–
> 8s
Trang 38Độ khả dụng cao trong trung tâm dữ liệu
NSF/SSO
• NSF/SSO là cơ chế dự phòng của giám
sát viên cho chuyển đổi bên trong giá
• SSO đồng bộ trạng thái giao thức lớp
2, bảng lớp 2/3 phần cứng (MAC, FIB,
bảng lân cận), ACL và bảng QoS
• SSO đồng bộ trạng thái cho: trung kế,
giao diện, EtherChannels, an ninh
cổng, SPAN/RSPAN, STP, UDLD, VTP
• NSF với EIGRP, OSPF, IS-IS, BGP cho
phép không tạo ra route flapping khi
khôi phục
NSF-Aware NSF-Aware
Trang 39TỔNG KẾT
39 DC-2101
11127_05_2005_c1
Trang 40Tổng kêt
• Cần hiểu biết các ứng dụng, tạo cụm và yêu cầu HA máy chủ để thiết kế hiệu quả lớp truy nhập DC
• Giao tiếp tốt với nhân viên quản trị hệ thống trong
các lĩnh vực STP, kéo dài VLAN, đi cáp và yêu cầu
về 10GE
• Hiểu ảnh hưởng của các bộ chuyển mạch lớp truy
nhập 1RU và mô đun hóa
• Tạo nhóm NIC có thể mở rộng đáng kể kiến trúc HA
Trang 41Q and A
41 DC-2101
11127_05_2005_c1
Trang 4242 DC-2101
11127_05_2005_c1