Công nghệ mạng lưu trữ và ứng dụng

3 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Văn Dũng CÔNG NGHỆ MẠNG LƢU TRỮ VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ Hà nội, 2006 4 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Văn Dũng CÔNG NGHỆ MẠNG LƢU TRỮ VÀ ỨNG DỤNG Ngành: Công nghệ thông tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ Ngƣời hƣớng dẫn khoa học: PGS.TS. Nguyễn Văn Tam Hà nội, 2006 5 MỤC LỤC LỜI CẢM ƠN 7 DANH SÁCH CÁC KÝ HIỆU, CHỮ CÁI VIẾT TẮT 8 DANH MỤC CÁC HÌNH VẼ 9 MỞ ĐẦU 11 CHƢƠNG 1. TỔNG QUAN CÔNG NGHỆ MẠNG LƢU TRỮ 12 1.1. TỔNG QUAN VỀ CÔNG NGHỆ MẠNG LƯU TRỮ 12 1.1.1. Khái niệm mạng lưu trữ 12 1.1.2. Lợi ích của SAN 13 1.2. CÁC GIẢI PHÁP LƯU TRỮ 14 1.2.1. Thiết bị lưu trữ kết nối trực tiếp (Direct attached storage - DAS) 14 1.2.2. Thiết bị lưu trữ kết nối qua mạng (Network Attached Storage - NAS) 15 1.2.3. Mạng lưu trữ (Storage Area Network – SAN) 16 1.3. CÁC THÀNH PHẦN TẠO NÊN SAN 17 1.3.1. SAN Server 18 1.3.2. Host Bus Adapter (HBA) 18 1.3.3. Hub và Switch kênh quang 19 1.3.4. Router và gateway kênh quang 20 1.3.5. Bridge và Multiplexer kênh quang 20 1.3.6. Thiết bị lưu trữ 21 1.3.7. Thiết bị backup 21 1.3.8. Các thành phần phần mềm 22 CHƢƠNG 2. MÔ HÌNH KẾT NỐI, CÔNG NGHỆ VÀ GIAO THỨC SỬ DỤNG TRONG MẠNG LƢU TRỮ 23 2.1. CÁC MÔ HÌNH KẾT NỐI TRONG MẠNG LƯU TRỮ 23 2.1.1. Điểm-tới-điểm (Point-to-point) 23 2.1.2. Mạng vòng (FC-AL) 24 2.1.3. Mạng Fabric (FC-SW) 26 2.2. CÁC CÔNG NGHỆ SỬ DỤNG TRONG MẠNG LƯU TRỮ 29 2.2.1. Công nghệ ảo hóa lưu trữ 29 2.2.2. Công nghệ RAID 33 2.3. CÁC GIAO THỨC SỬ DỤNG TRONG MẠNG LƯU TRỮ 37 2.3.1. Giao thức FC (Fibre Channel) 37 2.3.2. Giao thức iFCP (Internet Fiber Channel Protocol) 52 2.3.3. Giao thức iSCSI (Internet SCSI Protocol) 56 2.3.4. So sánh iFCP và iSCSI 58 CHƢƠNG 3. GIẢI PHÁP CẢI TIẾN MẠNG LƢU TRỮ TRONG MỘT HỆ THỐNG NGÂN HÀNG 60 3.1. MỘT SỐ VẤN ĐỀ CẦN LƯU Ý KHI CẢI TIẾN HỆ THỐNG MẠNG LƯU TRỮ 60 3.2. THỰC TRẠNG MẠNG LƯU TRỮ TRONG MỘT HỆ THỐNG NGÂN HÀNG 63 6 3.2.1. Hệ thống Xử lý giao dịch trực tuyến - OLTP 63 3.2.2. Hệ thống kho dữ liệu – DataWarehouse 66 3.2.3. Hệ thống đào tạo – Training 67 3.2.4. Một số đánh giá chung về các hệ thống 68 3.3. MỘT SỐ GIẢI PHÁP CẢI TIẾN 68 3.3.1. Yêu cầu đặt ra của các hệ thống 68 3.3.2. Tích hợp các hệ thống về một SAN thống nhất 69 3.3.3. Tăng cường khả năng sẵn sàng của hệ thống fabric 73 3.3.4. Phương pháp đồng bộ giữa hai tủ đĩa 74 3.3.5. Nâng cao tính sẵn sàng (clustering) 76 3.3.6. Phân vùng (zoning) 78 3.3.7. Cải tiến hệ thống sao lưu và phục hồi dữ liệu 82 3.4. AN TOÀN VÀ BẢO MẬT CHO HỆ THỐNG SAN 84 3.4.1. Các đặc trưng chính 85 3.4.2. Các lợi ích thu được khi thiết lập các chính sách bảo mật 86 3.4.3. Một số kỹ thuật sử dụng trong an toàn và bảo mật mạng 87 KẾT LUẬN 106 TÀI LIỆU THAM KHẢO 107 7 LỜI CẢM ƠN Luận văn được hoàn thành dưới sự hướng dẫn của PGS.TS. Nguyễn Văn Tam - Viện Công nghệ thông tin - Viện khoa học tự nhiên và Công nghệ quốc gia. Tôi xin bày tỏ lòng biết ơn sâu sắc đến người thầy kính mến về sự hướng dẫn nhiệt tình, những ý kiến đóng góp quý báu và luôn tạo điều kiện thuật lợi cho tôi hoàn thành tốt bản luận văn này. Xin cảm ơn Khoa Công nghệ thông tin - Trường Đại học Công nghệ - Đại học Quốc gia Hà nội và các thầy cô giáo đã tạo điều kiện tốt về mọi mặt để tôi hoàn thành được bản luận văn. Hà nội, ngày 20 tháng 11 năm 2006 Tác giả. 8 DANH SÁCH CÁC KÝ HIỆU, CHỮ CÁI VIẾT TẮT ACL - Access Control List CSDL - Cơ sở dữ liệu CNTT - Công nghệ thông tin CRC - Cyclic Redundant Check DAS - Direct Attached Storage DES - Data Encryption Standard FC - Fibre Channel FC-AL - Fibre Channel Arbitrated Loop FCP - Fibre Channel Protocol FCIP - Fibre Channel over IP GBIC - Gigabit Interface Converters HBA - Host Bus Adapter ID - Identification iFCP - Internet Fibre Channel Protocol I/O - Input/Output IOPS - Inputs/Outputs Per Second IP - Internet Protocol iSCSI - Internet Small Computer System Interface ISL - Inter-Switch Link iSNS - Internet Storage Name Services KDC - Key Distribution Center LAN - Local Area Network NAS - Network Attached Storage NIC - Network Interface Card OLTP - Online Transaction Processing PKI - Public Key Infrastructure QoS - Quality of Service RAID - Redundant Array of Independent Disk RD - Running Disparity SAN - Storage Area Network SNS - Simple Name Server SHA - Secure Hash Algorithm TCP - Transmission Control Protocol UDP - User Datagram Protocol ULP - Upper Layer Protocol WAN - Wide Area Network WWN - World Wide Name WWPN - World Wide Port-Name 9 DANH MỤC CÁC HÌNH VẼ Hình 1-1: Các thành phần trong môi trường mạng SAN 11 Hình 1-2: Thiết bị lưu trữ kết nối trực tiếp - DAS 12 Hình 1-3: Thiết bị lư trữ kết nối qua mạng - NAS 14 Hình 1-4: Mạng lưu trữ - SAN 14 Hình 1-5: Hub 17 Hình 1-6: Switch 17 Hình 1-7: Router kênh quang 18 Hình 1-8: Bridge 19 Hình 2-1: Các mô hình kết nối trong mạng lưu trữ 21 Hình 2-2: Mô hình kết nối điểm - tới - điểm 22 Hình 2 - 3: Mô hình kết nối mạng vòng FC-AL 22 Hình 2-4: Tiến trình tạo mạng vòng 22 Hình 2-5: Chức năng Repeater 23 Hình 2-6: Chức năng kênh vượt cổng 23 Hình 2-7: Mô hình kết nối mạng fabric 24 Hình 2-8: Các thành phần trong fabric 25 Hình 2-9: Ảo hóa lưu trữ 27 Hình 2-10 : Snapshot truyền thống và Vsnap 30 Hình 2-11: RAID 0 32 Hình 2-12: RAID 1 32 Hình 2-13: RAID 0+1 33 Hình 2-14: RAID 2 33 Hình 2-15: RAID 3 34 Hình 2-16: RAID 4 34 Hình 2-17: RAID 5 34 Hình 2-18: RAID 6 35 Hình 2-19: Kiến trúc kênh quang 36 Hình 2-20: Sơ đồ cơ chế kết nối quang Fibre Channel 37 Hình 2-21: Cấu trúc khung 41 Hình 2-22: Mức 1- Flow Control 45 Hình 2-23: Mức 2- Flow Control 45 Hình 2-24: Mức 3- Điều khiển luồng 46 Hình 2-25: Mô hình mạng iFCP 51 Hình 2-26: Mô hình triển khai iFCP 52 Hình 2-27: Cấu trúc iFCP Header 52 Hình 2-28: Ánh xạ FC sang iFCP 53 Hình 2-29: Ánh xạ iFCP sang FC 54 Hình 2-30: Mô hình giao thức iSCSI 55 Hình 3-1: Mô hình hệ thống Xử lý giao dịch trực tuyến 63 Hình 3-2: Mô hình hệ thống Data Warehouse 64 10 Hình 3-3 : Mô hình hệ thống Training 65 Hình 3-4: Mô hình SAN hợp nhất 67 Hình 3-5: Hệ thống OLTP trên mạng lưu trữ hợp nhất 69 Hình 3-6: Hệ thống Data Warehouse trên mạng lưu trữ hợp nhất 70 Hình 3- 7: Hệ thống Training trên mạng lưu trữ hợp nhất 71 Hình 3-8: Mạng fabric của hệ thống lưu trữ hợp nhất 71 Hình 3-9: Nhân bản đồng bộ 72 Hình 3-10: Nhân bản dị bộ 73 Hình 3-11: Mô hình cluster 2 node 74 Hình 3-12: Cluster sau khi xảy ra failover 75 Hình 3-13: Phân vùng trên fabric 77 Hình 3-14: Phân vùng hệ thống OLTP trên fabric 78 Hình 3-15: Phân vùng hệ thống Data Warehouse trên fabric 79 Hình 3-16: Phân vùng hệ thống Training trên fabric 79 Hình 3-17: Phân vùng server quản lý trên fabric 80 Hình 3-18: Mô hình cluster hai Cell Manager 81 Hình 3-19: Cải tiến mô hình backup dữ liệu 82 Hình 3-20: Các lớp “rào chắn” bảo vệ thông tin trên mạng 85 Hình 3-21: Sơ đồ quy trình mật mã 87 Hình 3-22: Xác thực sử dụng khóa bí mật 98 Hình 3-23: Xác thực sử dụng khóa bí mật rút gọn 98 Hình 3-24: Tấn công xác thực 99 Hình 3-25: Xác thực sử dụng KDC 99 Hình 3-26: Giao thức xác thực Needham-Schroeder 99 Hình 3-27: Giao thức xác thực Otway - Rees 100 Hình 3-28: Chữ ký số với Big Brother 101 Hình 3-29: Chữ ký số sử dụng mã hóa công khai 102 Hình 3-30: Chữ ký số sử dụng đại diện thông điệp 103 11 MỞ ĐẦU Mạng lưu trữ (Storage Area Network - SAN) ngày càng phát triển cùng với sự phát triển của các ứng dụng lớn ví dụ như các hệ thống dữ liệu tài chính, ngân hàng, các hệ thống lưu trữ quốc gia. SAN là một mạng nhỏ, tốc độ cao, chia sẽ các thiết bị lưu trữ như các tủ đĩa, tủ tape. SAN kết nối các máy chủ, máy trạm với các thiết bị lưu trữ sử dụng các công nghệ kết nối Fibre Channel, SCSI (Small Computer System Interface). Công nghệ kết nối Fibre Channel cung cấp một băng thông ổn định với hiệu suất cao trên một khoảng cách xa, khả năng tạo các đường kết nối dự phòng và cân bằng tải nhằm đảm bảo tính sẵn sàng cao cho hệ thống. Kiến trúc SAN được xây dựng sao cho tất cả các thiết bị lưu trữ đều có thể truy cập từ các server trên mạng này. Do các dữ liệu được lưu trữ trực tiếp không nằm trên các server mạng nên công suất của các server được tập trung sử dụng cho các ứng dụng. SAN cũng có các thành phần như giống như một mạng LAN, bao gồm các SAN switch, router, các máy chủ, máy trạm và các thiết bị lưu trữ. SAN hỗ trợ truyền tốc độ cao giữa các máy chủ và thiết bị lưu trữ theo các cách: server to storage, server to server, storage to storage. SAN không dùng giao thức thông điệp TCP/IP (message protocol) mà dùng các giao thức dữ liệu (data protocol) như FCP, iFCP, SCSI, iSCSI. SAN cung cấp khả năng linh hoạt chưa từng có về quản lý và cấu hình, đem lại khả năng sẵn sàng, độ tin cậy cao nhất. Nội dung của đề tài tập trung đi vào các vấn đề chính sau đây: Chương 1 - Tìm hiểu công nghệ mạng lưu trữ hiện nay. Trình bày tổng quan về công nghệ mạng lưu trữ SAN, các thành phần của mạng SAN. Chương 2 - Tìm hiểu về các mô hình kết nối, công nghệ và các giao thức được sử dụng trong mạng lưu trữ. Chương 3 - Phân tích về thực trạng mạng lưu trữ tại một hệ thống Ngân hàng. Trên cơ sở thực trạng của hệ thống mạng lưu trữ đề xuất một số giải pháp cải tiến hệ thống mạng lưu trữ. 12 CHƢƠNG 1. TỔNG QUAN CÔNG NGHỆ MẠNG LƢU TRỮ 1.1. TỔNG QUAN VỀ CÔNG NGHỆ MẠNG LƢU TRỮ Trước đây, hướng tiếp cận của các doanh nghiệp là các thiết bị lưu trữ sẽ được kết nối trực tiếp tới hệ thống máy chủ. Các máy chủ được kết nối và truyền nhận dữ liệu thông qua mạng cục bộ và mạng diện rộng. Ngày nay, cùng với sự phát triển của các doanh nghiệp, các thách thức đặt ra là: - Sự tăng trưởng dung lượng lưu trữ của doanh nghiệp theo hàm mũ. - Yêu cầu hệ thống không dừng. Giải pháp để trả lời cho những thách thức mà doanh nghiệp phải đối mặt đó là dựa trên các công nghệ đã được phát triển, mạng lưu trữ (SAN) được xây dựng nhằm tạo một nền tảng cơ sở cho hệ thống thông tin với khả năng mềm dẻo, đáp ứng tốt với chi phí phù hợp. Mạng lưu trữ SAN được đánh giá là thế hệ tiếp theo của kiến trúc mạng tốc độ cao. 1.1.1. Khái niệm mạng lưu trữ Mạng lưu trữ là mạng tốc độ cao (tốc độ truyền dữ liệu từ 1 đến 2 Gb/s và sau này có thể lên tới 10 Gb/s) trong có các server cùng truy cập đến một vùng lưu trữ chung gồm các hệ thống lưu trữ. Môi trường SAN cung cấp kết nối (có thể có nhiều đường kết nối) hoặc giữa các server với nhau, hoặc giữa các server với hệ thống lưu trữ, hoặc giữa các hệ thống lưu trữ với nhau [9, 12, 15]. Một mạng SAN có thể được chia thành các phần như sau: - Lớp client: các client chính là các điểm truy cập SAN. - Lớp server: các thành phần chính của lớp này chính là các server, các HBA, bao gồm các GBIC và các trình điều khiển HBA truyền thông với lớp Fabric. - Lớp Fabric: là lớp giữa của SAN bao gồm các hub và các switch kết nối với nhau thành mạng về mặt logic và vật lý. - Lớp storage: bao gồm dữ liệu nằm trong các thiết bị lưu trữ. [...]... của chúng được ghi vào ổ cứng 3 Đoạn số 3 và 4 được ghi vào ổ 1 và 3 với đoạn sao lưu tương ứng ghi vào ổ đĩa 2 Đoạn số 5, 6 ghi vào ổ đĩa 2 và 3, còn đoạn sao lưu được ghi vào ổ đĩa 1 và sau đó trình tự này lặp lại, đoạn số 7, 8 được ghi vào ổ 1, 2 và đoạn sao lưu ghi vào ổ 3 như ban đầu Như vậy RAID 5 vừa đảm bảo tốc độ có cải thiện, vừa giữ được tính an toàn cao Dung lượng đĩa cứng cuối cùng bằng... một-nhiều, một máy chủ/cluster thực hiện vào/ra liên tục tới một pool lưu trữ kết hợp từ nhiều tủ đĩa khác nhau Những môi 30 trường lưu trữ nhỏ có thể tận dụng dung lượng từ việc hợp nhất các thiết bị lưu trữ hiện tại Ảo hóa mức mạng Ảo hoá mức mạng là điều kiện chính cho các công cụ lưu trữ, là một pool bao gồm nhiều khối lưu trữ có thể dễ dàng quản lý và cung cấp Ảo hoá mức mạng hoạt động theo mô hình nhiều-nhiều,... fabric phân tầng [15] 29 2.2 CÁC CÔNG NGHỆ SỬ DỤNG TRONG MẠNG LƢU TRỮ 2.2.1 Công nghệ ảo hóa lưu trữ Ảo hóa lưu trữ thường được định nghĩa là “sự trừu tượng hóa trong suốt của lưu trữ ở mức block” Ảo hóa phân biệt việc truy cập dữ liệu logic của người dùng với dữ liệu vật lý, quá trình chuyển đổi giữa hai loại trên được thực hiện với ánh xạ mức block Hình 2-9: Ảo hóa lưu trữ Trong quá trình ảo hóa, dung... doanh nghiệp Doanh nghiệp ngày càng cần thiết bị lưu trữ có dung lượng lớn hơn Thiết bị lưu trữ có thể là thiết bị lưu trữ bên trong hoặc là thiết bị lưu trữ mở rộng: - Thiết bị lưu trữ bên trong: bao gồm các ổ đĩa nằm bên trong máy chủ Thiết bị lưu trữ ngoài: kết nối tới thiết bị lưu trữ vật lý riêng Giao tiếp thông qua card HBA trên máy chủ, thường sử dụng giao tiếp kênh quang Các tổ chức hiện nay... hệ thống lưu trữ, giảm tối đa ảnh hưởng đến hệ thống Các ứng dụng truy cập Snapclone có thể đọc và ghi vào bản nhân bản Nếu dữ liệu được đọc không có trên Snapclone, nó sẽ được đọc từ ổ đĩa ban đầu 33 2.2.2 Công nghệ RAID RAID (Redundant Array of Independent Disk) là công nghệ cho phép nhóm các đĩa cứng vật lý riêng rẽ lại với nhau tạo nên một đơn vị đĩa cứng logic, các đĩa sử dụng công nghệ RAID... 1.3.6 Thiết bị lưu trữ Các thiết bị dựa vào công nghệ kênh quang có thể kết nối trực tiếp tới mạng kênh quang, cung cấp khoảng cách và tốc độ cao hơn SCSI SAN sử dụng các thiết bị lưu trữ sau: Thiết bị JBOD: Là một tập các ổ đĩa hoạt động như một thực thể lưu trữ đơn Dữ liệu được lưu trữ trên JBOB được trải rộng trên nhiều ổ đĩa Tốc độ truy cập dữ liệu trên JBOD chậm Mức dung hòa lỗi và độ tin cậy của... CHƢƠNG 2 MÔ HÌNH KẾT NỐI, CÔNG NGHỆ VÀ GIAO THỨC SỬ DỤNG TRONG MẠNG LƢU TRỮ 2.1 CÁC MÔ HÌNH KẾT NỐI TRONG MẠNG LƢU TRỮ Các thiết bị SAN được kết nối trong kênh quang có thể theo một trong ba giao thức sau: - Điểm - tới - điểm - Mạng vòng FC-AL Mạng fabric FC-SW Hình 2-1: Các mô hình kết nối trong mạng lưu trữ 2.1.1 Điểm-tới-điểm (Point-to-point) Đây là mô hình kết nối đơn giản và cơ bản nhất, trong mô... server kết nối trực tiếp vào hệ thống lưu trữ mới có thể truy cập hệ thống lưu trữ Các client truy cập thiết bị lưu trữ thông qua các server Nếu server không sẵn sàng thì không thể truy cập được thiết bị lưu trữ Khi số lượng kết nối vào server tăng lên, thì lưu lượng mạng sẽ tăng theo DAS chỉ nhanh và tin cậy đối với các mạng có kích thước nhỏ Nhƣợc điểm của DAS: - - Sử dụng tài nguyên không hiệu quả: Không... Thiết bị lưu trữ kết nối qua mạng (Network Attached Storage - NAS) NAS là tủ đĩa nằm trên mạng LAN cùng với server Thiết bị lưu trữ NAS yêu cầu thiết bị lưu trữ cung cấp sự đồng bộ về truy cập file, bảo mật và kết nối mạng NAS có các đặc điểm sau: - Yêu cầu kết nối mạng Server phải có card mạng để truy cập tới tủ đĩa Cung cấp ánh xạ file-to-disk Các client truy cập theo mức file sử dụng giao thức mạng. .. cùng truy cập đến một vùng lưu trữ chung gồm các hệ thống lưu trữ Hình 1-4: Mạng lưu trữ - SAN Các thành phần của SAN bao gồm: - Client truy cập tới LAN và SAN Các server kết nối tới hub hoặc switch có kết nối tới thiết bị lưu trữ Thiết bị lưu trữ kết nối tới hub hoặc switch có kết nối tới server Các router hoặc bridge kết nối và giao tiếp với thiết bị backup SAN khác với các mạng truyền thống bởi vì . QUAN CÔNG NGHỆ MẠNG LƢU TRỮ 12 1.1. TỔNG QUAN VỀ CÔNG NGHỆ MẠNG LƯU TRỮ 12 1.1.1. Khái niệm mạng lưu trữ 12 1.1.2. Lợi ích của SAN 13 1.2. CÁC GIẢI PHÁP LƯU TRỮ 14 1.2.1. Thiết bị lưu trữ. Fabric (FC-SW) 26 2.2. CÁC CÔNG NGHỆ SỬ DỤNG TRONG MẠNG LƯU TRỮ 29 2.2.1. Công nghệ ảo hóa lưu trữ 29 2.2.2. Công nghệ RAID 33 2.3. CÁC GIAO THỨC SỬ DỤNG TRONG MẠNG LƯU TRỮ 37 2.3.1. Giao thức. bày tổng quan về công nghệ mạng lưu trữ SAN, các thành phần của mạng SAN. Chương 2 - Tìm hiểu về các mô hình kết nối, công nghệ và các giao thức được sử dụng trong mạng lưu trữ. Chương 3