San một giải pháp tối ưu cho lưu trữ dữ liệu

SAN-Một giải pháp tối ưu cho lưu trữ liệu LỜI NĨI ĐẦU Cùng với phát triển cơng nghệ thông tin, hoạt động người ngày phụ thuộc vào sở hạ tầng mạng thông tin Thơng tin ko quan trọng mà cịn trở thành tài sản doanh nghiệp, tổ chức hay cá nhân Chính vấn đề lưu trữ liệu trở nên vô quan trọng vấn đề thiếu việc xây dụng sở hạ tầng mạng thông tin Các công nghệ mạng ngày phát triển kéo theo yêu cầu lưu lượng thông tin tốc độ truy nhập ko ngừng tăng lên Đặc biệt nghành ngân hàng tài chính,các cơng ti bảo hiểm Mạng lưu trữ liệu(SAN) coi giải pháp hàng đầu cho việc lưu trữ liệu Hiện mạng SAN triển khai hầu hết công ti số nước phát triển Tuy nhiên Việt Nam SAN mẻ Các doanh nghiệp chủ yếu sử dụng DAS hay NAS Trong đồ án tốt nghiệp em trình bày cách khái quát mạng SAN : tổ chức phần cứng,tổ chức phần mềm số mạng lưu trữ khác, quy trình thiết kế mạng SAN mở rộng mạng SAN Xin chân thành cảm ơn giúp đỡ hướng dẫn tận tình giáo viên hướng dẫn TS.Nguyễn Vũ Sơn Mặc dù cố gắng nhiều song kiến thức kinh nghiệm nghiên cứu hạn chế nên ko tránh khỏi thiếu sót, em mong giúp đỡ thầy cô bạn bè để hồn thiện cho kiến thức Em xin chân thành cảm ơn! Sinh viên: Vũ Thị Thanh Thảo SAN-Một giải pháp tối ưu cho lưu trữ liệu TÓM TẮT ĐỒ ÁN Cùng với phát triển công nghệ thông tin tăng khối lượng liệu cần lưu trữ Các cơng ti tìm kiếm phương pháp để quản lí liệu đồng thời đảm bảo chi phí Mạng SAN đời đáp ứng nhu cầu lưu trữ thời, độ tin cậy cung cấp giải pháp thiết kế mạng lưu trữ cho công ti cạnh tranh Đồ án mang lại nhìn tổng quát mạng lưu trữ liệu SAN, trình bày qua chương Chương Tổng quan mạng lưu trữ liệu Trình bày vấn đề tồn lưu trữ liệu Các giải pháp lưu trữ giải pháp tối ưu SAN Chương Tổ chức phần cứng mạng SAN Mô tả khái quát thiết bị phần cứng mạng Các công nghệ phần cứng: tiêu chuẩn, dãy ổ đĩa Các chế đa đường Chương Tổ chức phần mềm mạng SAN Các giao thức sử dụng mạng SAN.Một số mơ hình mạng SAN theo giao thức theo quy mô Các giải pháp an ninh mạng SAN Chương Quy trình thiết kế mạng lưu trữ Các bước việc thiết kế mạng lưu trữ : tiếp cận thơng tin, phân tích, hợp mạng Và phát triển mở rộng mạng lưu trữ Chương Kết luận SAN-Một giải pháp tối ưu cho lưu trữ liệu ABSTRACT The incresement of data follows the development of information technology.Businesses are loking for method to manage data and suitable cost SAN comes into response requirement storage, realiability and provide some network designs for compete companies In my thesis, it will bring about a general view of SAN There are chapters, in this following: Chapter Fundanmetal Storage Area Network This chapter covers topics including issues with data storage and how data is used in the business for everyday life activity such as DAS,NAS,SAN etc.In addtion, it also covers in-depth topics about the advantage/disadvantage of each technology Storage Area Network (SAN) will be emphasised for most of the high speed data storage solutions Chapter Hardware organization of SAN This chapter descrip hardware devices: Server, connected system,storage system(storage devices, disk manage, etc) And hardware technology : standard, RAID, multipathing, etc Chapter Software organization of SAN Some protocols are used in SAN : FC, iSCSI, FCIP, etc Some SAN infrastructions follow protocols and size.And discussing security methods in SAN Chapter Storage Network Design.Fundanmental Steps to design SAN : information approach, analyse, merging Network, etc and SAN Extension Chapter Concluding of Thesis SAN-Một giải pháp tối ưu cho lưu trữ liệu MỤC LỤC PHỤ LỤC DANH MỤC CÁC HÌNH VẼ PHỤ LỤC DANH MỤC CÁC BẢNG PHỤ LỤC CÁC TỪ TIẾNG ANH VIẾT TẮT CHƯƠNG 1: TỔNG QUAN VỀ MẠNG LƯU TRỮ 11 1.1 Vấn đề lưu trữ liệu 11 1.1.1 Các vấn đề lưu trữ mạng máy tính 11 1.1.2 Yêu cầu mạng lưu trữ .11 1.2 Các kiến trúc lưu trữ liệu 13 1.2.1 Kiến trúc lưu trữ lấy server làm trung tâm 13 1.2.2 Kiến trúc lưu trữ lấy liệu làm trung tâm .14 1.3 Các loại hình mạng lưu trữ 16 1.3.1 DAS(Direct Attached Network) 16 1.3.2 NAS(Network Attached Storage) 18 1.3.3 SAN(Storage Area Network) 20 1.3.4 So sánh SAN NAS .24 CHƯƠNG : TỔ CHỨC PHẦN CỨNG CỦA MẠNG SAN .27 2.1 Tổ chức phần cứng 27 2.1.1 Server .27 2.1.2 Hệ thống lưu trữ 27 2.1.3 Hệ thống kết nối .29 2.2 Công nghệ phần cứng .30 2.2.1 Các chuẩn giao tiếp với ổ cứng .30 2.2.2 Cơ chế dư thừa liệu 31 2.2.3 Kĩ thuật tổ chức dãy ổ cứng RAID .32 2.2.4 Cơ chế tạo dư thừa với chép từ xa 36 2.3 Kết nối dư thừa chế đa đường .38 2.3.1 Cơ chế soi gương 38 2.3.2 Cơ chế đa đường 40 2.3.3 Cơ chế che dấu LUN .43 SAN-Một giải pháp tối ưu cho lưu trữ liệu CHƯƠNG : TỔ CHỨC PHẦN MỀM CỦA MẠNG SAN 45 3.1 Các giao thức sử dụng mạng SAN 45 3.1.1 Chồng giao thức FC(Fibre Channel) 45 3.1.2 Các cổng kết nối va loại dịch vụ FC 52 3.1.3 Giao thức iSCSI .55 3.1.4 Một số giao thức phổ dụng khác 59 3.2 Mơ hình tổ chức SAN .59 3.2.1 Mơ hình mạng SAN theo giao thức FC .59 3.2.2 Mơ hình mạng SAN theo quy mơ 60 3.3 Hoạt động mạng SAN 63 3.3.1 Sao lưu phục hồi liệu 63 3.3.2 Ảo hóa liệu 66 3.3.2 Giải pháp an ninh mạng SAN 66 CHƯƠNG : QUY TRÌNH THIẾT KẾ MẠNG LƯU TRỮ .68 4.1 Tổng quan tiến trình thiết kế mạng lưu trữ .68 4.1.1 Khảo sát yêu cầu xác định mục tiêu thiết kế 68 4.1.2 Quy trình thiết kế 69 4.2 Phân tích 70 4.2.1 Tiếp cận thông tin 70 4.2.2 Các ứng dụng triển khai hệ thống mạng .71 4.2.3 Quy hoạch dung lượng cho tương lai 73 4.2.4 Lựa chọn thiết bị cho mạng 74 4.2.5 Lựa chọn giao thức cho mạng .76 4.3 Giải pháp hợp mạng lưu trữ .81 4.3.1 Giải pháp hợp SAN với DAS 82 4.3.2 Hợp nhiều mạng SAN 82 4.3.3 Hợp mạng lưu trữ SAN qua WAN MAN 83 4.4 Phát triển mở rộng mạng SAN 84 4.4.1 Mở rộng mặt dung lượng 84 4.4.2 Mở rộng theo khoảng cách 85 CHƯƠNG : KẾT LUẬN 87 SAN-Một giải pháp tối ưu cho lưu trữ liệu PHỤ LỤC TÀI LIỆU THAM KHẢO 88 PHỤ LỤC DANH MỤC CÁC HÌNH VẼ Hình 1.1 Mơ hình chia sẻ file dùng chung client/server 12 Hình 1.2 Kiến trúc lưu trữ lấy server làm trung tâm .13 Hình 1.3 Lãng phí kiến trúc lưu trữ lấy server làm trung tâm 14 Hình 1.4 Kiến trúc lưu trữ lấy liệu làm trung tâm(a) 15 Hình 1.5 Kiến trúc lưu trữ lấy liệu làm trung tâm(b) 16 Hình 1.6 Kết nối đĩa cứng với đường bus theo kiểu daisy chain 17 Hình 1.7 Cấu trúc phần cứng thiết bị NAS 18 Hình 1.8 Cấu trúc phần mềm thiết bị NAS 19 Hình 1.9 NAS mạng LAN 19 Hình 1.10 NAS sử dụng qua internet .20 Hình 1.11 Mơ hình mạng lưu trữ đơn giản sử dụng SAN 21 Hình 1.12 Mơ hình SAN với topo vịng ring 22 Hình 1.13 Mơ hình SAN dùng FC switch 23 Hình 1.14 Vào theo khối theo file 24 Hình 2.1 Thành phần mạng lưu trữ 27 Hình 2.2 Cấu trúc hệ thống lưu trữ 28 Hình 2.3 Các chồng giao thức sử dụng hệ thống mạng 30 Hình 2.4 Duy trì phục vụ ổ đĩa dự phòng 32 Hình 2.5 Tiêu chuẩn RAID .33 Hình 2.6 Tiêu chuẩn RAID .34 Hình 2.7 Tiêu chuẩn RAID 0+1 10 35 Hình2.8 Tạo dư thừa với chép từ xa 37 Hình 2.9 Các chế độ hoạt động chép từ xa .38 Hình 2.10 Soi gương phần mềm hệ thống máy chủ 39 Hình 2.11 Soi gương với HBA hai cổng 40 Hình 2.12 Cơ chế đa đường 40 Hình 2.13 Vị trí phần mềm đa đường 42 Hình 2.14 Phần mềm đa đường cấu trúc stack .42 Hình 2.15 Che dấu LUN 44 Hình 3.1 Các kiến trúc FC 46 Hình 3.2 Mối quan hệ FC OSI .48 Hình 3.3 Cấu trúc truyền dẫn lớp FC-2 .49 Hình 3.4 Cấu trúc FC 50 Hình 3.5 Chồng giao thức Fibre Channel 51 Hình 3.6 Thực báo nhận cho khung dịch vụ loại 54 Hình 3.7 Khơng thực báo nhận dịch vụ loại 55 Hình 3.8 Kiến trúc mạng IP với thiết bị iSCSI 56 Hình 3.9 Mơ hình mức thấp iSCSI .56 Hình 3.10 Kết nối full mesh FC switch .60 Hình 3.11 Mơ hình mạng SAN nhỏ, kết hợp với NAS 61 Hình 3.12 Mơ hình mạng SAN đơn lẻ theo chuẩn FC .62 Hình 3.13 Mơ hình mạng SAN qua WAN MAN 63 Hình 3.14 Sao lưu tập trung qua hạ tầng LAN sẵn có 64 Hình 3.15 Sao lưu từ xa qua WAN 64 Hình 3.16 Các vị trí thực ảo hóa lưu trữ 66 SAN-Một giải pháp tối ưu cho lưu trữ liệu Hình 3.17 Ảo hóa liệu hệ thống lưu trữ 66 Hình 4.1 Quy trình thiết kế mạng SAN .70 Hình 4.2 Kết nối hai mạng SAN dùng chuẩn FC iSCSI 79 Hình 4.3 Chi phí cho hệ thống dựa số lượng máy chủ theo IDC .81 Hình 4.4 Chuyển đổi DAS sang SAN 82 Hình 4.5 Kết nối trực tiếp đến kho liệu dự phịng 83 Hình 4.6 Kết nối thông qua SAN switch 83 Hình 4.7 Mơ hình kết hợp MAN WAN 84 Hình 4.8 Kết nối thiết bị chuyển mạch kiểu phân cấp,Error! Bookmark not defined Hình 4.9 Khả mở rộng khoảng cách lớn 86 PHỤ LỤC DANH MỤC CÁC BẢNG Bảng 4.1 Đánh giá loại ứng dụng phương pháp truy nhập 72 Bảng 4.2 So sánh sử dụng cấu trúc mạng SAN 75 Bảng 4.3 So sánh phương thức lưu trữ .76 Bảng 4.4 lựa chọn giao thức theo dịch vụ 77 Bảng 4.5 Lựa chọn phương tiện kết nối theo khoảng cách .78 Bảng 4.6 So sánh FC SAN IP SAN .79 Bảng 4.7 phần mềm hỗ trợ FC iSCSI 80 Bảng 4.8 Chi phí kết nối SAN cấu hình nhỏ(dưới 16 nút) 80 Bảng 4.9 Chi phí kết nối SAN cấu hình lớn hơn(trên 16 nút) 80 SAN-Một giải pháp tối ưu cho lưu trữ liệu PHỤ LỤC CÁC TỪ TIẾNG ANH VIẾT TẮT ANSI American National Standard Viện công nghệ chuẩn Hoa API AL ARP ATA CDB CDMA CIFs CWDM Insitute Application programming Interface Arbitrated Loop Address Resolution Protocol Advanced Technology Attachment Command Descriptor Block Code Division Multiple Access Common Internet File Sysem Coarse Wavelength Division Kỳ Giao diên chương rình ứng dụng Vòng lặp Giao thức phân giải địa Kết nối công nghệ cao Khối lệnh Đa truy nhập phân chia theo mã Hê thống file liên mạng Ghép kênh theo bước sóng thơ DAFS DAS DWDM multiplexing Direct Access File System Direct Attached Storage Dense Wavelength Division Hệ thống file truy nhập trực tiếp Hệ thống lưu trữ gắn trực tiếp Ghép kênh theo mật độ bước FC FC_AL FC_P2P FC_SW FCIP FDDI FICON GbE GBIC HBA IDE IEEE Multiplexing Fibre Channel Fibre Channel Arbitrated Loop Fibre Chanel Point to Point Fibre Channel Switch Fibre Channel Internet Protocol Fibre Distributed Data Interface Fibre Channel Connection Gigabit Ethernet Gigabit Interface Converter Host Bus Adapter Integrated Drive Electronic Istitute of Electrical and electronics IETF IP IPTV iSCSI iSNS Engineers Internet Engineering Task Force Internet protocol Internet Protocol Television Internet Small Computer Interface Internet Storage Name Service JBOD LAN MAN MIB NIC Just a Bunch Of Disks Local Area Network Metropolitan Area Network Management Information Base Network Interface Card sóng Vịng lặp FC Cấu trúc điểm-điểm FC Chuyển mạch FC Giao thức Fc IP Kết nối FC Bộ chuyển đổiGigabit Bộ điều hợp bus chủ Viện kĩ thuật điện điện tử Lực lượng quản lí kĩ thuật Truyền hình trực tuyến Giao thức Internet SCSI Dịch vụ tên thiết bị lưu trữ internet Nhóm ổ đĩa thành khối Mạng cục Mạng đô thị Cơ sở quản lí thơng tin Card kết nối internet SAN-Một giải pháp tối ưu cho lưu trữ liệu NAS Network Access Storage Lưu trữ truy nhập trực tiếp vào NFS OLTP OSI OSS PCI mạng Network File System Hệ thống file mạng Online Transaction Processing Các giao tác trực tuyến Open System Interconnection Kết nối hệ thống mở Operation Support System Hỗ trợ hệ điều hành Peripheral Component Interconnect Liên kết thành phần bên PDI PLOGI RAID Protocol Data Unit Port Login Redundancy Array of Inexpensive Đơn vị liệu giao thức Đăng nhập cổng Dư thừa dãy ổ đĩa RTOS SAN SATA Disks Real Time Operating System Storage Area Network Serial Advanced Technology Hệ điều hành thời gian thực Mạng lưu trữ Kết nối chuỗi công nghệ cao SCSI Attachment Small Computer System Interface Giao tiếp với hệ thống máy tính nhỏ SLA SONET SDH SMNP Service Level Agreement Syynchronous Optical Network Synchronous Digital Hierachy Simple Management Network SSL TOE TCP UDP ULP WAN WWN WWPN Protocol Secure Socket Layer Traffic Offload Engine Transmission Control Protocol User Data Protocol Upper Layer Protocol Wide Area Network World Wide Name World Wide Port Name Mạng truyền dẫn quang đồng Truyền dẫn phân cấp đồng số Giao thức quản lí mạng đơn giản Lớp bảo mật Giao thức điều khiển truyền dẫn Giao thức liệu người dùng Giao thức lớp Mạng diện rộng Tên quốc tế Tên quốc tế dành cho cổng SAN-Một giải pháp tối ưu cho lưu trữ liệu CHƯƠNG1 : TỔNG QUAN VỀ MẠNG LƯU TRỮ 1.1 Vấn đề lưu trữ liệu 1.1.1 Các vấn đề lưu trữ mạng máy tính Thế kỉ 20 đánh dấu phát triển vượt bậc công nghệ thông tin lĩnh vực sống Cùng với tăng lên liệu cần lưu trữ bảo mật,nhất dịch vụ trực tuyến qua mạng ngày phát triển nở rộ.Các nghành ngân hàng, tài chính, bảo hiểm, y học, bệnh viện, khách sạn,giáo dục…với số lượng khách hàng khổng lồ cần lưu trữ bảo mật Cùng với đặc thù nghành nghề định mà yêu cầu việc truy cập hay trao đổi thông tin cách nhanh chóng xác Khi xã hội phát triển kéo theo phát triển nghành nghề, số lượng thông tin tăng lên cách đáng kể, yêu cầu lưu trữ ko đổi Do địi hỏi có mạng lưu trữ đáp ứng u cầu Đó mạng lưu trữ liệu SAN(Storage area network) 1.1.2 Yêu cầu mạng lưu trữ Trước có mạng lưu trữ việc lưu trữ thực máy cục bộ, thiết bị lưu trữ thiết kế riêng biệt sử dụng cho máy tính Để đáp ứng nhu cầu chia sẻ liệu mơ hình hệ thống mở cho phép chia sẻ liệu lưu trữ qua mạng Ethernet TCP/IP Mơ hình liệu gắn file máy chủ máy trạm mạng LAN truy cập qua mạng để lấy lưu 10