DSpace at VNU: Giải pháp mạng lưu trữ SAN và công nghệ fibre channel áp dụng cho xây dựng mạng lưu trữ tại kho lưu trữ t...
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ - - BÙI CÔNG CƢỜNG GIẢI PHÁP MẠNG LƢU TRỮ SAN VÀ CÔNG NGHỆ FIBRE CHANNEL ÁP DỤNG CHO XÂY DỰNG MẠNG LƢU TRỮ TẠI KHO LƢU TRƢ̃ TRUNG ƢƠNG ĐẢNG LUẬN VĂN THẠC SỸ Hà Nội - 2007 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Công Cƣờng GIẢI PHÁP MẠNG LƢU TRỮ SAN VÀ CÔNG NGHỆ FIBRE CHANNEL ÁP DỤNG CHO XÂY DỰNG MẠNG LƢU TRỮ TẠI KHO LƢU TRƢ̃ TRUNG ƢƠNG ĐẢNG Ngành Công nghệ Điện tử-Viễn thông Chuyên ngành Kỹ thuật vô tuyến điện tử thông tin liên lạc Mã số 2.07.00 LUẬN VĂN THẠC SỸ Ngƣời hƣớng dẫn khoa học: PGS.TS Vƣơng Đạo Vy Hà Nội - 2007 LỜI CẢM ƠN Tôi xin trân trọng cám ơn PGS.TS Vƣơng Đạo Vi, Thầy hƣớng nghiên cứu đóng góp ý kiến để tơi hồn thành luận văn Thầy truyền cho phƣơng pháp vận dụng kiến thức khoa học để nghiên cứu trình bầy luận văn Tôi xin trận trọng cám ơn Văn phòng Trung ƣơng Đảng, nơi tối cơng tác, tạo điều kiện để tham gia nghiên cứu giải pháp để xây dựng Kho lƣu trữ điện tử -Văn phòng Trung ƣơng theo Dự án tin học hố hoạt động Văn phòng Trung ƣơng Đảng Tơi cúng biết ơn đồng nghiệp Công ty HP Việt Nam, Công ty IBM Việt Nam, Trung tâm hỗ trợ giải pháp hệ thống FPT, Công ty CMC thƣờng xuyên trao đổi thông tin thảo luận giải pháp áp dụng để xây dựng mạng lƣu trữ cho Kho lƣu trữ điện tử - Văn phòng Trung ƣơng Đảng Tôi xin chấn thành cám ơn bạn bè, đồng nghiệp, ngƣời thân giúp đỡ, khích lệ tơi trình nghiên cứu thực luận văn Tôi hy vọng nghiên cứu luận văn đóng góp giải pháp tối ƣu cho mạng lƣu trữ cho Kho lƣu trữ điện tử-Văn phòng Trung ƣơng Đảng Do thời gian trình độ có hạn chắn luận văn thiếu sót, tơi mong đóng góp Thầy nhƣ đồng nghiệp Tác giả Bùi Công Cƣờng BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT ACK ANSI ATM BER Block CDB CRC DAS EOF ESP FC FC SAN FCP FCIP FSPF GBIC HBA IETF iFCP IP IP SAN IPSec IP Storage I/O iSCSI ISL JBOD LAN Acknowledment - Một gói tin đƣợc gửi bên nhận để xác nhận liệu nhận tổ chức Americal National Standards Institute Asynchronous Tranfer Mode Tỷ lệ lỗi bítKhối - Một đơn vị liệu Command Descriptor Block - Khối mô tả lệnh tham số dùng giao thức SCSL Cyclic Redundant Check - mã dƣ thừa vòng Direct Attach Storage - thiết bị lƣu trữ gắn trực tiếp End of Frame Encapsulating Security Payload – ESP header đƣợc thiết kế để cung các dịch vụ an ninh kết hợp trrong IPv4 Fibre Channel - chuyển mạch kênh quang Fibre Channel Storage Area Network - Mạng lƣu trữ dựa chuyển mạch kênh quang Fibre Channel Protocol – giao thức kênh quang Fibre Channel over IP Fabric shortest path first Gigabit Interface Converter Host Bus Adapter – Các điều hợp Tổ chức Internet Engineering Task Force Internet FCP – giao thức FCP dựa tảng TCP/IP Internet Protocol – giao thức Internet SAN dựa tảng IP IPSecurity- Giao thức xác thực mã hoá liệu Thiết bị lƣu trữ dựa tảng IP Input/Output Internet SCSI- Giao thức SCSI dựa tảng IP interswitch link- liên chuyển mạch Just a Bunch of Disk-Một tập đĩa đƣợc cấu hình dựa kiến trúc vòng kênh quang Local Area Network - Mạng cục LUN MMF NAS Network portal NIC Node PCI PDU PLOGI Point-Point Port Portal QoS RAID SCSI SMF SNIA SONET TCP/IP Topo ULP VLAN WAN WWUI WWN Logic Unit Number – Số đơn vị logic Multimode fiber – Cáp đa mode Network Attach Storage-phƣơng pháp lƣu trữ liệu sử dụng thiết bị lƣu trữ gắn trực tiếp vào mạng LAN Cổng mạng (bao gồm : địa IP+số hiệu cổng TCP) Network Interface Card - điều hợp mạng Nút mạng, làm máy chủ hay thiết bị cuối Peripheral Component Interconnect - khe cắm mở rộng Protocol Data Unit: đơn vị liệu giao thức liệu Tiến trình đăng nhập cổng - cổng để xác lập phiên làm việc hai thiết bị cuối kênh quang Point To Point - Kết nối từ điểm đến điểm Thực thể vật lý dùng để kết nối nút vào mạng Một đối tƣợng iSNS sử dụng địa IP số hiệu cổng TCP để nhận diện IP Storage nguồn đƣợc gắn vào mạng Quality of Service-chất lƣợng dịch vụ Dịch vụ phân phối gói tin dựa tham số: xác thực, độ ƣu tiên, băng thông Redundant Array of Independent Drive - Một tập đĩa đƣợc cấu hình dựa mảng đĩa Small Computer System Interface - chuẩn giao tiếp hỗ trợ vận chuyển khối liệu lớn dựa kiến trúc song song Single mode fiber – cáp đơn mode Hiệp hội Storage Network Industry Association Synchronous Optical Network-mạng đồng quang Transmition Control Protocol/Internet Protocol – Giao thức đƣợc sử dụng mạng Internet Topology - Kiến trúc liên kết mạng Upper Layer Protocol Mạng LAN ảo, mạng logic mạng vật lý Wide Area Network - Mạng diện rộng World Wide Unique Identifier- tên thiết bị (World Wide Name) Địa cứng thiết bị cuối kênh quang Địa có độ dài 64 bit BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT Viết tắt Tiếng Anh ACK Acknowledment Tiếng Việt Một gói tin đƣợc gửi bên nhận để xác nhận liệu nhận ANSI Americal National Standards Tổ chức Americal National Institute Standards Institute ATM Asynchronous Tranfer Mode Block Khối - Một đơn vị liệu CDB Command Descriptor Block Khối mô tả lệnh tham số dùng giao thức SCSL CRC Cyclic Redundant Check Mã dƣ thừa vòng DAS Direct Attach Storage Thiết bị lƣu trữ gắn trực tiếp EOF End of Frame ESP Encapsulating Security ESP header đƣợc thiết kế để cung Payload các dịch vụ an ninh kết hợp trrong IPv4 FC Fibre Channel Bộ chuyển mạch kênh quang FC SAN Fibre Channel Storage Area Mạng lƣu trữ dựa chuyển Network mạch kênh quang FCP Fibre Channel Protocol Giao thức kênh quang FCIP Fibre Channel over IP FSPF Fabric shortest path first GBIC Gigabit Interface Converter HBA Host Bus Adapter Các điều hợp IETF Internet Engineering Task Tổ chức Internet Engineering Task Force Force iFCP Internet FCP Giao thức FCP dựa tảng TCP/IP IP Internet Protocol Giao thức Internet IP SAN SAN dựa tảng IP IPSec IPSecurity Giao thức xác thực, mã hoá liệu IP Thiết bị lƣu trữ dựa tảng IP Storage I/O Input/Output iSCSI ISL JBOD Internet SCSI interswitch link Just a Bunch of Disk LAN LUN MMF NAS Local Area Network Logic Unit Number Multimode fiber Network Attach Storage Network portal NIC Network Interface Card Node PCI PDU Peripheral Component Interconnect Protocol Data Unit PLOGI PointPoint Port Point To Point Portal QoS Quality of Service RAID Redundant Array of Independent Drive Small Computer System Interface SCSI Giao thức SCSI dựa tảng IP Liên chuyển mạch Một tập đĩa đƣợc cấu hình dựa kiến trúc vòng kênh quang Mạng cục Số đơn vị logic Cáp đa mode Phƣơng pháp lƣu trữ liệu sử dụng thiết bị lƣu trữ gắn trực tiếp vào mạng LAN Cổng mạng (bao gồm : địa IP+số hiệu cổng TCP) Bộ điều hợp mạng Nút mạng, làm máy chủ hay thiết bị cuối Khe cắm mở rộng Đơn vị liệu giao thức liệu Tiến trình đăng nhập cổng - cổng để xác lập phiên làm việc hai thiết bị cuối kênh quang Kết nối từ điểm đến điểm Thực thể vật lý dùng để kết nối nút vào mạng Một đối tƣợng iSNS sử dụng địa IP số hiệu cổng TCP để nhận diện IP Storage nguồn đƣợc gắn vào mạng Chất lƣợng dịch vụ Dịch vụ phân phối gói tin dựa tham số: xác thực, độ ƣu tiên, băng thông Một tập đĩa đƣợc cấu hình dựa mảng đĩa Chuẩn giao tiếp hỗ trợ vận chuyển khối liệu lớn dựa kiến trúc song song SMF SNIA SONET TCP/IP Topo ULP VLAN WAN WWUI WWN Single mode fiber Storage Network Industry Association Synchronous Optical Network Transmition Control Protocol/Internet Protocol Topology Upper Layer Protocol Wide Area Network World Wide Unique Identifier World Wide Name Cáp đơn mode Hiệp hội SNIA Mạng đồng quang Giao thức đƣợc sử dụng mạng Internet Kiến trúc liên kết mạng Mạng LAN ảo, mạng logic mạng vật lý Mạng diện rộng Tên thiết bị Địa cứng thiết bị cuối kênh quang Địa có độ dài 64 bit MỤC LỤC TRANG PHỤ BÌA MỤC LỤC BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT MỞ ĐẦU 10 CHƢƠNG GIỚI THIỆU VỀ MẠNG LƢU TRỮ Error! Bookmark not defined 1.1 Khái niệm mạng lƣu trữ Error! Bookmark not defined 1.2 Công nghệ thách thức lƣu trữ điện tử Error! Bookmark not defined 1.3 Lịch sử phát triển giải pháp lƣu trữ Error! Bookmark not defined 1.4 Các đặc trƣng mạng lƣu trữ Error! Bookmark not defined 1.4.1 Cấu trúc thành phần mạng lưu trữ Error! Bookmark not defined 1.4.2 Tiêu chí kỹ thuật mạng lưu trữ Error! Bookmark not defined 1.4.3 Giải pháp mạng lưu trữ Error! Bookmark not defined 1.5 Kết luận chƣơng Error! Bookmark not defined CHƢƠNG CÔNG NGHỆ MẠNG LƢU TRỮ SAN Error! Bookmark not defined 2.1 Công nghệ truyền thông mạng lƣu trữ Error! Bookmark not defined 2.1.1 Giao thức SCSI Error! Bookmark not defined 2.1.2 Giao thức truyền thông Fibre Channel Error! Bookmark not defined 2.1.3 Giao thức truyền thông iSCSI Error! Bookmark not defined 2.1.4 So sánh công nghệ truyền thông Error! Bookmark not defined 2.2 Mạng lƣu trữ FC SAN Error! Bookmark not defined 2.2.1 Kiến trúc ghép nối mạng lưu trữ FC SAN Error! Bookmark not defined 2.2.2 Cấu trúc thành phần mạng lưu trữ FC SAN Error! Bookmark not defined 2.2.3 Ứng dụng công nghệ Fibre Channel FC SAN Error! Bookmark not defined 2.3 Mạng lƣu trữ IP SAN Error! Bookmark not defined 2.3.1 Ứng dụng công nghệ iSCSI cho mạng lưu trữ SAN Error! Bookmark not defined 2.3.2 Đặc điểm mạng IP SAN Error! Bookmark not defined 2.4 Kết luận chƣơng Error! Bookmark not defined CHƢƠNG THIẾT KẾ MẠNG LƢU TRỮ CHO KHO LƢU TRỮ ĐIỆN TỬ CỦA VĂN PHÒNG TRUNG ƢƠNG Error! Bookmark not defined 3.1 Phƣơng pháp thiết kế mạng lƣu trữ Error! Bookmark not defined 3.2 Thiết kế mạng lƣu trữ cho Kho lƣu trữ điện tử VPTW Error! Bookmark not defined 3.2.1 Hiện trạng công nghệ thông tin VPTW Error! Bookmark not defined 3.2.2 Mục tiêu Dự án, phạm vi nghiên cứu luận văn Error! Bookmark not defined 3.2.3 Lựa chọn công nghệ cho mạng lưu trữ SAN Error! Bookmark not defined 3.2.4 Tính tốn cấu hình cho cho mạng lưu trữ Error! Bookmark not defined 3.2.5 Tiêu chí kỹ thuật đối cho giải pháp mạng lưu trữ Error! Bookmark not defined 3.2.6 Đề xuất giải pháp mạng lưu trữ SAN Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 13 MỞ ĐẦU Máy tính dựa vào thông tin Thông tin tài nguyên cho tất q trình xử lý máy tính đặt sở Thơng tin đƣợc lƣu phƣơng tiện lƣu trữ, đƣợc truy cập ứng dụng thực thi máy chủ Thông tin đƣợc tạo thu đƣợc giây, ngày Thƣờng thông tin tài sản doanh nghiệp/cơ quan/tổ chức (gọi chung doanh nghiệp) Thông tin tiền tệ thƣơng mại Để đảm bảo tất giao dịch thƣơng mại đạt kết cần phải có đƣợc thơng tin xác, nhanh chóng Việc quản lý bảo vệ thơng tin thƣơng mại sống cho giá trị kinh doanh Theo thống kê Đại học California (Mỹ) ngày 1-10-2004, năm 2001, toàn giới sản xuất lƣợng thông tin cần lƣu trữ tƣơng đƣơng tỉ gigabyte (GB), tức GB cho ngƣời trái đất Trong năm 20052006, lƣợng thông tin đƣợc tạo 57 tỉ GB, lớn tồn lƣợng thơng tin sản sinh toàn lịch sử loài ngƣời trƣớc Có thể nhận thấy, bùng nổ thơng tin lớn chƣa có diễn cơng nghệ lƣu trữ mang tính định cho việc thu thập, chứa đựng xử lý số thông tin cho hiệu quả, khơng rơi vào tình trạng hỗn loạn thơng tin Trong thời đại nay, hoạt động thành công hoạt động hầu hết doanh nghiệp, phụ thuộc nhiều vào hạ tầng công nghệ thông tin (CNTT) họ Xét khía cạnh CNTT, cốt lõi hoạt động doanh nghiệp trình lƣu trữ, xử lý trao đổi liệu, thơng tin Liên quan đến q trình này, thành phần quan trọng bậc sở hạ tầng thông tin hệ thống lƣu trữ Hệ thống lƣu trữ đóng vai trò quan trọng tổng thể hệ thống hạ tầng thơng tin nơi lƣu liệu tồn hệ thống Lƣợng thơng tin khơng ngừng gia tăng theo cấp số nhân, để đảm bảo suất lao động nhƣ khả cạnh tranh, doanh nghiệp có nhu cầu lớn cơng nghệ lƣu trữ Thực đề án tin hố hoạt động quan Đảng, từ năm 2000 Văn phòng Trung ƣơng (VPTW) nghiên cứu đề án “Điện tử hoá Kho lƣu trữ Trung ƣơng Đảng”, đề án đƣợc thực nhiều giai đoạn, giai đoạn năm Trong giai đoạn 2001-2005, VPTW tiến hành xong dự án công nghệ thông tin xây dựng hệ thống sở liệu dùng chung, số hoá phần tài liệu Kho lƣu trữ Trung ƣơng Đảng, xây dựng hệ thống lƣu trữ liệu Trong giai đoạn 2006-2010, VPTW tập trung vào số mục tiêu sau: tiếp tục tiến hành số hoá số lƣợng lớn tài liệu (khoảng 1.000.000 trang tài liệu); xây dựng Kho lƣu trữ điện tử đại có khả lƣu trữ lƣợng lớn tài liệu điện tử, đáp ứng nhu cầu khai thác tài liệu lớn nâng cấp hệ thống lƣu trữ Cá nhân trực tiếp tham gia nhóm xây dựng dự án, vậy, tơi lựa chọn phần cơng trình dự án cá nhân đảm trách để làm nội dung báo cáo luận văn Nội dung nghiên cứu “Thiết kế giải pháp mạng lưu trữ cho Kho lưu trữ điện tử”, hạng mục cơng trình dự án Kho lƣu trữ điện tử Tính đến tháng 12-2006, dự án triển khai xong nội dung “Xây dựng dự án giải pháp” Hiện dự án lựa chọn đơn vị tƣ vấn thiết kế xây dựng giải pháp chi tiết để phục vụ cho giai đoạn đấu thầu * * * Luận văn nghiên cứu giải pháp phù hợp cho thiết kế mạng lƣu trữ liệu Kho Lƣu trữ điện tử Văn phòng Trung ƣơng Nội dung kết cấu: Chƣơng Giới thiệu giải pháp mạng lƣu trữ SAN với đặc tính chức năng, phần tử mạng, đặc trƣng mạng lƣu trữ So sánh giải pháp mạng lƣu trữ SAN với giải pháp lƣu trữ DAS, NAS Chƣơng Nội dung chƣơng phân tích đặc tính truyền liệu giải pháp ứng dụng hai công nghệ truyền thông Fibre Channel, iSCSI áp dụng phổ biến mạng lƣu trữ (FC SAN, IP SAN) Chƣơng Trên sở nghiên cứu chƣơng 2, tác giả đề xuất giải pháp mạng lƣu trữ SAN sử dụng công nghệ FC để xây dựng Kho lƣu trữ điện tử Văn phòng Trung ƣơng TÀI LIỆU THAM KHẢO [1] HP StorageWorks (2005), San Fundamentals [2] HP StorageWorks (2006), SAN Design Reference Guide [3] HP-UX (2005), iSCSI technology: Software Initiator Support Guide, T145190011 & TC030402TB [4] IBM Redbooks (2006), Introduction to Storage Area Networks, SG24-5470-03 [5] IBM Redbooks (2002), Using iSCSI Solutions’ Planning and Implementation, SG24-6291-00 [6] IBM Redbooks (2001), SAN Survival Guide, SG24-6143-00 [7] David Normal CS5538 (2001), Introduction to Network Technology: Fibre Channel Technology for Storage Area Networks, Department of Math and Computer Science ,Rivier College [8] Jean Walrand (1998), Communication Network , University of Califonia at Berkelay ... NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Công Cƣờng GIẢI PHÁP MẠNG LƢU TRỮ SAN VÀ CÔNG NGHỆ FIBRE CHANNEL ÁP DỤNG CHO XÂY DỰNG MẠNG LƢU TRỮ TẠI KHO LƢU TRƢ̃ TRUNG ƢƠNG ĐẢNG Ngành Công nghệ Điện tử-Viễn... trƣng mạng lƣu trữ So sánh giải pháp mạng lƣu trữ SAN với giải pháp lƣu trữ DAS, NAS Chƣơng Nội dung chƣơng phân tích đặc tính truyền liệu giải pháp ứng dụng hai công nghệ truyền thông Fibre Channel, ... iSCSI áp dụng phổ biến mạng lƣu trữ (FC SAN, IP SAN) Chƣơng Trên sở nghiên cứu chƣơng 2, tác giả đề xuất giải pháp mạng lƣu trữ SAN sử dụng công nghệ FC để xây dựng Kho lƣu trữ điện tử Văn phòng Trung