Giải pháp mạng lưu trữ SAN và công nghệ fibre channel áp dụng cho xây dựng mạng lưu trữ tại kho lưu trữ trung ương Đảng : Luận văn ThS. Kỹ thuật điện tử - viễn thông: 2.07.00

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Công Cƣờng GIẢI PHÁP MẠNG LƢU TRỮ SAN VÀ CÔNG NGHỆ FIBRE CHANNEL ÁP DỤNG CHO XÂY DỰNG MẠNG LƢU TRỮ TẠI KHO LƢU TRƢ̃ TRUNG ƢƠNG ĐẢNG Ngành Công nghệ Điện tử-Viễn thông Chuyên ngành Kỹ thuật vô tuyến điện tử thông tin liên lạc Mã số 2.07.00 LUẬN VĂN THẠC SỸ Người hướng dẫn khoa học: PGS.TS Vƣơng Đạo Vy Hà Nội - 2007 BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT ACK ANSI ATM BER Block CDB CRC DAS EOF ESP FC FC SAN FCP FCIP FSPF GBIC HBA IETF iFCP IP IP SAN IPSec IP Storage I/O iSCSI ISL JBOD LAN Acknowledment - Một gói tin gửi bên nhận để xác nhận liệu nhận tổ chức Americal National Standards Institute Asynchronous Tranfer Mode Tỷ lệ lỗi bítKhối - Một đơn vị liệu Command Descriptor Block - Khối mô tả lệnh tham số dùng giao thức SCSL Cyclic Redundant Check - mã dư thừa vòng Direct Attach Storage - thiết bị lưu trữ gắn trực tiếp End of Frame Encapsulating Security Payload – ESP header thiết kế để cung các dịch vụ an ninh kết hợp trrong IPv4 Fibre Channel - chuyển mạch kênh quang Fibre Channel Storage Area Network - Mạng lưu trữ dựa chuyển mạch kênh quang Fibre Channel Protocol – giao thức kênh quang Fibre Channel over IP Fabric shortest path first Gigabit Interface Converter Host Bus Adapter – Các điều hợp Tổ chức Internet Engineering Task Force Internet FCP – giao thức FCP dựa tảng TCP/IP Internet Protocol – giao thức Internet SAN dựa tảng IP IPSecurity- Giao thức xác thực mã hoá liệu Thiết bị lưu trữ dựa tảng IP Input/Output Internet SCSI- Giao thức SCSI dựa tảng IP interswitch link- liên chuyển mạch Just a Bunch of Disk-Một tập đĩa cấu hình dựa kiến trúc vòng kênh quang Local Area Network - Mạng cục LUN MMF NAS Network portal NIC Node PCI PDU PLOGI Point-Point Port Portal QoS RAID SCSI SMF SNIA SONET TCP/IP Topo ULP VLAN WAN WWUI WWN Logic Unit Number – Số đơn vị logic Multimode fiber – Cáp đa mode Network Attach Storage-phương pháp lưu trữ liệu sử dụng thiết bị lưu trữ gắn trực tiếp vào mạng LAN Cổng mạng (bao gồm : địa IP+số hiệu cổng TCP) Network Interface Card - điều hợp mạng Nút mạng, làm máy chủ hay thiết bị cuối Peripheral Component Interconnect - khe cắm mở rộng Protocol Data Unit: đơn vị liệu giao thức liệu Tiến trình đăng nhập cổng - cổng để xác lập phiên làm việc hai thiết bị cuối kênh quang Point To Point - Kết nối từ điểm đến điểm Thực thể vật lý dùng để kết nối nút vào mạng Một đối tượng iSNS sử dụng địa IP số hiệu cổng TCP để nhận diện IP Storage nguồn gắn vào mạng Quality of Service-chất lượng dịch vụ Dịch vụ phân phối gói tin dựa tham số: xác thực, độ ưu tiên, băng thông Redundant Array of Independent Drive - Một tập đĩa cấu hình dựa mảng đĩa Small Computer System Interface - chuẩn giao tiếp hỗ trợ vận chuyển khối liệu lớn dựa kiến trúc song song Single mode fiber – cáp đơn mode Hiệp hội Storage Network Industry Association Synchronous Optical Network-mạng đồng quang Transmition Control Protocol/Internet Protocol – Giao thức sử dụng mạng Internet Topology - Kiến trúc liên kết mạng Upper Layer Protocol Mạng LAN ảo, mạng logic mạng vật lý Wide Area Network - Mạng diện rộng World Wide Unique Identifier- tên thiết bị (World Wide Name) Địa cứng thiết bị cuối kênh quang Địa có độ dài 64 bit BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT Viết tắt Tiếng Anh ACK Acknowledment Tiếng Việt Một gói tin gửi bên nhận để xác nhận liệu nhận ANSI Americal National Standards Tổ chức Americal National Institute Standards Institute ATM Asynchronous Tranfer Mode Block Khối - Một đơn vị liệu CDB Command Descriptor Block Khối mô tả lệnh tham số dùng giao thức SCSL CRC Cyclic Redundant Check Mã dư thừa vòng DAS Direct Attach Storage Thiết bị lưu trữ gắn trực tiếp EOF End of Frame ESP Encapsulating Security ESP header thiết kế để cung Payload các dịch vụ an ninh kết hợp trrong IPv4 FC Fibre Channel Bộ chuyển mạch kênh quang FC SAN Fibre Channel Storage Area Mạng lưu trữ dựa chuyển Network mạch kênh quang FCP Fibre Channel Protocol Giao thức kênh quang FCIP Fibre Channel over IP FSPF Fabric shortest path first GBIC Gigabit Interface Converter HBA Host Bus Adapter Các điều hợp IETF Internet Engineering Task Tổ chức Internet Engineering Task Force Force iFCP Internet FCP Giao thức FCP dựa tảng TCP/IP IP Internet Protocol Giao thức Internet IP SAN SAN dựa tảng IP IPSec IPSecurity Giao thức xác thực, mã hoá liệu IP Thiết bị lưu trữ dựa tảng IP Storage I/O Input/Output iSCSI ISL JBOD Internet SCSI interswitch link Just a Bunch of Disk LAN LUN MMF NAS Local Area Network Logic Unit Number Multimode fiber Network Attach Storage Network portal NIC Network Interface Card Node PCI PDU Peripheral Component Interconnect Protocol Data Unit PLOGI PointPoint Port Point To Point Portal QoS Quality of Service RAID Redundant Array of Independent Drive Small Computer System Interface SCSI Giao thức SCSI dựa tảng IP Liên chuyển mạch Một tập đĩa cấu hình dựa kiến trúc vòng kênh quang Mạng cục Số đơn vị logic Cáp đa mode Phương pháp lưu trữ liệu sử dụng thiết bị lưu trữ gắn trực tiếp vào mạng LAN Cổng mạng (bao gồm : địa IP+số hiệu cổng TCP) Bộ điều hợp mạng Nút mạng, làm máy chủ hay thiết bị cuối Khe cắm mở rộng Đơn vị liệu giao thức liệu Tiến trình đăng nhập cổng - cổng để xác lập phiên làm việc hai thiết bị cuối kênh quang Kết nối từ điểm đến điểm Thực thể vật lý dùng để kết nối nút vào mạng Một đối tượng iSNS sử dụng địa IP số hiệu cổng TCP để nhận diện IP Storage nguồn gắn vào mạng Chất lượng dịch vụ Dịch vụ phân phối gói tin dựa tham số: xác thực, độ ưu tiên, băng thông Một tập đĩa cấu hình dựa mảng đĩa Chuẩn giao tiếp hỗ trợ vận chuyển khối liệu lớn dựa kiến trúc song song SMF SNIA SONET TCP/IP Topo ULP VLAN WAN WWUI WWN Single mode fiber Storage Network Industry Association Synchronous Optical Network Transmition Control Protocol/Internet Protocol Topology Upper Layer Protocol Wide Area Network World Wide Unique Identifier World Wide Name Cáp đơn mode Hiệp hội SNIA Mạng đồng quang Giao thức sử dụng mạng Internet Kiến trúc liên kết mạng Mạng LAN ảo, mạng logic mạng vật lý Mạng diện rộng Tên thiết bị Địa cứng thiết bị cuối kênh quang Địa có độ dài 64 bit MỤC LỤC TRANG PHỤ BÌA MỤC LỤC BẢNG CHÚ GIẢI MỘT SỐ CỤM TỪ VIẾT TẮT MỞ ĐẦU CHƢƠNG GIỚI THIỆU VỀ MẠNG LƢU TRỮ 1.1 Khái niệm mạng lƣu trữ 1.2 Công nghệ thách thức lƣu trữ điện tử 1.3 Lịch sử phát triển giải pháp lƣu trữ 1.4 Các đặc trƣng mạng lƣu trữ 12 1.4.1 Cấu trúc thành phần mạng lưu trữ 12 1.4.2 Tiêu chí kỹ thuật mạng lưu trữ 13 1.4.3 Giải pháp mạng lưu trữ 15 1.5 Kết luận chƣơng 19 CHƢƠNG CÔNG NGHỆ MẠNG LƢU TRỮ SAN 20 2.1 Công nghệ truyền thông mạng lƣu trữ 20 2.1.1 Giao thức SCSI 20 2.1.2 Giao thức truyền thông Fibre Channel 24 2.1.3 Giao thức truyền thông iSCSI 33 2.1.4 So sánh công nghệ truyền thông 39 2.2 Mạng lƣu trữ FC SAN 41 2.2.1 Kiến trúc ghép nối mạng lưu trữ FC SAN 41 2.2.2 Cấu trúc thành phần mạng lưu trữ FC SAN 44 2.2.3 Ứng dụng công nghệ Fibre Channel FC SAN 47 2.3 Mạng lƣu trữ IP SAN 55 2.3.1 Ứng dụng công nghệ iSCSI cho mạng lưu trữ SAN 57 2.3.2 Đặc điểm mạng IP SAN 58 2.4 Kết luận chƣơng 59 CHƢƠNG THIẾT KẾ MẠNG LƢU TRỮ CHO KHO LƢU TRỮ ĐIỆN TỬ CỦA VĂN PHÒNG TRUNG ƢƠNG 60 3.1 Phƣơng pháp thiết kế mạng lƣu trữ 60 3.2 Thiết kế mạng lƣu trữ cho Kho lƣu trữ điện tử VPTW 60 3.2.1 Hiện trạng công nghệ thông tin VPTW 60 3.2.2 Mục tiêu Dự án, phạm vi nghiên cứu luận văn 62 3.2.3 Lựa chọn công nghệ cho mạng lưu trữ SAN 64 3.2.4 Tính tốn cấu hình cho cho mạng lưu trữ 67 3.2.5 Tiêu chí kỹ thuật đối cho giải pháp mạng lưu trữ 70 3.2.6 Đề xuất giải pháp mạng lưu trữ SAN 72 KẾT LUẬN 93 TÀI LIỆU THAM KHẢO 95 MỞ ĐẦU Máy tính dựa vào thơng tin Thông tin tài nguyên cho tất q trình xử lý máy tính đặt sở Thơng tin đƣợc lƣu phƣơng tiện lƣu trữ, đƣợc truy cập ứng dụng thực thi máy chủ Thông tin đƣợc tạo thu đƣợc giây, ngày Thƣờng thông tin tài sản doanh nghiệp/cơ quan/tổ chức (gọi chung doanh nghiệp) Thông tin tiền tệ thƣơng mại Để đảm bảo tất giao dịch thƣơng mại đạt kết cần phải có đƣợc thơng tin xác, nhanh chóng Việc quản lý bảo vệ thơng tin thƣơng mại sống cho giá trị kinh doanh Theo thống kê Đại học California (Mỹ) ngày 1-10-2004, năm 2001, toàn giới sản xuất lƣợng thông tin cần lƣu trữ tƣơng đƣơng tỉ gigabyte (GB), tức GB cho ngƣời trái đất Trong năm 20052006, lƣợng thông tin đƣợc tạo 57 tỉ GB, lớn tồn lƣợng thơng tin sản sinh tồn lịch sử lồi ngƣời trƣớc Có thể nhận thấy, bùng nổ thông tin lớn chƣa có diễn cơng nghệ lƣu trữ mang tính định cho việc thu thập, chứa đựng xử lý số thơng tin cho hiệu quả, khơng rơi vào tình trạng hỗn loạn thông tin Trong thời đại nay, hoạt động thành công hoạt động hầu hết doanh nghiệp, phụ thuộc nhiều vào hạ tầng công nghệ thông tin (CNTT) họ Xét khía cạnh CNTT, cốt lõi hoạt động doanh nghiệp trình lƣu trữ, xử lý trao đổi liệu, thông tin Liên quan đến trình này, thành phần quan trọng bậc sở hạ tầng thông tin hệ thống lƣu trữ Hệ thống lƣu trữ đóng vai trị quan trọng tổng thể hệ thống hạ tầng thông tin nơi lƣu liệu tồn hệ thống Lƣợng thông tin không ngừng gia tăng theo cấp số nhân, để đảm bảo suất lao động nhƣ khả cạnh tranh, doanh nghiệp có nhu cầu lớn cơng nghệ lƣu trữ Thực đề án tin hoá hoạt động quan Đảng, từ năm 2000 Văn phòng Trung ƣơng (VPTW) nghiên cứu đề án “Điện tử hoá Kho lƣu trữ Trung ƣơng Đảng”, đề án đƣợc thực nhiều giai đoạn, giai đoạn năm Trong giai đoạn 2001-2005, VPTW tiến hành xong dự án công nghệ thông tin xây dựng hệ thống sở liệu dùng chung, số hoá phần tài liệu Kho lƣu trữ Trung ƣơng Đảng, xây dựng hệ thống lƣu trữ liệu Trong giai đoạn 2006-2010, VPTW tập trung vào số mục tiêu sau: tiếp tục tiến hành số hoá số lƣợng lớn tài liệu (khoảng 1.000.000 trang tài liệu); xây dựng Kho lƣu trữ điện tử đại có khả lƣu trữ lƣợng lớn tài liệu điện tử, đáp ứng nhu cầu khai thác tài liệu lớn nâng cấp hệ thống lƣu trữ Cá nhân tơi trực tiếp tham gia nhóm xây dựng dự án, vậy, tơi lựa chọn phần cơng trình dự án cá nhân đảm trách để làm nội dung báo cáo luận văn Nội dung nghiên cứu “Thiết kế giải pháp mạng lưu trữ cho Kho lưu trữ điện tử”, hạng mục cơng trình dự án Kho lƣu trữ điện tử Tính đến tháng 12-2006, dự án triển khai xong nội dung “Xây dựng dự án giải pháp” Hiện dự án lựa chọn đơn vị tƣ vấn thiết kế xây dựng giải pháp chi tiết để phục vụ cho giai đoạn đấu thầu * * * Luận văn nghiên cứu giải pháp phù hợp cho thiết kế mạng lƣu trữ liệu Kho Lƣu trữ điện tử Văn phòng Trung ƣơng Nội dung kết cấu: Chƣơng Giới thiệu giải pháp mạng lƣu trữ SAN với đặc tính chức năng, phần tử mạng, đặc trƣng mạng lƣu trữ So sánh giải pháp mạng lƣu trữ SAN với giải pháp lƣu trữ DAS, NAS Chƣơng Nội dung chƣơng phân tích đặc tính truyền liệu giải pháp ứng dụng hai công nghệ truyền thông Fibre Channel, iSCSI áp dụng phổ biến mạng lƣu trữ (FC SAN, IP SAN) Chƣơng Trên sở nghiên cứu chƣơng 2, tác giả đề xuất giải pháp mạng lƣu trữ SAN sử dụng công nghệ FC để xây dựng Kho lƣu trữ điện tử Văn phòng Trung ƣơng CHƢƠNG GIỚI THIỆU VỀ MẠNG LƢU TRỮ Hệ thống lƣu trữ đóng vai trị quan trọng tổng thể hệ thống hạ tầng thơng tin nơi lƣu liệu tồn hệ thống, có ý nghĩa sống cịn doanh nghiệp Giải pháp lƣu trữ tiên tiến cho hệ thống lƣu trữ sử dụng mạng lƣu trữ tách biệt, tốc độ cao cho mục đích lƣu trữ liệu 1.1 Khái niệm mạng lƣu trữ [4] Hiệp hội Storage Network Industry Association (SNIA) định nghĩa mạng lƣu trữ (viết tắt SAN-Storage Area Network) mạng đƣợc xây dựng nhằm mục đích chuyển tải liệu hệ thống máy tính thiết bị lƣu trữ Một cách diễn tả đơn giản, SAN thích ứng với mạng gắn kết tốc độ cao máy chủ thiết bị lƣu trữ, SAN cịn đƣợc gọi “mạng nằm sau máy chủ” SAN phá bỏ ý niệm kết nối truyền thống “máy chủ gắn trực tiếp với thiết bị lƣu trữ” “máy chủ sở hữu quản lý thiết bị lƣu trữ” SAN khắc phục đƣợc giới hạn số lƣợng thiết bị lƣu trữ gắn máy chủ riêng lẻ Thay vào đó, SAN đƣa mạng linh hoạt cho máy chủ hay nhóm máy chủ khơng đồng chia sẻ tiện ích lƣu trữ chung, gồm có nhiều thiết bị lƣu trữ nhƣ ổ đĩa, băng từ, lƣu trữ quang… Các thiết bị lƣu trữ đặt xa máy chủ Nhƣ vậy, mạng lƣu trữ SAN có đặc điểm nhƣ sau: - SAN mạng truyền thơng gồm có: hạ tầng sở truyền thông cho cung cấp kết nối vật lý; lớp quản lý để tổ chức kết nối, yếu tố lƣu trữ hệ thống máy tính, liệu truyền an tồn thiết thực - SAN hệ thống lƣu trữ nên có yếu tố lƣu trữ nhƣ: thiết bị lƣu trữ (mảng lƣu trữ), thƣ viện lƣu (tape, đĩa quang), hệ thống máy tính, ứng dụng, với tất phần mềm điều khiển, truyền thông qua mạng - SAN đƣợc xem khái niệm mở rộng kênh/tuyến lƣu trữ, cho phép máy chủ thiết bị lƣu trữ liên kết sử dụng yếu tố nhƣ mạng LAN hay WAN: router, gateway, hub, switch, director - SAN tạo phƣơng thức gắn kết thiết bị lƣu trữ với máy 81 Tính tin cậy cao Công nghệ Fibre Channel với đặc trƣng kênh truyền thiết kế để định hƣớng điều khiển chủ yếu phần cứng phần mềm xử lý ban đầu nhỏ nên truyền nhanh, lỗi, độ trễ tối thiểu, đạt độ tin cậy cao Ngoài ra, liệu gồm chủ yếu tệp ảnh số tệp media có dung lƣợng lớn Để đáp ứng yêu cầu truyền với dung lƣợng lớn, mạng lƣu trữ nên áp dụng dịch vụ truyền Class-2 với mức kiểm soát lƣu lƣợng Buffer-ToBuffer dịch vụ Class-2 trình truyền liệu có xác nhận phản hồi kết hợp với chế phát lỗi sửa lỗi mức bit nên thuận lợi với ứng dụng muốn truyền đảm bảo tính nguyên vẹn liệu Độ trễ nhỏ thời gian truyền nhanh Mạng lƣu trữ sử dụng công nghệ Fibre Channel tạo kết nối điểm-điểm qua chuyển mạch cho hiệu suất truyền đạt 100%, kết hợp với đặc trƣng truyền kênh có độ trễ nhỏ Tính tốn truyền liệu với công nghệ quang tốc độ 10Gb/s sau: + Thông lượng = 10Gb/s x 100% = 10Gb/s tƣơng ứng băng thông 1250MB/s + Hiệu suất thực để truyền liệu: khung liệu có độ dài 2148byte chứa liệu có độ dài tối đa 2112byte (gói liệu độ dài ≈ 2KB), hiệu suất thực là: 10Gb/s x 2112/2148 = 9,83Gb/s + Độ trễ: Độ trễ gồm thành phần: Thời gian thâm nhập môi trường (medium access time), Thời gian xếp hàng đợi (queuing time), Thời gian truyền (transmission time), Thời gian lan truyền (propagation time) Cơng thức tính [8] : Thời gian trễ = Thời gian thâm nhập môi trường + Thời gian xếp hàng đợi + Thời gian truyền + Thời gian lan truyền Trong mạng lƣu trữ thiết kế gồm kết nối điểm điểm hai nút mạng để hạn chế khơng có xung đột, Thời gian đợi, Thời gian thâm nhập mơi trường coi khơng (0), tốc độ truyền cao thời gian lan truyền nhỏ coi khơng 82 Ta có cơng thức : Thời gian trễ = Thời gian truyền + Tính Thời gian truyền toán truyền khung liệu độ dài 2KB theo liên kết Máy chủ-Tủ đĩa nhƣ sau: Công thức tính Thời gian lan truyền = độ dài liên kết/tốc độ truyền sóng ánh sáng : τ1 = 10 m / 3x108m/s ≈ 3x10-8s Thời gian truyền SAN (theo liên kết Máy chủ-Tủ đĩa) tính theo cơng thức tính Thời gian truyền = số bít gói liệu / tốc độ truyền : τ2 = 2000 x (bit) / 9,83 x 109 (bit/s) ≈ 2,6 x 10-6s Qua tính tốn tốn truyền liệu cho thấy thời gian trễ, thời gian truyền mạng SAN có giá trị nhỏ Bảo đảm an ninh Các biện pháp an ninh phòng ngừa truy nhập trái phép để lấy liệu: - Phần cứng áp dụng biện pháp chống kết nối trái phép: Các thiết bị SAN đƣợc tập trung khơng gian lƣu trữ (tủ mạng, phịng…) để quản lý kiểm soát chung nên tránh đƣợc trƣờng hợp kết nối vào mạng SAN qua hệ thống truyền SAN Ngoài ra, cáp nối sử dụng cáp quang nên khó việc ghép nối hay đấu trực tiếp vào cáp truyền - Phần mềm sử dụng phương pháp kiểm soát quyền truy cập: cài đặt máy chủ ứng dụng phƣơng pháp kiểm soát quyền truy cập nhằm quản lý truy cập từ mạng LAN qua máy chủ tới mạng SAN Trong mạng SAN sử dụng phần mềm mã hoá kiểm soát truy cập riêng cho SAN, ví dụ phần mềm LDAP dùng để kiểm soát quyền truy cập tới SAN mã hoá liệu, đồng thời phần mềm trao đổi danh sách phân quyền truy cập với phần mềm kiểm soát chƣơng trình ứng dụng chung cài máy chủ để tạo danh sách truy cập chung cho phép chuyển đổi quyền truy cập qua máy chủ SAN, tạo thuận lợi cho ngƣời sử dụng Một số giải pháp bảo vệ bảo mật liệu Ví dụ, với dòng sản phẩm IBM, máy chủ (máy chủ ứng dụng máy chủ File Server) đƣợc hỗ trợ module phần mềm nhƣ sau: 83 + Trusted Platform Module (TPM) giúp đơn giản hóa nâng cấp quản lý bảo mật với chức bảo mật tích hợp phần cứng giúp xác thực ngƣời dùng, bảo vệ chống lại virus mối đe dọa hệ thống khác + Phần cứng IPMI 2.0-compliant theo dõi cảnh báo với lựa chọn nâng cấp thành advanced Remote Supervisor Adapter (RSA) II SlimLine giúp đảm bảo sẵn sàng máy chủ qua việc giám sát hệ thống phân phối khả quản lý từ xa thực, tiết kiệm thời gian quản trị viên cung cấp cho họ linh hoạt việc quản lý hệ thống Khả lưu trữ lớn Mạng lƣu trữ lƣu liệu Tủ lƣu trữ với dung lƣợng 15TB Tủ đĩa đƣợc cấu hình theo cơng nghệ RAID (cụ thể RAID5) cho phép lƣu trữ khối lƣợng liệu khoảng 12TB với khả dự phòng tối đa theo tỷ lệ ¼ tức phần liệu phần dự phòng hay tỷ lệ dung lƣợng lƣu trữ thực toàn dung lƣợng ổ đĩa 4/5 Có khả thay đổi dung lƣợng lƣu trữ thực lớn 12TB cách thay đổi tỉ lệ dung lƣợng lƣu trữ thực toàn dung lƣợng ổ đĩa theo cấu hình RAID5 9/10 cho dung lƣợng lƣu trữ thực 13.5TB 15TB với cấu hình RAID0, bổ sung thêm ổ đĩa để mở rộng dung lƣợng Hiện nay, hãng IBM, HP có dịng sản phẩm tủ đĩa phù hợp với khối lƣợng yêu cầu có khả mở rộng Ví dụ, giải pháp IBM với sản phẩm DS4000 có dung lƣợng vật lý từ 10 đến 20TB, giải pháp HP với sản phẩm EVA4000 có dung lƣợng vật lý lên tới 28TB Mơ hình SAN chuẩn Giải pháp mạng lƣu trữ theo phƣơng án đƣợc thiết kế theo mơ hình chuẩn gồm thành phần: máy chủ, thiết bị lƣu trữ, thiết bị lƣu, Switch, phần mềm điều hành mạng SAN Chức mạng lƣu trữ tuân thủ mục đích chuyển đổi liệu hệ thống máy tính thiết bị lƣu trữ Cụ thể: Mạng lƣu trữ môi trƣờng lƣu trữ liệu cho mạng LAN Do vậy, 84 mạng lƣu trữ đƣợc thiết kế nhƣ mạng cục hay mạng riêng biệt nằm sau máy chủ ứng dụng, liên kết với mạng LAN qua máy chủ , có chức lƣu trữ liệu đáp ứng yêu cầu truy vấn trực tiếp từ hệ thống máy chủ ứng dụng Có thể coi SAN nhƣ ổ lƣu liệu máy chủ, máy chủ thực chức điều hành xử lý liệu Đối với cấu hình máy chủ mạng SAN khơng cần đầu tƣ nhiều vào không gian lƣu trữ riêng máy chủ (ổ cứng riêng), nên đầu tƣ vào tiêu chí kỹ thuật cho xử lý truyền thơng tốc độ cao (CPU, card HBA…) Chức chia sẻ liệu Hệ thống máy chủ kết nối đến mạng lƣu trữ gồm nhiều máy chủ với chức khác nhau, máy chủ ứng dụng đóng vai trò nhƣ điểm truy nhập tới SAN Hình thức chia sẻ nguồn liệu tập trung qua máy chủ ứng dụng nhằm quản lý hay kiểm soát truy cập thống từ phần mềm ứng dụng SAN tránh đƣợc nghẽn mạch (tránh đƣợc trƣờng hợp có nhiều máy chủ truy cập đồng thời tới thiết bị lƣu trữ) Ngồi hình thức chia sẻ liệu chủ yếu qua máy chủ ứng dụng, mạng lƣu trữ cịn sử dụng máy chủ File Server có chức nhƣ kênh dịch vụ file chia sẻ khối liệu chung cho tất máy khách mạng Mơ hình tập trung Mạng lƣu trữ đƣợc thiết kế với mơ hình tập trung theo chức sau: + Tập trung nguồn liệu lƣu trữ để giảm thiểu phiên liệu nằm rải rác mạng LAN thuận lợi cho triển khai ứng dụng dùng chung đƣợc cài máy chủ ứng dụng; + Tập trung thiết bị lƣu trữ, thiết bị lƣu mạng lƣu trữ riêng biệt để thuận lợi cho áp dụng thống ứng dụng biện pháp nhƣ: điều hành hệ thống mạng hoạt động ổn định, tối ƣu biện pháp lƣu phục hồi liệu tập trung, giám sát an ninh, giảm thiểu gián đoạn hệ thống, thuận lợi cho mở rộng hay nâng cấp hệ thống, giảm chi phí đầu tƣ giàn trải Ví dụ, với việc bố trí tủ mạng có khả lắp đặt thiết bị mạng SAN tủ mạng tập trung thiết bị tủ mạng, nên 85 thuận tiện cho: triển khai lắp đặt thiết bị cài đặt chƣơng trình điều hành hệ thống chung, cáp quang đƣợc đấu nối bố trị gọn gàng tránh tƣợng biến dạng vật lý cáp quang gây ảnh hƣởng tới khả truyền Tính sẵn sàng cao Tính sẵn sàng hệ thống đƣợc đánh giá thời gian hoạt động liên tục hệ thống, hệ thống có khả hoạt động liên tục cao có độ sẵn sàng lớn Độ sẵn sàng tiêu đánh giá tốt độ tin cậy nhấn mạnh vào mục tiêu bảo toàn dịch vụ trì hoạt động hệ thống Tính sẵn sàng áp dụng mạng lƣu trữ nhằm đảm bảo an tồn liệu trì hoạt động ổn định hệ thống thiết bị mạng Ví dụ giải pháp: - Giải pháp dự phòng linh hoạt thiết bị Giải pháp dự phòng phƣơng pháp dƣ thừa (Redundant) thiết bị để đảm bảo tính dự phòng phòng ngừa thảm hoạ Phần đƣợc đề cập kỹ mục 3.2.6.3.3 - Các máy chủ thiết lập theo cấu hình cluster Giải pháp Cluster nhóm máy chủ riêng biệt đƣợc kết nối với nhằm cung cấp khả quản lý chia sẻ tài nguyên nhƣ hệ đơn nhằm mục đích tăng khả hoạt động tồn hệ thống Cơ sở Cluster nhóm máy chủ riêng biệt gọi node Cluster, node hoạt động theo nhiều chế khác Cluster đƣợc cấu hình theo chế Active/PassiveStandby chế Active/Standby, với node node dự phòng (node Stanby) không không thực cung cấp tài nguyên mạng (chế độ standby), tức hoạt động node bị cố, ứng dụng đƣợc chuyển sang node dự phòng để đảm bảo trì hoạt động tồn hệ thống Cơ chế thứ (Active/Active) với node có khả cung cấp tài nguyên mạng, thực lựa chọn việc phân chia phần ứng dụng chạy node nhằm phát huy khả cao hệ thống, mặt khác node có khả thực cơng việc node khác có cố Giải pháp Cluster, coi giải pháp dự phòng, giải 86 pháp hữu hiệu cho tính sẵn sàng cao cho hệ thống máy chủ ứng dụng Ngồi ra, giải pháp Cluster có khả tính tốn cao Khả tính tốn hệ thống máy chủ phụ thuộc vào yếu tố: công nghệ phần cứng, hệ điều hành, hệ sở liệu Hệ thống máy chủ với hai máy chủ cluster hoạt động đồng thời tập liệu, tính toán cụm cung cấp tốc độ thực thi khả chia sẻ khối lƣợng công việc xử lý Cơ chế nên áp dụng cho mạng lƣu trữ Kho lƣu trữ điện tử đặc tính sẵn sàng cao đƣợc tăng cƣờng khả dự phịng, có khả chia sẻ tải, tránh tắc nghẽn đƣờng truyền - Giải pháp bảo vệ liệu với biện pháp lưu phục hồi + Lưu trữ liệu Đối với Tủ đĩa lƣu trữ, hệ thống đĩa đƣợc thiết lập theo chuẩn RAID cho hiệu cao bởi: liệu lúc đƣợc đọc/ghi nhiều đĩa với tốc độ lớn băng thơng rộng Ví dụ, hệ thống tủ đĩa TotalStorage DS4000 IBM phép tốc độ đọc/ghi dãy đĩa đạt 3200MB/s, hệ thống tủ đĩa EVA8000 hắng HP cho tốc độ 2450MB/s Ngoài ra, RAID sử dụng chế ổ đĩa dự phịng (Hot Spare hay Hot Swap) có khả thay nóng ổ cứng hỏng cách tự động mà không làm gián đoạn hệ thống; khả san sẻ dung lƣợng ổ đĩa đƣợc thực dễ dàng di chuyển vùng dung lƣợng vùng RAID + Sao lưu phục hồi liệu: Với cấu trúc SAN gồm máy chủ Buckup Server, cặp máy chủ ứng dụng Cluster máy chủ File Server liên kết trực tiếp đến tủ đĩa lƣu trữ tủ đĩa Tape, cho phép xây dựng môi trƣờng lƣu trực tuyến máy chủ đến tủ đĩa Tape trực tiếp từ tủ đĩa lƣu trữ đến tủ đĩa Tape Máy chủ Backup Server với chức quản lý giám sát, thiết lập công cụ tự động lƣu, lập lịch biểu, đƣa thông báo phiên, cảnh báo hệ thống gặp cố + Chiến lược lưu hợp lý Trong môi trƣờng liệu lớn thƣờng xuyên cập nhật thay đổi cần phải có chiến lƣợc lƣu phục hồi liệu từ trƣớc để đơn giản hoá bƣớc phục hồi liệu sau cho thống an toàn liệu Chú ý, chiến lƣợc lƣu phải tính đến yêu tố thời 87 gian lƣu lƣợng lƣu để trách tƣợng xung đột nghẽn mạch có nhiều thiết bị (máy chủ ứng dụng, thiết bị lƣu backup) đồng thời truy cập vào nguồn liệu tủ đĩa Tính tích hợp đa hệ Để tạo giải pháp đồng có nhiều phần cứng, phần mềm khác hệ thống, mạng lƣu trữ lựa chọn giải pháp cần ý yếu tố sau: + Dữ liệu lƣu trữ đƣợc phát triển hỗ trợ nhiều tảng phần mềm ứng dụng Ví dụ, thơng tin tài liệu đƣợc quản lý hệ sở liệu nhƣ Oracle, SQL Server, DB2… + Thiết bị đƣợc hỗ trợ khả tích hợp tƣơng thích với nhiều hệ thống phần cứng hệ điều hành, hỗ trơ ̣ nhiề u giao thƣ́c chuẩ n công nghệ khác Ví dụ, phần mềm đƣợc hỗ trợ phát triển nhiều máy chủ khác nhau, tƣơng thích hệ điều hành phổ biện (Microsoft, Linus…), hỗ trợ quản trị hệ thống qua giao diện Web, thiết bị truyền thông đƣợc hỗ trợ nhiều cổng giao tiếp phù hợp với giao thức khác Đơn giản hoá hệ thống Để hỗ trợ việc triển khai điều hành hệ thống mạng thuận lợi, hãng công nghệ hỗ trợ phần mềm tích hợp tính quản lý, điều hành hệ thống thuận tiện Ví dụ, sản phẩm HP OpenView Data Protector HP hay sản phẩm Productivity Center Standard Edition hãng IBM, phần mềm sử dụng giao diện đồ hoạ cho ứng dụng quản trị, lắp đặt vận hành hệ dễ dàng, hỗ trợ ngƣời quản trị tối ƣu công việc 3.2.6.3.2 Đánh giá giải pháp kỹ thuật theo phương án thứ Với phƣơng án thiết kế mạng lƣu trữ theo phƣơng án thứ nhất, ngồi tính kỹ thuật nhƣ (mục 3.2.6.3.1), hệ thống đạt đƣợc đặc tính nhƣ: Hệ thống mạng khơng phức tạp nhƣ mơ hình mạng theo phƣơng án thứ hai với số lƣợng thiết bị hơn, chi phí đầu tƣ cho thiết bị vận hành nhỏ hơn, đáp ứng tiêu chí kỹ thuật đề 88 Tuy nhiên với phƣơng án thứ thứ nhất, đặc tính nhƣ tính sẵn sàng độ ổn định hệ thống không cao so với phƣơng án thứ hai Ví dụ, với trƣờng hợp Switch hỏng, hệ thống SAN không truyền thông đƣợc với cổng HBA hỏng máy chủ không truyền thông với mạng SAN 3.2.6.3.3 Đánh giá giải pháp kỹ thuật theo phương án thứ hai Phương pháp áp dụng Để thiết kế cấu trúc mạng lƣu trữ SAN theo phƣơng án thứ hai, phƣơng pháp áp dụng phƣơng pháp dƣ thừa hay dự phịng (Redundant) để tăng tính tối ƣu cho mạng lƣu trữ nhƣ tính ổn định, tính sẵn sàng cao hệ thống, phòng ngừa thảm hoạ, hỗ trợ hiệu suất… theo tiêu chí kỹ thuật Các giải pháp kỹ thuật hệ thống: - Giải pháp dự phịng hệ thống truyền thơng mạng Để đảm bảo tính sẵn sàng hệ thống truyền thơng, giải pháp trang bị thêm thiết bị dự phòng đƣợc áp dụng (2 switch, tăng lần số cổng hay số Card HBA máy chủ, điều khiển controller) để tạo hiệu dự phịng, nâng cao tính sẵn sàng thiết bị tăng hiệu suất tuyền liệu kết nối hay truy cập đa đƣờng - Giải pháp kết cấu Fabric Kết cấu fabric gồm 02 SAN Switch kết nối song song với Kết cấu Fabric tạo hệ thống xƣơng sống mạng tốc độ cao (10Gb/s), hỗ trợ đƣờng truyền dẫn thông tin ổn định tin cậy thuận lợi cho truyền dẫn thông lƣợng cao, phù hợp với ứng dụng truyền Multimedia, video Kết cấu Fabric vừa đảm bảo chức dự phòng, vừa đảm bảo việc phân tải cho máy chủ ứng dụng Về nguyên tắc hoạt động, cấu hình hoạt động hệ thống SAN Switch theo nguyên tắc thời điểm cho SAN Switch đƣợc sử dụng để trao đổi thơng tin, cịn SAN Switch có chức dự phịng, phân bổ quyền hạn SAN Switch nguyên tắc phân tải cho máy chủ ứng dụng Ví dụ, giải pháp HP với dòng sản phẩm StorageWorks SAN Switch 2/8N PowerPack có 02 SAN Switch Đây là thế ̣ Fibre Channel 89 SAN Switch hỗ trợ giao diện quang tốc đô ̣ truyền 10Gb/s, mỗi mô ̣t Switch có cổ ng, băng thông Switch 10GB/s (10 Gb/s x cổng / 8), băng thông truyền dẫn switch nối song song 20GB/s Cũng với giải pháp HP với sản phẩm phần mềm SecurePath điều khiển cân tải tính sẵn sàng cho kết nối đƣờng từ cổng HBA qua SAN switches tới cổng điều khiển controller tủ đĩa EVA4000 đáp ứng cho máy chủ yêu cầu tính sẵn sàng cao hiệu cao Ngồi ra, với trƣờng hợp cổng Switch bị hỏng, nhiều kết nối chung cổng Switch lại tƣợng không đủ băng thông xảy Khi đó, giải pháp xử lý tải nhƣ sau: SAN switch sử dụng thuật toán để chia băng thông cổng thành nhiều phần nhỏ sử dụng phần nhỏ để đáp ứng yêu cầu cho cổng có liệu đến - Giải pháp nâng cao khả lưu liệu Đặc điểm giải pháp lƣu trực tiếp băng từ Tape diễn chậm liệu đƣợc lƣu theo phƣơng pháp tuần tự, trình phục hồi diễn chậm Hình 3.5 Mơ hình mạnh SAN theo giải pháp lƣu tủ đĩa lƣu dự phòng 90 Giải pháp lƣu tủ đĩa dự phịng (Hình 3.5) khắc phục hạn chế tốc độ lƣu việc sử dụng tủ đĩa dự phòng hay gọi Virtual Tape Khi đó, tủ đĩa dự phịng làm tủ đệm để lƣu liệu từ tủ đĩa lƣu trữ chính, sau dùng giải pháp Copy liệu lƣu sang băng từ vào thời điểm khác cách theo khoảng thời gian đƣợc lập lịch Giải pháp lƣu Disk to Disk to Tape đảm bảo liệu đƣợc lƣu phục hồi cách nhanh (sao lƣu từ ổ đĩa sang ổ đĩa nhanh tốc độ lƣu từ ổ đĩa sang băng từ Tape) Dữ liệu đƣợc lƣu cách nhanh nhất, rút ngắn thời gian lƣu phục hồi liệu, đồng thời tối ƣu tính xác liệu sau phục hồi Ngồi ra, Tủ đĩa dự phịng đặt cách xa trung tâm lƣu trữ (hệ thống thiết bị lƣu trữ) với khoảng cách tối đa 10km, biện pháp phòng cho trƣờng hợp thảm hoạ xẩy với trung tâm liệu Mặc dù giải pháp lƣu tủ đĩa lƣu dự phịng có đặc tính vƣợt trội so với giải pháp lƣu băng từ Tape, nhiên chí phi đầu tƣ cao Vì vậy, giải pháp lƣu tủ đĩa lƣu dự phòng nên đƣợc đầu tƣ khoảng cuối giai đoạn dự án để giảm chi phí đầu tƣ ban đầu lớn, khối lƣợng liệu nhiều ổn định thuận lợi cho lƣu - Giải pháp sử dụng phần mềm tiện ích: Trong kết cấu fabric, cài đặt phần mềm tiện ích nhƣ: Phân vùng, Đa đƣờng, Cân tải để giải vấn đề thắt cổ chai tăng hiệu suất truyền thông - Hạn chế Với giải pháp kỹ thuật hệ thống theo mô hình mạng lƣu trữ phƣơng án thứ hai sử dụng phƣơng pháp dƣ thừa (dự phòng) làm tăng chí phí đâu từ cho việc mua thêm thiết bị nhƣ chủng loại 3.2.6.4 Tính tốn hiệu suất truyền hệ thống SAN Giả sử ta có hệ thống nhƣ hình 3.6 với thành phần: + LAN: 100 máy trạm, E Switch 100port 100/1000Mbs-2port 10Gbs + Mạng SAN gồm: máy chủ File Server có card HBA tốc độ 10Gb/s, SAN Switch 16 cổng tốc độ 10Gb/s, Controller hệ thống tủ đĩa 91 Hình 3.6 Mơ hình tốn Bài tốn 1: Máy trạm truy suất liệu với tốc độ truyền 1Gb/s từ mạng LAN qua Switch 100 cổng tới SAN - Tính hiệu suất mạng: Tốc độ đọc/ghi ổ cứng máy trạm 200Mb/s nhỏ tốc độ truyền mạng LAN 1Gb/s, ta có tốc độ truy suất (tốc độ truyền) mạng LAN tƣơng ứng 200Mb/s, với 100 cổng truy cập đồng thời địi hỏi băng thơng là: 200(Mb/s) x 100 = 20000(Mb/s) ≈ 2500MB/s Băng thông hệ thống SAN: x 10Gb/s ≈ 2500MB/s Áp dụng (CT2) ta có: Hiệu suất mạng hệ thống SAN  2500MB / s  100%  100% 2500MB / s - Tính tốn truyền liệu tệp ảnh JPG (500KB): + Hệ thống SAN đáp ứng 1s truyền tối đa số tệp ảnh JPG (500KB) là: 2050 (MB/s) / 500 (KB) = 5000 tệp ảnh + Với 100 cổng truy cập đồng thời, tính bình qn cổng (~ máy trạm) truy suất đƣợc 50-100 tệp ảnh JPG vịng giây - Tính tốn hiệu suất truyền liệu tệp ảnh BMP (5MB) + Hệ thống SAN đáp ứng 1s truyền tối đa số tệp ảnh JPG (5MB) là: 2500 (MB/s) / 5(MB) = 500 tệp ảnh BMP + Với 100 cổng truy cập đồng thời, tính bình qn cổng truy suất 92 đƣợc 5-10 tệp ảnh BMP vòng giây - Tính tốn hiệu suất truyền liệu tệp media (500MB) + Hệ thống SAN đáp ứng 1s truyền tối đa số tệp media (500MB) là: 2500 (MB/s) / 500 (MB) = tệp media Bài toán 2: Máy trạm truy suất liệu với tốc độ truyền 100Mb/s từ mạng LAN qua Switch 100 cổng tới SAN - Tính hiệu suất mạng: Tốc độ đọc/ghi ổ cứng máy trạm 200Mb/s lớn tốc độ truyền mạng LAN 100Mb/s, ta có tốc độ truy suất từ mạng LAN tƣơng ứng 100Mb/s, với 100 cổng truy cập đồng thời địi hỏi băng thơng là: 100(Mb/s) x 100 = 10000 (Mb/s) ≈ 1250MB/s; Băng thông hệ thống SAN: x10Gb/s ≈ 2500MB/s Áp dụng (CT2) ta có: Hiệu suất mạng hệ thống SAN  2500MB / s  100%  200% 1250MB / s 3.2.6.5 Kiến nghị Giải pháp mạng lƣu trữ cho Kho lƣu trữ điện tử Văn phòng Trung ƣơng nên triển khai theo giai đoạn: - Giai đoạn đầu: xây dựng mạng lƣu trữ theo phƣơng án thứ hai đặc tính trội nhƣ độ ổn định tính sẵn sàng cao hệ thống, phòng ngừa thảm hoạ, hỗ trợ hiệu suất cao Đây yếu tố cần thiết cho trung tâm liệu lớn nhƣ kho lƣu trữ điện tử - Trong giai đoạn (thời gian cuối dự án) nên đầu tƣ thêm giải pháp lƣu tủ đĩa lƣu dự phòng để đảm bảo liệu đƣợc lƣu phục hồi nhanh nhất, an tồn, giảm chi phí đầu tƣ giai đoạn đầu q lớn 93 KẾT LUẬN Trƣớc tiên, Luận văn giới thiệu tổng quan nêu đặc điểm mạng lƣu trữ SAN công nghệ truyền thông áp dụng để xây dựng mạng lƣu trữ khác Qua đặc trƣng mạng lƣu trữ cho thấy tính đặc tính kỹ thuật nhƣ sau: - Cấu trúc mạng lƣu trữ SAN tƣơng tự nhƣ mạng cục LAN nhƣng tách biệt khỏi mạng cục - Tính trao đổi liệu mạng: chức mạng SAN chuyển đổi liệu hệ thống máy chủ hệ thống thiết bị lƣu trữ; - Tính mạng chuyên biệt: SAN tổ chức mạng chuyên đảm nhận chức lƣu trữ dành riêng cho máy chủ để giảm tải cho máy chủ khỏi công việc lƣu trữ; - Đặc tính kỹ thuật mạng: Cơ sở hạ tầng truyền thông SAN cho phép thiết bị mạng kết nối vật lý trao đổi liệu với thông lƣợng cao, khoảng cách kết nối xa, độ trễ nhỏ, đảm bảo độ tin cậy an ninh cao Tiếp theo, luận văn tập trung phân tích so sánh đặc điểm truyền liệu hai công nghệ truyền thông Fibre Channel iSCSI (áp dụng cho xây dựng giải pháp mạng lƣu trữ FC SAN IP SAN) phƣơng diện: giao thức mạng, khung liệu, phƣơng thức truyền liệu, xử lý lỗi, dịch vụ mạng, ứng dụng giải pháp… Qua sở phân tích trên, tác giả cho rằng: Giải pháp mạng lưu trữ FC SAN dựa công nghệ Fibre Channel giải pháp tối ưu cho xây dựng trung tâm liệu lớn hay Kho lưu trữ điện tử, công nghệ FC SAN trở thành yếu tố chuẩn cho mạng lưu trữ đặc tính trội cơng nghệ Fibre Channel độ tin cậy, tính sẵn sàng cao, khả phát triển để đáp ứng yêu cầu hiệu suất, lƣu trữ … Cuối cùng, vào yêu cầu dự án yêu cầu kỹ thuật công nghệ, tác giả đề xuất xây dựng mạng lƣu trữ SAN sử dụng công nghệ FC cho Kho lƣu trữ điện tử Văn phòng Trung ƣơng với hai phƣớng án Trên 94 sở phân tích, đánh giá, tính tốn truyền liệu hai phƣơng án giải pháp, tác giả cung cấp thông tin cần thiết để Văn phịng Trung ƣơng lựa chọn đồng thời kiến nghị giải pháp tối ƣu cho dự án Với tốc độ phát triển công nghệ thông tin nhanh nhƣ nay, chắn sau năm 2010 hệ thống lƣu trữ đại phát triển xa hơn, với khả lƣu trữ lớn tốc độ nhanh Giải pháp mạng lƣu trữ cho Dự án Kho lƣu trữ điện tử đƣợc triển khai theo Đề án tin học hoá giai đoạn 2006-2010, đáp ứng mục tiêu đề năm 2010 kéo dài đến 2015 Bởi theo Đề án tin học hoá giai đoạn 2006-2010, đến năm 2010, hệ thống sở hạ tầng mạng LAN Văn phòng Trung ƣơng chƣa nâng cấp lên tốc độ gigabit, lƣợng liệu không tăng nhiều khả mở rộng dung lƣợng lƣu trữ có giới hạn, mạng lƣu trữ đáp ứng đƣợc yêu cầu truy suất liệu lớn Giả sử, sau năm 2010, hạ tầng sở mạng LAN nâng cấp lên tốc độ gigabit, mạng lƣu trữ FC SAN nâng cấp thành mạng IP SAN với việc cung cấp thêm Switch hỗ trợ hai cổng Fibre Channel cổng cổng giao tiếp iSCSI để kết nối mạng IP Khi đó, mạng lƣu trữ đáp ứng yêu cầu truy suất liệu với tốc độ cao cho máy chủ máy trạm từ mạng LAN, phạm vi hoạt động SAN đƣợc mở rộng hơn, chi phí nâng cấp khơng nhiều Do hạn chế thời gian phạm vi nghiên cứu nên luận văn chƣa phân tích sâu vào đặc tính hệ thống để làm rõ giải pháp cung cấp * * * - Thank you for evaluating AnyBizSoft PDF Merger! To remove this page, please register your program! Go to Purchase Now>> AnyBizSoft PDF Merger  Merge multiple PDF files into one  Select page range of PDF to merge  Select specific page(s) to merge  Extract page(s) from different PDF files and merge into one