Nghiên cứu về mạng lưu trữ và đề xuất phương án mạng lưu trữ ứng dụng cho tổng công ty bảo hiểm việt nam

HOÀNG DƯƠNG THỊNH BỘ GIÁO DỤC VÀ ðÀO TẠO TRƯỜNG ðẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGHÀNH : CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU VỀ MẠNG LƯU TRỮ VÀ ðỀ XUẤT PHƯƠNG ÁN MẠNG LƯU TRỮ ỨNG DỤNG CHO TỔNG CƠNG TY BẢO HIỂM VIỆT NAM HỒNG DƯƠNG THỊNH 2004- 2006 Hà Nội 2006 H NI 2006 Bộ giáo dục đào tạo Trờng đại học bách khoa hà néi - LUậN VĂN THạC Sỹ KHOA HọC Nghiên cứu mạng lu trữ đề xuất phơng án mạng lu trữ ứng dụng cho tổng công ty bảo hiểm việt nam NGàNH : CÔNG NGHệ THÔNG TIN M Số : HOàNG DƯƠNG THịNH Ngời hớng dẫn khoa học : TS trịnh văn loan Hà nội 2006 -1 - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - LỜI CẢM ƠN Trong lời ñầu tiên luận văn Thạc sĩ khoa học này, em muốn gửi lời cảm ơn biết ơn chân thành tới tất người hỗ trợ, giúp ñỡ em chuyên môn, vật chất tinh thần trình thực Luận văn Trước hết, em xin chân thành cảm ơn thầy giáo Tiến sĩ Trịnh Văn Loan người ñã trực tiếp hướng dẫn, nhận xét, giúp ñỡ em suốt trình thực luận văn Em xin chân thành cảm ơn thầy, cô giáo khoa Công nghệ Thông tin, Bộ môn Kỹ thuật Máy tính,Trung tâm đào tạo bồi dưỡng sau đại học thầy cô Trường ðại học Bách Khoa Hà Nội, người ñã dạy dỗ, bảo em suốt năm học tập trường Cuối cùng, em xin bày tỏ lịng biết ơn tới gia đình, người bạn thân bạn ñồng nghiệp ñã giúp đỡ, động viên em suốt q trình học tập làm luận văn tốt nghiệp Do thời gian thực có hạn, kiến thức chun mơn cịn nhiều hạn chế nên luận văn em thực chắn khơng tránh khỏi thiếu sót định Em mong nhận ý kiến đóng góp thầy giáo bạn Em xin chân thành cảm ơn! Hà Nội,ngày 15 tháng 11 năm 2006 Học viên Hoàng Dương Thịnh _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- -2– - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - MỞ ðẦU Trước hệ thống máy tính lớn thường ñược sử dụng ñể quản lý tập trung dịch vụ liệu Ở hệ thống thiết bị lưu trữ ñược gắn trực tiếp vào kênh vào/ra máy chủ Máy chủ ñộc quyền truy xuất quản lý tất thiết bị lưu trữ gắn trực tiếp vào chúng Khi đó, ứng dụng máy trạm truy xuất liệu cách gián tiếp thông qua mạng Workstation Laptop Network & LAN Main frame Disk array Server Disk array Hình - Mơ hình thiết bị lưu trữ gắn trực tiếp Mơ hình “thiết bị lưu trữ gắn trực tiếp” hoạt ñộng hiệu thời gian dài, ñặc biệt mơi trường xí nghiệp vừa nhỏ Tuy nhiên áp dụng mơ hình cho doanh nghiệp lớn (doanh nghiệp ñang sử dụng ứng dụng có lượng liệu luân chuyển lớn có nhiều u cầu đặc biệt) mơ hình bộc lộ nhiều ñiểm hạn chế: Khả mở rộng: Số thiết bị gắn trực tiếp vào kênh vào máy chủ thường bị giới hạn số cố ñịnh Ví dụ kênh SCSI giới hạn 16 thiết bị kênh kể thiết bị ñiều hợp Khi ñó, dung lượng liệu lưu trữ bị giới hạn theo Hiệu thực thi: Các thiết bị lưu trữ chia sẻ băng thông kênh vào _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- -3– - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - mà chúng gắn vào Do vậy, gắn thêm thiết bị lưu trữ vào kênh làm giảm hiệu thực thi Giới hạn mặt khoảng cách: Khơng gian đặt thiết bị lưu trữ bị ràng buộc ñịnh khoảng cách, ñặc biệt kênh giao tiếp song song Nhằm ñảm bảo hiệu thực thi kỹ thuật tín hiệu điện, kênh vào có độ dài tối ña thường vài mét Khả sẵn sàng: Người quản trị phải tắt hoạt động tồn chuỗi thiết bị kênh muốn bổ sung, loại bỏ hay cấu hình lại hệ thống lưu trữ ðiều ảnh hưởng ñến hoạt ñộng liên tục hệ thống Bảo vệ liệu: Khi có nhiều máy chủ, chi phí cho thiết bị lưu liệu tăng nhanh ñồng thời việc quản trị phức tạp phải lưu liệu máy chủ riêng biệt Ngồi ra, việc lưu thơng qua mạng cục ảnh hưởng ñến hoạt ñộng mạng doanh nghiệp thời gian dài Hiệu quả: Khó phân phối lại khơng gian lưu trữ máy chủ quản lý hoạt ñộng thiết bị cách riêng biệt ðiều dẫn tới hầu hết công ty phải mua bổ sung thiết bị cho máy chủ máy chủ khác nhiều khơng gian lưu trữ chưa dùng đến Những hạn chế mơ hình “thiết bị lưu trữ kết nối trực tiếp” lý thúc đẩy cơng nghệ lưu trữ sang hệ mới, hệ “mạng lưu trữ” Mạng lưu trữ có tiềm ñược ứng dụng rộng rãi ưu ñiểm sau: - Mạng lưu trữ ñưa khả mở rộng, cho phép kết nối hàng ngàn thiết bị lưu trữ phân tán phạm vi rộng lớn - Mạng lưu trữ cho phép lưu chuyển liệu thiết bị lưu trữ mà không chiếm dụng băng thông mạng cục trung chuyển qua máy chủ - Mạng lưu trữ cho phép cấu hình lại bảo trì hệ thống lưu trữ mà khơng u cầu dừng hoạt động hệ thống _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- -4– - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - - Mạng lưu trữ cung cấp giải pháp quản lý tập trung lực lưu trữ Mấy năm gần ñây, thị trường SAN ñạt mức tăng trưởng cao nhờ hỗ trợ đa dạng hóa giải pháp kết nối Theo thống kê của tổ chức Gartner Group’s Dataquest, riêng thị trường Nhật ñã ñạt doanh thu 7.2 tỷ la mỹ đạt mức tăng trưởng 17.5% năm 2005 Cơng nghệ SAN áp dụng nhiều nước giới Ở Việt Nam, cơng nghệ SAN gây quan tâm thời gian gần ñây bước ñầu ñược ứng dụng Luận văn tập trung nghiên cứu công nghệ SAN, tình hình phát triển SAN giới khả ứng dụng công nghệ SAN Việt Nam, qua xây dựng giải pháp thích hợp lưu trữ khối lượng liệu lớn doanh nghiệp cụ thể Cấu trúc luận văn bao gồm: Phần: “Mở ñầu” giới thiệu hình thành cơng nghệ lưu trữ SAN, tiềm SAN Chương 1: “Mạng lưu trữ - SAN” Tổng quan hệ thống mạng lưu trữ: khái niệm bản, thành phần chính, ứng dụng mạng SAN, việc quản lý khai thác mạng SAN Chương 2: “IP SAN” Phân tích chi tiết hai giao thức iFCP iSCSI Các giao thức ñược sử dụng làm sở phát triển công nghệ SAN dựa tảng IP Chương 3: “Ứng dụng SAN giải toán thực tiễn”, thiết kế mạng lưu trữ giải toán lưu trữ khối lượng liệu lớn Tổng Công ty Bảo Hiểm Việt Nam ( Bảo Việt) Cuối cùng, phần: “Kết luận” tổng hợp lại nghiên cứu luận văn, giới thiệu số hướng phát triển khắc phục số hạn chế SAN _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- -5– - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - CHƯƠNG 1: MẠNG LƯU TRỮ - SAN 1.1 Mạng lưu trữ gì? Mạng lưu trữ SAN (Storage Area Network) ñược ñịnh nghĩa mạng dành riêng liên kết máy chủ thiết bị lưu trữ [6] Nó có cấu trúc tương tự mạng cục (LAN) tách biệt khỏi mạng cục Máy chủ thiết bị lưu trữ gọi nút (node) mạng lưu trữ Sơ ñồ mạng lưu trữ ñược thể qua hình Desktop Workstation Laptop computer Network & LAN Server Server Main frame Storage Area Network Disk array Tape drive Disk array Hình - Sơ đồ mạng lưu trữ Mạng lưu trữ giải pháp kết nối thiết bị lưu trữ với máy chủ SAN sử dụng tiến công nghệ mạng nhằm nâng cao băng thông, hiệu thực thi ñộ sẵn sàng cao cho hệ thống lưu trữ [6] Mạng lưu trữ ñược sử dụng ñể kết nối: mạng ñĩa ñược chia sẻ (Shared Storage Array), cụm máy chủ (Cluster Server), ñĩa hay ổ băng từ máy tính lớn (MainFrame Disk or Tape) với máy chủ máy trạm ðơn giản, mạng lưu trữ mạng thông thường _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- -6– - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - ñược tạo nên từ giao diện thiết bị lưu trữ Do mạng lưu trữ tách biệt với hệ thống mạng thông thường nên hoạt ñộng không chiếm băng thông hệ thống mạng Mạng lưu trữ thể hướng chia sẻ không gian lưu trữ mới, cho phép nhiều máy chủ chia sẻ không gian lưu trữ Mạng lưu trữ hỗ trợ ba kiểu trao ñổi liệu: - Máy chủ tới thiết bị lưu trữ: kiểu kết nối truyền thống, mạng lưu trữ có ưu điểm lớn cho phép nhiều máy chủ truy xuất lúc tới thiết bị lưu trữ - Máy chủ tới máy chủ: sử dụng mạng lưu trữ làm ñường truyền thông máy chủ - Thiết bị lưu trữ tới thiết bị lưu trữ: cho phép truyền tải liệu thiết bị lưu trữ mà khơng có can thiệp máy chủ ðiều giúp cho liệu ñược truyền tải nhanh ñồng thời không tốn thời gian xử lý CPU Tuy cấu trúc giống mạng thông thường, mạng lưu trữ SAN có số khác biệt tạo dựng từ giao diện thiết bị lưu trữ Nếu mạng thơng thường giao diện kết nối có dạng mạng lưu trữ giao diện kết nối chuẩn kết nối song song 1.2 Thiết bị lưu trữ gắn mạng (NAS - Network Attached Storage) Thiết bị lưu trữ gắn mạng (NAS - Network Attached Storage) dãy ñĩa gắn trực tiếp với mạng LAN thông qua giao diện kết nối Ethernet [6] Với chức máy chủ mô hình Client/Server, NAS có vi xử lý riêng, hệ ñiều hành riêng ñối tượng xử lý file ðại diện tiêu biểu cho mơ hình thiết bị lưu trữ gắn mạng Server Message Block Network File System _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- -7– - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - Ethernet NAS Processor IDE, SCSI Disk Hình - Kiến trúc NAS Phân biệt NAS với SAN: dựa phương thức trao ñổi liệu theo file hay khối (block) NAS truyền tải file qua giao thức hướng file NFS (Network File System) hay CIFS (Common Internet File System) SAN truyền tải khối giao thức hướng khối SCSI-3 NAS Data Base Applications Block I/O Block I/O converted to File I/O protocol IP Network File Protocols (NFS, CIFS ) FCP SAN Data Base Applications Block I/O FC Network SCSI Protocols iSCSI SAN Data Base Applications Block I/O IP Network iSCSI Protocols File I/O protocol converted to Block I/O Pooled Storage Pooled Storage Pooled Storage Hình - So sánh NAS SAN 1.3 Các thành phần mạng lưu trữ - SAN Components 1.3.1 Máy chủ SAN Máy chủ SAN phần tử tính tốn gắn trực tiếp vào mạng SAN [3] Máy chủ SAN có nhiệm vụ quản lý tơpơ mạng trừu tượng hóa thiết bị lưu trữ Máy chủ SAN hoạt động nhiều hệ ñiều hành khác _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 62 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - gồm nhiều thành phần: máy chủ, máy trạm, thiết bị mạng, thiết bị lưu trữ, hệ ñiều hành, hệ quản trị sở liệu, hệ phần mềm hỗ trợ nhóm vv Những hiểu biết chuyên sâu lĩnh vực công nghệ thông tin thuận lợi cho việc thiết kế xây dựng phần mềm quản lý SAN tốt “IBM Tivoli Storage Manager” phần mềm quản lý SAN ñược thiết kế theo kiến trúc mở ñể ñảm bảo khả hoạt ñộng môi trường hỗn hợp Layers Layer Layer Functions Products Applications Management Centralized, enterprise management Logical application view Data Management Tivoli Storage Manager Tivoli Data Protection for Workgroups Backup/restore data movement HSM Tivoli Data Protection for Applications File management Tivoli Disaster Recovery Manager Tivoli Decision Support for Stor Mgt Analysis Tivoli Global Enterprise Manager Layer Resource Management Asset management Monitoring/reporting Policy management Tivoli Space Manager Tivoli SAN Removable Media Manager Tivoli SAN Disk Manager Tivoli SAN Data Sharing Tivoli Decision Support for Stor Resource Mgt Layer Network Management Error management configuration Performance Tivoli SAN Manager Layer Element Management StorWatch Specialists/Experts SAN hardware management Tivoli Management Agent Tivoli Integration Tool Kit Hình 32 - Kiến trúc phần mềm Tivoli “IBM Tivoli Storage Manager” khơng gói phần mềm mà tập hợp mơ đun phần mềm Trong lớp mơ hình chuẩn mở tương ứng với nhiều mơ đun phần mềm Việc chia nhỏ thành mơ đun đảm bảo tính _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 63 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - linh hoạt việc phát triển phần mềm quản lý Hơn khách hàng khơng phải mua tồn mà mua thành phần cần thiết cho nhu cầu ðiều phù hợp với Bảo Việt nói riêng đơn vị Việt nam nói chung nguồn lực tài hạn hẹp Những mơ đun phần mềm Tivoli dự kiến trang bị cho giải pháp SAN Bảo việt bao gồm: * Tivoli Global Enterprise Manager (Tivoli GEM): Thuộc lớp quản lý ứng dụng, Tivoli GEM cung cấp nhìn suốt, tổng thể hệ thống lưu trữ Nó giúp quản trị viên tối ưu hóa tài nguyên theo ứng dụng theo dõi tình trạng hoạt động SAN * Tivoli Storage Manager (TSM): Khơng thể thiếu mơ đun giải pháp, cung cấp tảng để quản lý liệu Thuộc lớp quản lý liệu, TSM ñược cài ñặt lớp bên lớp quản lý sở liệu (Database Manager) TSM tối ưu hóa truy xuất liệu ứng dụng ñối với sở liệu TSM cung cấp thêm chức năng: - Chia sẻ ổ tape (Tape Resoure Sharing) - Sao lưu liệu từ máy trạm mà không sử dụng băng thông LAN (LANfree backup/client transfer) - Truyền tải liệu không thông qua máy chủ (Server-free data transfer) * Tivoli SAN Disk Manager (Tivoli SDM): sử dụng Tivoli SDM, quản trị hệ thống có thể: tạo quỹ đĩa ảo từ thiết bị lưu trữ gắn vào SAN, bớt phân bổ thêm khơng gian lưu trữ ảo đó, bảo mật, thiết lập kết nối logic thiết bị chủ quản với LUNs (Logical Units) SAN Nằm lớp quản lý tài nguyên, Tivoli SDM bao gồm thành phần: - Common Discovery Agents: Tích hợp Agent để phục vụ chức quản lý cho mơ đun thuộc lớp bên - Host to LUN mapping: cho phép tạo kết nối logic bảo mật theo kịch bản: _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 64 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - o Một số LUN với thiết bị chủ quản o Một số LUN với nhiều thiết bị chủ quản (hay sử dụng với clustering) o Kết hợp hai kịch - Hỗ trợ ñịnh quản lý tài nguyên lưu trữ: việc ñưa số liệu thống kê tài nguyên lưu trữ: o Số liệu thiết bị: thông tin toàn thiết bị phần cứng SAN o Số liệu không gian lưu trữ: thông tin không gian lưu trữ thực dụng, không gian lưu trữ thực tế, dung lượng trống … - Tự ñộng cấp phát không gian lưu trữ: cho phép ngăn ngừa lỗi xảy ứng dụng sử dụng hết khơng gian đĩa cấp phát Khi tỷ lệ phần trăm liệu lưu trữ/ không gian lưu trữ phân vùng logic lớn ngưỡng người quản trị thiết lập Hệ thống tự ñộng phân bổ khơng gian lưu trữ dự phịng cho phân vùng Chi tiết phân bổ dựa theo thông tin người quản trị cung cấp như: cấp phát thêm dung lượng, lấy từ nguồn dự phòng * Tivoli SAN Manager (Tivoli SM): Mơ đun cung cấp thông tin quản lý mức mạng cho mơ đun phần mềm thuộc lớp Nó sử dụng “Common Discovery Agents” ñể phát theo dõi thiết bị gắn vào SAN Mọi thông tin thu thập sở để đưa mơ hình kiến trúc vật lý SAN Người quản trị thực phân vùng ánh xạ kết nối từ thiết bị chủ quản ñến thiết bị lưu trữ hay kết nối từ thiết bị lưu trữ ñến thiết bị chủ quản dựa mơ hình kiến trúc vật lý Tivoli SM ln theo dõi trạng thái hoạt ñộng thiết bị Khi xảy lỗi, mặt thơng báo với người quản trị, mặt khác cố gắng lập lỗi * Tivoli Management Agent (Tivoli MA): Thuộc lớp quản lý thành phần, Tivoli MA quản lý thiết bị phần cứng từ nhà sản xuất khác cách tự cập nhật, bổ sung trình điều khiển thiết bị kèm vào phần mềm Nhờ sử dụng ñúng phần mềm ñiều khiển thiết bị cho thiết bị, Tivoli MA loại trừ ñược _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 65 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - hoạt động khơng ổn định thiết bị thành phần 3.3.2.5 Thể chi tiết đánh giá M¸ y nghiƯp vơ M¸ y nghiƯp vụ iSCSI SAN tạ i thành phố Hồ ChíMinh IP LAN Lease Line Cơm m¸ y chđ øng dơng: BVLife Cơm m¸ y chđ øng dơng: Lotus Notes Cơm ¸ y chđ øng dơng: KÕto¸ n Cơm m¸ y chđ ứng dụng: Phi nhân thọ WAN Firewall Gắn iSCSI Accelerater 2Gbps 2Gbps 3Com iSNS server Cisco 6509 Cisco 6509 Cisco SN5420 Storage Router 3C om Bay Ne twor ks IP SAN 2Gbps 2Gbps IBM Fibre Channel IBM Tape Library 3583 IBM G¾n iSCSI Accelerater IBM IP Storage 200i model 210 IBM IBM IBM IP Storage 200i model 210 IBM IBM IBM IP Storage 200i model 210 Hình 33 - Thiết kế SAN trung tâm liệu Hà nội Tính sẵn sàng cao: Hệ thống thiết kế để ñảm bảo tính sẵn sàng cao tất mức: - Máy chủ ñược tổ chức thành Cluster (cụm) - Hệ thống mạng backbone bao gồm cặp hai chuyển mạch Cisco Catalyst 6509 - Các kết nối thiết bị lưu trữ với với máy chủ ñều sử dụng kết _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 66 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - nối nhiều đường (2 đường) Mơ hình kết nối mơ hình kết nối đầy đủ - Các thiết bị lưu trữ áp dụng cơng nghệ RAID nhiều tầng ñể bảo vệ liệu Bản thân thiết bị lưu trữ cấu hình RAID bảo vệ liệu hệ thống lưu trữ (IBM IP Storage 200i) Tiếp ñến sử dụng phần mềm Tivoli để cấu hình RAID 10 cho cụm hai “IBM IP Storage 200i series 210” Với thiết kế trên, ñộ sẵn sàng hệ thống ñạt ñược cao Khả trì hoạt động tính (theo mơ hình khả Markov) sau: - Gọi P0: khả thái hoạt động bình thường hệ thống - Gọi P1: khả thiết bị bị hỏng hệ thống hoạt ñộng ñược - Gọi P2: khả hệ thống bị hỏng (cả hai thiết bị hỏng) - P0 + P1 + P2 = - Gọi λ: tần suất xuất lỗi (tính theo đơn vị lỗi/giờ) - Gọi µ: thời gian khắc phục lỗi (tính theo giờ) Khi đó, quan hệ P0, P1, P2 ñược thể qua hệ phương trình: 6λ P0 = µ (P1+P2) P1 (3λ + µ) = 6λ P0 µ P2 = 3λ P1 Ước tính theo số liệu hãng Cisco cung cấp (µ =0.5 giờ, λ = 1.39 x 10-6), ðộ sẵn sàng hệ thống đạt khoảng 99.999999% Khơng gian lưu trữ: Theo thiết kế này, không gian lưu trữ tối đa SAN tính sau: 73.4GB*54*(2/3)*(6/2) = 7927.2GB (xấp xỉ TB) Trong đó: - 73.4 GB dung lượng ổ cứng thiết bị “IBM IP Storage 200i model 210” _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 67 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - - 54 (48 external + internal) số ổ cứng tối ña thiết bị “IBM IP Storage 200i model 210” - 2/3 tỷ số dung lượng lưu trữ thực thiết bị “IBM IP Storage 200i model 210” ñược cấu hình RAID - 6/2 tỷ số dung lượng lưu trữ thực thiết bị “IBM IP Storage 200i model 210” thiết bị cấu hình RAID 10 Khơng gian lưu trữ phân bổ cho máy chủ ứng dụng tùy theo nhu cầu liệu Máy chủ trung tâm số liệu ñược tổ chức thành cụm, cụm chạy nhóm ứng dụng riêng biệt Chi tiết tổ chức dịch vụ cụm máy chủ bao gồm: - Cụm máy chủ ứng dụng BV Life sử dụng phần mềm quản trị sở liệu Oracle Hệ quản trị Oracle cấu hình để thực thao tác vào dựa khối liệu logic (I/O Block) mà phần mềm quản lý SAN (mơ đun Tivoli Storage Manager) cung cấp, nhằm ñạt hiệu cao việc truy xuất cập nhật sở dư liệu Phần mềm Oracle 9i ñược cài ñặt hệ ñiều hành Unix phần phần cứng HP Class 9000 - Cụm máy chủ ứng dụng kế toán, quản lý nhân sử dụng dịch vụ file mơ đun Tivoli Storage Manager cung cấp Nền tảng phần cứng ñược sử dụng ñây Intel hệ ñiều hành Windows 2000 - Giống cụm máy chủ ứng dụng BVLife, cụm máy chủ ứng dụng phần mềm nhóm (thư, quản lý cơng văn) sử dụng dịch vụ vào dựa khối “IBM Tivoli” cung cấp Phần mềm Lotus Domino trực tiếp sử dụng khối thao tác ñọc ghi liệu Hệ điều hành sử dụng Cluster hệ ñiều hành mã nguồn mở Linux Intel (HP Proliant 530) - Cụm máy chủ ứng dụng bảo hiểm phi nhân thọ ñược sử dụng cho nghiệp vụ: xe giới, bảo hiểm người học sinh, bảo hiểm cháy, xây lắp, bảo hiểm hàng hóa Vì ứng dụng dựa sở chia sẻ file (file _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 68 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - sharing) nên mơ đun Tivoli Storage Manager cung cấp dịch vụ file cho ứng dụng Tồn khơng gian lưu trữ SAN nhóm thành bốn vùng logic (logic Zone) nhờ hỗ trợ máy chủ iSNS để chứa liệu cho ứng dụng thơng qua “Tivoli Resource Management” Dữ liệu luân chuyển phân vùng thực chất sử dụng chung kết nối phần cứng lại hoạt ñộng bốn VSAN(Virtual SAN) khác Các VSAN ñược tạo nhờ sử dụng tính VSAN mà “Cisco Catalyst 6509 switch” cung cấp Trong vùng logic ta phân bổ tiếp thành ổ logic khác Ví dụ phân vùng chứa liệu phục vụ cho cụm máy chủ ứng dụng phi nhân thọ Máy chủ cung cấp dịch vụ chia sẻ file cho ứng dụng bảo hiểm phi nhân thọ khác nên ta tạo bốn ổ logic ñể chia sẻ cho bốn nhóm đối tượng khai thác liệu khác Sao lưu bảo vệ liệu (backup): Quá trình lưu tự động hóa, máy chủ cài ñặt phần mềm Tivoli Storage Manager cho phép máy trạm lập lịch công việc lưu lệnh phục hồi liệu Nhờ thiết kế tách biệt SAN LAN nên liệu lưu luân chuyển SAN không chiếm dụng băng thơng LAN Băng từ tổ chức thành (Media Set), gồm 12 băng từ Cách thức lưu ñược thực sau: - Bộ thứ lưu theo chế ñộ lưu toàn phần (Full Backup) vào ngày cuối tuần (Chủ nhật) - Bộ thứ hai lưu theo chế ñộ tăng cường (Incremental) theo ngày chẵn - Bộ thứ ba lưu theo chế ñộ tăng cường theo ngày lẻ Phương thức tổ chức lưu để dung hịa hiệu lưu thời gian khơi phục liệu Cơng việc thay đổi băng ngày ñược tự ñộng hóa “IBM TotalStorage™ Ultrium Scalable Tape Library 3583” _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 69 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - Hiệu năng: SAN ñược kết cấu từ nhiều thành phần, hiệu SAN không phụ thuộc vào cấu hình phần cứng thiết bị thành phần Nó cịn phụ thuộc vào kiến trúc kết nối, cấu hình cụ thể phần mềm khai thác Hệ thống mạng SAN ñược tách rời với mạng LAN ñể tránh gây tắc nghẽn ñảm bảo an ninh liệu Toàn mạng SAN thống sử dụng kết nối Ethernet Full Duplex có tốc độ gigabit Tồn máy chủ thiết bị lưu trữ “IBM IP Storage 200i model 210” ñều ñược gắn card tăng tốc “Alacritech SES1001T iSCSI Accelerator” ñể tăng cường hiệu sử dụng băng thông mạng giảm thiểu chiếm dụng CPU máy chủ Hãng Alacritech ñã thử nghiệm thiết bị “Alacritech SES1001T iSCSI Accelerator” thực tế ñể kiểm tra tốc độ truyền tải liệu thơng qua kết nối Ethernet Gigabit (Full Duplex) Kết ñược thể qua biểu ñồ: Hình 34 - Biểu ñồ chiếm dụng CPU thông lượng truyền tải Kết ño thể tốc ñộ luân chuyển liệu dao ñộng từ khoảng 160 MBps cho ñến 210 MBps tỷ lệ chiếm dụng CPU dao ñộng từ 5% ñến gần 30% Thiết bị lưu trữ “IBM IP Storage 200i model 210” gắn ổ cứng có tốc độ truyền liệu 160 MBps Mơ hình SAN Bảo việt có sử dụng nhiều đường kết nối liệu thực tiễn ñược phân mảnh thiết bị lưu trữ khác nên tốc ñộ trao _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 70 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - đổi liệu ứng dụng vượt qua ngưỡng 210 MBps Các số tốc ñộ sát áp dụng phần mềm ño ñạc hệ thống SAN thực tiễn 3.3.3 Phương án cho đơn vị thành viên Mơ hình SAN ñược triển khai ñơn vị thành viên đơn giản, thành phần bao gồm: - Giao thức sở: iSCSI - Thiết bị lưu trữ: IBM IP Storage 200i model 210 - Thiết bị kết nối: Alacritech SES1001T iSCSI Accelerator - Thiết bị lưu: Sử dụng thiết bị sẵn có - Phần mềm quản lý: IBM Tivoli Storage Manager Tại ñơn vị thành viên, hai mạng SAN LAN ñược tách rời Tuy nhiên mơ hình kết nối SAN kết nối thẳng, không thông qua thiết bị kết nối chuyển mạch Laptop computer PC/Workstation IP LAN Windows 2000: chạ y ứng dụng kếtoá n, Lotus Notes, tổchức cá n HP Unix: chạ y ứng dông BVLife iSCSI Accelerator Full duplex gigabit iSCSI Accelerator IP SAN iSCSI Accelerator IBM Full duplex gigabit IBM IP Storage 200i model 210 Hình 35 - Mơ hình SAN ñơn vị thành viên _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 71 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - 3.3.4 Phương án cho văn phịng đại diện Khơng có thay đổi văn phịng đại diện, nhu cầu lưu trữ ñược ñược giải cách trang bị thêm thiết bị lưu trữ tháo lắp hay nâng cấp ổ cứng ðiều có nghĩa ứng dụng triển khai văn phịng đại diện hoạt ñộng ổ cứng máy trạm _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 72 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - KẾT LUẬN Xuất phát từ cần thiết nhu cầu tìm kiếm tác giả giải pháp lưu trữ ứng dụng tốt cho địi hỏi cơng việc đề mở rộng tương lai, Luận văn nghiên cứu giải pháp SAN nói chung giải pháp IP SAN nói riêng vận dụng hiểu biết trình nghiên cứu ñể ứng dụng thực tế Qua trình tìm hiểu nhận thấy rằng: - FC SAN giải pháp hồn thiện Nó khơng có tốc ñộ luân chuyển liệu lớn mà ñáp ứng ñược tiêu chí ổn ñịnh, bảo mật ñảm bảo chất lượng dịch vụ Tuy nhiên, triển khai khơng phải nhiệm vụ dễ dàng ñiều kiện nước ta - IP SAN lên ñối thủ tiềm tàng FC SAN nhờ tính phổ dụng phát triển chiều rộng lẫn chiều sâu mạng Internet Triển khai IP SAN dễ dàng sản phẩm phần cứng phần mềm hỗ trợ cho giao thức TCP/IP phong phú IP SAN vượt qua khoảng cách lớn nhờ kết nối thơng qua mạng internet mà đảm bảo an ninh liệu Một ñiểm bất lợi IP SAN hiệu khơng cao độ trễ gặp phải q trình xử lý gói số liệu TCP/IP Hạn chế khắc phục phần nhờ cơng nghệ TOEs (TCP Offload Engine) hay iSCSI Accerleter - Nằm giải pháp IP SAN, giao thức iSCSI chìa khóa đưa hệ thống lưu trữ SCSI chuyển sang hệ lưu trữ mới, vượt qua giới hạn kênh SCSI truyền thống iSCSI SAN vừa có ưu ñiểm IP SAN vừa tiếp thu thành tựu công nghệ SCSI sau nhiều năm phát triển ðặc biệt, chuẩn SCSI-3 hỗ trợ giao thức iSCSI Như vậy, iSCSI xuất hầu hết hệ thống thông tin tương lai gần Công nghệ SAN ñược phát triển ñược nhờ tiến công nghệ kết nối _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 73 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - nên theo dõi phát triển công nghệ kết nối cách dự đốn xu hướng phát triển SAN Trong thời gian tới, bắt gặp SAN dựa cở sở kết nối không dây “Wireless SAN” hướng tiềm ñịnh hướng phát triển SAN Sự phong phú loại hình dịch vụ mà doanh nghiệp cung cấp làm thay ñổi quan niệm liệu Khn dạng liệu lưu trữ ngày không số hay text Âm thanh, hình ảnh chí video ñối tượng ñể lưu trữ xử lý u cầu liệu khơng địi hỏi băng thơng mà cịn địi hỏi chất lượng dịch vụ FC SAN đáp ứng tốt chất lượng dịch vụ ðảm bảo chất lượng dịch vụ IP SAN hướng nghiên cứu cần thiết ñể làm phong phú giải pháp IP SAN _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- - 74 – - Luận văn thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - TÀI LIỆU THAM KHẢO [1] Tom Clarl (2002), A Guide to iSCSI, iFCP, and FCIP Protocols for Storage Area Networks, pp.126 - 149 [2] Kevin Duncan (2001), Fibre Channel and Gigabit Ethernet: A Look at Technology for Storage Area Networks, pp.13-14 [3] Ravi Kumar Khattar, Introduction to Storage Area Network, pp.52-61 [4] Rowell Hernandez (2002), Using iSCSI Solutions’ Planning and Implementation, pp.4-14 [5] Jon Tate (2000), Designing an IBM Storage Area Networks, pp.36 - 42, 155 – 166 [6] John Vacca (2002), The Essential Guide to Storage Area Network, pp.4 - _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- MỤC LỤC LỜI CẢM ƠN MỞ ðẦU CHƯƠNG 1: MẠNG LƯU TRỮ - SAN 1.1 Mạng lưu trữ gì? 1.2 Thiết bị lưu trữ gắn mạng (NAS - Network Attached Storage) 1.3 Các thành phần mạng lưu trữ - SAN Components 1.3.1 Máy chủ SAN 1.3.2 Giao diện kết nối SAN 1.3.3 Kết nối SAN 1.3.3.1 Các thiết bị kết nối SAN 1.3.3.2 Các kiến trúc kết nối SAN 10 1.3.4 Ứng dụng SAN 14 1.3.5 Quản lý SAN 17 CHƯƠNG 2: IP SAN 21 2.1 Giao thức iFCP (Internet Fibre Channel Protocol) 21 2.1.1 Kiến trúc mạng iFCP 22 3.1.2 ðịa iFCP 23 2.1.3 Giả lập dịch vụ kênh quang học iFCP 26 2.1.4 ðiều khiển kết nối TCP iFCP 28 2.1.5 Kiểm soát lỗi iFCP 29 2.1.6 An ninh iFCP 30 2.1.7 Các vấn ñề iFCP 31 2.2 Giao thức iSCSI (Internet SCSI Protocol) 32 2.2.1 Mơ hình lớp giao thức iSCSI 32 2.2.2 ðịa iSCSI qui ước ñặt tên 33 2.2.3 Quản lý phiên giao dịch iSCSI 34 2.2.4 Kiểm soát lỗi iSCSI 37 2.2.5 An ninh iSCSI 39 2.3 So sánh FCP SAN IP SAN 41 CHƯƠNG 3: ỨNG DỤNG SAN GIẢI QUYẾT BÀI TOÁN THỰC TIỄN 45 3.1 Giới thiệu toán 45 3.2 Hiện trạng hệ thống thông tin 46 3.2.1 Các thành phần kiến trúc kết nối hệ thống thông tin Bảo việt 46 3.2.2 Hệ thống thông tin thành phần 47 3.2.2.1 Hệ thống thông tin trung tâm liệu ñặt Hà nội 47 3.2.2.2 Hệ thống thơng tin đơn vị thành viên 48 3.2.3 Các ứng dụng ñang sử dụng Bảo việt: 49 3.2.4 Hệ thống lưu trữ 53 3.3 Xây dựng giải pháp lưu trữ cho Bảo việt 54 3.3.1 Tiêu chí xây dựng giải pháp 54 3.3.2 Phương án cho trung tâm số liệu 54 _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- 3.3.2.1 Kiến trúc SAN 54 3.3.2.2 Lựa chọn thiết bị mạng 55 3.3.2.3 Lựa chọn thiết bị lưu trữ 58 3.3.2.4 Lựa chọn thiết bị lưu 60 3.3.2.5 Lựa chọn thiết bị bổ sung 60 3.3.2.6 Lựa chọn phần mềm quản lý 61 3.3.2.5 Thể chi tiết ñánh giá 65 3.3.3 Phương án cho ñơn vị thành viên 70 3.3.4 Phương án cho văn phịng đại diện 71 KẾT LUẬN 72 TÀI LIỆU THAM KHẢO 74 _ - Hoàng Dương Thịnh – Lớp Cao học CNTT 2004 – ðHBKHN- ... thạc sĩ Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - CHƯƠNG 1: MẠNG LƯU TRỮ - SAN 1.1 Mạng lưu trữ gì? Mạng lưu trữ SAN (Storage... Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - không gian lưu trữ trở lên thiết yếu Bảo Việt có định hướng xây dựng ứng dụng trực... Khoa học: Nghiên cứu mạng lưu trữ ñề xuất phương án mạng lưu trữ ứng dụng cho Tổng Công ty Bảo hiểm Việt Nam - - ðảm bảo tính sẵn sàng liệu cung cấp khả truy cập liệu cho ứng dụng - ðảm bảo mặt