Công nghệ thông tin ứng dụng công nghệ lưu trữ ceph xây dựng hệ thống lưu trữ cho doanh nghiệp(klv02345)

1 MỞ ĐẦU Lý chọn đề tài Trong thời đại công nghệ 4.0 nay, việc công nghệ hoá chế hoạt động tổ chức việc vơ cần thiết giảm thiểu cơng việc tối ưu hiệu Vì khối lượng lữu trữ liệu tăng lên theo cấp số nhân tăng trưởng khơng hệ có dấu hiệu dừng lại Do đó, quản lý nhu cầu lưu trữ tăng vọt nguồn lực hạn chế thách thức hàng đầu nhiều doanh nghiệp Để giảm bớt gánh nặng, nhiều tổ chức chuyển sang công nghệ cloud Một khảo sát 451 thành viên Liên minh Cơ sở hạ tầng kỹ thuật số toàn cầu phần minh họa quy mô kho lưu trữ chỗ doanh nghiệp phát triển 35% tổng số 647 doanh nghiệp công nghệ chuyên gia IT khảo sát cho biết cân nhắc việc mua giải pháp lưu trữ storage dựa đám mây - cloud Mặc dù có 20% storage cloud, người trả lời khảo sát ước tính vịng hai năm tới, 1/3 storage nằm môi trường đám mây công cộng mơi trường SaaS Có nhiều lý cho tăng trưởng Nhiều tổ chức chuyển sang cloud storage địa lưu trữ hiệu mà tốn cho liệu chưa sử dụng đến liệu lưu trữ - tình mà độ trễ bảo mật yếu tố quan trọng hàng đầu Và ứng dụng đám mây thơng thường phát triển, quan tâm dành cho lưu trữ đám mây phát triển theo Việc lưu trữ liệu phân tán máy chủ ổ đĩa riêng biết hệ thống lưu trữ tập trung CEPH mang lại lợi ích sau đây: Lưu trữ trao đổi liệu máy chủ: việc lưu trữ trao đổi liệu máy chủ hệ thống CEPH giúp cho đảm bảo an toàn liệu mức cao CLEAR NOTIFICATION: Hệ thống CEPH nhân x2, x3 liệu giúp hệ thống đảm bảo tính dự phịng tồn vẹn liệu Phân tán liệu chủ động: sử dụng thuật toán riêng biệt với mục đích phân tán liệu tự động khơng trùng lặp tồn hệ thống máy chủ cluster Tự động phát khôi phục liệu: Khi có nhiều máy chủ có cố hệ thống tự động phát khôi phục liệu Áp dụng công nghệ lưu trữ CEPH tổ chức doanh nghiệp mạng lại nhiều lợi ích thiết thực phân tích viết Tuy nhiên để áp dụng sử dụng công nghệ lưu trữ CEPH cho đơn vị, tổ chức doanh nghiệp cách hiệu tối ưu cần có cân nhắc kỹ lưỡng dựa đánh giá thực trạng hệ thống hướng phát triển doanh nghiệp, tổ chức Lợi ích việc sử dụng hệ thống lưu trữ lớn sử dụng công nghệ CEPH phát huy hồn cảnh phù hợp Để hiểu rõ cơng nghệ CEPH lợi ích mang lại em chọn đề tài “Ứng dụng công nghệ lưu trữ CEPH xây dựng hệ thống lưu trữ cho doanh nghiệp” để làm luận văn tốt nghiệp Mục đích nghiên cứu Nghiên cứu công nghệ lưu trữ CEPH khả ứng dụng công nghệ để xây dựng, phát triển hệ thống lưu trữ liệu phân tán, cung cấp dịch vụ lưu trữ cho doanh nghiệp Giả thuyết khoa học Nếu áp dụng hệ thống lưu trữ liệu CEPH cách hợp lý tổ chức có hệ thống lưu trữ liệu lớn, dễ dàng quản trị liệu bảo mật cao Nhiệm vụ nghiên cứu Để đạt mục đích nghiên cứu nêu trên, luận văn có nhiệm vụ: - Nghiên cứu hệ công nghệ CEPH xu hướng phát triển CEPH Từ áp dụng công nghệ CEPH thực tiễn nhằm đáp ứng nhu cầu lưu trữ lớn doanh nghiệp - Xây dựng phương án xây dựng hệ thống lưu trữ theo yêu cầu doanh nghiệp Phạm vi nghiên cứu Đề tài nghiên cứu việc ứng dụng công nghệ CEPH xây dựng hệ thống lưu trữ thử nghiệm công ty Hanelcom 4 Phương pháp nghiên cứu 6.1 Phương pháp tài liệu - Nghiên cứu tài liệu liên quan đến đề tài - Nghiên cứu lý thuyết kỹ thuật triển khải công nghệ lưu trữ CEPH - Nghiên cứu công nghệ lưu trữ CEPH mơ hình triển khải CEPH 6.2 Phương pháp thực nghiệm - Xây dựng triển khai hệ thống lưu trữ CEPH - Xây dựng, triển khai kết nối hệ thống lưu trữ với khách hàng Cấu trúc luận văn Ngoài phần mở đầu, kết luận khuyến nghị, danh mục tài liệu tham khảo, luận văn trình bày theo chương: Chương Giới thiệu hệ thống lưu trữ Chương Cơ sở lý thuyết Công nghệ CEPH Chương Ứng dụng công nghệ CEPH xây dựng hệ thống lưu trữ cho Doanh nghiệp Chương GIỚI THIỆU VỀ CÁC HỆ THỐNG LƯU TRỮ 1.1 Kiến thưc sở hệ thống lưu trữ Cùng với phát triển CNTT bùng nổ liệu, nhu cầu xuất việc bảo quản, lưu trữ số liệu cách an tồn hiệu Chính giải pháp lưu trữ liệu đại đời nhằm đáp ứng nhu cầu người dùng Do dung lượng liệu gia tăng không ngừng, yêu cầu ngày cao hiệu truy xuất, tính ổn định sẵn sàng liệu; việc lưu trữ trở nên quan trọng Lưu trữ liệu khơng cịn đơn giản cung cấp thiết bị lưu trữ dung lượng lớn mà bao gồm khả quản lý, chia sẻ lưu phục hồi liệu trường hợp Một số loại hình lưu trữ liệu số cận tuyến sau: DAS (Direct Attached Storage): lưu trữ liệu qua thiết bị gắn trực tiếp NAS (Network Attached Storage): lưu trữ liệu vào thiết bị lưu trữ thông qua mạng IP SAN (Storage Area Network): lưu trữ liệu qua mạng quang lưu trữ chuyên dụng riêng ỗi loại hình lưu trữ liệu có ưu nhược điểm riêng d ng cho mục đích định tổng qt sau: hình lưu trữ liệu Hình 1.1 Các loại hệ thống lưu trữ truyền thống [9] Software-defined Storage – SDS, hệ thống lưu trữ định nghĩa phần mềm, phần mềm quản lý lưu trữ liệu, không phụ thuộc vào lớp phần cứng lưu trữ vật lý bên Hình 1.2 Hệ thống lưu trữ định nghĩa phần mềm [10] 7 1.2 Các loại hệ thống lưu trữ 1.2.1 Hệ thống lưu trữ truyền thống - DAS 1.2.2 Hệ thống lưu trữ theo công nghệ NAS 1.2.3 Hệ thống lưu trữ công nghệ SAN 1.2.4 Hệ thống lưu trữ SDS 1.2.5 So sánh ưu điểm SDS với hệ thống lưu trữ Truyền thống 1.3 Đặc điểm công nghệ lưu trữ liệu lớn 1.3.1 Đặc điểm SAN 1.3.2 Đặc điểm, Tình nghệ lưu trữ PetaSAN 1.3.3 Đặc điểm, tính CEPH 1.3.4 Đặc điểm, Tính freenas 1.3.5 Đặc điểm, Tính Synolog 1.3.6 Hệ thống TAPE 1.4 Tiểu kết chương Từ kiến thức tai tìm hiểu kiến thức hệ thống lưu trữ, Hiểu biết ưu nhược điểm hệ thống lưu trữ, có kiến thức góp phần vào việc tối ưu lựa chọn cơng nghệ phù hợp với yêu cầu khách hàng Hiểu biết kiến thức hệ thống lưu trữ mã nguồn mở nhằm áp dụng tốt vào việc xây dựng luận văn tốt 8 Chương CƠ SỞ LÝ THUYẾT CỦA CÔNG NGHỆ CEPH 2.1 Giới thiệu chung Ceph dự án mã nguồn mở, cung cấp giải pháp lưu trữ liệu Ceph cung cấp hệ thống lưu trữ phân tán mạnh mẽ, tính mở rộng, hiệu cao, khả chịu lỗi cao Xuất phát từ mục tiêu, Ceph thiết kết với khả mở rộng cao, hỗ trợ lưu trữ tới mức exabyte với tính tương thích cao với phần cứng có sẵn Ceph bật ngành công nghiệp lưu trữ phát triển mở rộng Hiện nay, tảng hạ tầng đám mây công cộng, dùng riêng, hybird cloud dần trở nên phổ biến to lớn Ceph trở thành giải pháp bật cho vấn đề gặp phải Phần cứng thành phần định hạ tầng cloud Ceph đáp ứng vấn đề gặp phải, cung cấp hệ thống lưu trữ mạnh mẽ, độ tin cậy cao [1] 2.2 Nguyên tắc CEPH - Khả mở rộng tất thành phần - Tính chịu lỗi cao - Giải pháp dựa phần mềm, hồn tồn mở, tính thích nghi cao - Chạy tương thích với phần cứng Ceph xây dựng kiến trúc mạnh mẽ, tính mở rộng cao, hiệu cao, tảng mạnh mẽ cho doanh nghiệp, giảm bớt phụ thuộc vào phần cứng đắt tiền 9 Hệ thống lưu trữ Ceph cung cấp khả lưu trữ khối, file, đối tượng, cho phép tùy biến theo ý muốn Nền tảng Ceph xây dựng dựa đối tượng, tổ chức khối Tất kiểu liệu, block, file lưu đối tượng thuộc Ceph cluster Đối tượng lưu trữ giải pháp cho hệ thống lưu trữ truyền thống, cho phép xây dựng kiến trúc hạ tầng độc lập với phần cứng Ceph quản lý mức đối tượng, nhân đối tượng tồn cụm, nâng cao tính bảo đảm Tại Ceph, đối tượng không tồn đường dẫn vật lý, kiến trúc đối tượng linh hoạt lưu trữ, tạo tảng mở rộng tới hàng petabyte-exabyte 2.3 CEPH giải pháp Theo thống kế, khối lượng liệu lưu trữ tăng lên nhiều lần theo hàng năm Theo số liệu số lên tới 40-60 % có thời điểm lên tới gấp đơi Từ sinh nhiều vấn đề cần quan tâm Như tính thống nhất, tính phân tán, hiệu năng, mở rộng Hệ thống lưu trữ Ceph giải pháp bật cho vấn đề tăng trưởng liệu toàn cầu Với đặc điểm bật tính thống nhất, phân phối, chí phí đầu tư hợp lý, tiềm cho hiên tương lai Được tích hợp với kernel, đặc điểm kiến Ceph vượt trội giải pháp lưu trữ 10 2.3.1 CEPH – giải pháp lưu trữ đám mây 2.3.2 CEPH – Giải pháp software-defined 2.3.3 CEPH – giải pháp lưu trữ thống 2.4 Kiến trúc hệ Hệ thống lưu trữ truyền thống khơng có phương pháp quản lý metadata thơng minh Cơ bản, Metadata thông tin liệu, định liệu viết đọc đâu Hệ thống lưu trữ truyền thống cần trung tâm quan lý, tìm kiếm thơng tin metadata Khi client yêu cầu hoạt động đọc, ghi – v ng lưu trữ tìm kiếm vị trí data bảng metadata lớn Với hệ thống lưu trữ nhỏ độ trễ không lớn đối hệ thống lưu trữ lớn độ trễ cao, hạn chế mở rộng Ceph không xây dựng theo phương pháp truyền thống, sử dụng kiến trúc Sử dụng lưu trữ theo thuật toán động "CRUSH algorithm" CRUSH viết tắt "Controlled Replication Under Scalable Hashing" Thay tìm kiếm metadata theo table request, thuật toán CRUSH dựa u cầu, tính tốn vị trí liệu điều làm cải thiện tốc độ Hơn thế, thuật toán phân tán tới cluster node, tận dụng sức mạnh lưu trữ phân tán CRUSH quản lý metadata tốt so với truyền thống Bên cạnh, CRUSH có khả nhận thức riêng hạ tầng Hiếu mối quan hệ thành phần hạ tầng hệ thống đĩa, pool, node, rack, power board, switch hàng trung tâm liệu, đến trung tâm liệu lơn Khi thành 11 phần xảy lỗi, CRUSH lưu trữ liệu nhân rộng chúng đến phân vùng nhớ, kiến trúc liệu sẵn sàng Đồng thời CRUSH cho phép Ceph tự quản trị tự sửa lỗi, CRUSH tự sửa lỗi liệu, nhân rộng chúng cluster Tại thời điểm có lưu liệu phân tán cluster Vì vậy, với CRUSH ta tạo hạ tầng lưu trữ đảm bảo, đáng tin cậy Sử dụng Ceph tăng tính mở rộng, đảm bảo storage system 2.5 Thành phần kiến trúc CEPH Reliable Autonomic Distributed Object Store (RADOS) Ceph monitors (MONs) Thuật toán phân tán (Paxos) Librados Ceph Block Device hay RADOS block device (RBD) Ceph Object Gateway hay RADOS gateway (RGW) Ceph Object Gateway Ceph Metadata Server (MDS) Ceph File System (CephFS) Ceph RADOS Ceph Object Storage Device (OSD) Ceph OSD filesystem XFS Journaling Ext Ext4 12 Ceph OSD journal Khơng sử dụng RAID cho ceph vì: 2.6 Tiểu kết chương Ceph gần dẫn dầu công nghệ lưu trữ Được thiết kế để vượt qua giới hạn mà công nghệ lưu trữ gặp phải Là giải pháp mở, software-defined storage, tương thích nhiều phân cứng Cung cấp nhiều giao diện với người d ng, tăng tính linh hoạt Ceph mạnh mẹ công nghệ Raid tại, vượt qua giới hạn RAID Mỗi thành phần Ceph bảo đảm hỗ trợ HA Điểm mạnh Ceph tính thống nhất, cung cấp giải pháp tồn diện block, file, and object storage Phù hợp lưu trữ cho small file big file mà khơng có trục trặc hiệu suất Ceph hệ thống lưu trữ phân tán Client nhanh tiếp cận Ceph Nó khơng tuần theo phương pháp truyền thống, ứng dụng kỹ thuật mới, cho phép client tinh toán động Tăng tốc nâng cao hiệu cho client Hơn thế, liệu lưu Ceph Cluster tổ chức rõ ràng, tự động Cả client admin lo lằng cố, hệ thống thông minh Ceph's chịu trách nhiệm xứ lý Ceph thiết kế để tự quản trị, tự sửa lỗi Khi xảy cố, Ceph vượt qua với đảm bảo tốt Ceph phát sửa lỗi tất cố ổ đĩa, node, network, rack, data center row, data center, kể khác biệt mặt địa lý 13 Chương ỨNG DỤNG CÔNG NGHỆ CEPH XÂY DỰNG HỆ THỐNG LƯU TRỮ CHO DOANH NGHIỆP TẠI HANELCOM 3.1 Đề xuất phương án thử nghiệm Với nghiên cứu lý thuyết tìm hiểu phần mềm lưu trữ đặc biết với phần mềm mã nguồn mở Ceph, luận văn xây dựng hệ thống lưu trữ thử nghiệm cho doanh nghiệp Hanelcom Nhằm tạo sản phẩm lưu trữ riêng biệt Công ty cung cấp cho nhiều khách hàng có nhu cầu sử dụng hệ thống lưu trữ có tính sẵn sàng tốc độ cao Phương án thử nghiệm ta thực công việc cụ thể sau: - Xây dựng hệ thống lưu trữ tảng CEPH có dung lượng lưu trữ 10TB - Xây dựng hệ thống ảo hóa tảng Vmware, Số lượng máy chủ tối thiểu 03 - Tích hợp hệ thống lưu trữ CEPH cung cấp phân v ng lưu trữ cho cụm máy chủ Vmware - Kiểm tra tính sẵn sàng, khả chịu hệ thống 14 3.2 Thiết kế hệ thống CEPH Hanelcom 3.2.1 Thiết kế mơ hình hệ thống Hình 3.1 Mơ hình hệ thống lưu trữ 3.2.2 Thiết kế phần cứng STT Thành phần hệ thống Server Mon Hạng Mục Cấu Hình Rack-mount 1U Processor 2x E5-2680 Memory Memory: 32GB OS disk Network Interface FO Interface 3x 240GB SSD 2.5" RAID 4x 1Gbps onboard NIC: 2x Intel X520 DA-2 10Gbps Số Lượng 15 STT Thành phần hệ thống Hạng Mục Cấu Hình Số Lượng (include FO module) Power Supply 2x PSU Rack-mount 2U Processor 2x E5-2680 Memory Memory: 48GB OS disk Main Storage Server OSD 2x 240GB SSD 2.5" RAID 4x 2TB Seagate Iron Wolf Pro 3.5" Jounal disk 120 GB SSD Network Interface 4x 1Gbps onboard NIC: 2x Intel X520 FO Interface DA 10Gbps (include FO module) Server iSCSI Power Supply 2x PSU 750W Rack-mount 1U Processor 2x E5-2680 Memory Memory: 48GB OS disk 3x 240GB SSD 2.5" RAID 16 STT Thành phần hệ thống Hạng Mục Network Interface Cấu Hình Số Lượng 4x 1Gbps onboard NIC: 2x Intel X520 FO Interface DA 10Gbps (include FO module) Power Supply 2x PSU Switch 10Gbps Cisco 48 port Switch 1Gpbs FIBER FO, M multimode Intel E10GSFPSR multimode 1 18 36 3.3 Xây dựng kịch thử nghiệm kiểm tra hệ thống Đề kiểm tra hiệu cao, tính sẵn sàng hệ thống tơi thực cung cấp phân v ng lưu trữ cho hệ thống Computing sử dụng tảng ảo hóa Vmware Sử dụng giao thức iSCSI để kết nối Storage Máy chủ cài đặt ảo hóa Vmware 17 3.3.1 Cài đặt máy chủ vmware 3.3.2 Cài đặt Vcenter 3.3.3 Tích hợp hệ phân vùng lưu trữ vào cụm máy chủ ảo hóa Vmware 3.3.4 Kết 3.3.5 Đánh giá kết thử nghiệm Hệ thống lưu trữ CEPH xây dựng thử nghiệm đạt số đặc điểm tính so với cơng nghệ  Tính sẵn sàng hệ thống: Hệ thống thiết kế với tính sẵn sàng cao, có thành phần lỗi hệ thống đảm bảo hoạt động tốt Cịn hệ thống thơng thường thành phần lỗi ảnh hưởng đến toàn hệ thống  Tốc độ đọc ghi hệ thống: Hệ thống tùy biến tốc độ đọc ghi liệu phân chia nhiều lớp để cung cấp cho nhiều phân khác Sử khác biết rõ ràng so với hệ thống lưu trữ thông thường khác  Khả mở rộng: Hệ thống mở rộng đơn giản thuận tiện, khơng ảnh hưởng đến thành phần chạy hệ thống Các hệ thống lưu trữ truyền thông muốn nâng cấp phần cứng bắt buộc phải tắt hệ thống  Tính tương thích cao: Có thể sử dụng nhiều phần cứng nhiều nhà cung cấp khác để xây dựng hệ thống Đối với hệ thống khác việc sử dụng phần cứng khác để sử dụng chung hạn chế 18 3.3.6 Một số lưu ý xây dựng hệ thống  Hệ thống cho phép lỗi tối thiểu Node Mon  Hệ thống cho phép lỗi tối thiểu Node OSD  Hệ thống cho phép down ổ đĩa osd OSD A ổ đĩa osd OSD  Hệ thống cho phép down đĩa hệ điều hành chạy raid  Với mơ hình node OSD MON không cho phép down OSD Mon node 3.4 Tiểu kết chương Ở chương luận văn xây dựng hệ thống lưu trữ có hiệu tính sẵn sàng cao Xây dựng kịch tích hợp vào hệ thống để cung cấp phân vùng cho hệ thống vmware Xây dựng hệ thống lưu trữ sử dụng công nghệ mã nguồn mở CEPH Xây dựng hệ thống Computing dựa tảng ảo hóa Vmware Kết hợp cơng nghệ lưu trữ CEPH cung cấp phân v ng lưu trữ máy ảo tập trung Kiểm tra hiệu hệ thống, Kiểm tra tính sẵn sàng hệ thống Kiểm tra kiểm sốt trường hợp sảy hệ thống 19 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Qua tìm hiều công nghệ CEPH ta hiểu thêm hệ thống lưu trữ Truyền thống Hệ thống lưu trữ mã nguồn mở Chúng ta tìm hiểu khác hệ thống lưu trữ truyền thống hệ thống lưu trữ sử dụng công nghệ mã nguồn mở Hiểu biết công nghệ mã nguồn mở CEPH Từ hiểu biết hệ thống lưu trữ, Ứng dụng công nghệ CEPH để xây dựng hệ thống lưu trữ nhằm mục đích phát triển cung cấp dịch vụ cho Công Ty Công nghệ thông tin ngày phát triển mạnh mẽ, việc xây dựng áp dụng công nghệ lưu trữ hướng mã nguồn mở công nghệ Ceph giúp cho tổ chức doanh nghiệp lưu trữ sử dụng khơng gian lưu trữ cách tối ưu Góp phần khai thác hiệu công xây dựng phát triển tổ chức, doanh nghiệp ngày lớn mạnh Hướng phát triển Tiếp tục nâng cao tìm hiểu để ứng dụng cơng nghệ lưu trữ CEPH cho dịch vụ khác Tiếp tục tìm hiểu công nghệ mã nguồn mở tạo nhiều hệ thống ứng dụng phục vụ cho Cơng ty góp phần phát triển vào cộng đồng CNTT Với phát triển mạnh mẽ cơng nghệ mã nguồn mở nói chung cơng nghệ lưu trữ CEPH nói riêng, việc đưa công nghệ lưu trữ mã nguồn mở để áp dụng cho tổ chức doanh nghiệp vô cần thiết 20 Với phát triển mạnh mẽ cơng nghệ mã nguồn mở nói chung cơng nghệ lưu trữ CEPH nói riêng, việc đưa cơng nghệ lưu trữ mã nguồn mở để áp dụng cho tổ chức doanh nghiệp vô cần thiết Từ kiến thức tìm hiểu luận văn kiến thức thực tế, em tiếp tục tìm hiểu thêm kiến thức để tích lũy thêm vốn kiến thức công nghệ thông tin nói riêng nhiều kiến thức sống nói chung Từ áp dụng kiến thức có vào thực tiễn đóng góp phần nhỏ cho phát triển nước nhà  ... tài ? ?Ứng dụng công nghệ lưu trữ CEPH xây dựng hệ thống lưu trữ cho doanh nghiệp” để làm luận văn tốt nghiệp Mục đích nghiên cứu Nghiên cứu cơng nghệ lưu trữ CEPH khả ứng dụng công nghệ để xây dựng, ... biết công nghệ mã nguồn mở CEPH Từ hiểu biết hệ thống lưu trữ, Ứng dụng công nghệ CEPH để xây dựng hệ thống lưu trữ nhằm mục đích phát triển cung cấp dịch vụ cho Công Ty Công nghệ thông tin ngày... 7 1.2 Các loại hệ thống lưu trữ 1.2.1 Hệ thống lưu trữ truyền thống - DAS 1.2.2 Hệ thống lưu trữ theo công nghệ NAS 1.2.3 Hệ thống lưu trữ công nghệ SAN 1.2.4 Hệ thống lưu trữ SDS 1.2.5 So sánh