NGHIÊN cứu CÔNG NGHỆ điện TOÁN đám mây và xây DỰNG ỨNG DỤNG lưu TRỮ dữ LIỆU

TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY VÀ XÂY DỰNG ỨNG DỤNG LƯU TRỮ DỮ LIỆU Hà Nội – Năm 2020 TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ĐẶNG THỊ OANH NGHIÊN CỨU CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY VÀ XÂY DỰNG ỨNG DỤNG LƯU TRỮ DỮ LIỆU Chuyên ngành Mã ngành : Công nghệ thông tin : 7480201 NGƯỜI HƯỚNG DẪN: ThS VŨ NGỌC PHAN Hà Nội – Năm 2020 LỜI CẢM ƠN Đầu tiên, em xin chân thành cảm ơn thầy cô tận tình hướng dẫn, giảng dạy suốt trình em học tập, nghiên cứu rèn luyện trường Đại học Tài Nguyên Môi Trường Hà Nội Đặc biệt, em xin chân thành cảm ơn thầy Th.S.Vũ Ngọc Phan, người tận tình hướng dẫn giúp đỡ em hoàn thành đồ án thời gian qua Cuối cùng, em xin cảm ơn anh Đặng Xuân Cảnh anh chị khác công ty Phần mềm Nhân Hịa nhiệt tình giúp đỡ, đóng góp ý kiến giúp em q trình nghiên cứu, tìm hiểu cơng nghệ, giải pháp Tác giả đồ án tốt nghiệp (ký ghi rõ họ tên) Đặng Thị Oanh MỤC LỤC DANH MỤC BẢNG DANH MỤC HÌNH DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Ý nghĩa DAS Direct Attached Storage DB Database IOPs Input-Output operation per second NAS Internet Small Computer Systems Interface Network Attached Storage PCI Peripheral Component Interconnect RBD S3 SAN VM LUN MON SSD HDD XFS NFS LAN CPU RAM SDS OBS QoS Rados Block Device Simple Storage Service Storage Area Network VirtualMachine Local Unit Number Monitor Solid-State Drive Hard Disk Drive X file system Network File System Local Area Network Central Processing Unit Random Access Memory Software Design Specification Objects Quality of Service iSCSI Tiếng việt Lưu trữ đính kèm trực tiếp Cơ sở liệu Hoạt động đầu đầu vào giây Internet giao diện hệ thống máy tính nhỏ Lưu trữ gán mạng Kết nối thành phần ngoại vi Thiết bị khối rados Thiết bị lưu trữ đơn giản Khu vực lưu trữ mạng Máy ảo Số đơn vị địa phương Giám sát Ổ đĩa thể rắn Trình điều khiển đĩa cứng Tập tin X Hệ thống tập tin mạng Mạng cục Bộ phận xử lý trung tâm Bộ nhớ truy cập tạm thời Đặc tả thiết kế phần mềm Đối tượng Chất lượng dịch vụ MỞ ĐẦU Chúng ta sống thời kỳ công nghệ 4.0, yêu cầu khả lưu liệu cần thiết trở lên cấp bách liệu ngày lớn, giải pháp truyền thống dần trở nên không đáp ứng kịp Dữ liệu lưu trữ hệ thống gọi chung hệ thống lưu trữ - Storage System Storage System kết hợp nhiều thành phần từ ứng dụng tới thiết bị mạng, máy chủ, máy chủ lưu trữ, phần cứng lưu trữ, số tài nguyên liên quan Vấn đề phải đối mặt doanh nghiệp mật độ lưu trữ liệu, ảnh hưởng tới khả xử lý liệu doanh nghiệp Tức nhiều liệu, nhiều vấn đề phải xử lý, cần thêm nhiều khả đọc ghi, lưu trữ, nhiều liệu phải xử lý, di chuyển, xếp, tổ chức, lưu, lưu giữ thời gian dài Xuất phát từ vấn đề trên, em xin tìm hiểu thực đề tài “Nghiên cứu cơng nghệ điện tốn đám mây xây dựng ứng dụng lưu trữ liệu” với bước tổng quan từ xây dựng hạ tầng tới phát triển dịch vụ dựa hạ tầng có Ngoại trừ phần mở đầu, kết luận kiến nghị, tài liệu tham khảo cấu trúc đồ án chia làm chương Chương 1: Tổng quan lưu trữ đám mây ảo hóa Chương 2: Giải pháp lưu trữ toàn diện Ceph Chương 3: Xây dựng phát triển ứng dụng dựa dịch vụ lưu trữ đám mây riêng CHƯƠNG TỔNG QUAN VỀ LƯU TRỮ ĐÁM MÂY VÀ ẢO HÓA 1.1 Giới thiệu chung Thách thức lớn tổ chức, doanh nghiệp bùng nổ liệu, công việc liên quan tới vấn đề quản lý liệu (tính ràng buộc, thống nhất), giá thành, thời gian, chi phí đầu tư cho sở vật chất, không gian, làm mát, lượng tiêu thụ, khả khai thác liệu, nhiều vấn đề kéo theo 1.1.1 Tầm quan trọng liệu khả lưu trữ Khả lưu trữ liệu ảnh hưởng trực tiếp tới khả xử lý liệu doanh nghiệp, nhiều liệu dẫn tới nhiều vấn đề phải xử lý, cần thêm nhiều khả đọc ghi, khả tổ chức, di chuyển, xếp, lưu giữ thời gian dài Tổ chức lưu trữ liệu kéo theo vấn đề lượng tiêu thụ, nơi đặt, không gian, Server, Storage, tài nguyên mạng, quản lý, kinh phí, nhân viên Một giải pháp hữu hiệu chuyển dịch, chuyển đổi dần sang sử dụng giải pháp dựa dịch vụ đám mây (Cloud service) Hình 1.1 Quan hệ chi phí u cầu tài nguyên theo thời gian 10 Cùng với tăng trưởng liệu yêu cầu độ tin cậy, ràng buộc, tính tồn vẹn liệu, v.v Khi có thêm thơng tin, ta trả thêm cho công tác quản lý, lưu trữ chúng Khi liệu ảnh hưởng trực tiếp gián tiếp tới lợi nhuận, việc cân bằng chi phí quản lý trở nên quan trọng Vì để hỗ trợ cho phát triển kinh tế việc giám sát, phân tích, bảo đảm liệu quan trọng Công việc sẽ kéo theo chi phí phần cứng, phần mềm, nhân lực, sở vật chất, lượng, …v.v Để cân bằng tài giải pháp liên quan tới liệu, ta cần xem xét hàng loạt vấn đề như: Nhân lực, quy trình, thời gian, chi phí chi trả, sở vật chất, lượng sử dụng, làm mát hệ thống, không gian đặt, máy chủ, hệ thống lưu trữ, phần cứng mạng, bên cạnh phần mềm, dịch vụ Cùng với việc đảm bảo tối ưu chi phí, giảm giá thành, tăng chất lượng dịch vụ, đảm bảo các thỏa thuận cung cấp dịch vụ Việc sử dụng dịch vụ đám mây sẽ giảm giá thành, tận dụng tối đa chi phí, tăng chất lượng dịch vụ (QoS) 1.1.2 Cơ hội cơng nghệ Trong mơ hình chuyển giao cơng nghệ truyền thống, khách hàng sẽ mua thuê dịch vụ từ nhà cung cấp Các thông tin dịch vụ sẽ chuyển tới người dùng, người dùng từ truy cập tới ứng dụng doanh nghiệp chạy máy chủ (truy nhập từ xa) Phương pháp truy cập thơng qua mạng, đường kết nối riêng tới máy chủ cung cấp dịch vụ Máy chủ cung cấp dịch vụ tồn dạng ảo hỏa vật lý, với yêu cầu hệ điều hành, tham số, cấu hình, cơng cụ hỗ trợ quản lý tùy theo u cầu người dùng Dịch vụ thiết lập dạng định chia sẻ, chúng gọi dịch vụ quản lý đám mây Có mơ hình riêng để cung cấp dịch vụ khác 52 a Xây dựng lớp trung gian Storage Base − Tổ chức liệu S3 AWS - Ceph Radosgw Thiết kế tổ chức đối tượng Ceph Radosgw xây dựng dựa thư mục Linux Quy tắc tổ chức sau: − My Space Cloud sẽ tạo bucket đễ lưu giữ toàn đối tượng (Các File, thư mục người dùng − Mỗi đối tượng sẽ lưu kèm với đường dẫn − “/” thư mục root tất User − Việc phân tách, phân quyền truy cập thư mục xây dựng My Space Cloud, lớp Storage đơn giản lưu trữ object VD: Tổ chức thư mục gốc Tổ chức thư mục sau: /admin/ /userA/ /userB/ /userC/ VD: Tổ chức object user định: Toàn File thư mục User sẽ lưu với tên User tương ứng: /admin/ /admin/a.txt /admin/b.txt / admin/c.txt /admin/downloads/ /admin/documents/ − Các phương thức Bảng 3.1 Thiết kế lớp BaseStorage 53 STT Tên phương thức Mô tả Liệt kế object thư mục Truy cập thư mục Lấy đường dẫn Tạo thư mục Upload đối tượng Xóa đối tượng Xóa thư mục Sinh đường dẫn dơn load Lấy size object lưu trữ s3_ls S3_cd S3_pwd S3_mkdir S3_upload S3_rm_object S3_rm_directory S3_generate_download_url s3_get_size_objects b Thiết kế sở liệu Bảng 3.2 Thiết kế sở liệu STT − Tên bảng User Files Usage Mô tả Thông tin user Thông tin file Dung lượng sử dụng Thông tin người dùng _ User Bảng 3.3.Bảng thông tin người dùng STT − Trường User ID User name Password Kiểu liệu String String String Mơ tả Khóa Tên user Mật Thơng tin file _ Files Bảng 3.4 Bảng thông tin file STT − Trường user_id files_id files_name files_type files_size Kiểu liệu String String String String Number Mơ tả Khóa Id file Tên file Kiểu file Kích thước file Dung lượng sử dụng_Usage Bảng 3.5 Bảng thông tin dung lượng sử dụng 54 STT Trường Id Usage Kiểu liệu Mô tả Number Khóa Number Dung lượng sử dụng Total Number User Id Number Tổng dung lượng khả dụng Khóa ngoại 55 c Chức hệ thống Bảng 3.6 Chức hệ thống Site Chức Xác thực Chức Đăng nhập, đăng ký Thao tác file Phía người dùng Vận hành Thiết lập người dùng Tao tác thư mực Đọc file Xem thông tin file Chỉnh sửa thông tin user Kiểm tra dung lượng Tạo tài khoản Chỉnh sửa thông tin tài khoản người dùng Tăng giảm dung lượng người dùng Suspend tài khoản người dùng Giám sát My Space Cloud Quản trị hệ thống Tạo log người dùng Quản trị người dùng Phía người quản trị Mơ tả Chức xác thực người dùng Upload, Download, delete, sửa tên, chia sẻ Upload, Download, delete, sửa tên, chia sẻ Xem thông tin có file Ngày tạo, lần sửa đổi, người tạo Tên, user_id, user_name Dung lượng dùng, dung lượng có Quản trị tài khoản người dùng Quản trị thơng tin người dùng Quản trị liệu người dùng Kháo tài khoản người dùng vi phạm Tổng dung lượng trống, CPU Ghi lại nhật ký người dùng 56 3.3 Kiến trúc hệ thống My Space Cloud Hình 3.6 Kiến trúc hệ thống My Space Cloud Hệ thống thiết kế theo mơ hình client-server Mơ hình clientserver kiến trúc phân phối ứng dụng, phân chia nhiệm vụ/công việc nhà cung cấp tài nguyên/dịch vụ (server) người yêu cầu dịch vụ (client) 3.3.1 Triển khai My Space Cloud Chuẩn bị môi trường Bước Cài đặt môi trường Bước Cài đặt Apache httpd Bước yum groupinstall "Development Tools" -y Cài yum -y install https://centos7.iuscommunity.org/ius-release.rpm đặt Mysql bổ sung https://github.com/lacoski/mysql-1 yum install httpd -y yum install mariadb-devel -y package 3.3.2 Triển khai My Space Cloud Service Backend − Ngôn ngữ sử dụng: Python 57 Python ngơn ngữ lập trình bậc cao cho mục đích lập trình đa năng, Guido van Rossum tạo lần đầu mắt vào năm 1991 Python thiết kế với ưu điểm mạnh dễ đọc, dễ học dễ nhớ Python ngôn ngữ có hình thức sáng sủa, cấu trúc rõ ràng, thuận tiện cho người học lập trình Cấu trúc Python cho phép người sử dụng viết mã lệnh với số lần gõ phím tối thiểu Python phát triển dự án mã mở, tổ chức phi lợi nhuận Python Software Foundation quản lý − Công nghệ sử dụng: Flask FrameWork Flask web frameworks, thuộc loại micro-framework xây dựng bằng ngơn ngữ lập trình Python Flask cho phép người dùng xây dựng ứng dụng web từ đơn giản tới phức tạp Nó xây dựng API (Application Programming Interface) nhỏ, ứng dụng web chẳng hạn trang web, blog, trang wiki website dựa theo thời gian hay chí trang web thương mại Flask cung cấp cho người dùng công cụ, thư viện công nghệ hỗ trợ người dùng làm công việc Flask micro-framework, điều có nghĩa Flask mơi trường độc lập, sử dụng thư viện khác bên Do vậy, Flask có ưu điểm nhẹ, có lỗi bị phụ thuộc dễ dàng phát xử lý lỗi bảo mật − Cơ sở liệu: MySQL MySQL hệ thống quản trị sở liệu mã nguồn mở (Relational Database Management System, viết tắt RDBMS) hoạt động theo mô hình client-server RDBMS phần mềm hay dịch vụ dùng để tạo quản lý sở liệu (Database) theo hình thức quản lý mối liên hệ chúng 58 3.3.3 Ứng dụng 59 Hình 3.7 Tính đăng nhập s 60 Hình 3.8 Giao diện người sử dụng 61 Hình 3.9 Giao diện quản lý file 62 Hình 3.10 Giao diện quản lý hình ảnh Hình 3.11 Giao diện quản lý âm 63 Hình 3.12 Giao diện quản lý file 64 3.4 Kết luận chương Qua trình xây dựng hệ thống lưu trữ My Space Cloud, em hiểu biết thêm công nghệ giới phát triển Đồng thời có thêm hiểu biết q trình phát triển sản phẩm từ khâu thiết kế hạ tầng, thiết kế phần mềm, lập trình dựa giải pháp, xây dựng chức năng, tạo sản phẩm riêng theo thiên hướng mã nguồn mở Các kiến thức, kỹ có sau trình phát triển sản phẩm: − Cách nhìn tổng quan hệ thống lưu trữ, dịch vụ, hạ tầng Cloud Storage thông qua tiếp cận sản phẩm, tảng nội bật Ceph Cluster Storage − Góc nhìn đa chiều luồng phát triển sản phẩm hạ tầng tới dịch vụ − Kỹ viết tài liệu Nội dung đồ án khái quát tổng quan giải pháp lưu trữ giải pháp lưu trữ hàng đầu Ceph Cluster Storage Và thông qua giải pháp Ceph, em xây dựng dịch vụ lưu trữ đám mây mới, mang đầy đủ tính chất dịch vụ Cloud Storage KẾT LUẬN VÀ KIẾN NGHỊ KẾT LUẬN 65 Các giải pháp lưu trữ dần thay thế, bổ sung cho hệ thống lưu trữ truyền thống dần lạc hậu, giải pháp Ceph Với Ceph, ta xây dựng hệ thống lưu trữ mạnh mẽ, bảo đảm khả mở rộng, đáp ứng yêu cầu hiệu năng, tương thích đa dạng phần cứng, bảo đảm tính tồn vẹn liệu lưu trữ Và từ ba giải pháp Ceph, ta xây dựng dịch vụ lưu trữ đám mây hoàn tồn với đầy đủ tính chất Cloud Storage Tuy My Space Cloud nguyên mẫu em hy vọng tương lai trở thành sản phẩm tiềm KIẾN NGHỊ Với hệ thống My Space Cloud, dịch vụ mới, với khả tùy biến cao, áp dụng nhiều công nghệ mới, có tiềm cạnh tranh với sản phẩm bật NextCloud, OwnCloud, … Để sản phẩm phát triển, mục tiêu em: − Giải vấn đề tại, module hóa thành phần − Tích hợp thêm giải pháp, đáp ứng nhu cầu mở rộng sản phẩm − Đóng gói sản phẩm, cho phép triển khai sản phẩm nhanh, phục vụ cho việc triển khai, thử nghiệm − Mở tảng, chia sẻ thơng tin thiết kế, phân tích sản phẩm, biến sản phẩm thành mã nguồn mở Qua nhận thêm đóng góp từ cộng đồng, phát triển thành giải pháp mới, tảng mới, cạnh tranh với giải pháp có Em xin chân thành cảm ơn! TÀI LIỆU THAM KHẢO TÀI LIỆU TIẾNG VIỆT [1] Đào Việt Cường, “Giáo trình Điện tốn đám mây, ứng dụng xây dựng phủ điện tử.”, Học viện hành quốc gia [2] Huỳnh Quyết Thắng, “Giáo trình Điện tốn đám mây”, Nhà xuất Bách Khoa Hà Nội 66 TÀI LIỆU TIẾNG ANH [3] Karan Singh, “Learning Ceph”, Open Source [4] Christi Carter, Beth Veale, “Digital Radiography and Pacs”, Elsevier Health Sciences ... HỌC TÀI NGUYÊN VÀ MÔI TRƯỜNG HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ĐẶNG THỊ OANH NGHIÊN CỨU CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY VÀ XÂY DỰNG ỨNG DỤNG LƯU TRỮ DỮ LIỆU Chuyên ngành Mã ngành : Công nghệ thông tin... phát từ vấn đề trên, em xin tìm hiểu thực đề tài ? ?Nghiên cứu công nghệ điện toán đám mây xây dựng ứng dụng lưu trữ liệu? ?? với bước tổng quan từ xây dựng hạ tầng tới phát triển dịch vụ dựa hạ tầng... nghệ với khả di chuyển liệu ánh xạ liệu, hỗ trợ HA BC/DR, công nghệ lưu, ánh xạ liệu nội từ xa, phương thức snapshot, lưu khả tổ chức liệu 1.3 Các hệ thống dịch vụ lưu trữ Công nghệ lưu trữ liệu