Xây dựng và phát triển hệ thống cloud computing

Trường Đại Học Bách Khoa Hà Nội Viện CNTT & TT *** LUẬN VĂN THẠC SĨ KĨ THUẬT Đề tài : XÂY DỰNG VÀ TRIỂN KHAI HỆ THỐNG CLOUD COMPUTING Học viên thực : Nguyễn Nam Hà Mã học viên: CB150848 GV hướng dẫn : PGS.TS Nguyễn Linh Giang Hà Nội, tháng 9/2017 Nguyễn Nam Hà – BK15BMMT MỤC LỤC MỞ ĐẦU TÓM TẮT ĐỒ ÁN 10 CHƯƠNG I TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 11 Giới thiệu “Điện toán đám mây” 11 Các tính chất lợi ích sử dụng điện toán đám mây 13 2.1 Các tính chất Cloud Computing 14 2.2 Các lợi ích Cloud Computing 15 2.3 Các mơ hình Cloud Computing 16 Các cơng nghệ ảo hóa (Virtualization Technologies) 22 3.1 Một số khái niệm 22 3.2 Các kiến trúc ảo hóa 23 3.2.1 Kiến trúc ảo hóa Hosted-based: 23 3.2.2 Kiến trúc ảo hóa Hypervisor-based 25 3.2.3 Kiến trúc ảo hóa Hybid 28 3.3 Các mức độ ảo hóa 28 CHƯƠNG II CÁC VẤN ĐỀ KHI TRIỂN KHAI ĐIỆN TOÁN ĐÁM MÂY TẠI DOANH NGHIỆP 35 Lợi ích khó khăn Cloud Computing 35 1.1 Lợi ích Cloud Computing với doanh nghiệp 35 Nguyễn Nam Hà – BK15BMMT 1.2 Một số vấn đề gặp phải khó khăn triển khai Cloud Computing với doanh nghiệp 38 1.2.1 Với doanh nghiệp sử dụng Cloud Computing 38 1.2.2 Với nhà cung cấp dịch vụ Cloud Computing 41 Bước đầu triển khai hệ thống cung cấp dịch vụ Cloud Computing doanh nghiệp công nghệ thông tin 44 2.1 Lựa chọn mơ hình giải pháp 44 2.1.1 Lựa chọn mơ hình 44 2.1.2 Lựa chọn giải pháp 44 2.2 Cloudstack kiến trúc 48 2.2.1 Giới thiệu Cloudstack 48 2.2.2 Kiến trúc Cloudstack 49 2.3 Lựa chọn số công nghệ hỗ trợ xây dựng hệ thống 62 2.3.1 Vấn đề Loadbalancing 62 2.3.2 Vấn đề redundant cho thành phần hệ thống 64 2.3.3 Vấn đề performance Primary Storage 65 2.3.4 Xây dựng hệ thống giám sát, cảnh báo 67 CHƯƠNG III TRIỂN KHAI HỆ THỐNG CLOUD COMPUTING VỚI CLOUDSTACK 70 Mơ hình triển khai 70 Triển khai cài đặt Cloudstack hệ thống 71 2.1 Cài đặt khối Management server - Database 71 2.2 Cài đặt khối Host 73 Nguyễn Nam Hà – BK15BMMT 2.3 Cài đặt Primary Storage 77 Cấu hình Cloudstack giao diện web 79 3.1 Adding Zone/Pod/Cluster/Host/Storage 80 3.2 Các thành phần hệ thống sau triển khai Zone 87 3.3 Khởi tạo máy ảo quản trị tài nguyên liên quan 89 3.4 Một số tính khác 93 Bài test kiểm tra lại khả loadbalancing redundant hệ thống 97 KẾT LUẬN CHUNG 99 TÀI LIỆU THAM KHẢO 100 Nguyễn Nam Hà – BK15BMMT DANH MỤC HÌNH VẼ Hình 1.Góc nhìn kĩ thuật Cloud Computing 13 Hình NIST Visual Model of Cloud Computing Definition 14 Hình Các loại dịch vụ Cloud Computing 17 Hình Mơ hình SPI 18 Hình Mơ hình Public Cloud 19 Hình Private Cloud Public Cloud 20 Hình Sự kết hợp Private Cloud Public Cloud 20 Hình Hybrid Cloud 21 Hình Triển khai ứng dụng Hybrid Cloud 22 Hình 10 Mơ hình Hosted-based 24 Hình 11 Kiến trúc Hypervisor-based 25 Hình 12 Kiến trúc Monolithic Hypervisor 27 Hình 13 Kiến trúc Microkernelized Hypervisor 27 Hình 14 Kiến trúc ảo hóa Hybrid 28 Hình 15 Full Virtualization 29 Hình 16 Para-virtualization 30 Hình 17 Multi-tenant với Cloud Computing 37 Hình 18 Mơ hình Cloudstack đơn giản 50 Hình 19 Một Zone Cloudstack 51 Hình 20 Một Region với nhiều Zone Cloudstack 52 Hình 21 Pod Cloudstack 53 Hình 22 Cluster Cloudstack 53 Hình 23 Các unit Management Server 56 Hình 24 Guest traffic 58 Hình 25 Network Pod 59 Hình 26 Network Zone 60 Nguyễn Nam Hà – BK15BMMT Hình 27 Load balancing với LVS 64 Hình 28 Multipath 67 Hình 29 Mơ hình triển khai hệ thống 70 Hình 30 Giao diện Dashboard Cloudstack 80 Hình 31 Zone type panel 80 Hình 32 Setup Zone panel 81 Hình 33 Setup network panel 82 Hình 34 Setup Public traffic 82 Hình 35 Setup Pod 83 Hình 36 Setup Guest traffic 83 Hình 37 Add Cluster panel 84 Hình 38 Add Host panel 84 Hình 39 Add Primary storage panel 85 Hình 40 Add Secondary Storage panel 86 Hình 41 Launch Zone panel 86 Hình 42 Compute Storage Zone 87 Hình 43 Các cluster trạng thái hoạt động tốt 88 Hình 44 Hai trạng thái Host 88 Hình 45 System VMs trạng thái hoạt động tốt 89 Hình 46 Register ISO panel 89 Hình 47 Add Instance panel 91 Hình 48 Console window máy ảo 92 Hình 49 Sources Nat service 93 Hình 50 Storage tab 94 Hình 51 Tab Template 95 Hình 52 Tab Infrastructure 96 Nguyễn Nam Hà – BK15BMMT Nguyễn Nam Hà – BK15BMMT DANH MỤC TỪ VIẾT TẮT SỬ DỤNG TRONG ĐỒ ÁN Từ viết tắt Nghĩa tiếng Anh IT Nghĩa tiếng Việt Information Technology Công nghệ thông tin VPS Virtual Private Server Máy chủ riêng ảo IaaS Infrastructure as a Service Hạ tầng dịch vụ PaaS Platform as a Service Nền tảng dịch vụ SaaS Software as a Service Phần mềm dịch vụ VM Virtual Machine Máy ảo OS Operating System Hệ điều hành Storage Area Network Mạng lưu trữ Virtual Local Area Network Mạng nội ảo Network Interface Card Card mạng Distributed Denial Of Service Tấn công từ chối dịch vụ VPN Virtual Private Network Mạng riêng ảo API Application Programming Interface Giao diện lập trình ứng dụng Dynamic Host Configuration Giao thức cấu hình động máy Protocol chủ NAT Network Address Translation Biên dịch địa mạng NFS Network File System Giao thức chia sẻ file qua mạng LVS Linux virtual server Giải pháp load balancing DB Database Cơ sở liệu SAN VLAN NIC DDOS DHCP Nguyễn Nam Hà – BK15BMMT MỞ ĐẦU Trong năm gần đây, cụm từ “Cloud computing” ngày trở nên phổ biến Những ứng dụng Google Drive, Dropbox, Office 365 xuất tất máy tính cá nhân mang lại tiện ích vơ lớn cho người sử dụng Cịn với cơng ty, doanh nghiệp, việc có tảng sở hạ tầng công nghệ thong tin tin cậy, giá đầu tư chi phí dài hạn nâng cấp, bảo trì, sửa chữa, hợp lí mơt điều khơng thể thiếu Với tảng Cloud Computing, yêu cầu doanh nghiệp đáp ứng Và theo xu hướng cơng nghệ này, thấy doanh nghiệp khơng cịn sử dụng tủ rack, server, PC, nữa, mà thay vào hạ tầng ảo: tủ rack ảo, server ảo, Họ không cần quan tâm nhiều đến hạ tầng công nghệ thông tin nữa, đơn giản cần trả chi phí tương đương sử dụng, dành thời gian nhân lực cho mục tiêu cơng ty Đồng thời, hội lớn mở với doanh nghiệp kinh doanh cung cấp dịch vụ Cloud Computing Vậy “Cloud Computing” gì, giải pháp cho Cloud Computing việc triển khai thực tế với doanh nghiệp nào? Đồng thời khuôn khổ đồ án này, em xin tiếp cận với vai trò nhà cung cấp dịch vụ Cloud Computing bước tháo gỡ vấn đề để đến xây dựng hệ thống cung cấp dịch vụ Cloud Computing hồn chỉnh Vì lí đó, em chọn đề tài: “Xây dựng triển khai hệ thống Cloud Computing” cho đồ án tốt nghiệp Nguyễn Nam Hà – BK15BMMT TÓM TẮT ĐỒ ÁN Đồ án với đề tài: “Xây dựng triển khai hệ thống Cloud Computing” việc giới thiệu tổng quan Cloud Computing giải pháp Cloud Computing, sâu vào giải pháp opensources cho Cloud Computing, Cloudstack Nội dung đồ án chia làm chương: Chương I: Tổng quan điện toán đám mây cơng nghệ ảo hóa Chương II: Cung cấp dịch vụ cơng nghệ thơng tin điện tốn đám mây Chương III: Triển khai cung cấp dịch vụ hạ tầng điện toán đám mây với Cloudstack Nguyễn Nam Hà – BK15BMMT 3.2 Các thành phần ph hệ thống sau triển khai Zone Sau trình launch Zone, tiến ti hành kiểm tra trạng ng thái thành ph phần để đảm bảo hệ thống sẵn sàng cho việcc tạo t máy ảo Để kiểm m tra thành phần ph hệ thống, từ Dashboard  Infrastructure  Zones   Compute and Storage Hình 42 Compute Storage Zone Chọn “View all” vớii Pods, Clusters, Hosts, Primary Storage, Secondary Storage đđể kiểm tra thành phần n trạng tr thái Nguyễn Nam Hà – BK15BMMT Hình 43 Các cluster trạng thái hoạt động tốt Ví dụ với Host, trạng ng thái hoạt ho động tốt có State “Up” , nếuu State “Down” ho “Alert” người quản trịị cần kiểm tra lại trạng ng thái Host đó: server có ho hoạt động bình thường khơng? Kếtt nối n từ Host đếnn Management có thơng không? Các service Host chạy y chưa? Các port liệu li có bị đóng khơng? Hình 44 Hai trạng thái Host Sau kiểm tra trạng ng thái c Cluster Host, tiến hành kiểm m tra tr trạng thái System VMs để đảm m bảo b khởi chạy máy ảo từ ISO hoặcc template, đđồng thời truy cập àn hình c máy ảo sau q trình khởi tạo Nếếu có lỗi xảy ra, cần check lại xem việcc mount phân vùng Secondary có xảy x vấn đềề hay khơng? Nguyễn Nam Hà – BK15BMMT Hình 45 System VMs trạng thái hoạt động tốt 3.3 Khởi tạo o máy ảo quản trị tài nguyên liên quan Sau tài nguyên hệệ thống sẵn sàng, bắt đầu tiến hành khởi tạoo máy ảo Tuy nhiên hệ thố ống chưa có template hay ISO có th thể sử dụng để tạo máy ảo Do ta cần n upload lên m file ISO chứa cài hệ điềuu hành Để thực việc này, từ Dashboard  Template  chọnn ISO tab “Select view”  Register ISO Cửa số Register ISO xuất Hình 46 Register ISO panel Nguyễn Nam Hà – BK15BMMT Các lựa chọn cửa số sau: - Name: tên ISO - Description: mô tả filee ISO - URL: đường ng link download file ISO Ví dụ d như: http://mirrors.vhost.vn/centos/6/isos/x86_64/CentOS vn/centos/6/isos/x86_64/CentOS-6.0-x86_64-DVD DVD-1611.iso - Zone: chọn n Zone mong muốn mu - Bootable: tích chọn n vào lựa l chọn file ISO sử dụng để cài đặt hệ điều hành - OS type: chọn loạii OS cài đặt đ - Các option extracable, public, feature th tích khơng Sau cấu u hình xong, trình download file ISO bắt b đầu diễnn N Nếu thành công, Status file ISO hiểển thị “Successfully Installed” Đến đây, ta bắt đầu khởii tạo t máy ảo Từ Dashboard  Instance  Add Instance C Cửa sổ Add Instance n Nguyễn Nam Hà – BK15BMMT Hình 47 Add Instance panel Ở ta chọn n ISO, sau chọn ch đến file ISO ta download Các bước tiếp sau bước bư chọn CPU, RAM, dung lượng ổ root, network (trong trường hợp ta sử dụng ng mạng m Isolated) cuối tên củaa máy ảo Kết thúc trình, máy ảo khở ởi tạo Một popup hiệnn lên thông báo password đăng nhập vào tài khoản quản n trị tr máy ảo Lúc ta biết máy ảo đượ ợc khởi tạo thành cơng Hình Trạng thái máy ảo o sau trình khởi kh tạo Sau máy ảo khởi động ng thành cơng, ta th truy cậpp vào hình console ccủa máy ảo Nguyễn Nam Hà – BK15BMMT Hình 48 Console window máy ảo Với mạng Sources NAT, AT, ta cấu hình service liên quan firewall, load balacing, VPN Bằng ng cách truy cập c Dashboard  Network   Configuration Nguyễn Nam Hà – BK15BMMT Hình 49 Sources Nat service 3.4 Một số tính khác Phần đồ án xin giới gi thiệu số chức khác củaa Cloudstack cung ccấp thông qua giao diện n web trực tr quan Giao diện củaa Cloudstack mặc định mở tab Dashboard, cung ccấp cho người quản trị thông tin tài nguyên hi hệ thống ng : RAM, CPU, IP, Storage Bên cạnh nh thơng tin log, alert để đ người quản trị có nhìn tổổng quát trạng thái hệ thống Sơ lược chức củaa tab khác sau:  Tab Instance: , cung cấp c danh sách tồn máy ảo hiệnn có hhệ thống, kèm theo trạạng ng thái : running, stopped hay destroyed Bên ccạnh ng thao tác th làm với máy ảoo : start, stop, restart, destroy, hay live migration.Cụ thể m số chức cần lưu ý tab là: - Destroy: xóa máy ảo, nhiên hệ thống giữ lại bảnn lưu ccủa máy ảo để người quản trị th recover lúc Thời gian bảnn lưu ttồn hệ thống ng người ngư quản trị cấuu hình Global Setting Nguyễn Nam Hà – BK15BMMT - Reset VM: lấy lạại cấu hình mặc định vừa khởi tạo lạii máy ảo - Attach ISO: gán file ISO vào máy ảo, hoạt động ổ CD/DVD - Reset password: m tính hay Cloudstack, cho phép người sử dụng u quên password th reset lại password củủa máy ảo mà không cần can thiệệp vào hệ điều hành - Migrate te to host: tính ch có với account quản trị,, giúp migration sang máy ảo o sang host khác mà khong làm gián đoạn đo n trình làm vi việc máy ảo  Tab Storage: cung cấp c danh sách ổ cứng tồnn ttại hệ thống,ổ cứng dạng ng : ổ chứa hệ điều hành củaa VMs ho ổ chứa liệu thường có thểể tách khỏi VMs Hình 50 Storage tab  Tab Network: cung cấp c danh sách toàn network hhệ thống , isolated shared Đi kèm theo phần ph cấu hình dịch ch vvụ network VPN, firewall, load balancer, port forwarding  Tab Template: cung cấp c p danh sách templat, snapshot ISO image hhệ thống ng Đây nơi người ngư quản trị thực backup hoặcc restore máy ảo, upload file ISO hệ h điều hành Sau đó, người quản trị download, Nguyễn Nam Hà – BK15BMMT hay copy template sang m số phân vùng khác nh nhằm mụch đích backup liệu quan trọng Hình 51 Tab Template  Tab Event: Cung cấp c tòan event, log error, alert hệ th thống Ví dụ : user login, VMs đượcc khởi kh động, bị shutdown, thay đổi ổ cứng, ng, thay đđổi thơng tin account, vv Các Alert th gặp phảii : service management restart, host down, hay VMs bị b tắt ý muốn,…  Tab Account: cung cấp c thông tin account hệ thống ng Các account Role : Admin ho User quyền thựcc thi domain định nh Account admin th thao tác với tất VMs domain, cịn user có quyền n với v máy thuộc quyền sở hữu củaa Trạng thái account enabled ho locked  Tab Domain: cung cấp c thông tin domain hệ thống ng Domain ggốc lớn củaa Cloudstack domain Root Các domain khác đđều subdomain domain  Tab Infastructure: cung cấp thông tin sở hệ tầng ng ccủa hệ thống : region, zone, pod, cluster, host, network Và thao tác khác thêm, ssửa, Nguyễn Nam Hà – BK15BMMT xóa thành phầần Ngồi cịn có máy ảo đặc biệtt ccủa hệ thống như: System VMs, Virtual Router Hình 52 Tab Infrastructure  Tab Global Setting: nơi để nhà quản trị điều chỉnh, nh, turning hhệ thống với nhiều mụcc đích khác  Tab Service Offering: nơi nhà quản trị tạo gói dịch vụụ cung cấp cho khách hàng Có gói compute (RAM, CPU), storage (d (dung lượng ổ cứng), ng), network (isolated hay shared, dải d IP,…) Nguyễn Nam Hà – BK15BMMT Bài test kiểm tra lại khả loadbalancing redundant hệ thống 4.1 Kiểm tra khả load balancing Để thực kiểm tra này, login vào Load balancing server Kiểm tra lệnh #ipvsadm –lcn Kết thu sau Kết cho thấy kết nối từ host load balancing luân phiên sang Management server, đảm bảo việc phân tải cho hệ thống 4.2 Kiểm tra tính sẵn sàng hệ thống Để thực việc đánh giá tính sẵn sàng, đồ án thực theo kịch sau: Nguyễn Nam Hà – BK15BMMT Với test này, kết cho thấy hệ thống đảm bảo tính sẵn sàng, dù Host hệ thống gặp cố, máy ảo tự động migrate sang host khác hoạt động, không gây cố gián đoạn dịch vụ Nguyễn Nam Hà – BK15BMMT KẾT LUẬN CHUNG Hiện số lượng doanh nghiệp tham gia vào “đám mây” ngày gia tăng Trong khuôn khổ đồ án này, em trình bày số vấn đề triển khai Cloud Computing doanh nghiệp, phần hướng giải đưa mơ hình triển khai Cloud Computing với mã nguồn mở Cloudstack nhà cung cấp dịch vụ Tuy nhiên số vấn đề với hệ thống mà đồ án chưa đề cập đến vấn đề mở rộng, tích hợp với hệ thống Cloud Computing nhà cung cấp khác hay đặc biệt vấn đề bảo mật chưa giải triệt để Đây không vấn đề riêng Cloudstack mà vấn đề nhiều giải pháp khác Cloud Computing Hướng phát triển đề tài: Nghiên cứu giải pháp bảo mật cho Cloud Computing Nguyễn Nam Hà – BK15BMMT TÀI LIỆU THAM KHẢO [1] Dan C Marinescu, Cloud Computing: Theory and Practice , 2012 [2] John W Rittinghouse, James F Ransome, Cloud Computing Implementation, Management and Security, CRC Press, 2010 [3] Navin Sabharwal, Ravi Shankar, Apache CloudStack Cloud Computing, 2013 [4] David Chappell, A SHORT INTRODUCTION TO CLOUD PLATFORMS, 2008 [5] Apache Cloudstack offical site: http://cloudstack.apache.org/ [6] Viettelidc website: https://viettelidc.com.vn/public-private-hay-hybrid-cloud-mohinh-nao-thuc-su-phu-hop-cho-doanh-nghiep-cua-ban.html [7] Linux virtual server website: http://www.linuxvirtualserver.org/ [8] Michael J Kavis, Architecting the Cloud: Design Decisions for Cloud Computing Service Models, 2014 Nguyễn Nam Hà – BK15BMMT LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu thực cá nhân tôi, thực hướng dẫn khoa học PGS.TS Nguyễn Linh Giang Các số liệu, kết nghiên cứu luận văn trung thực Tôi xin chịu trách nhiệm nghiên cứu Học viên Nguyễn Nam Hà Nguyễn Nam Hà – BK15BMMT ... cấp dịch vụ Cloud Computing bước tháo gỡ vấn đề để đến xây dựng hệ thống cung cấp dịch vụ Cloud Computing hồn chỉnh Vì lí đó, em chọn đề tài: ? ?Xây dựng triển khai hệ thống Cloud Computing? ?? cho... với đề tài: ? ?Xây dựng triển khai hệ thống Cloud Computing? ?? việc giới thiệu tổng quan Cloud Computing giải pháp Cloud Computing, sâu vào giải pháp opensources cho Cloud Computing, Cloudstack Nội... thành phần hệ thống 64 2.3.3 Vấn đề performance Primary Storage 65 2.3.4 Xây dựng hệ thống giám sát, cảnh báo 67 CHƯƠNG III TRIỂN KHAI HỆ THỐNG CLOUD COMPUTING VỚI CLOUDSTACK