Nghiên cứu và triển khai giải pháp giám sát và quản lý trung tâm dữ liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Lê Quang Huy NGHIÊN CỨU VÀ TRIỂN KHAI GIẢI PHÁP GIÁM SÁT VÀ QUẢN LÝ TRUNG TÂM DỮ LIỆU LUẬN VĂN THẠC SĨ KHOA HỌC Kỹ thuâ ̣t viễn thông Hà Nội – Năm 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Lê Quang Huy NGHIÊN CỨU VÀ TRIỂN KHAI GIẢI PHÁP GIÁM SÁT VÀ QUẢN LÝ TRUNG TÂM DỮ LIỆU Chuyên ngành : Kỹ thuâ ̣t viễn thông LUẬN VĂN THẠC SĨ KHOA HỌC Kỹ thuâ ̣t viễn thông NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Hữu Thanh Hà Nội – 2016 i CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Lê Quang Huy Đề tài luận văn: Nghiên cứu triển khai giải pháp giám sát quản lý Trung tâm liệu Chuyên ngành: Kỹ thuâ ̣t viễn thông Mã số SV: CB130538 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 30/03/2016 với nội dung sau: - - Sửa lại trang bìa theo định dạng quy định Bổ sung mô tả thông số (RAM, vCPU, HDD, VM…) tạo Project trang 59 Bổ sung phân loại cách di chuyển máy chủ ảo máy chủ vật lý (migrate) trang 74 Ngày tháng năm 2016 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ii LỜI CAM ĐOAN Tác giả xin cam đoan công trình nghiên cứu tác giả, không chép người Các thử nghiệm, số liệu kết nêu luận văn hoàn toàn trung thực Tác giả Lê Quang Huy iii MỤC LỤC BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ…………… ………… i LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC HÌNH ẢNH vi DANH MỤC BẢNG BIỂU vii DANH MỤC THUẬT NGỮ VIẾT TẮT vii LỜI MỞ ĐẦU TÓM TẮT CHƯƠNG CƠ BẢN VỀ ĐIỆN TOÁN ĐÁM MÂY 1.1 Thế điện toán đám mây a Các công nghệ liên quan đến điện toán đám mây b Kiến trúc điện toán đám mây c Các mô hình dịch vụ điện toán đám mây d Các mô hình triển khai điện toán đám mây e Các thuộc tính điện toán đám mây 11 1.2 Các yêu cầu để triển khai điện toán đám mây 12 1.2.1 Trung tâm liệu với hiệu cao 12 1.2.2 Ảo hóa 15 1.2.3 Nền tảng cung cấp dịch vụ 15 1.3 Các vấn đề cần giải điện toán đám mây 16 1.4 Các tảng mã nguồn mở để triển khai điện toán đám mây 17 1.4.1 Eucalyptus 17 1.4.2 OpenNebula 17 1.4.3 Nimbus 18 1.4.4 XenCloud Platform 18 1.4.5 AbiCloud 18 1.4.6 Openstack 18 CHƯƠNG OPENSTACK 19 2.1 Amazon web service nguồn cảm hứng đời Openstack 19 2.2 Sự đời Openstack tất yếu cần thiết 22 2.3 Giới thiệu Openstack project 23 2.3.1 Lịch sử Openstack 23 2.3.2 Tổng quan Openstack 24 iv 2.3.3 Cấu trúc Openstack 25 2.3.4 Khối tính Nova 27 2.3.5 Khối đối tượng lưu trữ (Swift) 29 2.3.6 Khối cung cấp đĩa ảo (Glance) 35 2.3.7 Khối định danh (Keystone) 37 2.3.8 Khối bảng điều khiển (Horizon) 39 2.3.9 Khối mạng (Neutron) 40 2.3.10 Khối lưu trữ (Cinder) 41 2.3.11 Security “Cloud computing” 43 2.3.12 Openstack Security 45 CHƯƠNG TRIỂN KHAI DỊCH VỤ HẠ TẦNG (IAAS) TRÊN OPENSTACK 46 3.1 Khái niệm dịch vụ hạ tầng IaaS 46 3.2 Các tính IaaS 46 3.3 Thử nghiệm tính IaaS Openstack 47 3.3.1 Cài đặt hệ thống 47 3.3.1.1 Các công cụ triển khai 47 3.3.1.2 Mô hình thử nghiệm 47 3.3.1.3 Thao tác máy chủ 48 3.3.2 Cấu hình hạn ngạch (CPU, RAM, HDD) cho đơn vị, khách hàng 58 3.3.3 Tạo thay đổi cấu hình máy ảo 62 3.3.4 Cấu hình cân tải (LB) cho máy ảo 65 3.3.5 Cấu hình tự động mở rộng, thu hẹp cấu hình tài nguyên máy ảo 70 3.3.6 Chuyển máy chủ ảo máy chủ vật lý (Live Migration) 74 3.3.7 Giám sát hoạt động hạ tầng IaaS 75 KẾT LUẬN 76 TÀI LIỆU THAM KHẢO 77 v DANH MỤC HÌNH ẢNH Hình ảnh chương 1: Hình 1.1 Kiến trúc điện toán đám mây .5 Hình 1.2 Các mô hình dịch vụ điện toán đám mây .6 Hình 1.3 Các lớp mạng trung tâm liệu .13 Hình ảnh chương 2: Hình 2.1 AmazonWeb Service 19 Hình 2.2 Cấu trúc mức khái niệm hệ thống Openstack 25 Hình 2.3 Cấu trúc mức hệ thống hệ thống Openstack 26 Hình 2.4 Tương tác liệu sở liệu 30 Hình 2.5 Bản đồ Ring phân vùng đến địa điểm vật lý đĩa .31 Hình 2.6 Cơ chế tạo zone 33 Hình 2.7 Phân vùng Swift có chứa tất liệu hệ thống 34 Hình 2.8 Quá trình phát lỗi tạo 34 Hình 2.9 Kiến trúc lôgic Glance .36 Hình 2.10 Sự kết hợp Swift Nova thông qua Glance 37 Hình 2.11 Cơ chế hoạt động Keystone 38 Hình 2.12 Giao diện người dùng horizon Openstack 39 Hình 2.13 Sơ đồ khối khối lưu trữ .42 Hình ảnh chương 4: Hình 3.1 Các thành phần hệ thống IaaS 46 Hình Mô hình thử nghiệm 47 Hình 3.3 Giao diện login 57 Hình 3.4 Dashboard Openstack .58 Hình 3.5 Cửa sổ đăng nhập Openstack 58 Hình 3.6 Danh mục Projects .59 Hình 3.7 Cửa sổ tạo Project .60 Hình 3.8 Cửa sổ nhập thông số tạo Project 61 Hình 3.9 Danh mục Users 61 Hình 3.10 Nhập thông tin tạo User .62 Hình 3.11 Cửa sổ đăng nhập OpenStack 63 Hình 3.12 Danh mục máy ảo 63 Hình 3.13 Nhập thông số tạo máy ảo 64 Hình 3.14 Tiến trình tạo máy ảo .65 Hình 3.15 Chuẩn bị máy ảo để cấu hình LB .65 Hình 16 Kiểm tra kết nối tới máy ảo 01 65 Hình 3.17 Kiểm tra kết nối tới máy ảo 02 .66 Hình 18 Danh mục LB tạo 66 Hình 3.19 Nhập thông số tạo LB 67 Hình 3.20 Gán IP VIP cho LB 68 Hình 3.21 Nhập thông số gán IP VIP cho LB 68 Hình 3.22 Thêm máy chủ thành viên vào LB .69 vi Hình 23 Kiểm tra SSH vào LB lần 70 Hình 24 Kiểm tra SSH vào LB lần 70 Hình 25 Cửa sổ cấu hình Scale .71 Hình 3.26 Chuyển đổi máy chủ ảo máy chủ vật lý 74 Hình 27 Lựa chọn máy chủ vật lý chuyển tới 75 Hình 28 Giám sát hoạt động IaaS 75 DANH MỤC BẢNG BIỂU Bảng 2.1 Các phiên Openstack 24 Bảng 2.2 Các tùy chọn Image Stores 36 DANH MỤC THUẬT NGỮ VIẾT TẮT TỪ VIẾT TẮT AWS TỪ ĐẦY ĐỦ NGHĨA TIẾNG VIỆT Amazon Web Service Dịch vụ Web Amazon CC Cloud computing Điện toán đám mây DC Data Center Trung tâm liệu IAAS Infrastructure as a Service Dịch vụ hạ tầng NIST National Institute of Standard and Technology Viện tiêu chuẩn công nghệ quốc tế PAAS Platform as a Service Dịch vụ tảng SAAS Software as a Service Dịch vụ phần mềm VM Virtual Machine Máy ảo XCP XenCloud Platform Nền tảng XenCloud vii LỜI MỞ ĐẦU Trung tâm Dữ liệu doanh nghiệp ngày phức tạp với nhiều công nghệ, hệ thống tích hợp với bao gồm: hệ thống máy chủ, thiết bị mạng, thiết bị lưu trữ… Do doanh nghiệp cần giải pháp hợp giám sát, quản lý sử dụng hiệu toàn hệ thống trung tâm liệu Điện toán đám mây - Cloud computing công nghệ nhận nhiều quan tâm từ người dùng doanh nghiệp Một ưu điểm điện toán đám mây cho phép doanh nghiệp sử dụng hiệu tài nguyên từ hệ thống vật lý IaaS (Infrastructure as a Service) thành phần quan trọng giúp cho điện toán đám mây thực điều Hiện có nhiều sản phẩm thương mại nguồn mở miễn phí giới thiệu cung cấp cho người dùng doanh nghiệp khả xây dựng thành phần điện toán đám mây nói chung hạ tầng IaaS nói riêng So với giải pháp thương mại, giải pháp nguồn mở thể rõ ưu điểm chi phí, khả tùy biến mở rộng Trong đồ án em xin trình bày số kết nghiên cứu thử nghiệm giải pháp IaaS quan tâm nay: OpenStack Là dự án nguồn mở tham gia 160 công ty lớn giới, Openstack mang đến cho doanh nghiệp khả xây dựng đám mây riêng phục vụ cho công việc nội lớn đám mây để cung cấp dịch vụ liên quan tới điện toán đám mây TÓM TẮT Điện toán đám mây công nghệ mới, ứng dụng nhiều, xu hướng dần cho thấy có ưu điểm, khắc phục nhược điểm mô hình truyền thống tồn Trong đồ án trình bày toàn sở lý thuyết, cấu trúc số tảng triển khai điện toán đám mây Cùng với đó, đồ án đề cập tới việc triển khai số tính hạ tầng IaaS dự tảng Openstack, chế hạn ngạch tài nguyên, quản lý tài nguyên điện toán, chế cân tải, khả mở rộng/thu hẹp cấu hình tài nguyên điện toán, khả chuyển máy chủ ảo máy chủ vật lý giám sát hoạt động hạ tầng điện toám đám mây Đánh giá kết đạt hướng phát triển, ứng dụng thực tế tương lai Hình 3.11 Cửa sổ đăng nhập OpenStack - Bước 2: Truy cập đường dẫn Compute -> Instances -> Lanch Instance Hình 3.12 Danh mục máy ảo Tạo máy chủ ảo với thông tin sau: o Instance Name: BK1 o Flavor (cấu hình phần cứng): Tiny 63 o Instance Count (số máy ảo tạo): o Instance Boot Source: Boot from Image o Image Name: Cirros Hình 3.13 Nhập thông số tạo máy ảo Quá trình tạo máy ảo diễn 64 Hình 3.14 Tiến trình tạo máy ảo 3.3.4 Cấu hình cân tải (LB) cho máy ảo - Bước 1: Thực tạo máy chủ ảo để thực cấu hình cân tải Hình 3.15 Chuẩn bị máy ảo để cấu hình LB o Máy chủ 01: o Địa IP: 10.61.61.190 o OS: Linux o Kiểm tra SSH thành công vào máy chủ 01 Hình 16 Kiểm tra kết nối tới máy ảo 01 o Máy chủ 02: o Địa IP: 10.61.61.191 o OS: Linux o Kiểm tra SSH thành công vào máy chủ 02 65 Hình 3.17 Kiểm tra kết nối tới máy ảo 02 Bước 2: Tạo Load Balancer Group - Truy cập đường dẫn: Network -> Load Balancers -> Add Pool Hình 18 Danh mục LB tạo Nhập thông tin Pool sau: o o o o o Name: LB-MC01+MC02 Subnet: 10.61.61.0/24 Protocol: TCP Load Balancing Method: DNS Round Robin State: UP 66 Hình 3.19 Nhập thông số tạo LB - Bước 3: Gán IP VIP cho Load Balancer 67 Hình 3.20 Gán IP VIP cho LB - Bước 3: Gán IP VIP cho Load Balancer Do máy chủ tạo chạy dịch vụ SSH, để đơn giản em xin phép thực cấu hình LB cho dịch vụ SSH (port 22) Hình 3.21 Nhập thông số gán IP VIP cho LB - Bước 4: Gán máy chủ thành viên LB 68 Hình 3.22 Thêm máy chủ thành viên vào LB - Bước 5: Kiểm tra Lần 1: SSH vào địa IP LB (10.61.61.200) -> kết nối chuyển vào 10.61.61.190 69 Hình 23 Kiểm tra SSH vào LB lần Lần 2: SSH vào địa IP LB (10.61.61.200) -> kết nối chuyển vào 10.61.61.191 Hình 24 Kiểm tra SSH vào LB lần 3.3.5 Cấu hình tự động mở rộng, thu hẹp cấu hình tài nguyên máy ảo - Bước 1: cài đặt thành phần Heat 70 Bước 2: truy cập Orchestration -> Stacks -> Launch Stack - Hình 25 Cửa sổ cấu hình Scale File Template có nội dung sau, lưu ý mục bôi đỏ mang ý nghĩa: - Khi CPU máy ảo tăng 50% phút -> tạo thêm máy ảo Khi CPU máy ảo giảm 10% phút -> xóa bớt máy ảo heat_template_version: 2014-10-16 description: > This is a very simple template that illustrates automatic scaling up and down using OS::Heat::AutoScalingGroup CPU load is generated for 15 mins after each instance is spawned, triggering a scale-up event Once the max number of instances has been reached and the CPU load generation has finished, the number of instances will be scaled back down to resources: asg: type: OS::Heat::AutoScalingGroup properties: min_size: max_size: resource: 71 type: OS::Nova::Server properties: key_name: key1 flavor: m1.tiny image: Cirros networks: - network: viettel-office metadata: {"metering.stack": {get_param: "OS::stack_id"}} user_data_format: RAW user_data: | #!/bin/sh while [ ] ; echo $((13**99)) 1>/dev/null 2>&1; done & scale_up_policy: type: OS::Heat::ScalingPolicy properties: adjustment_type: change_in_capacity auto_scaling_group_id: {get_resource: asg} cooldown: 60 scaling_adjustment: scale_down_policy: type: OS::Heat::ScalingPolicy properties: adjustment_type: change_in_capacity auto_scaling_group_id: {get_resource: asg} cooldown: 60 scaling_adjustment: '-1' cpu_alarm_high: type: OS::Ceilometer::Alarm properties: description: Scale-up if the average CPU > 50% for minute meter_name: cpu_util statistic: avg period: 60 evaluation_periods: 72 threshold: 50 alarm_actions: - {get_attr: [scale_up_policy, alarm_url]} matching_metadata: {'metadata.user_metadata.stack': {get_param: "OS::stack _id"}} comparison_operator: gt cpu_alarm_low: type: OS::Ceilometer::Alarm properties: description: Scale-down if the average CPU < 10% for 10 minutes meter_name: cpu_util statistic: avg period: 180 evaluation_periods: threshold: 10 alarm_actions: - {get_attr: [scale_down_policy, alarm_url]} matching_metadata: {'metadata.user_metadata.stack': {get_param: "OS::stack _id"}} comparison_operator: lt outputs: scale_up_url: description: > Webhook URL to scale up the group You can invoke the scale-up operation by doing an HTTP POST to this URL value: {get_attr: [scale_up_policy, alarm_url]} scale_dn_url: description: > Webhook URL to scale down the group You can invoke the scale-down operation by doing an HTTP POST to this URL value: {get_attr: [scale_down_policy, alarm_url]} server_list: description: > List of server names that are part of the group value: {get_attr: [asg, outputs_list, name]} 73 3.3.6 Chuyển máy chủ ảo máy chủ vật lý (Live Migration) Các máy chủ ảo di chuyển máy chủ vật lý để nâng cao hiệu quản lý tối ưu hóa tài nguyên Có cách để thực di chuyển máy chủ ảo (migrate): - - Migrate Instance: lựa chọn mặc định, có sẵn OpenStack cho phép di chuyển máy chủ ảo máy chủ vật lý Tuy nhiên sử dụng cách gây thời gian gián đoạn dịch vụ lớn hệ thống Cloud phải tắt máy chủ ảo chuyển sang máy chủ vật lý khác Live migrate instance: phương án migrate tác giả triển khai bổ sung với ưu điểm không gián đoạn dịch vụ (khoảng 1-2 giây) chất máy chủ ảo lưu tập trung máy chủ lưu trữ trung gian (máy chủ triển khai dịch vụ NFS) Hình 3.26 Chuyển đổi máy chủ ảo máy chủ vật lý 74 Hình 27 Lựa chọn máy chủ vật lý chuyển tới 3.3.7 Giám sát hoạt động hạ tầng IaaS Toàn thông tin giám sát hạ tầng IaaS thực tập trung mục Monitoring and Management Hình 28 Giám sát hoạt động IaaS 75 KẾT LUẬN Qua phần trình bày trên, ta hình dung Điện toán đám mây nói chung Openstack nói riêng môt công nghệ tiên tiến nhiều quốc gia công ty, tập đoàn, tổ chức tiến hành nghiên cứu cài đặt sử dụng Trong trình em cài đặt thử nghiệm số tính điện toán đám mây dựa Openstack, tồn nhiều hạn chế mặt kiến thức số khó khăn như: - Hệ thống triển khai thử nghiệm máy trạm nên không đảm bảo hiệu không đủ tài nguyên để thực toàn chức - Openstack hệ thống lớn, yêu cầu cài đặt nhiều thành phần cấu hình phức tạp nên cần thời gian nghiên cứu để tích hợp xử lý lỗi phát sinh Do kết nhiều hạn chế, thời gian tới, em tiến hành thử nghiệm tính mô hình triển khai mô hình thực tế hệ thống Openstack Xin gửi lời cảm ơn chân thành tới: - PGS.TS Nguyễn Hữu Thanh Đã tạo điều kiện, giúp đỡ em hoàn thành đồ án tốt nghiệp Hà Nội, ngày tháng năm 2016 Sinh viên Lê Quang Huy 76 TÀI LIỆU THAM KHẢO [1] Paper “Cloud computing: state-of-the-art and research challenges”, Qi Zhang · Lu Cheng · Raouf Boutaba [2] Paper “Market-Oriented Cloud Computing: Vision, Hype, and Reality for Delivering IT Services as Computing Utilities”, Rajkumar Buyya, Chee Shin Yeo, and Srikumar Venugopa [3] Paper “Taxonomy and Servey of Cloud Computing Systems”, Bhaskar Prasad Rimal and Eunmi Choi [4].http://docs.openstack.org/admin-guide-cloud/content/section_configuringcompute-migrations.html , “Installation Guide for Red Hat Enterprise Linux 7, CentOS 7, and Fedora 21” [5].https://opencloudvn.wordpress.com/category/cloud-computing/, “Cloud computing ” [6].http://www.salesforce.com/uk/socialsuccess/cloud-computing/why-move-tocloud-10-benefits-cloud-computing.jsp,“Why Move to the Cloud? 10 Benefits of Cloud Computing” [7].https://wiki.openstack.org/wiki/Releases, “Openstack Releases” 77 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Lê Quang Huy NGHIÊN CỨU VÀ TRIỂN KHAI GIẢI PHÁP GIÁM SÁT VÀ QUẢN LÝ TRUNG TÂM DỮ LIỆU Chuyên ngành : Kỹ... VĂN THẠC SĨ Họ tên tác giả luận văn: Lê Quang Huy Đề tài luận văn: Nghiên cứu triển khai giải pháp giám sát quản lý Trung tâm liệu Chuyên ngành: Kỹ thuâ ̣t viễn thông Mã số SV: CB130538 Tác giả,... riêng So với giải pháp thương mại, giải pháp nguồn mở thể rõ ưu điểm chi phí, khả tùy biến mở rộng Trong đồ án em xin trình bày số kết nghiên cứu thử nghiệm giải pháp IaaS quan tâm nay: OpenStack