Nghiên cứu công nghệ điện toán đám mây đề xuất triển khai các ứng dụng cho các doanh nghiệp vừa và nhỏ

bộ giáo dục đào tạo trường đại học bách khoa hà nội - MAI THUỶ ANH NGHIÊN CỨU CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY ĐỀ XUẤT TRIỂN KHAI CÁC ỨNG DỤNG CHO CÁC DOANH NGHIỆP VỪA VÀ NHỎ LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT TRUYỀN THÔNG NGUỜI HUỚNG DẪN: PGS.TS PHAN HỮU HUÂN TS NGUYỄN HOÀNG HẢI Hà Nội - 2013 Mục Lục Danh mục hình vẽ v Lời cam đoan vii Lời cảm ơn Cơ sở khoa học thực tiễn Mục đích đề tài Tổ chức luận văn Chương I: TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY Đặt vấn đề Tổng quan điện toán đám mây 2.1 Giới thiệu chung 2.2 Các tầng tạo nên đám mây 2.2.1 Các dịch vụ ứng dụng (SaaS) 2.2.2 Các dịch vụ tảng (PaaS) 2.2.3 Các dịch vụ sở hạ tầng (IaaS) 10 2.3 Các mơ hình triển khai điện tốn đám mây 10 2.3.1 Mơ hình Public cloud 10 2.3.2 Mơ hình Private cloud 11 2.3.3 Mơ hình Hybrid cloud 12 2.4 Lợi ích điện tốn đám mây 14 2.4.1 Giảm chi phí 14 2.4.2 Sử dụng tài nguyên hiệu 15 2.4.3 Tính linh hoạt 17 2.5 Thách thức triển khai xu hướng phát triển điện toán đám mây 17 2.5.1 Thách thức 17 2.5.2 Xu hướng 18 Chương II: CÔNG NGHỆ ẢO HÓA 19 Giới thiệu chung 19 Vai trò ảo hóa với doanh nghiệp 20 tình hình ảo hóa Việt Nam giới 23 i 3.1 Tình hình ảo hóa Việt Nam 23 3.2 Tình hình ảo hóa nước ngồi 23 3.3 Hoạt động ảo hóa 23 3.4 phân loại ảo hóa 25 3.4.1 Ảo hoá server 25 3.4.2 Ảo hoá Storage 26 3.4.3 Ảo hoá Network 27 3.4.4 Ảo hoá Application 27 3.4.5 Các mơi trường ảo hóa 29 3.5 Ảo hóa Vmware với Cloudcomputing 30 Chương III: ĐỀ XUẤT TRIỂN KHAI CHO DOANH NGHIỆP VỪA VÀ NHỎ 31 Khảo sát đánh giá thị trường điện toán đám mây 31 1.1 Mức độ nhận biết điện toán đám mây 31 1.2 Lý khách hàng quan tâm đến điện toán đám mây 32 1.3 Những lo ngại triển khai public cloud 32 1.4 Các lĩnh vực, ngành nghề triển khai 33 1.5 Doanh số mảng public cloud nhà cung cấp lớn 34 1.6 Thị trường viễn thông Việt Nam 34 1.7 Thị trường SME Việt Nam 35 Đánh giá khả phát triển điện toán đám mây cho SME 36 Chương IV: TÌM HIỂU VỀ EUCALYPTUS 37 Tổng quan Eucalyptus 37 Kiến trúc Eucalyptus 38 2.1 Xét mặt công nghệ 38 2.2 Năm thành phần trừu tượng Eucalyptus 39 Những lợi ích Eucalyptus 40 Sự tương hợp Eucalyptus Amazon Web Services 41 Chương V – TRIỂN KHAI PRIVATE CLOUD DỰA TRÊN EUCALYPTUS 43 Các mơ hình triển khai Eucalyptus 43 Một số công việc chuẩn bị cho máy Front-end 45 2.1 Cài đặt Java JDK: 45 ii 2.2 Cài đặt Apache Ant 45 2.3 Cài đặt thêm số công cụ môi trường cần thiết 46 Một số công việc chuẩn bị cho máy Node 47 Download Eucalyptus 48 Cài đặt Eucalyptus máy Front-end 48 Cài đặt Eucalyptus máy Node 50 Chạy thử Eucalyptus 51 Đăng ký thành phần Eucalyptus 52 Thực số thao tác cấu hình cho Eucalyptus 53 Chương VI – CẤU HÌNH MƠI TRƯỜNG PRIVATE CLOUD CỦA EUCALYPTUS GIỐNG VỚI AMAZON EC2 57 Các loại môi trường mạng Eucalyptus 57 1.1 Thiết kế môi trường mạng Eucalyptus theo dạng SYSTEM .57 1.2 Thiết kế môi trường mạng Eucalyptus theo dạng MANAGED 57 1.3 Chuẩn bị dãy địa IP cho mạng ảo VLAN 58 1.4 Kiểm tra mạng ảo VLAN có cho phép chuyển tiếp gói tin hay khơng 59 1.5 Tắt tường lửa máy Front-end 62 Cấu hình mơi trường mạng cho máy Front-end theo dạng MANAGED 63 Cấu hình mơi trường mạng cho máy Node theo dạng MANAGED 67 Khởi động lại Eucalyptus với môi trường mạng dạng MANAGED 68 Chương VII – TẠO DỰNG VÀ ĐĂNG KÝ IMAGE CHO EUCALYPTUS 70 Eucalyptus Machine Image (EMI) 70 Sử dụng Euca2ools để thao tác với image Eucalyptus 70 2.1 Giới thiệu Euca2ools 70 2.2 Cài đặt Euca2ools 71 2.3 Thực số lệnh Euca2ools 71 Download Eucalyptus Certifed Image 74 Thay đổi dung lượng image 75 Bundle, upload register image 79 5.1 Thao tác với Eucalyptus Kernel Image 79 5.2 Thao tác với Eucalyptus Ramdisk Image 81 iii 5.3 Thao tác với Eucalyptus Machine Image 82 Chương VIII – CHẠY VÀ KIỂM THỬ CÁC MÁY ẢO 85 Chạy máy ảo 85 Kiểm thử hoạt động máy ảo 86 Tắt máy ảo 87 Chương IX – SỬ DỤNG HYBRIDFOX ĐỂ QUẢN LÝ MÁY ẢO 89 Giới thiệu Hybridfox 89 Cấu hình cho Hybridfox hỗ trợ Eucalyptus 89 Chương X – KẾT LUẬN VÀ KIẾN NGHỊ 92 TÀI LIỆU THAM KHẢO 93 PHỤ LỤC 94 Cách chuyển đổi tệp image VMWare thành tệp image Eucalyptus .94 iv Danh mục hình vẽ Hình 1:Các dịch vụ điện toán đám mây Hình 2:Các tầng điện toán đám mây Hình 3:Các dịch vụ tảng PaaS Hình 4:Các mơ hình triển khai điện tốn đám mây 10 Hình 5:Mơ hình public cloud vài hãng 11 Hình 6:So sánh Public private clouds 12 Hình 7: Mơ hình lai ghép 12 Hình 8: Mơ hình lai ghép 13 Hình 9: Các mơ hình Cloud 13 Hình 10: So sánh ảo hóa, đám mây riêng đám mây cơng cộng 14 Hình 11: Mơ hình tiết kiệm chi phí sử dụng public cloud ( theo khảo sát Microsoft) .15 Hình 12: Mơ hình single-tenant 16 Hình 13: Mơ hình multi-tenant 17 Hình 14: giới thiệu ảo hóa 19 Hình 15: giới thiệu ảo hóa 19 Hình 16: Hoạt động Ảo hóa 24 Hình 17: ảo hóa network (1) 27 Hình 18: Ảo hóa Network ( 2) 28 Hình 19: Kiến trúc xử lý hỗ trợ ảo hóa 29 Hình 20: Thống kê mức độ nhận biết điện toán đám mây 31 Hình 21: Mục tiêu xây dựng điện toán đám mây 32 Hình 22: Khảo sát lo ngại triển khai điện toán đám mây 33 Hình 23: Khảo sát dự đoán lĩnh vực ngành nghề triển khai cloud computing 33 Hình 24: Doanh số mảng public cloud số hãng lớn 34 Hình 25:Khảo sát thị trường SME Việt Nam ( Nguồn: tổng điều tra sở kinh tế, hành chính, nghiệp 2007- GSO sách trắng ICT 2010-MIC) 35 Hình 26: Mơ hình khái niệm Eucalyptus 38 Hình 27: Mơ hình logic Eucalyptus 39 Hình 28: Những thành phần tương hợp Eucalyptus Amazon Web Services 41 Hình 29: Các mơ hình triển khai Eucalyptus 43 Hình 30: Mơ hình cài đặt thử nghiệm Eucalyptus 44 v Hình 31: Màn hình đăng nhập Eucalyptus 54 Hình 32: Cấu hình cho Eucalyptus giao diện web 55 Hình 33: Tải khóa xác nhận – click vào “Download Credentials” 55 Hình 34: Các logo CSC 89 Hình 35: Lấy giá trị Query ID Secret Key 90 Hình 36: Click vào nút Regions để cấu hình 90 Hình 37: Click vào nút Credentials để cấu hình 90 Hình 38: Phần quản lý Instances Hybridfox 91 Hình 39: Phần quản lý Images Hybridfox 91 Hình 40: Phần quản lý KeyPairs Hybridfox 91 vi Lời cam đoan Tơi xin cam đoan cơng trình nghiên cứu riêng tơi, hồn thành hướng dẫn giúp đỡ tận tình PGS.TS Phan Hữu Huân, TS Nguyễn Hoàng Hải chuyên gia Cisco, IBM đồng nghiệp tập đồn VNPT Khơng có chép từ cơng trình nghiên cứu có trước vii Lời cảm ơn Xin dành lời cảm ơn sâu sắc tới thầy cô trường Đại Học Bách Khoa Hà Nộinhững người truyền đạt cho vốn kiến thức tảng sâu rộng, tạo cảm hứng, dìu dắt định hướng cho tơi đến với lĩnh vực công nghệ đầy tiềm Và đặc biệt, xin gửi lời tri ân tới thầy giáo hướng dẫn tôi: PGS.TS Phan Hữu Huân, TS Nguyễn Hồng Hải với lịng kính trọng biết ơn sâu sắc tới thầy tận tình giúp đỡ tơi hoàn thành luận văn này… viii Cơ sở khoa học thực tiễn Nhìn lại cơng nghệ trọng thời gian gần đây, rõ ràng xu điện toán đám mây mảng bật với hầu hết hãng lớn IBM, Cisco, EMC… cho sản phẩm giải pháp riêng Kể từ điện tốn phân tán cơng nghệ liên quan điện tốn lưới SOA chấp nhận rộng rãi, điện toán đám mây coi xu hướng tất yếu thời đại cơng nghệ Tuy nhiên cịn hướng mới, đòi hỏi nhà cung cấp dịch vụ doanh nghiệp phải có nhìn xác khả đánh giá, định hướng tính khả thi đưa vào áp dụng cho doanh nghiệp Song song với phát triển nó, địi hỏi đội ngũ nhân lực có nhìn sâu, rộng cơng nghệ tính ứng dụng điện toán đám mây nhằm khai thác tối đa lợi ích mang lại Ngày nay, công ty, doanh nghiệp, việc quản lý tốt, hiệu liệu riêng công ty liệu khách hàng đối tác toán ưu tiên hàng đầu khơng ngừng gây khó khăn cho họ Để quản lý nguồn liệu đó, ban đầu doanh nghiệp phải đầu tư, tính tốn nhiều loại chi phí chi phí cho phần cứng, phần mềm, mạng, chi phí cho quản trị viên, chi phí bảo trì, sửa chữa, … Ngồi họ cịn phải tính toán khả mở rộng, nâng cấp thiết bị, phải kiểm sốt việc bảo mật liệu tính sẵn sàng cao liệu Từ toán điển vậy, thấy có nơi tin cậy giúp doanh nghiệp quản lý tốt nguồn liệu đó, doanh nghiệp khơng cịn quan tâm đến sở hạ tầng, cơng nghệ mà tập trung vào cơng việc kinh doanh họ mang lại cho họ hiệu lợi nhuận ngày cao Thuật ngữ “điện toán đám mây” đời bắt nguồn từ hồn cảnh Thuật ngữ “điện tốn đám mây” bắt nguồn từ ý tưởng đưa tất thứ liệu, phần mềm, tính tốn, … lên mạng Internet Chúng ta khơng cịn trơng thấy máy PC, máy chủ riêng doanh nghiệp để lưu trữ liệu, phần mềm mà số “máy chủ ảo” tập trung mạng Các “máy chủ ảo” cung cấp dịch vụ Lệnh euca-bundle-image đóng gói lại hard disk image sinh tệp manifest.xml thư mục /tmp Tiếp theo, thực upload thơng qua tệp manifest.xml vừa có euca-upload-bundle -b image-bucket -m /tmp/centos.5-3.x86.img.manifest.xml Với, Image-bucket – tên bucket lưu trữ hard disk image Tên ta chọn tùy ý /tmp/centos.5-3.x86.img.manifest.xml – đường dẫn tên đầy đủ tệp manifest.xml 83 Cuối cùng, thực đăng ký image sau euca-register image-bucket/centos.5-3.x86.img.manifest.xml Thực lệnh euca-describe-images để kiểm tra lại tất image upload euca-describe-images 84 Chương VIII – CHẠY VÀ KIỂM THỬ CÁC MÁY ẢO Chạy máy ảo Các image hoạt động với vai trị làm khn mẫu cho máy ảo người dùng Các máy ảo chạy lên, gọi instance Mỗi instance có tên định danh riêng (ID) gồm tiếp đầu ngữ “i-” chữ số hexa Ví dụ: i-4438092A Đến bước khơng cài đặt Ta cần chạy thử instance từ image đăng ký Walrus Vào thư mục euca thư mục gốc (đã tạo mục 4.9) Thực lệnh euca-addkeypair để tạo khóa đơi mykey, lưu ~/.ssh/id_mykey (mykey tên khóa ta đặt tùy ý) cd euca euca-add-keypair mykey > ~/.ssh/id_mykey chmod 600 ~/.ssh/id_ mykey Mỗi instance chạy lên cần phải có khóa đơi kèm dùng để xác nhận Ta lấy khóa đơi mykey tạo để chạy instance euca-run-instances -k mykey kernel eki-B0850F7D ramdisk eri-E345106A emi3E921241 Kết Instance ta có ID i-4438092A, có public IP 192.168.1.30, có private IP 10.10.1.2 Đang trạng thái pending Sau khoảng thời gian, instance i-4438092A hoạt động, trạng thái trở thành running euca-describe-instances 85 Kiểm thử hoạt động máy ảo Khi chạy instance lên rồi, ta thực lệnh ping để kiểm tra hoạt động instance mạng LAN ping địa public IP 192.168.1.30 ping 192.168.1.30 ping thành công! ping địa private IP 10.10.1.2 ping 10.10.1.2 ping thành công! Kiểm tra instance môi trường mạng LAN euca-describe-addresses 86 Tắt máy ảo Sau kiểm tra xong ta tắt instance Thực lệnh euca-describe-instances để xem lại ID instance cần tắt euca-describe-instances Instance xác định tắt có ID i-4438092A Thực lệnh euca-terminate-instances euca-terminate-instances i-4438092A 87 Trạng thái instance i-4438092A lúc shuting-down Đợi khoảng thời gian sau, thực lệnh euca-describe-instances để kiểm tra lại trạng thái euca-describe-instances Lúc trạng thái instance i-4438092A trở thành terminated 88 Chương IX – SỬ DỤNG HYBRIDFOX ĐỂ QUẢN LÝ MÁY ẢO Giới thiệu Hybridfox Hybridfox add-on Firefox dùng để quản lý máy ảo AWS Eucalyptus Hybridfox nhóm nhà phát triển ứng dụng CSS Corp R&D Labs tạo Hình 34: Các logo CSC Hybridfox thực công việc sau:  Manage Images  Raise and Stop Instances  Manage Instances  Manage Elastic IPs  Manage Security Groups  Manage Key-pairs  Manage Elastic Block Storage Cấu hình cho Hybridfox hỗ trợ Eucalyptus Để cấu hình Hybrid hỗ trợ cho Eucalyptus, trước hết ta cần đăng nhập vào trang https://:8443 (cụ thể https://192.168.0.5:8443) để lấy cặp giá trị Query ID Secret Key 89 Hình 35: Lấy giá trị Query ID Secret Key Download Hybridfox http://code.google.com/p/hybridfox/ cài đặt vào Firefox Tiếp theo chạy Hybridfox lên Nhấp vào nút Regions góc bên trái Hình 36: Click vào nút Regions để cấu hình Điền vào textbox sau:  Region name: (đặt tên tùy ý)  Endpoint URL: http://192.168.0.5:8773/services/Eucalyptus  Click vào nút Add Sau đó, click vào nút Credentials phần bên cạnh Hình 37: Click vào nút Credentials để cấu hình Nhập vào ô textbox sau:  Admin: Tên người dùng (có thể đặt admin)  AWS Access Key: Nhập vào Query ID  AWS Secret Access Key: Nhập vào Secret Key Click vào nút Add Lúc sử dụng Hybridfox 90 Hình 38: Phần quản lý Instances Hybridfox Hình 39: Phần quản lý Images Hybridfox Hình 40: Phần quản lý KeyPairs Hybridfox 91 Chương X – KẾT LUẬN VÀ KIẾN NGHỊ Những kết đạt Tìm hiểu Cloud Computing mơ hình sở hạ tầng Các lợi ích khó khăn Cloud Computing trạng công nghệ giới Triển khai thành công Eucalyptus hệ điều hành CentOS 5.6 Em viết lại đầy đủ, giải thích cặn kẽ bước trình cài đặt Eucalyptus, đưa số kinh nghiệm, hướng dẫn cách kiểm tra, theo dõi hoạt động máy ảo chạy môi trường mạng ảo VLAN Những kết chưa đạt Do thời gian cịn hạn chế số khó khăn khách quan khác, em chưa thể trình bày đầy đủ, hoàn chỉnh thư viện API sử dụng Amazon Web Services Eucalyptus Hướng phát triển Với việc triển khai hoàn chỉnh hệ thống Eucalyptus, tới em thực cơng việc sau: Tìm hiểu cải tiến thuật tốn lập lịch cho máy ảo để triển khai thử nghiệm Eucalyptus 92 TÀI LIỆU THAM KHẢO [1] Eucalyptus Open-Source Cloud Computing Infrastructure - An Overview [2] Nurmi, D.l, Wolski, R., Grezegorczyk, C., Obertelli, G., & Soman, S (2009) The eucalyptus open-source cloud-computing system Proceedings of the 9th ieee/acm international symposium on cluster computing and the grid (pp 124-131) IEEE Computer Society 10.1109/CCGRID.2009.93 [3] John W.Rittinghouse – James F.Ransome ,Cloud Computing - Implementation, management and security CRC Press [4] Judith Hurwitz – Robin Bloor – Marcia Kaufman – Fern Haipper, Cloud Computing for Dummies [5] Sun MicroSystems, Introduction to Cloud ComputingArchitecture 1st Edition, June 2009 [6] Voas, J., & Zhang, J (March/April 2009) Cloud computing: New wine or just a new bottle? IEEEITPro, 15–17 [7] http://www.ibm.com/developerworks/library/ar-cloudaws1/ [8] http://www.eucalyptus.com/resources/AmazonAWS [9] http://blogs.plexibus.com/ 93 PHỤ LỤC Cách chuyển đổi tệp image VMWare thành tệp image Eucalyptus cd ~rac/ec2 mkdir CentOS cd CentOS mkdir tmp {ssh to vm} cd /boot mkinitrd -v omit-scsi-modules with=xennet with=xenblk preload xenblk /boot/initrd-2.6.18-194.17.1.el5xen.img.new 2.6.18-194.17.1.el5xen scp -p initrd-2.6.18-194.17.1.el5xen.img.new rac@richc.et.its.psu.edu:ec2/CentOS/initrd-2.6.18-194.17.1.el5xen.img scp -p vmlinuz-2.6.18-194.17.1.el5xen rac@richc.et.its.psu.edu:ec2/CentOS/ {ssh to vm server} cd /Users/rac/Documents/Virtual\ Machines/CentOS.vmwarevm/ scp -p CentOS.vmdk rac@richc.et.its.psu.edu:ec2/CentOS/ euca-bundle-image -r i386 -i vmlinuz-2.6.18-194.17.1.el5xen kernel true -d /home/rac/ec2/CentOS/tmp euca-upload-bundle -b CentOS55-kernel -m /home/rac/ec2/CentOS/tmp/vmlinuz2.6.18-194.17.1.el5xen.manifest.xml euca-register CentOS55-kernel/vmlinuz-2.6.18-194.17.1.el5xen.manifest.xml eki-437215D9 euca-bundle-image -r i386 -i initrd-2.6.18-194.17.1.el5xen.img ramdisk true -d 94 /home/rac/ec2/CentOS/tmp euca-upload-bundle -b CentOS55-ramdisk -m /home/rac/ec2/CentOS/tmp/initrd2.6.18-194.17.1.el5xen.img.manifest.xml euca-register CentOS55-ramdisk/initrd-2.6.18-194.17.1.el5xen.img.manifest.xml eri-9CBE1714 sudo bash dd if=/dev/zero of=centos-5.5.img bs=1024 count=1258291 losetup -f losetup /dev/loop0 centos-5.5.img mkfs -t ext3 -m -v /dev/loop0 losetup -d /dev/loop0 mount centos-5.5.img /mnt -o loop qemu-img convert -O raw CentOS.vmdk CentOS.raw kpartx -a CentOS.raw dir /dev/mapper mount /dev/mapper/loop1p1 /mnt2 rsync -aX /mnt2 /mnt cd /mnt/mnt2 rmdir lost+found mv * cd / 95 umount /mnt2 kpartx -d CentOS.raw umount /mnt euca-bundle-image -i centos-5.5.img -r i386 kernel eki-437215D9 ramdisk eri9CBE1714 -d /home/rac/ec2/CentOS/tmp euca-upload-bundle -b CentOS55-image -m /home/rac/ec2/CentOS/tmp/centos5.5.img.manifest.xml euca-register CentOS55-image/centos-5.5.img.manifest.xml emi-04FC1168 cd ~rac/.euca euca-describe-images euca-run-instances -k mykey -n emi-04FC1168 euca-describe-instances euca-terminate-instances i-534F09AD cd ~rac/ec2 euca-describe-images euca-deregister emi-04FC1168 euca-deregister eri-9CBE1714 euca-deregister eki-437215D9 96 euca-delete-bundle -b CentOS55-image -m /home/rac/ec2/CentOS/tmp/centos5.5.img.manifest.xml –clear euca-delete-bundle -b CentOS55-ramdisk -m /home/rac/ec2/CentOS/tmp/initrd2.6.18-194.17.1.el5xen.img.manifest.xml –clear euca-delete-bundle -b CentOS55-kernel -m /home/rac/ec2/CentOS/tmp/vmlinuz2.6.18-194.17.1.el5xen.manifest.xml clear 97 ... tốn đám mây hệ thống doanh nghiệp vừa nhỏ Việt Nam, cá nhân giúp đỡ thầy giáo hướng dẫn, tiến hành phát triển đề tài ? ?nghiên cứu cơng nghệ điện tốn đám mây triển khai ứng dụng cho doanh nghiệp vừa. .. phát triển điện toán đám mây cho SME Từ số liệu khảo sát trên, thấy khả phát triển điện toán đám mây cho doanh nghiệp vừa nhỏ lớn Phần đông doanh nghiệp nhận thấy tính cần thiết loại hình doanh nghiệp. .. Cloud 30 Chương III: ĐỀ XUẤT TRIỂN KHAI CHO DOANH NGHIỆP VỪA VÀ NHỎ Khảo sát đánh giá thị trường điện toán đám mây Căn vào liệu thu thập nhà cung cấp giải pháp điện tốn đám mây cơng ty danh tiếng