DSpace at VNU: Tăng cường hạ tầng tính toán lưới bằng công nghệ ảo hóa và điện toán đám mây

Tăng cường hạ tầng tính tốn lưới cơng nghệ ảo hóa điện tốn đám mây Phạm Đức Hải Trường Đại học Công nghệ Luận văn Thạc sĩ ngành: Truyền liệu mạng máy tính; Mã số: 60 48 15 Người hướng dẫn: TS Nguyễn Hồng Quang Năm bảo vệ: 2011 Abstract: Nghiên cứu sử dụng đám mây IaaS (Infrastructure as a Service - Hạ tầng tính toán dịch vụ) để tăng cường hạ tầng cho lưới tính tốn (Computing Grid) xây dựng theo nhu cầu ứng dụng lưới với OpenNebula/StratusLab Nghiên cứu tổng quan điện toán đám mây, trọng đám mây IaaS Tìm hiểu cơng nghệ ảo hóa OpenNebula để xây dựng đám mây IaaS So sánh với cơng cụ khác Tìm hiểu tảng ảo hóa mã mở (XEN [21], KVM [20], OpenVz [28], ) thương mại (Vmware [22], XenCitrix [29], Hyper-V [30], ) phục vụ cho việc tạo đám mây IaaS Cài đặt thử nghiệm OpenNebula để tạo đám mây IaaS Tìm hiểu cơng nghệ StratusLab ứng dụng OpenNebula để cung cấp hạ tầng tính tốn cho nút lưới EGEE Cài đặt cấu hình StratusLab lên đám mây OpenNebula lập Đưa kiến trúc tăng cường hạ tầng tính tốn lưới cơng nghệ ảo hóa điện tốn đám mây sở nghiên cứu OpenNebula Stratuslab Trình bày đề xuất qui trình tạo ảnh ISO cho máy thợ (worker node) theo cấu hình đặc trưng ứng dụng khởi động chạy đám mây OpenNebula/StratusLab theo nhu cầu ứng dụng lưới EGEE Đánh giá hiệu quả, hạn chế giải pháp đề xuất phương án cải tiến, khắc phục Keywords: Cơng nghệ ảo hóa; Mạng máy tính; Truyền liệu; Lưới tính tốn; Điện tốn đám mây Content MỞ ĐẦU Lý chọn đề tài Vài thập kỷ qua, nhiều nhà khoa học tập trung phát triển điện tốn lưới nhằm mục đích giải tốn khoa học Những tốn đòi hỏi tính tốn liệu lớn, tốn có độ phức tạp cao Nhiều toán giải nhờ sử dụng tính tốn lưới, ví dụ tốn tối ưu nug30 [14] [15] Bài toán tối ưu nug30 đưa vào năm 1968 Nugent [14] [15] Có n nhà máy, có n địa điểm, cặp địa điểm có khoảng cách cho trước, cặp nhà máy có trọng số cho trước (ví dụ : khối lượng vật tư vận chuyển hai nhà máy) Bài toán gán 30 nhà máy với 30 địa điểm khác cho tổng tích khoảng cách điểm đặt nhà máy với trọng số nhà máy nhỏ nhất? Bài toán thuộc lớp toán NP-Hard Cách giải đơn giản thử tất trường hợp 30! khoảng 2.65 x 10^32 phép toán để giải Nếu nghĩ đơn giản máy tính chạy nhanh kiểm tra tất trường hợp phải khoảng thời gian 100 lần tuổi vũ trụ Năm 2000 nhóm nghiên cứu Mỹ giải thành cơng tốn cách sử dụng tính tốn lưới 10 siêu máy tính 400CPU đặt tám địa điểm khác nhau, thời gian chạy ngày Hay dự án FightAIDS@Home [26] dựa tính tốn lưới sử dụng máy tính tình nguyện tồn giới nhằm tìm cơng thức thuốc chống lại bênh AIDS Một ví dụ khác lưới EGEE với cơng cụ gLite Lưới EGEE lưới có khoảng 41.000 CPU triệu Gbytes thiết bị lưu trữ Mục đích tạo mơi trường để nghiên cứu va chạm hạt dự án LHC (Large Hadron Collider) Các ví dụ cho thấy sức mạnh tính tốn lưới nhà khoa học sử dụng hạ tầng tính tốn lưới nghiên cứu Tuy nhiên nhu cầu thông thường nhu cầu thương mại ? Chi phí để chạy tính tốn lưới lớn Một dự án mang tên BEinGRID [27] cho thấy họ mang lợi nhuận từ việc chạy mơi trường tính tốn lưới nhiên khơng phải trường hợp phổ biến Những tiến gần kỹ thuật ảo hóa, với băng thơng Internet ngày tăng, khái niệm rõ ràng điện toán đám mây dần hình thành, từ năm 2007 trở lại Sự xuất mơ hình chủ yếu dựa đơn giản chi phí thấp sử dụng khả tính tốn tài ngun lớn Ảo hóa cho phép điện toán đám mây cung cấp khả chạy ứng dụng mang tính kế thừa hệ thống điều hành cũ hơn, tạo hệ thống thống từ tập hợp không đồng máy tính mơ hình tính tốn lưới truyền thống tạo Ảo hóa cho phép di trú cơng việc nhanh máy ảo khác chạy phần cứng Đối với điện toán lưới điện tốn đám mây, ảo hóa chìa khóa cho cung cấp phân bổ nguồn lực cơng Nếu nhìn góc độ bảo mật chế ảo hóa chạy máy ảo chế độ lập với (sandbox), đảm bảo an ninh lây nhiễm mã độc máy ảo tảng ảo hóa Dịch vụ điện toán đám cung cấp truy cập đến phần cứng rẻ tiền tài nguyên lưu trữ thông qua hàm giao tiếp (API) đơn giản dựa mơ hình dùng trả nhiêu Do đó, việc cho thuê tài nguyên thường rẻ nhiều so với việc thuê riêng tài nguyên Hơn nữa, người sử dụng cảm thấy thoải mái yên tâm lưu liệu họ môi trường đám mây Chính dịch vụ điện tốn đám mây ngày nhà khoa học, doanh nghiệp vừa nhỏ người dùng bình thường sử dụng Điện tốn lưới, điện tốn đám mây, ảo hóa công nghệ thú vị hiệu thời gian tới Trên góc độ nghiên cứu việc tăng cường hạ tầng tính tốn lưới cách sử dụng dịch vụ đám mây hạ tầng cơng nghệ ảo hóa vấn đề thực tế, cấp thiết thú vị Trong khuôn khổ luận văn tác giả tập trung tìm giải pháp cụ thể cho phép thực thi hạ tầng tính tốn lưới điện tốn đám mây Trong trình tìm hiểu nghiên cứu tác giả nhận thấy lựa chọn hai dự án mã nguồn mở số nhà khoa học châu Âu tập trung giải đề này, dự án OpenNebula [19] Stratuslab [16] Luận văn nghiên cứu thức tạo đám mây hạ tầng phục vụ cơng việc tính tốn lưới Tình hình nghiên cứu vấn đề Như nêu trên, điện toán đám mây (Cloud Computing) chủ đề nghiên cứu thời CNTT đại Hạ tầng tính tốn dịch vụ (IaaS) loại hình dịch vụ Đám mây OpenNebula.org dự án nguồn mở với mục tiêu hướng đến việc xây dựng cơng cụ điện tốn đám mây nguồn mở đạt chuẩn công nghiệp để quản lý hiệu sở hạ tầng trung tâm liệu phức tạp không Sau ba năm từ ngày công bố phiên bẩn đầu tiên, OpenNebula liên tục phát triển và sử dụng nhiều dự án đám mây lớn Một dự án xây dựng OpenNebula StratusLab với mục tiêu phát triển phân phối đám mây nguồn mở hoàn chỉnh cho phép trung tâm tài nguyên (lưới hay không lưới) cung cấp khai thác đám mây IaaS StratusLab đặc biệt trọng đến việc tăng cường cho hạ tầng tính tốn phân tán lưới EGI (European Grid Infrastructure) [18] EGI tiền thân dự án EGEE hạ tầng tính tốn lưới châu Âu sử dụng phục vụ cho ứng dụng có khối lượng tính tốn lưu trữ liệu khổng lồ Rất nhiều ứng dụng cho nhiều lĩnh vực khoa học khác xây dựng lưới EGEE Cả OpenNebula Stratuslab tiếp tục phát triển có nhiều triển vọng Mục đích, nhiệm vụ phạm vi nghiên cứu Đề tài luận văn nằm ý tưởng sử dụng đám mây IaaS để tăng cường hạ tầng cho lưới tính tốn (Computing Grid) xây dựng theo nhu cầu ứng dụng lưới với OpenNebula/StratusLab Công việc nghiên cứu luận văn gồm nội dung sau : – Nghiên cứu tổng quan điện toán đám mây, trọng đám mây IaaS – Tìm hiểu cơng nghệ ảo hóa OpenNebula để xây dựng đám mây IaaS So sánh với cơng cụ khác – Tìm hiểu tảng ảo hóa mã mở (XEN [21], KVM [20], OpenVz [28], ) thương mại (Vmware [22], XenCitrix [29], Hyper-V [30], ) phục vụ cho việc tạo đám mây IaaS – Cài đặt thử nghiệm OpenNebula để tạo đám mây IaaS – Tìm hiểu cơng nghệ StratusLab ứng dụng OpenNebula để cung cấp hạ tầng tính tốn cho nút lưới EGEE Cài đặt cấu hình StratusLab lên đám mây OpenNebula lập – Đưa kiến trúc tăng cường hạ tầng tính tốn lưới cơng nghệ ảo hóa điện tốn đám mây sở nghiên cứu OpenNebula Stratuslab – Tìm hiểu đề xuất qui trình tạo ảnh ISO cho máy thợ (worker node) theo cấu hình đặc trưng ứng dụng khởi động chạy đám mây OpenNebula/StratusLab theo nhu cầu ứng dụng lưới EGEE – Đánh giá hiệu quả, hạn chế giải pháp đề xuất phương án cải tiến, khắc phục Phương pháp nghiên cứu Tìm hiểu, nghiên cứu, phân tích, tổng hợp tài liệu, xây dựng mơ đánh giá kết Đóng góp ý nghĩa thực tiễn luận văn Luận văn hoàn thành mục tiêu đề Luận văn tìm hiểu đưa kiến trúc đám mây hạ tầng theo mơ hình điện tốn đám mây để tăng cường hạ tầng cho việc triển khai hạ tầng tính tốn lưới Sử dụng chế ảo hóa để dễ dàng tạo ra, triển khai nút điện tốn lưới Đồng thời tìm hiểu đưa bước xây dựng đám mây hạ tầng sử dụng phần mềm mã nguồn mở Kết cấu luận văn Ngoài mở đầu, kết luận, tài liệu tham khảo, phụ lục, luận văn gồm bốn chương Chương 1: Điện toán lưới, điện toán đám mây cơng nghệ ảo hóa Chương 2: Nghiên cứu công cụ OpenNebula Stratuslab Chương 3: Kiến trúc tăng cường hạ tầng tính tốn lưới dựa OpenNebula Stratuslab Chương 4: Mô đám mây OpenNebula Stratuslab References I Tiếng Việt Vũ Đức Thi, Trần Văn Lăng, Nguyễn Thanh Thuỷ, Phạm Kỳ Anh, Lê Anh Dũng, Tính tốn lưới số vấn đề nghiên cứu, phát triển tính tốn lưới Việt Nam, Hội thảo quốc gia lần thứ XI: Một số vấn đề chọn lọc CNTT - TT, Huế, 2008 II Tiếng Anh Ian Foster (July 20, 2002), What is the Grid? A Three Point Checklist, Argonne National Laboratory & University of Chicago p 1-4 Peter Mell, Timothy Grance (01/2011), The NIST Definition of Cloud Computing, NIST Javier Fontán Muiños, dsa-research.org | OpenNebula.org (June 2011), Building Clouds with OpenNebula 2.2 and StratusLab, Contrail Summer School, France Ignacio M Liorente, dsa-research.org (2nd June 2010), Building Clouds with OpenNebula and its Application to Grid Computing, CERN Seminar, Geneva, Switzerland B Rochwerger, J Caceres, R.S Montero, D Breitgand, E Elmroth, A Galis, E Levy,I.M.Llorente, K Nagin, Y Wolfsthal, (2009), The RESERVOIR Model and Architecture for Open Federated Cloud Computing, IBM Systems Journal, Vol 53, No B Sotomayor, R S Montero, I M Llorente and I Foster (2009), Virtual Infrastructure Management in Private and Hybrid Clouds, IEEE Internet Computing, (vol 13 no 5) Vangelis Floros, GRNET, (2011) StratusLabCloud: Early success stories and community feedback, CloudScapeIII, Brussels, 15-16 March 2011 Ian Foster, Yong Zhao, Ioan Raicu, Shiyong Lu (2008), Cloud Computing and Grid Computing 360-Degree Compared, IEEE Grid Computing Environments (GCE08) 10 Katarina StanoevskaSlabeva, Thomas Wozniak, Santi Ristol (2010), Grid and Cloud Computing A Business Perspective on Technology and Applications, Springer 11 Massimo Cafaro, Giovanni Aloisio, (2011) Grids, Clouds and Virtualization, Springer 12 Stratuslab (2011), Enhancing Grid Infrastructures with Virtualization and Cloud Technologies, Quarterly Report, Quarterly Report QR3 (V1.0),14 March 2011 13 Stratuslab (2010), Reference Architecture for StratusLab Toolkit 1.0,Deliverable D4.1 (V1.0),16 September 2010 III Trang Web bổ trợ 14 http://access.ncsa.illinois.edu/Stories/nug30/nug301.html 15 http://www.cs.berkeley.edu/~ejr/GSI/cs267-s04/homework-0/results/sonesh/ 16 http://stratuslab.eu 17 http://developer.apple.com/hardwaredrivers/hpc/xgrid_intro.html 18 EGEE Portal: Enabling Grids for E-sciencE http://www.eu-egee.org/ 19 Opennebula http://opennebula.org 20 KVM http://www.linux-kvm.org 21 XEN http://xen.org/ 22 Vmware http://www.vmware.com/ 23 Amazon Elastic Compute Cloud (Amazon EC2) http://aws.amazon.com/ec2/ 24 Grid computing http://en.wikipedia.org/wiki/Grid_computing 25 Open Cloud Computing Interface http://occi-wg.org/ 26 FightAIDS@Home http:// http://fightaidsathome.scripps.edu/ 27 BEinGRID http://www.beingrid.eu/ 28 OpenVz http://wiki.openvz.org/Main_Page 29 Xen Citrix http://www.citrix.com/lang/English/home.asp 30 Hyper-V http://www.microsoft.com/en-us/server-cloud/windows-server/hyper- v.aspx 31 http://legion.virginia.edu/ 32 http://www.globus.org/ 33 http://www.mersenne.org/ 34 http://bochs.sourceforge.net/ 35 http://wiki.qemu.org/Main_Page 36 http://www.ecsl.cs.sunysb.edu/bird/ 37 http://denali.cs.washington.edu/ 38 http://www.parallels.com/products/pvc/ 39 http://plex86.sourceforge.net/ 40 http://code.google.com/appengine/ 41 http://www.microsoft.com/windowsazure/ 42 http://aws.amazon.com/solutions/global-solution-providers/oracle/ 43 http://sixsq.com/slipstream ... kiến trúc đám mây hạ tầng theo mô hình điện tốn đám mây để tăng cường hạ tầng cho việc triển khai hạ tầng tính tốn lưới Sử dụng chế ảo hóa để dễ dàng tạo ra, triển khai nút điện toán lưới Đồng... máy tính mơ hình tính tốn lưới truyền thống tạo Ảo hóa cho phép di trú công việc nhanh máy ảo khác chạy phần cứng Đối với điện toán lưới điện toán đám mây, ảo hóa chìa khóa cho cung cấp phân bổ... liệu họ mơi trường đám mây Chính dịch vụ điện toán đám mây ngày nhà khoa học, doanh nghiệp vừa nhỏ người dùng bình thường sử dụng Điện tốn lưới, điện tốn đám mây, ảo hóa cơng nghệ thú vị hiệu thời