siêu máy tính và điện toán đám mây

siêu máy tính và điện toán đám mây

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐÀO TẠO SAU ĐẠI HỌC  TIỂU LUẬN Môn: KIẾN TRÚC MÁY TÍNH TIÊN TIẾN Đề tài: SIÊU MÁY TÍNH VÀ ĐIỆN TOÁN ĐÁM MÂY GVHD: TS. Nguyễn Kim Khánh Thực hiện: Nhóm 09: Hoàng Văn Hải Lê Gia Hòa Đỗ Thị Loan Hoàng Bảo Trung Chuyên ngành: KT Máy tính và Truyền thông Khóa: 2012B Hệ: Thạc sỹ Kỹ thuật Hà Nội, 12/2012LỜI NÓI ĐẦU Hiện nay, công nghệ thông tin là mối quan tâm hàng đầu của Việt Nam và toàn thế giới. Chính mối quan tâm này đã làm nên cuộc cách mạng về khoa học và công nghệ. Khởi đầu cho cuộc cách mạng khoa học và công nghệ này là sự hình thành và phát triển hàng loạt máy vi tính và các phương tiện xử lý thông tin khác. Sự phát triển nhanh chóng của khoa học máy tính với hàng loạt siêu máy tính ra đời kết hợp nhu cầu trao đổi thông tin trong mọi hoạt động của xã hội đòi hỏi sự phát triển đồng bộ các phương tiện truyền thông. Việc ứng dụng các thành tựu của nền công nghệ hiện đại này trở thành vấn đề chủ chốt, quan trọng, quyết định sự thành bại của các thành phần tham gia vào các lĩnh vực hoạt động trên thế giới từ kinh tế, văn hóa, chính trị đến quân sự. Trên thực tế, một xu hướng kỹ thuật mới được hình thành, xu hướng điện toán đám mây trên nền tảng bùng nổ mạng Internet toàn cầu trên nền tảng các siêu máy tính. Điện toán đám mây (cloud computing) là một xu hướng công nghệ nổi bật trên thế giới trong khoảng vài ba năm gần đây và đã có những bước phát triển nhảy vọt cả về chất lượng, qui mô cung cấp và loại hình dịch vụ, với một loạt các nhà cung cấp nổi tiếng như Google, Amazon, Salesforce, Microsoft,… Hiện nay các hệ thống thông tin trên mạng rất phổ biến. Người dùng thay vì chỉ lưu trữ dữ liệu, làm việc với các ứng dụng, tính toán xử lý,… trên máy tính cá nhân, họ đã có thể làm tất cả những việc đó mọi nơi và không cần phải cài đặt bất cứ ứng dụng nào khác tại máy tính sử dụng. Trong phạm vi báo cáo này sẽ trình bày về vấn đề siêu máy tính và điện toán đám mây, vấn đề này đang dần khẳng định là một xu thế công nghệ phổ biến trong tương lai gần. Được sự giúp đỡ tận tình của TS Nguyễn Kim Khánh, nhóm chúng tôi đã hoàn thành được bản báo cáo tiểu luận. Tuy nhiên thời gian và kiến thức có hạn nên bản báo cáo này chắc chắn còn nhiều khuyết điểm, chúng tôi rất mong nhận được sự góp ý của Thầy giáo và các bạn. Cho phép chúng tôi được bày tỏ lòng biết ơn đối với TS Nguyễn Kim Khánh và các bạn cùng lớp đã ủng hộ, giúp đỡ chúng tôi hoàn thành bản báo cáo này. Trân trọng cảm ơn ! Siêu máy tính và Điện toán đám mây Trang MỤC LỤC GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang PHẦN 1: SIÊU MÁY TÍNH – WAREHOUSE SCALE COMPUTING 1.1 Giới thiệu Siêu máy tính là một máy tính vượt trội trong khả năng và tốc độ xử lý. Thuật ngữ siêu tính toán được dùng lần đầu trong báo New York World vào năm 1920 để nói đến những bảng tính (tabulators) lớn của IBM. Siêu máy tính hiện nay có tốc độ xử lý hàng nghìn teraflop (một teraflop tương đương với hiệu suất một nghìn tỷ phép tính/ giây) hay bằng tổng hiệu suất của 6000 chiếc máy tính hiện đại nhất hiện nay gộp lại (một máy có tốc độ khoảng từ 3 đến 3,8 gigaflop). Hầu hết các siêu máy tính đều sử dụng các phương pháp xử lý song song: chúng chứa một giàn các vi xử lý cực nhanh, làm việc đồng loạt để giải quyết những bài toán phức tạp như: dự báo thời tiết, hay mô phỏng vụ nổ hạt nhân. Khác với máy tính nối mạng, các siêu máy tính này có thiết kế riêng về phần cứng, các nhà khoa học phải viết riêng một chương trình phần mềm để máy tính trung tâm có thể phân tích bài toán cần giải quyết thành nhiều gói nhỏ và gửi đến các máy con qua mạng để xử lý đồng thời. Sau khi hoàn thành, các máy con gửi trả kết quả tính toán về máy trung tâm, máy trung tâm tổng hợp kết quả và lại gửi các gói công việc kế tiếp cho các máy con. Quá trình trên được lặp lại cho tới khi bài toán được hoàn tất. Các thế hệ sau của siêu máy tính còn được gọi là các Warehouse Scale Computer (WSC). WSC là nền tảng của các dịch vụ Internet phục vụ cho hàng triệu người sử dụng như: tìm kiếm dữ liệu, mạng xã hội, bản đồ trực tuyến, chia sử video, mua bán trực tuyến, thư điện tử… Một WSC chứa từ 50.000 đếm 100.000 máy chủ, giá thành của một WSC hơn 150M$ bao gồm việc xây dựng hệ thống điện, cơ sở hạ tầng làm mát, các máy chủ, các thiết bị mạng để kết nối các máy chủ với nhau. Các kiến trúc của WSC có một số mục tiêu và yêu cầu giống với các kiến trúc của máy chủ như sau: Chi phí thực hiện Hiệu suất năng lượng Độ tin cậy nhờ vào các biện pháp dự phòng Vào/ra mạng Tương tác và lượng công việc “workload” được xử lý theo lô Ngoài ra WSC còn có một số kiến trúc không giống với kiến trúc của máy chủ như: Nhiều mức song song  Tổng chi phí vận hành  Quan tâm đến thuận lợi và khó khăn khi xây dựng một WSC do hệ thống có một quy mô rất lớn. GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang Hình 1: Danh sách các lần ngừng chạy do hỏng hóc của hệ thống WSC trong một năm 1.2 Các mô hình lập trình và công việc của WSC WSC là hạ tầng của các dịch vụ Internet, các dịch vụ này phục vụ cho hàng nghìn người dùng một lúc nên cần có cách thức xử lý mới vì vậy WSC sử dụng phương pháp xử lý các ứng dụng theo lô. Ngày nay việc xử lý theo lô thông dụng nhất trong một WSC là MapReduce [Dean và Ghemawat 2008] và kết hợp mã nguồn mở của Hadoop. Hình 2 cho thấy sự phổ biến ngày càng tăng của MapReduce ở Google thời gian qua. Theo hình 2, thống kê qua hơn 5 năm sử dụng MapReduce tại Google, thì số lượng công việc của MapRuce tăng lên khoảng 100 lần và số trung bình của các máy chủ cho mỗi công việc mapReduce tăng lên khoảng 3 lần. Hình 2: Việc sử dụng MapReduce hàng năm tại Google 1.2.1 Giới thiệu MapReduce MapReduce có thể hiểu là một phương thức thực thi để giúp các chương trình ứng dụng có thể xử lý nhanh một lượng dữ liệu lớn. MapReduce coi như là một mô hình vận hành đơn lệnh đa dữ liệu SIMD (Single Instruction Multi GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang Data). Các dữ liệu này được đặt tại các máy tính phân tán. Các máy tính này sẽ hoạt động song song độc lập với nhau. Điều này làm rút ngắn thời gian xử lý toàn bộ dữ liệu. Một đặc điểm đáng chú ý của MapReduce là dữ liệu đầu vào có thể là dữ liệu có cấu trúc (dữ liệu lưu trữ dạng bảng quan hệ hai chiều) hoặc dữ liệu không cấu trúc (dữ liệu dưới dạng tập tin hệ thống). Các máy tính lưu trữ các dữ liệu phân tán trong quá trình thực thi được gọi là các nút (nodes) của hệ thống. Nếu các máy tính này cùng sử dụng chung trên 1 phần cứng thì chúng được gọi là 1 cụm (Cluster). Nếu các máy này hoạt động riêng rẽ trên các phần cứng khác nhau thì chúng được gọi là 1 lưới (Grid). 1.2.2 Ưu điểm của MapReduce Xử lý tốt bài toán về lượng dữ liệu lớn có các tác vụ phân tích và tính toán phức tạp không lường trước được. Có thể tiến hành chạy song song trên các máy phân tán 1 cách chính xác và hiệu quả. Không phải quan tâm đến sự trao đổi dữ liệu giữa các clusters với nhau vì chúng hoạt động 1 cách độc lập, không phải theo dõi xử lý các tác vụ, xử lý lỗi. Có thể thực hiên mô hình Mapreduce trên nhiều ngôn ngữ như : Java, C++, Python, Perl, Ruby, C với các thư viện tương ứng. 1.2.3 Nguyên tắc hoạt động của MapReduce MapReduce hoạt động gồm 2 quá trình thực hiện 2 hàm "Map" và "Reduce". Ý tưởng chính của MapReduce chính là thực hiện việc “Chia để trị” - Chia vấn đề cần xử lý (dữ liệu) thành các phần nhỏ để xử lý - Xử lý các vấn đề nhỏ đó 1 cách song song trên các máy tính phân tán hoạt động độc lập. - Tổng hợp các kết quả thu được để đưa ra kết quả cuối cùng - Như vậy toàn bộ quá trình MapReduce có thể hiểu như sau: - Đọc dữ liệu đầu vào - Thực hiên xử lý các phần dữ liệu vào (xử lý từng phần một) (thực hiện hàm Map) - Trộn và sắp xếp các kết quả thu được từ các máy tính làm sao để được kết quả tiện lợi nhất so với mục đích của quá trình. - Tổng hợp các kết quả trung gian thu được từ các máy tính phân tán (Thực hiện hàm Reduce) - Đưa ra kết quả cuối cùng. GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang Hình 3: Sơ đồ hoạt động của quá trình MapReduce Ví dụ về một chương trình tính toán sử dụng MapReduce để tính số lần xuất hiện của mỗi từ tiếng anh trong một tập lớn các tài liệu được mô tả dưới đây. map (String key, String value): // key: document name // value: document contents for each word w in value EmitIntermediate(w,”1”); // Produce list of all words reduce (String key, Iterator values): // key: a word // value: a list of counts int result = 0; for each v in values: result += ParseInt(v); // get integer from key-value pair Emit(AsString(result)); Hàm EmitIntermadiate được sử dụng trong hàm Map tìm ra mỗi từ trong các tài liệu và giá trị của từ đó. Sau đó sử dụng hàm Reduce để tính tổng tất cả các giá trị của mỗi từ trong mỗi tài liệu băng cách sử dụng hàm Parselnt() để có được số lần xuất hiện mỗi từ trong tất cả tài liệu. 1.3 Kiến trúc của WSC 1.3.1 Mô hình kiến trúc Các máy WSC thường sử dụng một hệ thống phân cấp của các mạng kết nối bằng cách sử dụng mỗi rack 19’’ chứa từ 40 đến 80 máy chủ loại 1U được nối bằng Ethernet Switch. Các Rack Switch được nối lên các Switch tốc độ cao hơn ở trong mô hình phân cấp, điều này sẽ làm giảm băng thông đi N/n lần (N- số máy chủ, n- số cổng uplink). Với những hệ thống cụ thể, số Rack và số máy chủ trong mỗi Rack có thể khác nhau. GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang Hình 4: Kiến trúc của WSC 1.3.2 Các thành phần trong kiến trúc của WSC 1.3.2.1 Thiết bị lưu trữ - Các máy chủ chứa các ổ cứng bên trong hoặc sử dụng các ổ cứng mạng NAS (Network Attached Storage) thông qua các đường truyền tốc độ rất cao nhưng thông thường các WSC dựa vào ở các ổ cứng được tích hợp sẵn bên trong. - Các ổ cứng bên trong máy chủ luôn tích hợp công nghệ RAID để bảo đảm an toàn dữ liệu và tốc độ truyền. 1.3.2.2 Array Switch - Là Switch mà nó nối một loạt các Rack lại với nhau, Array Switch là thiết bị chuyển mạch tốc độ rất cao, còn tốc độ của các Ethernet Switch dùng trong các Rack có tốc độ thấp hơn nhiều. - Chi phí của các Array Switch sẽ tăng rất nhiều tương đương với số cổng của nó, trong một số các Array Switch còn có giá cao hơn nữa nếu sử dụng các chip nhớ nội dung địa chỉ và FPGA (field-programable gate arrays). Hình 5: Cấu trúc phân cấp các Switch trong WSC GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Array Switch Siêu máy tính và Điện toán đám mây Trang 1.3.2.3 Phân cấp bộ nhớ trong WSC Ta có thể chia bộ nhớ của WSC thành ba cấp: Local, Rack và Array. Các máy chủ có thể truy cập DRAM và các đĩa trên các máy chủ khác bằng cách sử dụng giao diện kiểu NUMA. Hình 6: Đánh giá độ trễ, băng thông và dung lượng của bộ nhớ phân cấp trong một WSC Độ trễ của DRAM và đĩa tăng lên theo các mức theo các cấp từ Local, Rack, Array. Băng thông của DRAM và đĩa bị giảm đi theo các cấp Local, Rack, Array. Dung lượng DRAM và đĩa tăng lên theo các mức theo các cấp từ Local, Rack, Array. Từ bảng trong hình 6 ta có đồ thị so sánh các giá trị thành phần trong bộ nhớ phân cấp của WSC Hình 7: Đồ thị của độ trễ, băng thông và dung lượng của bộ nhớ phân cấp trong một WSC GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang 1.4 Cơ sở vật chất và chi phí của WSC 1.4.1 Vị trí lắp đặt của WSC Do WSC nó gần giống với mạng trục của Internet nên vị trí lắp đặt của nó phải đảm bảo về nguồn điện, thuế suất, có khả năng chịu được rủi ro do bão, lụt, động đất. 1.4.2 Phân phối điện năng Các WSC thường tiêu thụ điện năng rất lớn do vậy hạ tầng phân phối điện phải được thiết kế theo từng cấp theo hình dưới. Theo hình 7, các WSC được cung cấp điện từ hệ thống điện cao thế đã được hạ áp, đồng thời bên trong tòa nhà lắp đặt WSC còn được sử dụng hệ thống UPS- hệ thống cấp điện không bị ngắt và các máy phát điện riêng. Hình 8: Hệ thống cấp điện cho WSC 1.4.3 Hệ thống làm mát Các WSC có rất nhiều các thiết bị tiêu thụ điện năng khá lớn vì vậy nhiệt độ của phòng dễ dàng tăng cao nếu không có biện pháp làm mát thích hợp. Nhiệt độ phòng lý tưởng của các tòa nhà trong khoảng từ 64F đến 71F. Với nhiệt độ như vậy thì nó sẽ đảm bảo được độ bền, tính ổn định của các thiết bị bên trong. Hệ thống làm mát của WSC được thiết kế rất chuyện nghiệp sử dụng nhiều phương pháp khác nhau như: làm mát bằng không khí, làm mát bằng nước… Được mô tả dưới hình 8. GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 [...]... Trong bản báo cáo này đã trình bày các về vấn đề siêu máy tính và điện toán đám mây như sau:  Các vấn đề về siêu máy tính  Cơ bản về điện toán đám mây  Ứng dụng hệ thống siêu máy tính trong điện toán đám mây theo nhu cầu Điện toán đám mây là nền tảng công nghệ mới nhất trên đó xây dựng các dịch vụ trung tâm dữ liệu, hay còn gọi là dịch vụ điện toán đám mây, giúp các tổ chức, doanh nghiệp, cá nhân có.. .Siêu máy tính và Điện toán đám mây Trang Hình 8: Thiết kế máy móc làm mát cho hệ thống 1.4.4 Chi phí cho WSC - Chi phí đầu tư (CAPEX) là chi phí cho việc xây dựng một WSC GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang 2: ĐIỆN TOÁN ĐÁM MÂY: ĐIỆN TOÁN THEO NHU CẦU - Chi phí hoạt động (OPEX) là chi phí để vận hành một WSCPHẦN 2.1 Giới thiệu công nghệ điện toán đám. .. thống đám mây ra thành ba loại như hình 11 Hình 11: Các loại điện toán đám mây 2.1.3.1 Hệ thống đám mây công cộng (public cloud) Các đám mây công cộng là các dịch vụ đám mây được một bên thứ ba GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang (người bán) cung cấp Chúng nằm ngoài hệ thống mạng của tổ chức và chúng được lưu trữ đầy đủ và được nhà cung cấp đám mây quản... ích điện thoại công Điện toán theo nhu cầu có thể trở thành nền tảng của một ngành công nghiệp quan trọng mới.” 2.1.2 Kiến trúc một hệ thống tính toán đám mây Có thể chia kiến trúc một hệ thống đám mây thành bốn tầng như thể hiện ở hình dưới GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang Hình 10: Kiến trúc một hệ thống tính toán đám mây Tầng dưới cùng của đám mây. .. ninh và quản lý không phù hợp cho một đám mây công cộng 2.1.3.3 Hệ thống đám mây lai (hybrid cloud) Các đám mây lai là một sự kết hợp của các đám mây công cộng và riêng Những đám mây này thường do doanh nghiệp tạo ra và các trách nhiệm quản lý sẽ được phân chia giữa doanh nghiệp và nhà cung cấp đám mây công cộng Đám mây lai sử dụng các dịch vụ có trong cả không gian công cộng và riêng Các đám mây lai... GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang Mỹ Mặc dù tốc độ tăng trưởng nhanh tài khoản thuê bao Netflix, nhưng tỷ lệ tăng trưởng của các trung tâm dữ liệu Netflix không tăng, và tất cả nâng cấp công suất được thực hiện thông qua AWS Điện toán đám mây đã có những lợi ích WSC sẵn sàng cho tất cả mọi người Điện toán đám mây cung cấp chi phí kết hợp làm ảo tưởng... đám mây 2.1.1 Quá trình phát triển Điện toán đám mây (cloud computing) là một vấn đề đang rất được quan tâm nghiên cứu Tuy nhiên, nó không phải là một sự phát triển mới mang tính cách mạng Thực ra nó là một sự tiến hóa đã diễn ra trong suốt một vài thập kỷ như được trình bày trong hình dưới Hình 9: Sự phát triển hướng tới điện toán đám mây Xu thế điện toán đám mây bắt đầu vào cuối những năm 80 với điện. .. mình và cũng chỉ phải trả phí cho định mức này mà thôi Điện toán đám mây (cloud computing) được phát triển từ điện toán lưới, điện toán theo nhu cầu và SaaS Trong môi trường đám mây, các tài nguyên điện toán như máy chủ, có thể được định hình động hoặc được cắt nhỏ từ cơ sở hạ tầng phần cứng và sẵn sàng tiếp nhận yêu cầu Thế mạnh của hệ thống đám mây nằm ở khả năng quản lý cơ sở hạ tầng cùng với sự lớn... 2.2 Amazon Web Services Điện toán theo nhu cầu cho các hệ thống thương mại dùng chung và thậm chí cả hệ thống xử lý hàng loạt vào những năm 1960 và 1970, các công ty phải trả tiền cho thiết bị đầu cuối, đường dây điện thoại và dựa trên việc đã sử GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang dụng bao nhiêu Nhiều nỗ lực cung cấp dịch vụ và cải tiến thời gian chia... tạo ra và quản lý có hiệu quả một giải pháp như vậy Hệ thống phải có thể tiếp nhận được và cung cấp các dịch vụ lấy từ các nguồn khác nhau như thể chúng có chung GVHD: TS.Nguyễn Kim Khánh Thực hiện: Nhóm 09 Siêu máy tính và Điện toán đám mây Trang nguồn gốc, hay phức tạp hơn là hỗ trợ tương tác giữa các thành phần riêng và chung Do đây là một khái niệm kiến trúc tương đối mới trong điện toán đám mây, . 09 Siêu máy tính và Điện toán đám mây Trang PHẦN 1: SIÊU MÁY TÍNH – WAREHOUSE SCALE COMPUTING 1.1 Giới thiệu Siêu máy tính là một máy tính vượt trội trong khả năng và tốc độ xử lý. Thuật ngữ siêu. 09 Siêu máy tính và Điện toán đám mây Trang - Chi phí hoạt động (OPEX) là chi phí để vận hành một WSCPHẦN 2: ĐIỆN TOÁN ĐÁM MÂY: ĐIỆN TOÁN THEO NHU CẦU 2.1 Giới thiệu công nghệ điện toán đám mây 2.1.1. thống tính toán đám mây Hình 11: Các loại điện toán đám mây Siêu máy tính và Điện toán đám mây Trang (người bán) cung cấp. Chúng nằm ngoài hệ thống mạng của tổ chức và chúng được lưu trữ đầy đủ và