TÌM HIỀU VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ GIẢI QUYẾT VẤN ĐỀ PHÂN TÁN, TÍNH TOÁN SONG SONG

30 496 0
TÌM HIỀU VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ GIẢI QUYẾT VẤN ĐỀ PHÂN TÁN, TÍNH TOÁN SONG SONG

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ I H C QU C GIA TH NH PH H CH MINHĐẠ Ọ Ố À Ố Ồ Í TR NG I H C CÔNG NGH THÔNG TINƯỜ ĐẠ Ọ Ệ ĐỀ TÀI: TÌM HIỀU VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ GIẢI QUYẾT VẤN ĐỀ PHÂN TÁN, TÍNH TOÁN SONG SONG TPHCM, tháng 6/ 2014 MỤC LỤC HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 1/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ  1 LỜI NÓI ĐẦU 2  2 PH N 1: T NG QUAN V I N TOÁN ÁM MÂYẦ Ổ ỀĐ Ệ Đ 3 I. Khái ni m i n toán ám mây ệ Đ ệ đ 3 II. c i m c a i n toán ám mâyĐặ đ ể ủ đ ệ đ 4 III. S c n thi t c a i n toán ám mâyự ầ ế ủ đ ệ đ 5 IV. Công nghệ 7 PH N 2: NG D NG PHÂN TÁN VÀ X LÝ SONG SONG V I WCF SERVICEẦ Ứ Ụ Ử Ớ 22 1. Mô t ch ng trìnhả ươ 22 2. Các h m x lý chính:à ử 25 3. Th c thi ch ng trìnhự ươ 27 * Ph n m m c n ch y ch ng trìnhầ ề ầ để ạ ươ 27 - Visual Studio 2010 27 PHẦN 3: HƯỚNG PHÁT TRIẾN 29 Vì trong th i gian ng n em ch có th demo v 1 mô hình ám mây n gi n ờ ắ ỉ ể ề đ đơ ả m c c b n nh tở ứ ơ ả ấ 29 Khi áp d ng b i toán n y trong th c t , có th host Worker Server nh ng ụ à à ự ế ể ở ữ server khác nhau. Tích h p các chính sách b o m t v các thu t toán cân b ngợ ả ậ à ậ ằ t i gi a các worker. ả ữ 29 TÀI LIỆU THAM KHẢO 30 LỜI NÓI ĐẦU  Máy vi tính ngày nay đã trở thành một phần tất yếu của cuộc sống. Chúng ta cần máy tính ở khắp mọi nơi, có thể là cho công việc, nghiên cứu hoặc trong bất kỳ lĩnh vực nào. Khi việc sử dụng máy tính trong cuộc sống hàng ngày của chúng ta tăng lên, các nguồn tài nguyên máy tính mà chúng ta cũng cần tăng lên. HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 2/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ Đối với các công ty lớn như Google và Microsoft, khai thác các nguồn tài nguyên như vậy khi họ cần không phải là một vấn đề lớn. Nhưng khi nói đến doanh nghiệp nhỏ hơn, các nguồn tài nguyên lớn như vậy trở thành một yếu tố rất lớn tác động đến kinh doanh. Với những vấn đề lớn về cơ sở hạ tầng CNTT như máy hỏng, treo ổ cứng, lỗi phần mềm, v.v Đó thật sự là những vấn đề rất đau đầu cho các doanh nghiệp. Điện toán đám mây cung cấp một giải pháp cho tình trạng này. Điện toán đám mây được sử dụng trong các lĩnh vực khác nhau như web hosting, lập trình song song, dựng hình đồ hoạ, mô hình tài chính(IBM Clouds), các phương pháp duyệt và tìm kiếm trên web(web spider), phân tích gen(Amazon Clouds), v.v Qua môn học “Điện toán lưới và đám mây” Thầy PGS-TS. NGUYỄN PHI KHỨ đã giúp em hình thành những cái nhìn rất mới điện toán đám mây cũng như việc áp dụng vào trong thực tiễn. Trong phạm vi của bài thu hoạch nhỏ này, chúng em sẽ trình bày khái quát về Điện toán đám mây và giải quyết vấn đề, phân tán và tính toán song song . Em xin chân thành cảm ơn Thầy PGS. TS Nguyễn Phi Khứ. Những tiết giảng quý báu của Thầy đã cung cấp cho em những kiến thức nền tảng về Điện toán lưới và đám mây bước khởi đầu giúp em nghiên cứu trong nhiều lĩnh vực. Học Viên Cao Học Khóa 8 NGUYỄN CHÍ TOÀN * * * PHẦN 1: TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY I. Khái niệm Điện toán đám mây Điện toán đám mây là: "Một mô hình máy tính mới, nơi đó dữ liệu và các dịch vụ cư trú tại các trung tâm dữ liệu trong đám mây và có thể được truy cập từ bất kỳ thiết bị kết nối nào qua internet ". Điện toán có thể được mô tả là bất kỳ hoạt động nào của việc sử dụng và HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 3/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ phát triển phần cứng hay phần mềm máy tính, nghĩa là tất cả mọi thứ từ sức mạnh tính toán đến khả năng lưu trữ. Đám mây điện toán quan hệ cùng tất cả các thực thể của nó để làm cho chúng như một thực thể tích hợp duy nhất bằng sự quản lý tinh vi. Đám mây(cloud) là một thuật ngữ được sử dụng như là một ẩn dụ cho các mạng diện rộng (như Internet) hoặc bất cứ môi trường mạng lớn như vậy. Nó bắt nguồn từ biểu tượng giống đám mây được sử dụng để đại diện cho những mạng phức tạp trong sơ đồ nguyên lý(schematic). Nó đại diện cho tất cả những phức tạp của mạng có thể bao gồm mọi thứ từ cáp, router, máy chủ, trung tâm dữ liệu và tất cả các thiết bị khác như vậy. II. Đặc điểm của điện toán đám mây 1. Tự Sửa Chữa Bất kỳ ứng dụng hoặc dịch vụ nào đang chạy trong một môi trường điện toán đám mây có một tính chất tự sửa chữa. Trong trường hợp ứng dụng thất bại, luôn luôn có một dự phòng tức thời của ứng dụng sẵn sàng để cho công việc không bị gián đoạn. Có nhiều bản sao của cùng một ứng dụng - mỗi bản cập nhật chính nó thường xuyên vì vậy ở những lần thất bại, có ít nhất một bản sao của ứng dụng có thể lấy lên hoạt động mà thậm chí không cần thay đổi nhỏ nào trong trạng thái chạy của nó. 2. Nhiều người sử dụng: Với điện toán đám mây, bất kỳ ứng dụng nào cũng hỗ trợ đa người dùng - đó là khái niệm dùng để chỉ nhiều người sử dụng đám mây trong cùng thời gian. Hệ thống cho phép một số khách hàng chia sẻ cơ sở hạ tầng được phân bổ cho họ mà không ai trong họ nhận biết về sự chia sẻ này. Điều này được thực hiện bởi việc ảo hóa các máy chủ trong một dải các máy tính và sau đó cấp phát các máy chủ đến nhiều người sử dụng. Điều này được thực hiện theo cách mà trong đó sự riêng tư của người sử dụng và bảo mật của dữ liệu của họ không bị tổn hại. 3. Khả năng mở rộng tuyến tính Dịch vụ điện toán đám mây có khả năng mở rộng tuyến tính. Hệ thống có khả năng phân chia các luồng công việc thành phần nhỏ và phục vụ nó qua cơ sở hạ tầng. Một ý tưởng chính xác của khả năng mở rộng tuyến tính có thể được lấy HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 4/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ từ thực tế là nếu một máy chủ có thể xử lý 1000 giao dịch trong một giây, thì hai máy chủ có thể xử lý 2.000 giao dịch trong một giây. 4. Hướng dịch vụ Hệ thống Điện toán đám mây là tất cả các dịch vụ theo định hướng – những dịch vụ như vậy được tạo ra từ những dịch vụ rời rạc khác. Rất nhiều dịch vụ rời rạc như vậy là sự kết hợp của nhiều dịch vụ độc lập khác với nhau để tạo dịch vụ này. Điều này cho phép việc tái sử dụng các dịch vụ khác nhau sẵn có và đang được tạo ra. Bằng việc sử dụng các dịch vụ đã được tạo ra trước đó, những dịch vụ khác có thể được tạo ra từ đó. 5. Điều khiển SLA(Service level agreement) Thông thường các doanh nghiệp có thỏa thuận về số lượng dịch vụ. Khả năng mở rộng và các vấn đề có sẵn có thể làm cho các thỏa thuận này bị phá vỡ. Tuy nhiên, các dịch vụ điện toán đám mây là hướng SLA, như việc khi hệ thống có kinh nghiệm đạt đỉnh của tải, nó sẽ tự động điều chỉnh chính nó để tuân thủ các thỏa thuận ở cấp độ dịch vụ. Các dịch vụ sẽ tạo ra thêm những thực thể của ứng dụng trên nhiều server để cho việc tải có thể dễ dàng quản lý. 6. Khả năng ảo hóa Các ứng dụng trong điện toán đám mây hoàn toàn tách rời khỏi phần cứng nằm bên dưới. Môi trường điện toán đám mây là một môi trường ảo hóa đầy đủ. 7. Linh hoạt Một tính năng khác của các dịch vụ điện toán đám mây là chúng linh hoạt. Chúng có thể được dùng để phục vụ rất nhiều loại công việc có khối lượng khác nhau từ tải nhỏ của một ứng dụng nhỏ cho đến tải rất nặng của một ứng dụng thương mại. III. Sự cần thiết của điện toán đám mây Một câu hỏi được đặt ra là làm cách nào để có thể tăng năng lực tính toán và lưu trữ dữ liệu lên hàng nghìn lần so với chỉ dùng phần cứng tại chỗ? Câu hỏi đã từng làm đau đầu các nhà phát triển hệ thống, và với sự ra đời của mạng internet vấn đề đã được giải quyết bởi sự xuất hiện của dịch vụ điện toán đám mây. Điện toán đám mây là một dịch vụ tính toán và lưu trữ do nhà cung cấp dịch vụ cung cấp cho khách hàng, vì vậy năng lực tính toán và lưu trữ dữ liệu có HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 5/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ khả năng tăng lên hàng nghìn lần so với việc chỉ dùng hệ thống tính toán truyền thống của khách hàng, và điều này phụ thuộc vào năng lực của nhà cung cấp dịch vụ chứ không phụ thuộc vào hệ thống tại chỗ của khách hàng, mà thường là các máy của các nhà cung cấp dịch vụ thường là những máy có năng lực tính toán rất lớn để có thể cung cấp cho nhiều người. So với các hệ thống máy tính truyền thống thì điện toán đám mây có nhiều ưu điểm vượt trội hơn. Ưu điểm đầu tiên là về tài nguyên hệ thống, giả sử với một công ty khi trang bị hệ thống tính toán truyền thống cần phải xây dựng một hệ thống mạnh đủ để phục vụ công việc cho một công ty. Điều đó đồng nghĩa với việc chi phí lắp đặt hệ thống ban đầu tốn kém, và đối với hệ thống của công ty cần phải có người quản trị hệ thống tốn thêm tài nguyên và nhân lực, và chi phí cho năng lượng tiêu thụ của hệ thống cũng rất cao. Thêm vào đó là sự lãng phí tài nguyên khi mà hệ thống không được sử dụng hết công suất của nó. Điều đó cho thấy rằng đầu tư vào một hệ thống máy tính theo kiểu truyền thống thì có thể là tốn kém và lãng phí. Và nếu công ty sử dụng điện toán đám mây thì khi đó không phải tốn một người quản trị, năng lượng tiêu thụ cho hệ thống cũng không còn là vấn đề, đặc biệt là tài nguyên không sử dụng sẽ không bị lãng phí vì khi đó công ty chỉ trả tiền cho phần tài nguyên mà họ sử dụng, phần tài nguyên còn lại sẽ được người cung cấp dịch vụ cung cấp cho một công ty khác. Một ưu điểm nữa của điện toán đám mây là khả năng truy cập và sử dụng tài nguyên ở mọi lúc mọi nơi khi mà ta có một máy tính bình thường được nối mạng internet, khi đó ta có thể thực hiện một phép tính khổng lồ hoặc có thể sử dụng một khối lượng dữ liệu lớn chỉ với một máy tính đơn giản. Vấn đề về bản quyền phần mềm cũng là một vấn đề hết sức nan giải đối với các công ty khi mà các phần mềm đó có giá quá cao. Với điện toán đám mây thì chỉ cần nhà cung cấp dịch vụ bỏ tiền ra mua bản quyền thì tất cả các khách hàng của họ đều có thể sử dụng nó như một phần mềm có bản quyền thật sự mà không phải bỏ ra một số tiền lớn để mua bản quyền mà họ chi phải trả tiền cho những gì họ dùng. HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 6/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ Bên cạnh đó điện toán đám mây cũng có những nhược điểm cố định của nó. Với điện toán đám mây người dùng không thực sự an tâm về dữ liệu của họ vì khi đó tài nguyên thật sự không còn là của riêng họ mà nằm trong đám mây của nhà cung cấp dịch vụ. Theo đó thì sự bảo mật dữ liệu cũng là vấn đề làm lo lắng cho người dùng. Và khi có sự cố về mạng internet thì người dùng không thể làm việc với dữ liệu của chính họ được nữa. IV. Công nghệ 1. Kiến trúc của ứng dụng điện toán đám mây HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 7/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ Bây giờ chúng ta sẽ đi vào tìm hiểu cấu trúc cơ bản của điện toán đám mây, chúng ta biết rằng điện toán đám mây là một tổ hợp tính toán dựa trên các thiết bị hạ tầng phần cứng trong một đám mây của nhà cung cấp dịch vụ. Hạ tầng phần cứng bao gồm các sản phẩm máy chủ chứa dữ liệu nhỏ được kết nối lại với nhau như một hệ thống phục vụ cho việc lưu trữ và xử lý dữ liệu và các ứng dụng tính toán trên các tài nguyên khác. Điện toán đám mây gọi một ứng dụng chạy trên máy chủ ảo như là nó đang chạy tại chỗ trên hạ tầng phần cứng phân tán trong đám mây. Những máy chủ ảo được tạo ra theo những cách mà ở đó những thỏa thuận dịch vụ (SLA) khác nhau và sự tin cậy đều được đảm bảo. Có thể có nhiều thực thể khác nhau của cùng một máy chủ ảo truy cập vào những phần sẵn sàng của cơ sở hạ tầng phần cứng. Điều này đảm bảo rằng có nhiều bản sao của các ứng dụng, để khi xảy ra lỗi chúng sẵn sàng khắc phục. Máy chủ ảo phân tán quá trình xử lý vào cơ sở hạ tầng phần cứng và sau khi quá trình tính toán được hoàn thành chúng sẽ trả về kết quả. Quá trình này cần có một phần mềm hoặc hệ điều hành xử lý công việc quản lý hệ thống phân tán, giống như kỹ thuật tính toán lưới, giúp quản lý các yêu cầu khác nhau đến máy chủ ảo. Cơ chế này sẽ đảm bảo việc tạo ra nhiều bản sao và cả việc bảo vệ sự thống nhất dữ liệu được lưu trên cơ sở hạ tầng. Đồng thời hệ điều hành đó cũng có thể tự điều chỉnh như là khi gặp quá tải các tiến trình, phân chia xử lý để hoàn thành đáp ứng yêu cầu. Hệ thống quản lý công việc như vậy được che dấu với người dùng, hay nói các khác là ẩn với người dùng. Sự độc lập với người dùng thể hiện ở chỗ nó xử lý và trả về kết quả đạt được, chứ không cần phải quan trọng nó ở đâu và HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 8/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ nó thực hiện điều đó bằng cách nào. Người dùng trả tiền trên lưu lượng sử dụng hệ thống, như đã nói dịch vụ được tính bằng chu kỳ của CPU hoặc byte. Thực tế số tiền mà khách hàng phải trả thường được tính dựa vào lưu lượng dùng CPU trên một giờ hoặc số Gb dữ liệu di chuyển trong một giờ. 2. Kiến trúc máy chủ Điện toán đám mây được tạo thành bằng cách sử dụng tài nguyên vật lý lớn từ nhiều máy chủ trong đám mây của nhà cung cấp dịch vụ. Đây là một ứng dụng của nguyên tắc kết hợp vào trong bài toán cần một hệ thống tính toán lớn mà thiết bị hoặc cơ sở vật chất không cho phép nên chúng ta cần phải ghép những thiết bị, những hệ thống nhỏ lại với nhau để trở thành một hệ thống lớn đáp ứng những nhu cầu lớn hơn cho người sử dụng trong những hệ thống yêu cầu tính toán và lưu trữ lớn. Như đã nói bên trên, dịch vụ và ứng dụng của điện toán đám mây dựa trên máy chủ ảo được thiết kế từ tài nguyên góp lại này. Có hai ứng dụng (hoặc hệ điều hành) sẽ giúp quản lý các thể hiện trên máy trong đám mây, cũng như quản lý tất cả các tài nguyên của các thể hiện máy chủ ảo. Đây là một ứng dụng nguyên lý tách khỏi vào trong hệ thống điện toán đám mây nhằm tách biệt phần cứng phức tạp của hệ thống vói giao diện bên ngoài. Nhằm tạo ra một giao diện người dùng đơn giản, dễ sử dụng hơn so với phần cứng phức tạp bên dưới và cũng là để tách biệt giao diện người dùng với hệ thống phần cứng, khi đó người dùng chỉ cần quan tâm đến những ứng dụng mà học cần chứ không cần quan tâm đến phần cứng bên dưới được thực hiện như HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 9/30 Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ thế nào. Ứng dụng thứ nhất là Xen hypervisor cung cấp các lớp trừu tượng giữa phần cứng và hệ điều hành ảo, nhờ vậy sự phân tán của các tài nguyên và tiến trình được quản lý giống như là đang thực hiện trên một máy. Ứng dụng thứ hai cũng được sử dụng rộng rãi là hệ thống quản lý máy chủ ảo Enomalism, nó được sử dụng để quản lý hạ tầng phần cứng nền tảng. Khi Xen sử dụng cho các lớp ảo của các cơ sở hạ tầng máy chủ, một lớp phần mềm là Xen hypervisor đã được cài đặt giữa máy chủ và hệ điều hành. Nó cung cấp một lớp trừu tượng cho phép mỗi server vật lý có thể được chạy như là một hoặc nhiều máy chủ ảo, tách riêng hệ điều hành và các ứng dụng của nó khỏi lớp phần cứng vật lý bên dưới. Xen hypervisor là một công nghệ mã nguồn mở, được cộng tác phát triển bởi Xen và các kỹ sư của hơn 20 công ty nổi tiếng về trung tâm dữ liệu có tính chất đổi mới bao gồm : AMD, Cisco, Dell, HP, IBM, Intel, Mellanox, Network Appliance, Novell, Red Hat, SGI, Sun, Unisys, Veritas, Voltaire, and Citrix. Xen được đăng ký bởi GNU General Public License (GPL2) và được sử dụng không được thay đổi về mã nguồn và định dạng đối tượng. Xen Hypervisor cũng đặc biệt ngắn - ít hơn 50.000 dòng mã. Vì vậy chi phí dịch mã code rất thấp và hiệu suất gần giống như trên máy nguyên HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 10/30 [...]... thực hiện tính toán trên các vi xử lý (hệ thống phần cứng song song tạo nên hệ thống điện toán đám mây) để tiến hành tính toán chương trình song song để cuối cùng gộp lại một kết quả Tiếp theo, nó sẽ tạo nhiều bản sao của chương trình trên cụm máy tính trong đám mây điện toán Nguyên tắc sao chép cũng được đưa vào ứng dụng trong hệ thống điện toán đám mây, trên mỗi cụm máy tính trong đám mây điện toán thực... hệ thống điện toán đám mây nhằm phục vụ cho thuật toán giải quyết yêu cầu bài toán, sau khi chia nhỏ các chương trình lớn thành các phần nhỏ để thực hiện tính toán một cách song song nhằm làm giảm thời gian thực hiện một bài toán thì hệ thống tiến hành kết hợp các kết quả tính toán từ các tiến trình nhỏ song song lại với nhau để đưa ra một kết quả tính toán thống nhất của chương trình tính toán mà người... gian cho phép Các vấn đề về việc song song hóa tính toán, phân tán dữ liệu và quản lý lỗi đã làm cho các quá trình tính toán vốn đơn giản này trở nên vô cùng phức tạp Để giải quyết vấn đề, các kỹ sư của Google đã thiết kế một mô hình trừu tượng cho phép chúng ta diễn tả quá trình tính toán này một cách đơn giản như vốn dĩ của nó, đồng thời che dấu đi các chi tiết phức tạp trong việc song song hóa, chấp... trong số lượng lớn các cụm máy tính thành phần của đám mây điện toán Ở HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 12/30 Điện toán lưới và đám mây Khứ GVHD: PGS.TS Nguyễn Phi phần sau chúng ta sẽ lần lượt xem xét mô hình lập trình cơ bản của MapReduce và một vài ví dụ đơn giản Mô hình lập trình Quá trình tính toán nhận một cặp giá trị đầu vào gồm khóa/giá trị, và tính toán cho ra một tập các cặp khóa/giá... bị lỗi toàn bộ quá trình tính toán MapReduce sẽ bị hủy, client khi đó phải kiểm tra trường hợp này và tự khởi động lại quá trình nếu muốn Tác vụ backup Đây là một áp dụng của nguyên tắc dự phòng vào việc giải quyết bài toán HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 17/30 Điện toán lưới và đám mây Khứ GVHD: PGS.TS Nguyễn Phi trong đám mây điện toán, nó giúp cho hoạt động tính toán không bị mất khi sử... đầu vào thành M mảnh (thông thường kích thước mỗi mảnh từ 1664MB,có thể điều chỉnh thông qua các tham số tùy chọn) Ở đây, hệ thống điện toán đám mây đã đưa nguyên tắc chia nhỏ vào để thực hiện quá trình tính toán của mình Với một chương trình lớn mà tính toán một lần sẽ tốn rất nhiều thời HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 15/30 Điện toán lưới và đám mây Khứ GVHD: PGS.TS Nguyễn Phi gian và. .. này được song song hóa một cách tự động và được thực thi trên một cụm lớn các “máy tính hàng hóa” (các HVTH: Nguyễn Chí Toàn_MSSV: CH1301065 Trang 11/30 Điện toán lưới và đám mây Khứ GVHD: PGS.TS Nguyễn Phi máy tính thành phần cấu tạo nên đám mây điện toán) Hệ thống khi chạy sẽ quan tâm chi tiết phân vùng của dữ liệu đầu vào, lập lịch quá trình thực thi chương trình thông qua một tập các máy tính thành... CH1301065 Trang 14/30 Điện toán lưới và đám mây Khứ GVHD: PGS.TS Nguyễn Phi này các đoạn code của người dùng được liên kết lại thông qua thư viện MapReduce Tổng quan quá trình thực thi Quá trình gọi thực thi hàm Map được phân tán trong nhiều các máy thành viên của đám mây điện toán bằng cách tự động phân vùng các giá trị đầu vào thành một bộ gồm M phần Các phần này có thể được tính toán song song bởi các máy... các trang web yêu cầu…Các quá trình tính toán này dùng cho nhiều mục đích khác nhau như tóm tắt số lượng các trang đã được móc nối bởi từng host, tính tần số truy xuất của 1 trang web, tìm ra tập các câu truy vấn được dùng nhiều nhất trong ngày…Hầu hết các tính toán này đều không phức tạp,nhưng dữ liệu đầu vào thường rất lớn và quá trình tính toán cần phải được phân tán cho hàng trăm ngàn máy nhằm... tính toán song song trên số lượng tập các dữ liệu cực lớn (vài tỷ byte) lưu trữ ở các cụm máy tính thành phần trong đám mây điện toán Trong mô hình này, người dùng định nghĩa một hàm map để tính toán một cặp khóa/giá trị đầu vào và tạo nên một tập các cặp khóa/giá trị tạm thời, sau đó hàm reduce sẽ gom nhóm tất cả những giá trị tạm thời nào có chung khóa lại với nhau cho ra kết quả mong muốn Rất nhiều . việc áp dụng vào trong thực tiễn. Trong phạm vi của bài thu hoạch nhỏ này, chúng em sẽ trình bày khái quát về Điện toán đám mây và giải quyết vấn đề, phân tán và tính toán song song . Em xin. phát triển hệ thống, và với sự ra đời của mạng internet vấn đề đã được giải quyết bởi sự xuất hiện của dịch vụ điện toán đám mây. Điện toán đám mây là một dịch vụ tính toán và lưu trữ do nhà cung. Điện toán lưới và đám mây GVHD: PGS.TS Nguyễn Phi Khứ I H C QU C GIA TH NH PH H CH MINHĐẠ Ọ Ố À Ố Ồ Í TR NG I H C CÔNG NGH THÔNG TINƯỜ ĐẠ Ọ Ệ ĐỀ TÀI: TÌM HIỀU VỀ ĐIỆN TOÁN ĐÁM MÂY VÀ GIẢI

Ngày đăng: 19/05/2015, 21:13

Từ khóa liên quan

Tài liệu cùng người dùng

Tài liệu liên quan