Tìm hiểu về tính toán lưới và ứng dụng của tính toán lưới trong thuật toán di truyền song song

Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ LỜI MỞ ĐẦU Trong thời đại ngày nay, tin học là nhu cầu không thể thiếu đối với mọi người trên mọi lĩnh vực. Thiết bị phần cứng mạnh nhằm phục vụ cho yêu cầu tính toán hiệu năng cao đã được tạo ra. Vì thế tính toán lưới đã ra đời nhằm đáp ứng nhu cầu này. Tính toán lưới được xem như một phương tiện tập hợp tài nguyên tính toán chi phí thấp để giải quyết những bài toán lớn. Chính vì lý do trên nên sau khi học xong môn “Tính toán lưới”, em đã chọn đề tài “Tìm hiểu về tính toán lưới và ứng dụng của tính toán lưới trong thuật toán di truyền song song”. Trong phạm vi bài thu hoạch này em xin trình bày tóm tắt những kiến thức đã học được về tính toán lưới và phân tích ứng dụng của tính toán lưới trong thuật toán di truyền song song. Việc phân tích ứng dụng của tính toán lưới trong thuật toán di truyền song song sẽ dựa vào tài liệu “Efficient Hierarchical Parallel Genetic Algorithms Using Grid Computing”. Qua đây, em xin chân thành cảm ơn PGS.TS. Nguyễn Phi Khứ đã tận tình hướng dẫn em môn học bổ ích và đầy ý nghĩa này. Em xin cảm ơn các bạn cùng khoá và các anh chị khoá trước đã giúp đỡ em tìm tài liệu và góp ý cho em hoàn thành tốt bài thu hoạch này! Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 1 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 2 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ MỤC LỤC Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 3 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ NỘI DUNG CHƯƠNG I: TỔNG QUAN VỀ TÍNH TOÁN LƯỚI I.1. Khái niệm về tính toán lưới Khái niệm tính toán lưới đã bắt đầu xuất hiện vào đầu thập niên 1990 với nghĩa ẩn dụ là làm cho việc sử dụng sức mạnh của máy tính dễ dàng như là việc sử dụng điện năng. Một định nghĩa về lưới khá hoàn chỉnh được đưa ra bởi tiến sĩ Ian Foster như sau: Lưới là một loại hệ thống song song, phân tán cho phép chia sẻ, lựa chọn, kết hợp các tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác nhau dựa trên tính sẵn sàng, khả năng, chi phí của chúng và yêu cầu về chất lượng dịch vụ (QoS) của người dùng để giải quyết các bài toán, ứng dụng có quy mô lớn trong khoa học, kỹ thuật và thương mại. Từ đó hình thành nên các “tổ chức ảo” (Virtual Organization (VO)), các liên minh tạm thời giữa các tổ chức và tập đoàn, liên kết với nhau để chia sẻ tài nguyên và/hoặc kỹ năng nhằm đáp ứng tốt hơn các cơ hội kinh doanh hoặc các dự án có nhu cầu lớn về tính toán và dữ liệu, toàn bộ việc liên minh này dựa trên các mạng máy tính. Bản chất của tính toán lưới giống một nền tảng dạng khái niệm hơn là một tài nguyên vật lý. Lưới được tận dụng để cung cấp tài nguyên cho một nhiệm vụ tính toán. Mục tiêu của công nghệ lưới liên quan tới những yêu cầu của việc cung cấp tài nguyên linh hoạt vượt ra khỏi các khu vực cục bộ. I.2. Lịch sử phát triển Năm 1965, những người phát triển hệ điều hành Mulitics (tiền nhân của hệ điều hành Unix) đã đề cập đến việc sử dụng năng lực tính toán như một tiện ích, một quan điểm rất gần với quan điểm về Grid như hiện nay. Năm 1990, khi thuật ngữ “siêu tính toán” ra đời, dùng để mô tả các dự án kết nối các trung tâm siêu máy tính của Mỹ nhằm kết hợp sức mạnh của nhiều siêu Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 4 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ máy tính lại với nhau. Năm 1997, một trong những dịch vụ tính toán lưới thương mại đầu tiên đã được Entropia cung cấp, tới nay cũng có nhiều dịch vụ như vậy do các công ty hay các phòng thí nghiệm thực hiện. I.3. Các chuẩn tính toán lưới I.3.1. Chuẩn OGSI (Open Grid Services Infrastructure): I.3.1.1. Mô hình tương tác OGSI giới thiệu một mô hình tương tác cho các dịch vụ lưới. Mô hình này cung cấp một phương thức cố định bằng cách đưa ra các giao diện dùng trong phát hiện, quản lý vòng đời, trạng thái, tạo-huỷ, thông báo sự kiện và quản lý tham chiếu. - Life cycle: là cơ chế dùng để ngăn các dịch vụ lưới truy cập đến các tài nguyên không được yêu cầu. Các dịch vụ lưới được tạo với vòng đời xác định. - State managemen: mọi dịch vụ lưới đều có một trạng thái. OGSI xác định một khung để biểu diễn các trạng thái và một cơ chế để kiểm duyệt hoặc sửa đổi chúng. OGSI cũng quy định số các trạng thái tối thiểu mà mỗi dịch vụ lưới phải có. - Service groups: là tập các dịch vụ lưới được chỉ định cho một mục đích riêng nào đó. - Factory: là cơ chế (giao diện) cung cấp cách tạo các dịch vụ lưới mới. Các Factory có thể tạo ra nhiều thể hiện tạm của một chức năng hạn chế, chẳng hạn một bộ lập lịch tạo một dịch vụ để mô tả cách thực hiện một công việc thông Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 5 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ thường hoặc chúng có thể tạo ra các dịch vụ tồn tại trong thời gian dài như việc nhân bản cục bộ một tập dữ liệu được sử dụng liên tục. - Notification: các dịch vụ tương tác với nhau thông qua cơ chế trao đổi thông điệp trên các lời triệu gọi dịch vụ. Thông tin trạng thái được mô hình cho các dịch vụ lưới sẽ thay đổi khi hệ thống chạy. - Handle Map: dùng cho các vấn đề nhận dạng. Khi các factory được sử dụng để tạo ra một thể hiện mới của dịch vụ lưới, Factory trả về định danh của thể hiện mới này. - Grid Service Reference (GSR). GSH cung cấp tham chiếu đến định danh của dịch vụ lưới còn GSR có thể thay đổi theo thời gian sống của các dịch vụ lưới. I.3.1.2. Một số giao thức chuẩn SOAP (Simple Object Access Protocol): là cơ chế truyền thông độc lập với cấu hình nền và các giao thức khác. Nó dùng XML để trao đổi thông tin trong môi trường phân tán. Nó hỗ trợ nhiều kiểu trao đổi thông tin khác nhau bao như: mô hình trao đổi thông tin sau khi gọi thủ tục từ xa hoặc mô hình trao đổi thông tin trong một cơ chế hướng thông báo. SOAP thường độc lập về giao thức, độc lập về ngôn ngữ, độc lập về cấu hình và hệ điều hành, hỗ trợ các thông báo XML SOAP. UDDI (Universal Description Discoverry and Intergation): kho chứa phần lưu trữ của các dịch vụ Web. UDDI là phần định dạng mô tả dịch vụ Web chuẩn. Một đăng ký UDDI có thể chứa siêu dữ liệu cho bất kỳ kiểu dịch vụ nào. UDDI cho phép tìm kiếm và khai thác các dịch vụ Web hiệu quả hơn. WSDL (Web Service Definition Language): ngôn ngữ định nghĩa các dịch vụ web. Là ngôn ngữ cung cấp cách mô tả giao diện đặc biệt của các dịch vụ web và các API. WSDL có thể được xem như là tài liệu được viết bằng XML. XML (eXtensible Markup Language): ngôn ngữ đánh dấu mở rộng. Là một siêu ngôn ngữ, sử dụng để mô tả ngữ nghĩa của đối tượng và mô tả phần cấu trúc bên trong một kiểu mở. Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 6 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ WSIL (WS-Inspection Language): tận dụng định dạng của XML làm tăng khả năng khai thác và tập hợp những mô tả của dịch vụ web đơn giản và mở rộng hơn. WSIL là cơ chế đơn giản để khai thác dịch vụ web, nó là một định dạng XML. I.3.2. Chuẩn OGSA (Open Grid Services Architecture): I.3.2.1. Các thành phần cơ bản của OGSA Có ba thành phần chính của OGSA: - Cơ sở hạ tầng dịch vụ lưới mở OGSI: xây dựng trên các kỹ thuật dịch vụ web và lưới, OGSI định nghĩa cơ chế tạo, quản lý và chuyển đổi thông tin giữa các dịch vụ lưới. - Các dịch vụ OGSA: xây dựng trên các cơ chế OGSI để định nghĩa các giao diện và các hành vi kết hợp cho các chức năng không được hỗ trợ trực tiếp bởi OGSI như phát hiện dịch vụ, truy xuất dữ liệu, tích hợp dữ liệu… - Các mô hình OGSA: hỗ trợ các đặc tả giao diện bằng cách định nghĩa các mô hình cho các tài nguyên chung và các kiểu dịch vụ. I.3.2.2. Các dịch vụ nền OGSA dùng thuật ngữ platform services để chỉ những dịch vụ cung cấp các chức năng cơ bản. Platform services cung cấp các chức năng nền dùng để xây dựng các dịch vụ lưới khác cung cấp các chức năng chung dùng trong một số các dịch vụ mức cao cung cấp các chức năng được thiết kế để dùng cho các quan hệ mở rộng. Một chức năng được cung cấp bởi một dịch vụ nền sẽ được mô tả trong một số các dịch vụ mức cao. Hiện tại, tập các dịch vụ nền của OGSA gồm: - OGSI: định nghĩa các dịch vụ lưới và các cơ chế nền để tạo, quản lý và trao đổi thông tin giữa các dịch vụ - WS-Agreement: cung cấp một tập giao diện hỗ trợ việc điều chỉnh các chính sách, các thoả thuận mức dịch vụ, đặt trước … - CMM (Common Management Model): cung cấp một cơ sở hạ tầng có thể Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 7 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ quản lý được cho các tài nguyên trong OGSA. CMM định nghĩa mô hình cư xử cơ sở cho tất cả các tài nguyên và các bộ quản lý tài nguyên trong lưới, công thêm chức năng quản lý các mối quan hệ và quản lý vòng đời - OGSA Data Services (các dịch vụ dữ liệu OGSA): cung cấp các chức năng cơ bản để quản lý dữ liệu trong một môi trường lưới I.4. Phân loại tính toán lưới I.4.1. Lưới tính toán Lưới tính toán là một loại của tính toán lưới, chủ yếu tập trung vào việc sử dụng năng lực tính toán của lưới. Ở loại lưới này, phần lớn các nút là các nhóm máy tính có năng lực tính toán lớn nhằm phục vụ cho việc tính toán bài toán lớn. Hình thức thực hiện là chia tác vụ tính toán lớn thành nhiều công việc nhỏ thực thi song song trên các nút của lưới. Việc phân tán các tác vụ của lưới sẽ làm giảm đáng kể thời gian xử lý và làm tăng khả năng tận dụng của hệ thống. Thông thường, hệ thống chính sẽ chia khối dữ liệu cần xử lý thành các phần nhỏ, sau đó phân phối đến các nút trên lưới. Mỗi nút thực hiện xử lý dữ liệu, kết quả trả về hệ thống chính, tại đây sẽ tổng hợp và trình diễn kết quả toàn cục cho người dùng. I.4.2. Lưới dữ liệu Lưới dữ liệu sẽ tập trung vào việc lưu trữ và cung cấp khả năng truy xuất dữ liệu của nhiều cá nhân, tổ chức khác nhau. Người dùng không cần biết chính xác vị trí dữ liệu khi thao tác với dữ liệu. Các cơ sở dữ liệu, đặc biệt là các cơ sở dữ liệu liên hợp đóng vai trò quan trọng trong grid dữ liệu nhất là khi có nhiều nguồn dữ liệu và xuất hiện nhu cầu kết hợp các thông tin từ các nguồn dữ liệu này. Lưới dữ liệu có thể được sử dụng trong lĩnh vực khai phá dữ liệu hoặc các hệ thống thương mại thông minh. Trong trường hợp này, không chỉ có hệ thống tập tin hay các cơ sở dữ liệu mà toàn bộ dữ liệu của tổ chức cần tập hợp lại. Ở đây có thể kết hợp lưới dữ liệu và lưới tính toán. Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 8 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ I.4.3. Lưới kết hợp Lưới kết hợp có thể được xem là một loại kết hợp giữa lưới dữ liệu và lưới tính toán. Một lưới kết hợp thường được dùng với nhiều máy tính với nhau. Các máy tính sẽ được kiểm tra định kỳ để xem khi nào bộ xử lý và các tài nguyên khác rãnh rỗi để thực hiện các tác vụ lưới. Chủ nhân của máy để bàn này sẽ được quyền xác định khi nào sẽ chia sẻ máy tính của mình với mạng lưới. I.5. Một số công cụ tính toán lưới hiện nay I.5.1. Bộ công cụ Globus Globus là một dự án nghiên cứu gồm nhiều tổ chức tham gia với mục tiêu ban đầu là tạo cơ sở hạ tầng và các dịch vụ cấp cao cho một lưới tính toán, tuy nhiên hiện nay được mở rộng phạm vi thành cơ sở hạ tầng cho phép chia sẻ nhiều loại tài nguyên đa dạng. I.5.2. Bộ công cụ Legion Legion là một dự án phát triển middleware cho lưới do trường đại học Virginia phát triển. Bộ công cụ Legion Toolkit được phát hành lần đầu tiên vào năm 1997. Đây là bộ công cụ lưới hướng đối tượng. Năm 1998 công ty Avaki được thành lập đưa bộ công cụ này vào sử dụng cho mục đích thương mại. I.5.3. Bộ công cụ Condor Condor là một công cụ cho phép tận dụng thời gian rảnh rỗi của các máy tính vào công việc tính toán, rất thích hợp cho các ứng dụng dạng nghiên cứu tham số và tính toán thông lượng cao trong đó các công việc thường không cần liên lạc với nhau. I.5.4. Bộ công cụ Nimrod Nimrod là bộ công cụ cung cấp cho người dùng một giao diện để mô tả các ứng dụng dạng nghiên cứu tham số. Nimrod G là một biến thể của Nimrod cho phép liên kết với các hệ thống lưới. Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 9 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ I.5.5. Bộ công cụ Unicore Unicore là dự án nghiên cứu lưới được tài trợ bởi bộ giáo dục Đức. I.6. Lợi ích của tính toán lưới I.6.1. Tận dụng nguồn tài nguyên nhàn rỗi Các máy tính cá nhân thường chỉ sử dụng hết 5% thời gian xử lý CPU, ngay cả các sever cũng thường rảnh rỗi. Grid có thể tối ưu sử dụng các tài nguyên nhàn rỗi này theo nhiều cách khác nhau. I.6.2. Sử dụng bộ xử lý song song Khả năng sử dụng CPU song song là một đặc tính tuyệt vời của lưới, ngoài việc hỗ trợ các nhu cầu tính toán của các nhà khoa học, sức mạnh tính toán do lưới cung cấp có thể giúp giải quyết các bài toán đòi hỏi năng lực xử lý lớn trong các ngành y dược, tính toán tài chính, kinh tế và khai thác dầu hỏa, dự báo thời tiết, công nghiệp vũ trụ, thiết kế sản phẩm,… và nhiều lĩnh vực khác. I.6.3. Cho phép hợp tác Một trong những đóng góp quan trọng của tính toán lưới là cho phép đơn giản hóa hợp tác chia sẻ, làm việc giữa cộng đồng rộng lớn trên toàn thế giới, cho phép các hệ thống không đồng dạng làm việc chung với nhau để tạo nên một hệ thống tính toán ảo cung cấp rất nhiều dạng tài nguyên khác nhau. I.6.4. Chia sẻ tài nguyên Không chỉ cho phép chia sẻ các chu kỳ tính toán dữ liệu, lưới còn cho phép chia sẻ tất cả các loại tài nguyên mà trước đây chưa được chia sẻ như băng thông mạng, các thiết bị đặc biệt, phần mềm, bản quyền và các dịch vụ, … I.6.5. Tăng độ tin cậy Các hệ thống trong lưới thường rẻ và phân tán theo địa lý, do đó, nếu có sự cố về nguồn điện hay các lỗi hệ thống khác tại một vị trí, toàn bộ phần còn lại không bị ảnh hưởng. Các phần mềm quản trị lưới có khả năng thực thi lại công việc trên một nút khác khi phát hiện có lỗi trong hệ thống. Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 10 [...]... hết các ứng dụng của tính toán lưới trong thuật toán di truyền song song Trong bài thu hoạch này, em đã tìm hiểu và nghiên cứu qua các nguồn tài liệu để hệ thống lại tổng quan về tính toán lưới, các chuẩn tính toán lưới và các ưu nhược điểm của nó, trình bày ứng dụng của tính toán lưới trong thuật toán di truyền song song Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 27 Bài thu hoạch môn Tính toán lưới GVHD:... thể của quần thể trong nhiều nút tính toán Trong thập niên trước, nhiều phương án của thuật toán GAs tồn tại để khai thác tính song song của thuật toán GAs Người đọc có thể liên hệ với các buổi triển lãm thú vị có sử dụng thuật toán GAs song song Trong khi có rất nhiều nghiên cứu về thuật toán GAs song song với công nghệ tính toán phân tán khác nhau được báo cáo, hầu hết các nghiên cứu và các ứng dụng. .. MSHV: CH1101099 Trang 11 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ CHƯƠNG II: ỨNG DỤNG CỦA TÍNH TOÁN LƯỚI TRONG THUẬT TOÁN DI TRUYỀN SONG SONG II.1 Giới thiệu Thuật toán tiến hóa (EA) là mô hình tính toán bắt nguồn từ quá trình tiến hóa tự nhiên, được áp dụng thành công với độ phức tạp tối ưu Trong thuật toán di truyền (GA), một lớp con của EA, giải pháp tiềm năng sẽ được mã hóa... do dẫn đến sự ra đời của tính toán lưới , tính toán lưới đã được sự chú ý rộng rãi, ví dụ như tính toán lưới đã đặt ra khái niệm về tiêu chuẩn mở cho phân bố các tài nguyên và dịch vụ phổ biến Những điểm nổi bật trong tính toán lưới đã được nghiên cứu và phát triển để giải quyết vấn đề thiết kế phức tạp trong khoa học và kỹ thuật Trong khi nhiều vấn đề mở được sử dụng điện toán lưới qua cac phòng thí... chuẩn của một Island PGA đồng bộ và cũng là chống lại triết lý của tính toán lưới Một giải pháp thích hợp hơn là cung cấp tốc độ không phụ thuộc vào tính không đồng nhất trong môi trường lưới của tìm kiếm di truyền song song Giải pháp trên được mô tả theo hình sau: Ý tưởng cốt lõi nằm ở chỗ tách “quần thể tiến hóa” trong GE-HPGA vào hai dịch vụ riêng biệt, cụ thể là, các toán tử tiến hóa ở GE-HPA chủ và. .. biến, và lựa chọn, quá trình này lặp đi lặp lại cho đến khi thỏa một điều kiện nào đó sẽ dừng lại Một thuật toán di truyền mà không cần cấu trúc thường được gọi là một thuật toán GA ngẫu nhiên Các thuật toán di truyền song song (PGAs) là phần mở Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 13 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ rộng của thuật toán GA ngẫu nhiên Ưu điểm nổi bật của. .. các ứng dụng của thuật toán GAs song song đã được sử dụng trên các nút tính toán chuyên dụng và đồng nhất Những tiêu điểm đã có trên tài nguyên tính toán chuyên dụng với quy mô nhỏ và không dễ dàng phát triển rộng hơn đối với tài nguyên tính toán chuyên dụng qua các phòng thí nghiệm hoặc thậm chí là tại các tổ chức địa điểm khác nhau Vấn đề tiêu chuẩn là một trong những thách thức lớn, trong khi tồn... và lưới điểm chuẩn là một trong những chủ đề thảo luận thường xuyên hơn Để bổ sung cho công trình hiện có trên thuật toán GAs song song, chúng tôi trình bày một cách hiệu quả trong khuôn khổ giải thuật di truyền song song phân cấp sử dụng công nghệ điện toán lưới trong bài báo này Khuôn khổ trình bày cung cấp tính năng nổi bật bao gồm hai phần là yếu tố GridRPC mở rộng để che giấu sự phức tạp cao của. .. II.2 Thuật toán di truyền song song Các thuật toán di truyền sử dụng phương pháp siêu phỏng đoán xác suất lấy cảm hứng từ các “survival of the fittest”, nguyên lý tiến hóa của học thuyết Darwin mới Những sinh vật nhân tạo được tạo ra và đưa vào cạnh tranh trong một cuộc đấu tranh sinh tồn và chỉ có những người sống sót được phép tái sản xuất Một quần thể mới sẽ được tạo ra bằng cách sử dụng các toán. .. cụm tính toán Bằng cách đó, tính đồng nhất kích thước quần thể có thể được duy trì ở phía máy đơn trong khi các cụm tính toán đang thực sự phân bố không đồng đều của nhiễm sắc thể cho hàm mục tiêu Cao Thị Thuỳ Linh – MSHV: CH1101099 Trang 26 Bài thu hoạch môn Tính toán lưới GVHD: PGS.TS Nguyễn Phi Khứ KẾT LUẬN Do bước đầu tìm hiểu về tính toán lưới nên bài thu hoạch của em vẫn còn một số hạn chế, trong . được về tính toán lưới và phân tích ứng dụng của tính toán lưới trong thuật toán di truyền song song. Việc phân tích ứng dụng của tính toán lưới trong thuật toán di truyền song song sẽ dựa vào. toán lớn. Chính vì lý do trên nên sau khi học xong môn Tính toán lưới , em đã chọn đề tài Tìm hiểu về tính toán lưới và ứng dụng của tính toán lưới trong thuật toán di truyền song song”. Trong. hoạch môn Tính toán lưới GVHD: PGS.TS. Nguyễn Phi Khứ CHƯƠNG II: ỨNG DỤNG CỦA TÍNH TOÁN LƯỚI TRONG THUẬT TOÁN DI TRUYỀN SONG SONG II.1. Giới thiệu Thuật toán tiến hóa (EA) là mô hình tính toán bắt