Bài Tập Lớn Điện Toán Lưới Và Khả Năng Ứng Dụng

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ- ĐẠI HỌC QUỐC GIA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN - BÁO CÁO BÀI TẬP LỚN ĐIỆN TOÁN LƯỚI VÀ KHẢ NĂNG ỨNG DỤNG Học viên : Lê Duy Tiến Giảng viên hướng dẫn : TS Trần Thị Minh Châu Lớp : K17-HTTT Hà Nội, tháng 01 năm 2011 LỜI NÓI ĐẦU Trong năm gần nhiều thiết bị phần cứng mạnh phục vụ cho yêu cầu tính toán hiệu cao thiết kế chế tạo Tuy nhiên, để giải toán có độ phức tạp lớn rẻ tiền điện toán lưới có lẽ lựa chọn Bởi điện toán lưới tận dụng nguồn tài nguyên bình thường, sẵn có mà không cần phải mua tạo hạ tầng phần cứng Do đó, tính toán lưới lên phương tiện tập hợp tài nguyên tính toán chi phí thấp để giải toán lớn Ở Việt Nam, công nghệ lưới mới, triển khai số trung tâm tính toán viện nghiên cứu trường đại học chuyên ngành lớn Vì vậy, em chọn chủ đề nghiên cứu điện toán lưới với mục tiêu tìm hiểu, nghiên cứu lý thuyết, yêu cầu triển khai khả ứng dụng điện toán lưới MỤC LỤC LỜI NÓI ĐẦU……………………………………………………………………… MỤC LỤC………………………………………………………………………… DANH MỤC HÌNH VẼ…………………………………………………………… DANH MỤC CÁC TỪ VIẾT TẮT……………………………………………… Giới thiệu chung điện toán lưới……………………………………………… 1.1 Khái niệm điện toán lưới………………………………………………… 1.2 Ưu điểm điện toán lưới………………………………………………… 1.3 So sánh điện toán lưới với mô hình tính toán khác……………………… 1.4 Các thành phần hệ thống lưới……………………………………… 10 1.5 Các chuẩn cho điện toán lưới………………………………………………… 13 Các thách thức hướng giải điện toán lưới……………………… 14 Công cụ phát triển điện toán lưới……………………………………………… 15 Khả ứng dụng điện toán lưới……………………………………… 16 Các bước triển khai điện toán lưới………………………………………… 18 Kết luận ………………………………………………………………………… 21 Tài liệu tham khảo………………………………………………………………… 21 DANH MỤC HÌNH VẼ Hình Lưới ảo hóa nguồn tài nguyên cung cấp giao điện quản lý đơn giản… Hình Kiến trúc phân tầng lưới………………………………………………………………11 DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Tên đầy đủ GC Grid Computing GT Globus Toolkit DTP Data Transfer Process GRAM Grid Resource Allocation and Management Service FTP File Transfer Protocol HTTP Hypertext Transfer Protocol LDAP Lightweight Directory Access Protocol LFN Logical File Name MPI Message Passing Interface OGSA Open Grid Service Architecture OGSI Open Grid Service Infrastructure RSL Resource Specification Language SMTP Simple Mail Transfer Protocol SOA Service Oriented Architecture SOAP Simple Object Access Protocol SDK Software Development Kit SRB Storage Resource Broker VO Virtual Organizations Giới thiệu chung điện toán lưới 1.1 Khái niệm điện toán lưới Điện toán lưới (grid computing) hay tính toán lưới đời xuất phát từ nhu cầu tính toán người Hiện nay, toán cần có tính toán phức tạp đặt ngày nhiều; đỏi hỏi hệ thống cần phải có lực tính toán mạnh mẽ Để đáp ứng yêu cầu đó, người ta tiếp cận theo hai phương pháp [1]: Thứ đầu tư thêm trang thiết bị, sở hạ tầng tính toán như: mua thêm máy chủ, máy trạm, siêu máy tính, cluste, v.v….Ưu điểm giải pháp đơn giản lắp đặt, thiết kế Tuy nhiên, nhược điểm đắt tiền Do vậy, giải pháp thứ hai đưa phân bố lại hợp lý nguồn tài nguyên tổ chức thuê thêm nguồn tài nguyên từ bên Ưu điểm bật giải pháp giảm giá thành hệ thống tính toán Bởi thực tế có phần lớn nguồn tài nguyên bị sử dụng lãng phí: máy để bàn công sở thường hoạt động khoảng 5% công suất, máy chủ phải hoạt động với 20% công suất Việc tận dụng hiệu nguồn tài nguyên mang lại sức mạnh tính toán khổng lồ [2] Cách giải thứ hai mục tiêu điện toán lưới Điện toán lưới hướng đến việc chia sẻ sử dụng hiệu nguồn tài nguyên thuộc nhiều tổ chức quy mô rộng lớn [3] Chính công nghệ mạng truyền thông phát triển mạnh mẽ năm qua biến khả dần trở thành thực Các nghiên cứu điện toán lưới tiến hành nhằm tạo sở hạ tầng lưới cho phép dễ dàng chia sẻ quản lý tài nguyên đa dạng phân tán môi trường lưới Khái niệm điện toán lưới bắt đầu xuất vào đầu thập niên 90 với nghĩa ẩn dụ làm cho việc sử dụng sức mạnh máy tính dễ dàng việc sử dụng điện Ngày có nhiều định nghĩa điện toán lưới Từ trước đến nay, tổ chức, cá nhân tùy theo cách quan niệm thực tế xây dựng hệ thống mà đưa định nghĩa khác lưới Một định nghĩa lưới hoàn chỉnh đưa Ian Foster đồng nghiệp sau [4]: "Một lưới hệ thống có đặc trưng tài nguyên điều phối cách phi tập trung; sử dụng giao thức chuẩn, mở đa năng; cung cấp chất lượng dịch vụ không tầm thường” Còn quan điểm số công ty liên minh phát triển lưới uy tín giới điện toán lưới định nghĩa sau [5]: - Định nghĩa Oracle: điện toán lưới việc liên kết nhiều máy chủ thiết bị lưu trữ thành siêu máy tính nhằm tối ưu hóa tính ưu việt hệ thống máy chủ hệ thống ứng dụng, nhờ giảm thiểu đến mức thấp chi phí - Định nghĩa IBM: tính toán lưới môi trường tính toán ảo Môi trường cho phép bố trí song song, linh hoạt, chia sẻ, tuyển lựa, tập hợp nguồn tài nguyên hỗn hợp mặt địa lý, tùy theo mức độ sẵn sàng, hiệu suất, chi phí tài nguyên tính toán yêu cầu chất lượng dịch vụ người sử dụng - Định nghĩa liên minh điện toán lưới: môi trường điện toán lưới hiểu hạ tầng kết nối hệ thống máy tính, hệ thống mạng, hệ thống sở liệu sở hữu quản lý nhiều tổ chức, cá nhân nhằm cung cấp môi trường tính toán ảo với hiệu cao cho người sử dụng Một hệ thống điện toán lưới có đặc điểm: - Kích thước lớn: theo số lượng tài nguyên khoảng cách địa lý chúng - Phân tán: có độ trễ đáng kể truyền liệu, tài nguyên trải dài vùng địa lý khác - Động: tài nguyên thay đổi ứng dụng thực - Hỗn tạp: kiến trúc tính chất nút lưới hoàn toàn khác Tài nguyên lưới máy đơn mạng khác - Vượt qua phạm vi tổ chức: có nhiều trạm sách truy nhập khác trạm, tổng thể lưới tạo tổ chức ảo thống - Cơ chế sách an toàn bảo mật phức tạp Cơ chế quản lý tài nguyên đa dạng, phức tạp 1.2 Ưu điểm điện toán lưới Các ưu điểm ứng dụng điện toán lưới gồm [3, 6]: * Khả khai thác tài nguyên nhàn rỗi Hầu hết tổ chức có lượng lớn tài nguyên tính toán nhàn rỗi, máy tính cá nhân thường sử dụng hết 5% thời gian xử lý CPU (Central Processing Unit), server thường “rảnh rỗi” Điện toán lưới tối ưu sử dụng tài nguyên nhàn rỗi theo nhiều cách khác Ví dụ gửi công việc máy tính bận rộn đến máy khác rảnh rỗi để xử lý, phân nhỏ công việc gửi công việc đến máy tính nhàn rỗi khác cho xử lý song song,… Một chức điện toán lưới cân sử dụng tài nguyên tốt Một tổ chức thường gặp vấn đề khó khăn hoạt động đòi hỏi thêm nhiều tài nguyên Với lưới, chuyển hoạt động đến tài nguyên nhàn rỗi khác, thêm tài nguyên cách dễ dàng, từ làm tăng khả chịu đựng hệ thống * Sử dụng CPU song song Khả sử dụng CPU song song đặc tính tuyệt vời điện toán lưới, việc hỗ trợ nhu cầu tính toán nhà khoa học, sức mạnh tính toán điện toán lưới cung cấp giúp giải toán đòi hỏi lực xử lý lớn ngành khác y dược, tính toán tài chính, kinh tế, khai thác dầu hoả, dự báo thời tiết, công nghiệp vũ trụ, thiết kế sản phẩm, … nhiều lĩnh vực khác * Cho phép hợp tác toàn giới Không cho phép chia sẻ chu kỳ tính toán, liệu, điện toán lưới cho phép chia sẻ tất loại tài nguyên mà trước chưa chia sẻ, băng thông mạng, thiết bị đặc biệt, phần mềm, quyền, dịch vụ,… Ví dụ, người dùng muốn tăng băng thông kết nối Internet lên để thực ứng dụng khai thác liệu, ứng dụng gửi đến nhiều máy tính lưới có kết nối Internet riêng, từ băng thông truy cập Internet tăng lên nhiều lần,… * Tăng độ tin cậy cho hệ thống máy tính Hiện nay, hệ thống tính toán sử dụng phần cứng chuyên dụng, đắt đỏ để tăng độ tin cậy Ví dụ, máy tính sử dụng vi xử lý đôi, cho phép “cắm nóng”, để có vi xử lý bị hỏng, thay khác mà không làm ngưng hoạt động hệ thống Các giải pháp làm tăng độ tin cậy hệ thống, nhiên với chi đắt phụ kiện kèm phải nhân lên Trong tương lai, hướng tiếp cận để giải vấn đề độ tin cậy dựa nhiều vào công nghệ phần mềm phần cứng đắt tiền Điện toán lưới khởi đầu cho công nghệ Các hệ thống điện toán lưới thường rẻ phân tán theo địa lý Do đó, có cố nguồn điện hay lỗi hệ thống khác vị trí, toàn phần lại không bị ảnh hưởng Các phần mềm quản trị lưới có khả thực thi lại công việc nút khác phát có lỗi hệ thống Nếu quan trọng nữa, hệ thống theo thời gian thực, nhiều dự phòng các công việc quan trọng chạy nhiều máy tính khác điện toán lưới để đảm bảo độ tin cậy tối đa * Tăng khả quản trị hệ thống Mục tiêu ảo hoá tất tài nguyên cung cấp giao diện quản lý đơn hệ thống hỗn tạp đem lại hội để quản trị tốt sở hạ tầng công nghệ thông tin lớn, phân tán Hình minh họa ưu điểm điện toán lưới Hình Lưới ảo hóa nguồn tài nguyên cung cấp giao điện quản lý đơn giản [6] 1.3 So sánh điện toán lưới với mô hình tính toán khác So với mô hình tính toán khác, điện toán lưới có số đặc điểm sau - So với World Wide Web (Web computing): WWW phát triển mạnh mẽ sử dụng rộng khắp Sử dụng chuẩn mở giao thức mở (TCP, HTTP, XML, SOAP), WWW sử dụng để xây dựng tổ chức ảo nhiên thiếu số đặc tính quan trọng chế chứng thực lần, ủy nhiệm, chế phối hợp kiện - So với hệ thống tính toán phân tán (Distributed computing systems): Các công nghệ tính toán phân tán bao gồm CORBA, J2EE DCOM thích hợp cho ứng dụng phân tán nhiên chúng không cung cấp tảng phù hợp cho việc chia sẻ tài nguyên thành viên tổ chức ảo Một số khó khăn kể việc khai phá tài nguyên, đảm bảo an ninh xây dựng động tổ chức ảo Thêm việc tương tác công nghệ gặp phải khó khăn Tuy nhiên có số nghiên cứu nhằm mở rộng công nghệ cho môi trường lưới, ví dụ Java JINI - So với hệ thống tính toán ngang hàng (Peer - to - peer Computing Systems): Tính toán ngang hàng lĩnh vực tính toán phân tán Những điểm khác biệt tính toán ngang hàng điện toán lưới là: Điện toán lưới có cộng đồng người sử dụng nhỏ nhiên tập trung nhiều vào ứng dụng có yêu cầu cao an ninh tính toàn vẹn ứng dụng Trong hệ thống mạng ngang hàng có số người sử dụng lớn bao gồm người dùng đơn lẻ tổ chức nhiên không đòi hỏi cao an ninh mô hình chia sẻ tài nguyên đơn giản - So với tính toán phân cụm: Khi so với cluster, người ta thấy tầng trung gian hai đưa chế truyền thông điệp cho ứng dụng song song Như vậy, chất kiến trúc mức cao cluster tương tự lưới Do vậy, điện toán lưới thường bị nhầm lẫn với tính toán phân cụm Tuy nhiên khác biệt hai kiểu tính toán là: cụm tính toán tập đơn nút tính toán tập trung khu vực địa lý định, lưới bao gồm nhiều cụm tính toán loại tài nguyên khác (như mạng, thiết bị lưu trữ) Có thể nói rằng, thực tế Grid cách mạng mà thực chất bước tiến công nghệ điện toán phân tán Giống Web, tính toán lưới giảm bớt độ phức tạp nhiều người khai thác hoạt động thống khác hỗ trợ liên lạc Khi so với mạng ngang hàng (P2P) tính toán lưới cho phép người sử dụng chia sẻ file nhiều loại tài nguyên khác Nói chung, với công nghệ ảo khác, grid giống chỗ cho phép ảo hóa nguồn nhân lực công nghệ thông tin khác biệt grid cho phép ảo hóa nguồn tài nguyên tản mát vô rộng lớn 1.4 Các thành phần hệ thống lưới Lưới xây dựng tảng kiến trúc mở phân tầng Hình Trong tầng lưới, thành phần chia sẻ thuộc tính chung bổ sung tính mà không làm ảnh hưởng đến tầng khác Ta tổng hợp kiến trúc lưới thành tầng sau [7]: 10 Hình Kiến trúc phân tầng lưới - Tầng chế tác (Fabric layer): Bao gồm tài nguyên cục phân tán mạng, chúng bị ràng buộc chế quản lý tài nguyên chế thẩm tra Người ta phân tài nguyền tầng thành nhóm sau: + Tài nguyên tính toán: cho phép kiểm soát, điều khiển việc thực thi công việc + Tài nguyên lưu trữ: dùng để lấy về/tải lên tập tin, cho phép đọc phần tập tin chọn lọc liệu từ tập tin xa + Tài nguyên mạng: môi trường mạng truyền thông + Các kho mã nguồn: nơi quản lý tất loại tài nguyên phiên mã nguồn - Tầng kết nối (Connectivity layer): Tầng đóng vai trò quan trọng, gồm giao thức xác thực truyền thông Truyền thông bao gồm việc truyền thông tin, định tuyến đặt tên Những giao thức tương tự giao thức IP, TCP, UDP giao thức TCP/IP 11 giao thức tầng ứng dụng DNS, OSPF, RSVP,…Vấn đề bảo mật giải giải pháp xác thực như: + Cơ chế đăng nhập lần (Single Sign On): cho phép người dùng cần đăng nhập vào mạng lưới lần cho tất truy cập tài nguyên phép tầng chế tác kết thúc đăng nhập + Cơ chế ủy quyền (Delegation, Proxy): người dùng ủy quyền truy cập tài nguyên hợp pháp lại cho chương trình khoảng thời gian xác định Chương trình ủy quyền có điều kiện phần tập quyền cho chương trình khác + Cơ chế tích hợp đa giải pháp bảo mật địa phương (Integration with various local security solutions): chế bảo mật mạng lưới phải có khả giao tiếp với chế bảo mật địa phương mà không yêu cầu thay toàn giải pháp bảo mật có, cần có chế ánh xạ bảo mật môi trường cục khác + Cơ chế quan hệ tin tưởng dựa người dùng (User-based Trust Relationships): người dùng sử dụng loại tài nguyên có từ kết hợp nhiều nhà cung cấp khác - Tầng tài nguyên (Resource layer) Tầng xây dựng tảng sẵn có tầng kết nối Những giao thức tầng tài gọi chức tầng chế tác để truy cập sử dụng loại tài nguyên cục - Tầng kết hợp (Collective layer): Trong tầng tài nguyên cho phép truy cập đến loại tài nguyên đơn tầng kết hợp lại chứa giao thức dịch vụ cho phép giao tiếp tài nguyên mạng lưới - Tầng ứng dụng (Application layer): 12 Tầng bao gồm ứng dụng phát triển môi trường lưới như:các ứng dụng sinh học, lý, thiên văn, tài chính,… Về nguyên tắc, người sử dụng tương tác với lưới thông qua tầng ứng dụng cách suốt mà không nhận biết có mặt tầng khác lưới Ngoài ra, theo mô hình chức năng, điện toán lưới chia thành phần: Cổng tương tác (Grid portal), thành phần bảo mật (Security), chức an ninh nút (Node Security Function), lập lịch (Scheduler), thành phần môi giới (Broker), quản lý, phân bổ tài nguyên (grid resource allocation manager- GRAM), tài nguyên (Resource), giao thức (Protocol) 1.5 Các chuẩn cho điện toán lưới Lưới tính toán thường gồm tập tài nguyên không đồng Một ứng dụng lưới thường có nhiều thành phần, dịch vụ khác Đồng thời dịch vụ lại thường xuyên tương tác với Càng nhiều dịch vụ số tương tác chúng tăng dễ dẫn đến tình trạng hỗn loạn Nếu dịch vụ sử dịch vụ lưới phức tạp Do đó, cần thiết phải có chuẩn định nghĩa giao diện giao tiếp chung cho dịch vụ Hiện diễn đàn điện toán lưới toàn cầu Global Grid Forum (GGF) có mục đích định nghĩa đặc tả cho tính toán lưới GGF phát triển với hợp tác khu vực công nghiệp khoa học với hỗ trợ quan trọng từ hai khu vực OGSA OGSI GGF phát triển cho mục tiêu chuẩn hoá GGF định nghĩa chuẩn mạng lưới phạm vi trình ứng dụng, mô hình lập trình, quản trị liệu, bảo mật, thực thi, lập lịch quản lý tài nguyên OGSA (Open Grid Services Architecture): định nghĩa chuẩn kiến trúc cho ứng dụng chạy lưới OGSA định nghĩa dịch vụ lưới gì, chúng có khả gì, dựa công nghệ Nhưng OGSA không đưa đặc tả chi tiết kỹ thuật cần để triển khai dịch vụ lưới 13 OGSI (Open Grid Services Infrastructure): nặng đặc tả kỹ thuật cho khái niệm đưa OGSA OGSI định nghĩa chế tạo mới, quản trị trao đổi thông tin dịch vụ lưới Một dịch vụ lưới dịch vụ web thích ứng với tập hợp quy ước giao diện cách đáp ứng để xác định cách client tương tác với lưới Đặc biệt, OGSI định nghĩa giao diện chuẩn qui tắc dịch vụ lưới – xây dựng sở dịch vụ web Tổ chức Globus Alliance: Globus Alliance triển khai số chuẩn phát triển diễn đàn GGF thông qua phần mềm lưới trung gian Globus Toolkit Với chức thành phần trung gian kiến trúc lưới, phần mềm cung cấp tảng chuẩn để thiết lập dịch vụ lưới tính toán, điện toán lưới cần có nhiều thành phần khác nhiều công cụ để thiết lập trì môi trường lưới Các thách thức hướng giải điện toán lưới Khi triển khai điện toán lưới, có nhiều thách thức mà đòi hỏi phải giải là: - Các tài nguyên đa dạng, không đồng Tài nguyên hiểu theo nghĩa tổng quát Đó tài nguyên phần cứng tài nguyên tính toán, tài nguyên lưu trữ, thiết bị đặc biệt khác hay tài nguyên phần mềm sở liệu, phần mềm đặc biệt đắt tiền Các tài nguyên khác mặt kiến trúc, giao diện, khả xử lý, Do vậy, việc tạo giao diện thống cho phép khai thác sử dụng hiệu nguồn tài nguyên hoàn toàn không dễ dàng Ban đầu điện toán lưới đặt chủ yếu để tận dụng nguồn tài nguyên tính toán mục tiêu mở rộng sang nhiều nguồn tài nguyên khác kể - Các tài nguyên không thuộc tổ chức mà thuộc nhiều tổ chức tham gia lưới Các tổ chức phải tuân thủ số quy định chung tham gia vào lưới nhìn chung hoạt động độc tài nguyên có quyền tự trị Các tổ chức khác thường có sách sử dụng hay cho thuê tài nguyên họ khác gây khó khăn cho việc quản lý 14 - Các tài nguyên phân tán rộng khắp mặt địa lý phải có chế quản lý phân tán - Đảm bảo an toàn thông tin cho môi trường phức tạp môi trường lưới khó khăn trong điểm ưu tiên hàng đầu Công cụ phát triển điện toán lưới Có nhiều công ty phần mềm phát triển công cụ cho điện toán lưới [8]: Avaki, Data Synapse, Entropia, United Devices, Globus, and Platform Computing Trong Globus [9] hạ tầng cung cấp công cụ phần mềm để xây dựng tính toán mạng lưới ứng dụng khác dựa công nghệ Grid cách dễ dàng Hầu hết lưới triển khai thực dựa Globus Toolkit Các công cụ gọi chung Globus Toolkit (GT) Nó bao gồm module công cụ, công cụ định nghĩa giao diện phục vụ cấp cao cung cấp nhiều toán tử cấp thấp thực môi trường khác Các chức Globus Toolkit là: - Định vị cấp phát tài nguyên: cung cấp kỹ thuật dùng cho ứng dụng đòi hỏi tài nguyên tài nguyên đặt trước Đây chức bắt buộc phải có ứng dụng xác định vị trí tài nguyên cần thiết tài nguyên có sẵn bị thay đổi - Truyền thông: cung cấp kỹ thuật truyền thông bản, cho phép thực thi hiệu việc truyền đạt thông tin diện rộng bao gồm việc truyền thông điệp, gửi thủ tục, phân phối nhớ…với độ tin cậy cao băng thông rộng - Thống thông tin phục vụ: cung cấp kỹ thuật đồng thông tin cấu trúc trạng thái thực hệ thống metasystem Ngoài ra, phải có thành phần cung cấp thông tin hỗ trợ việc điều khiển yêu cầu, truy cập thông tin - Giao diện xác thực: cung cấp kỹ thuật xác thực dùng để xác nhận tính hợp lệ người dùng tài nguyên 15 - Tạo tiến trình hoạt động: sử dụng để thực tính toán tài nguyên định vị phân phát Nó bao gồm: thực thi điều chỉnh, tạo môi trường thực thi, chuyển đổi số, kết hợp với tiến trình vào, quản lý kết thúc tiến trình shutdown - Truy xuất liệu: chịu trách nhiệm truy xuất liệu tốc độ cao để lưu trữ dạng tập tin Khả ứng dụng điện toán lưới Điện toán lưới thường sử dụng để giải toán khoa học đòi hỏi khả tính toán thông lượng cao mô phỏng, thiết kế vi mạch, chia sẻ nội dung, truy nhập/thuê phần mềm/dịch vụ từ xa Hoặc toán đòi hỏi liệu lớn, thời gian thực, phục vụ theo yêu cầu toán tính toán cộng tác thiết kế cộng tác, khai phá liệu, giáo dục điện tử,… Ngoài ra, lưới cung cấp giải pháp cho toán tính toán hiệu cao tạo nếp protein, mô hình hoá tài chính, mô động đất dự đoán khí hậu thời tiết Ngoài lưới giúp tổ chức, doanh nghiệp sử dụng cách tối ưu hoá tài nguyên công nghệ thông tin tạo dịch vụ tính toán theo nhu cầu cho khách hàng thương mại miễn phí khách hàng phải trả họ sử dụng giống điện nước Một số ứng dụng triển khai [10, 11]: - Ứng dụng điện toán lưới cho sàn giao dịch chứng khoán [12]: Thị trường chứng khoán kênh thu hút phân phối tài thiếu kinh tế thị trường Cốt lõi hoạt động sàn chứng khoán tiếp nhận xử lý lệnh đặt mua/bán, lệnh phát sinh khớp cách tự động liên tục Số lượng nhà đầu tư thị trường ngày tăng, số lượng giao dịch vào cao điểm đến hàng nghìn, thời gian cần thiết cho giao dịch qua tăng lên dẫn đến tình trạng tải toàn hệ thống Giải pháp điện toán lưới cách tốt để giải vấn đề 16 - IBM sử dụng tính toán lưới giúp nghiên cứu ung thư: “Help defeat Cancer” - dự án “Giúp chiến thắng ung thư” dự án nhà nghiên cứu Đại học Nha khoa Y khoa New Jersey Viện Nghiên cứu Ung thư New Jersey cộng tác với tập đoàn IBM thực Dự án “Help Defeat Cancer” có mục đích giúp nhà nghiên cứu hiểu rõ nguyên nhân bệnh ung thư để tăng cường hiệu điều trị lập kế hoạch điều trị cho bệnh nhân ung thư Với hỗ trợ World Community Grid IBM, dự án hội cho nhà nghiên cứu phân tích số lượng lớn mô ung thư lúc cho phép thực nhiều thí nghiệm khoảng thời gian ngắn Thông qua máy tính mạng lưới cộng đồng toàn cầu, tất người đóng góp thời gian nhàn rỗi máy tính họ sau việc tải máy tính phần mềm miễn phí World Community Grid đăng ký http://www.worldcommunitygrid.org/ - Dự đoán cấu trúc protein: Từ dãy amino-acid ứng dụng quan trọng tin sinh học Bài toán dự đoán cấu trúc protein mô hình hóa toán tối ưu hóa Nó đòi hỏi số lượng tính toán lớn Do cần có kỹ thuật metaheuristic, tính toán hiệu cao, tính toán lưới - Tính toán lưới toán quản trị mạng: Ngày phận quản trị mạng phải phân tích, xử lý khối lượng thông tin khổng lồ nhằm đưa giải pháp, phản ứng theo thời gian thực để đảm bảo cho hệ thống mạng hoạt động thông suốt, tin cậy, an toàn Để thực tốt công việc mình, phận quản trị mạng cần phải có công cụ phân tích, cung cấp thông tin hoạt động hệ thống mạng mạnh mẽ Công nghệ Grid Computing chọn ứng dụng vào toán phân tích, cung cấp thông tin hỗ trợ quản trị mạng với hy vọng tận dụng lực xử lý nhàn rỗi có hệ thống mạng để giải toán hiệu hơn, giới hạn chi phí chấp nhận Mục tiêu lâu dài xây dựng hệ thống nhằm hỗ trợ phận quản trị mạng lĩnh vực: quản lý hiệu năng, quản lý lỗi bảo mật Đưa công nghệ khai thác liệu (data mining) trí tuệ nhân tạo vào hệ thống để phân tích liệu thu được, tìm quy luật sử dụng người dùng, quy luật công, … nhằm huấn 17 luyện hệ thống tự động nhận dạng mối nguy hiểm đưa phản ứng thích hợp, hiệu - Mô hình lập lịch hệ thống tính toán lưới Buyya đề xuất [2]: Bài toán lập lịch hay lập kế hoạch toán ta hay gặp thực tế Có thể kể lập thời khóa biểu, lập kế hoạch quản lý dự án toán lập lịch tiêu biểu kinh điển Nội dung toán tìm kế hoạch thực công việc cách tối ưu dựa vào tất thông tin đầu vào có từ tình trạng hệ thống, nhiên tùy theo toán cụ thể mà yêu cầu phương pháp giải toán khác Buyya đề nghị phương pháp lập lịch cho ứng dụng nghiên cứu tham số (bao gồm tập lớn công việc độc lập tập liệu độc lập) Mô hình giống mô hình lập trình đơn chương trình đa liệu (Single Program Multiple Data) Việc lập lịch điều phối hoạt động ứng dụng dạng môi trường tính toán phân tán diện rộng tưởng chừng đơn giản nhiên vấn đề phức tạp nảy sinh người dùng đặt số tham số chất lượng dịch vụ thời hạn kết thúc ứng dụng giới hạn kinh phí Những đảm bảo chất lượng dịch vụ khó thực môi trường môi trường lưới mà tài nguyên lưới phân tán, không đồng nhất, sở hữu nhiều tổ chức khác với sách chế tính giá khác Thêm vào thuật toán lập lịch phải thiết kế để thích ứng với thay đổi tải sẵn dùng tài nguyên lúc với việc phải đảm bảo thời hạn kinh phí Tư tưởng chủ đạo việc thiết kế thuật toán lập lịch cho lưới là: không sử dụng thuật toán tối ưu truyền thống hay thường sử dụng toán lập lịch mà chủ yếu sử dụng heuristic Các bước triển khai điện toán lưới Việc xây dựng hệ thống tính toán lưới không đơn cài đặt phần mềm, ứng dụng tài nguyên kết nối sẵn có mà phải tuân theo quy trình quy hoạch, thiết kế cách bản, chuyên nghiệp Về bản, việc thiết kế lưới bao gồm số bước sau [5]: 18 - Khảo sát yêu cầu nghiệp vụ tổ chức quy hoạch hạ tầng sẵn có: Trong thiết kế kiến trúc lưới, bước khảo sát yêu cầu bước quan trọng, kết qủa ảnh hưởng trực tiếp đến tất bước Thường bước này, người thiết kế phải đưa thông tin cần thiết mục đích việc xây dựng lưới gì? Lưới có yêu cầu nghiệp vụ, hạ tầng ứng dụng? Cuối cần phải tinh chỉnh xem xét lại xem yêu cầu có phù hợp với hạ tầng phần cứng phần mềm nguồn nhân lực sẵn có hay không Sau xác định đươc yêu cầu đặt cho lưới, đồng thời nhận thấy hạ tầng có đủ đáp ứng để xây dựng lưới, ta phải tiến hành qui hoạch lại hạ tầng mạng để phục vụ việc triển khai lưới thuận tiện khoa học - Lựa chọn loại lưới: Thường tuỳ theo yêu cầu nghiệp vụ lưới mà ta chọn loại lưới thích hợp Nhưng nhìn chung, lưới triển khai thường rơi vào hai dạng: lưới tính toán lưới liệu - Lựa chọn topo lưới: Hiện triển khai lưới, người thiết kế thường lựa chọn số topo lưới thông dụng là: + Intragrid: thường triển khai tổ chức doanh nghiệp Dựa kiến trúc mạng LAN mạng Intranet dùng riêng tổ chức, doanh nghiệp Nó có: Băng thông mức độ sẵn sàng cao; Cơ chế an toàn, bảo mật riêng rẽ; Môi trường tác nghiệp độc lập Topo lưới dạng phù hợp triển khai lưới tính toán lưới liệu + Extragrid: thiết lập dựa hai nhiều Intragrid Đặc trưng loại topo là: Cơ chế an toàn, bảo mật phân tán; Có tham gia nhiều tổ chức doanh nghiệp; Dựa mạng WAN Extragrid thích hợp với tổ chức muốn xây 19 dựng kết nối mạng với đối tác (B2B) nhằm chia sẻ tài nguyên, liệu dựa tin tưởng lẫn - Lựa chọn hạ tầng lưới: Hạ tầng lưới gồm hạ tầng phần mềm, phần cứng, chuẩn mở, chế an toàn, bảo mật cho lưới,… Khái niệm hạ tầng bao gồm phần cứng vật lý phần mềm sử dụng để kểt nối máy tính lưới lại với Hạ tầng cung cấp dịch vụ cho việc kết nối, đảm bảo an toàn quản trị - Chính sách quản trị lưới: Đối với người quản trị lưới, cần phải nắm rõ sản phẩm liên quan tính hệ thống tính toán lưới Các sản phẩn liên quan đến hệ thống tính toán lưới bao gồm: Phần mềm tầng trung gian; Hệ thống giám sát hiệu suất lưới; Grid portals; Môi trường lập trình; Bộ lập lịch; Hệ thống phát triển kiểm thử lưới Các tính hệ thống tính toán lưới: Quản lý dịch vụ; Truyền thông dịch vụ; Quản lý sách; Lựa chọn triển khai phần mềm trung gian, lựa chọn ứng dụng, trả kết cho ứng dụng; Điều khiển dịch vụ; Quản lý hiệu suất/tài khoản/lỗi; an toàn bảo mật - Và cuối triển khai lưới: Một lưới tính toán đơn giản xây dựng dựa thư viện lập trình hỗ trợ tính tính toán lưới, sử dụng tính cung cấp công cụ Globus Toolkit Tuy nhiên, hệ thống mở rộng trở nên phức tạp, ta cần phải tiếp cận theo phương thức khác Ngoài ra, thiết kế lưới kiến trúc lưới cần phải thoả mãn yêu cầu như: tính an toàn, tĩnh sẵn sàng hiệu suất cao 20 Kết luận Có thể nói việc phát triển môi trường tính toán mạng lưới hướng nghiên cứu công nghệ có triển vọng lớn tương lai, có ứng dụng lớn lao để tận dụng hết nguồn lực tài nguyên đa dạng phong phú Các vấn đề mà điện toán lưới đặt cộng đồng giới giải Các thành mà điện toán lưới đem lại giúp giải nhiều toán mà trước giải kỹ thuật toán song song Tài liệu tham khảo [1] V Silva, Grid Computing for Developers: Charles River Media, 2005 [2] N Long, N H Văn, and L C Trung, "Mô hình lập lịch hệ thống tính toán lưới Buyya đề xuất," Tạp chí Bưu Viễn thông, 2006 [3] B Jacob, M Brown, K Fukui, and N Trivedi, Introduction to Grid Computing: IBM, 2005 [4] I Foster, "What is the Grid? A Three Point Checklist," GRIDtoday, vol 1, 2002 [5] D Minoli, Daniel Minoli - A Networking Approach to Grid Computing: WileyInterscience, 2004 [6] V Berstis, "Fundamentals of Grid Computing," IBM Redbook, 2002 [7] F Berman, A J.G.Hey, and G C.Fox, Grid computing: Make the Global Infrastructure a Reality: Wiley, 2003 [8] L Ferreira, V Berstis, and J Armstrong, Introduction to Grid Computing with Globus: IBM Redbook, 2003 [9] Globus Toolkit, http://www.globus.org [10] B Jacob, L Ferreira, N Bieberstein, C Gilzean, J.-Y Girard, and R Strachowski, Enabling Applications for Grid Computing with Globus: IBM Redbook, 2003 21 [11] K Stanoevska-Slabeva, T Wozniak, and S Ristol, Grid and Cloud Computing: A Business Perspective on Technology and Applications: Springer, 2010 [12] L V Sơn and N T Thủy, "Ứng dụng tính toán lưới cho sàn giao dịch chứng khoán," Tạp chí Khoa học Công nghệ, Đại học Đà Nẵng, vol 5, pp 158-166, 2010 22 [...]... trường thực thi, chuyển đổi số, kết hợp với tiến trình mới vào, quản lý sự kết thúc và tiến trình shutdown - Truy xuất dữ liệu: chịu trách nhiệm truy xuất dữ liệu ở tốc độ cao để lưu trữ dưới dạng các tập tin 4 Khả năng ứng dụng của điện toán lưới Điện toán lưới thường được sử dụng để giải quyết các bài toán khoa học đòi hỏi khả năng tính toán và thông lượng cao như mô phỏng, thiết kế vi mạch, chia sẻ... với các hệ thống tính toán ngang hàng (Peer - to - peer Computing Systems): Tính toán ngang hàng cũng là một lĩnh vực của tính toán phân tán Những điểm khác biệt chính giữa tính toán ngang hàng và điện toán lưới là: Điện toán lưới có cộng đồng người sử dụng có thể nhỏ hơn tuy nhiên tập trung nhiều vào các ứng dụng và có yêu cầu cao hơn về an ninh cũng như tính toàn vẹn của ứng dụng Trong khi đó các... bộ phần mềm lưới trung gian Globus Toolkit Với chức năng là một thành phần trung gian trong kiến trúc lưới, bộ phần mềm này cung cấp nền tảng chuẩn để thiết lập các dịch vụ trên lưới tính toán, nhưng điện toán lưới còn cần có nhiều thành phần khác và rất nhiều công cụ để thiết lập và duy trì môi trường lưới 2 Các thách thức và hướng giải quyết của điện toán lưới Khi triển khai điện toán lưới, có nhiều... Community Grid và đăng ký tại http://www.worldcommunitygrid.org/ - Dự đoán cấu trúc protein: Từ các dãy amino-acid là một ứng dụng quan trọng nhất của tin sinh học Bài toán dự đoán cấu trúc protein có thể được mô hình hóa như bài toán tối ưu hóa Nó đòi hỏi số lượng tính toán rất lớn Do đó cần có các kỹ thuật metaheuristic, tính toán hiệu năng cao, tính toán lưới - Tính toán lưới và bài toán quản trị... tối ưu hoá tài nguyên công nghệ thông tin và tạo ra các dịch vụ tính toán theo nhu cầu cho các khách hàng thương mại và miễn phí trong đó khách hàng chỉ phải trả những gì họ đã sử dụng giống như điện và nước Một số ứng dụng đã được triển khai [10, 11]: - Ứng dụng điện toán lưới cho sàn giao dịch chứng khoán [12]: Thị trường chứng khoán là một kênh thu hút và phân phối tài chính không thể thiếu của... các bài toán đòi hỏi dữ liệu lớn, thời gian thực, phục vụ theo yêu cầu và các bài toán tính toán cộng tác như thiết kế cộng tác, khai phá dữ liệu, giáo dục điện tử,… Ngoài ra, lưới cung cấp một giải pháp cho những bài toán về tính toán hiệu năng cao như tạo nếp protein, mô hình hoá tài chính, mô phỏng động đất và dự đoán khí hậu thời tiết Ngoài ra lưới còn có thể giúp các tổ chức, doanh nghiệp sử dụng. .. lựa chọn các ứng dụng, trả kết quả về cho các ứng dụng; Điều khiển dịch vụ; Quản lý hiệu suất/tài khoản/lỗi; an toàn và bảo mật - Và cuối cùng là triển khai một lưới: Một lưới tính toán đơn giản có thể được xây dựng dựa trên một thư viện lập trình hỗ trợ các tính năng tính toán lưới, như sử dụng các tính năng được cung cấp bởi bộ công cụ Globus Toolkit Tuy nhiên, khi hệ thống được mở rộng và trở nên... được sử dụng trong các bài toán lập lịch mà chủ yếu sử dụng các heuristic 5 Các bước khi triển khai điện toán lưới Việc xây dựng một hệ thống tính toán lưới không chỉ đơn thuần là cài đặt các phần mềm, các ứng dụng trên các tài nguyên kết nối sẵn có mà phải tuân theo quy trình quy hoạch, thiết kế một cách bài bản, chuyên nghiệp Về cơ bản, việc thiết kế lưới bao gồm một số bước chính sau [5]: 18 - Khảo... một lưới thì kiến trúc lưới đó cần phải thoả mãn được các yêu cầu cơ bản như: tính an toàn, tĩnh sẵn sàng và hiệu suất cao 20 5 Kết luận Có thể nói việc phát triển môi trường tính toán mạng lưới là một hướng nghiên cứu công nghệ có triển vọng rất lớn trong tương lai, có những ứng dụng lớn lao để có thể tận dụng hết được nguồn lực tài nguyên rất đa dạng và phong phú hiện nay Các vấn đề mà điện toán lưới. .. tự động nhận dạng các mối nguy hiểm và đưa ra các phản ứng thích hợp, hiệu quả - Mô hình lập lịch trong hệ thống tính toán lưới do Buyya đề xuất [2]: Bài toán lập lịch hay lập kế hoạch là một bài toán ta rất hay gặp trong thực tế Có thể kể ra như lập thời khóa biểu, lập kế hoạch quản lý dự án đều là các bài toán lập lịch tiêu biểu và rất kinh điển Nội dung của bài toán là tìm ra một bản kế hoạch thực