Tìm hiểu công nghệ tính toán lưới

TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI TRƯỜNG ĐẠI HỌC VINH KHOA CÔNG NGHỆ THÔNG TIN o0o ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH: CƠNG NGHỆ THƠNG TIN TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI Giáo viên hướng dẫn Sinh viên thực hiên Lớp MSSV NGHỆ AN – 12/2011 : ThS Cao Thanh Sơn : Phạm Hồng Minh Trí : 48K – CNTT : 0751070378 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI LỜI CẢM ƠN Em xin tỏ lịng biết ơn chân thành đến tất người giúp đỡ, hỗ trợ em thực luận văn này, điểm mốc quan trọng đời nghiệp em Em xin cảm ơn khoa Công nghệ thông tin, trường đại học Vinh cho phép tạo điều kiện cho em thực luận văn Luận văn khơng thể hồn thành khơng có giúp đỡ bảo tận tình thầy giáo ThS Cao Thanh Sơn - giảng viên khoa Công nghệ thông tin - trường đại học Vinh, người thầy hướng dẫn em Em xin chân thành biết ơn bảo, định hướng cho em suốt trình thực đề tài Em xin chân thành cảm ơn quý thầy cô khoa Công nghệ thơng tin, trường đại học Vinh tận tình giảng dạy, rèn luyện, truyền đạt kiến thức, kỹ năng, kinh nghiệm quý báu cho chúng em suốt năm qua Đây hành trang quý giá để chúng em vững bước vào đời Em xin chân thành cảm ơn anh chị, bạn nhiệt tình giúp đỡ, ủng hộ, chia kinh nghiệm, hỗ trợ khơng q trình thực luận văn mà suốt thời gian học mái trường Mặc dù nổ lực cố gắng, luận văn chắn không tránh khỏi thiếu sót Em xin kính mong thơng cảm tận tình bảo, đóng góp ý kiến q Thầy Cô bạn Một lần xin gửi đến tất người lời cảm ơn chân thành Xin cảm ơn ! Ngày 10 tháng 12 năm 2011 Sinh viên thực Phạm Hồng Minh Trí TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI MỤC LỤC MỞ ĐẦU CHƯƠNG LÝ THUYẾT TỔNG QUAN VỀ CƠNG NGHỆ TÍNH TỐN LƯỚI 1.1 Khái niệm 1.1.1 Theo lịch sử 1.1.2 Khái niệm 1.2 Các tài nguyên Lưới 1.2.1 Tài ngun tính tốn 1.2.2 Tài nguyên lưu trữ 1.2.3 Phương tiện liên lạc 1.2.4 Phần mềm, ứng dụng 1.2.5 Các thiết bị đặc biệt 1.3 Phân loại Lưới 1.3.1 Lưới Tính tốn (Computation Grid) 1.3.2 Lưới Dữ liệu (Data Grid) 1.3.3 Lưới lọc (Scavenging Grid) 1.4 Đồ hình Lưới (Grid Topology) 1.4.1 Simple Grid 10 1.4.2 IntraGrid 11 1.4.3 ExtraGrid 12 1.4.4 InterGrid 12 1.5 Kiến trúc Lưới 13 1.5.1 Tầng Nền (Fabric) 14 1.5.2 Tầng Kết nối (Connectivity) 15 1.5.3 Tầng Tài nguyên (Resource) 16 1.5.4 Tầng Kết hợp (Collective) 17 1.5.5 Tầng Ứng dụng (Application) 18 CHƯƠNG LỢI ÍCH VÀ THÁCH THỨC CỦA TÍNH TỐN LƯỚI 20 2.1 Lợi ích Tính tốn lưới 20 2.1.1 Khai thác, tận dụng tài nguyên nhàn rỗi 20 2.1.2 Sử dụng CPU song song 20 i TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI 2.1.3 Cho phép hợp tác toàn giới 21 2.1.4 Cho phép phân chia, sử dụng tất loại tài nguyên 21 2.1.5 Tăng tính tin cậy cho hệ thống máy tính 21 2.1.6 Tăng khả quản trị hệ thống 22 2.2 Những thách thức Tính tốn lưới 22 2.1.1 Quản lý tài nguyên 22 2.2.2 Bảo mật 25 2.2.3 Quản lý thông tin 26 2.2.4 Quản lý liệu 27 2.2.5 Phát triển ứng dụng 28 2.2.6 Các vấn đề khác 28 CHƯƠNG PHÂN TÍCH ỨNG DỤNG GRID MOVIE 29 3.1 Giới thiệu 29 3.1.1 Movie Storage 29 3.1.2 Movie Distribution 30 3.1.3 Movie Database 30 3.1.4 Movie Manipulation 30 3.2 Các thành phần Grid Movie 31 3.3 Lựa chọn công nghệ 31 3.4 Tổng quan công nghệ dịch vụ Web 32 3.4.1 Giới thiệu Service Oriented Architeture – SOA 32 3.4.2 Kiến trúc SOA 32 3.4.3 Web service 34 3.4.4 Các công nghệ dịch vụ web sử dụng 35 3.5 Lựa chọn tảng (platform) phần mềm 36 ii TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI Danh sách hình Hình 1-1: Hình dung chung Tính Tốn Lưới 10 Hình 1-2: Tổng quan đồ hình Lưới 14 Hình 1-3: Đồ hình Simple Grid 14 Hình 1-4: Đồ hình IntraGrid 15 Hình 1-5: Đồ hình ExtraGrid 16 Hình 1-6: Đồ hình InterGrid 17 Hình 1-7: Kiến trúc Grid tổng quát 18 iii TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI MỞ ĐẦU Với tiến công nghiệp sản xuất phần cứng máy tính, hệ máy tính ngày trở nên mạnh rẻ nhiều so với hệ trước Cùng với hữu ích, máy tính trở nên phổ dụng khắp nơi giới, sâu vào công việc người, từ công việc hàng ngày, công sở, kinh doanh đến sản xuất, nghiên cứu khoa học việc giải trí, thư giãn Do số lượng máy tính giới lớn với tổng cộng lực xử lý lưu trữ khổng lồ Tuy nhiên, ứng dụng ngày sử dụng phần nhỏ lực xử lý lưu trữ ứng dụng chạy máy tính cục bộ, đơn lẻ, phân tán khắp nơi theo địa lý Từ dẫn đến lãng phí lớn Một câu hỏi đặt tận dụng tốt lực bị lãng phí của máy tính Mặt khác, theo đà phát triển người ngày đối mặt với nhiều vấn đề lớn, phức tạp khoa học, thương mại địi hỏi lực xử lý tính tốn, lưu trữ lớn: - Trong khoa học: + Cách 10 năm nhà sinh học vui mừng họ giả lập đơn phân tử máy tính, ngày họ giả lập hàng ngàn phần tử thuốc, protein tác dụng tương hỗ chúng để tạo loại thuốc để chữa bệnh + Để nghiên cứu hạt tương tác chúng, hàng năm ngành Vật lý Năng lượng cao (High Energy Physics) tạo khoảng 10 Petabytes (dung lượng tương đương khoảng 20 triệu đĩa CD-ROM) liệu Hay nhà vật lý địa cầu thực theo dõi bầu khí quyển, tầng ozone, hàng ngày phải lưu trữ phân tích khoảng 100 Gigabytes liệu ảnh chụp từ vệ tinh Ở cho thấy cần phải có lực lưu trữ lớn TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI + Việc phân tích, giải mã gen người, dự án nghiên cứu vũ trụ,… cần lực xử lý lớn + Vấn đề hợp tác hàng ngàn nhà khoa học toàn giới, hỗ trợ việc chia sẻ lượng lớn liệu, thực hiên tính tốn phức tạp trực tuyến liệu - Trong thương mại: + Các tốn phân tích xử lý số liệu kinh tế quốc gia, công ty đa quốc gia,… + Các công ty cung cấp dịch vụ mạng cho hàng triệu người dùng toàn giới + Các tốn mơ phỏng, giả lập thiết kế sản phẩm cơng nghiệp… + Bài tốn xử lý thông tin quản trị mạng, hệ thống phát công, xâm nhập mạng +… Một máy tính đơn, nhóm máy tính (cluster) hay chí siêu máy tính chun dụng khơng thể đáp ứng nhu cầu tính tốn, xử lý lưu trữ ngày lớn Một số tốn giải khó khăn, với chi phí cao mà khơng phải tổ chức hay quốc gia thực (đặc biệt tổ chức vừa nhỏ, quốc gia phát triển), cịn tốn khác nói khơng giải với cơng nghệ tính tốn Thực tế khiến người ta nảy sinh ý tưởng phải kết hợp máy tính phân tán khắp nơi giới trơ thành siêu máy tính khổng lồ nhằm tận dụng lực tính tốn, lưu trữ lãng phí để giải toán phức tạp với chi phí thấp Trước đây, cơng nghệ mạng chưa phát triển ý tưởng chưa thưc Nhưng nay, công nghệ mạng máy tính phát triển vượt bậc, hiệu mạng tăng lên nhiều qua thời gian, ý tưởng có sở để trở thành thực Đến năm cuối kỷ XX, TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI dự án nghiên cứu lĩnh vực khai sinh công nghệ Grid Computing Công nghệ Grid Computing đời dự đốn cơng nghệ tảng thể kỷ XX, làm thay đổi cách thức tính tốn, giống Internet làm thay đổi cách thức trao đổi thông tin kỷ XX Công nghệ Grid Computing mở hội cho nước khơng có cơng nghiệp thiết kế, chế tạo phần cứng máy tính mạnh, cơng ty tổ chức vừa nhỏ có nguồn vốn thấp tạo siêu máy tính để giải tốn riêng với chi phí thấp độ làm chủ cao Ở Việt Nam, kinh tế dần phát triển, nhu cầu ứng dụng công nghệ thông tin vào hoạt động nghiên cứu Khoa học – Kỹ thuật, quản lý Kinh tế - Xã hội ngày cao, đòi hỏi phải xử lý, lưu trữ khối lượng liệu lớn, khối lượng tính tốn khổng lồ với chi phí thấp (vì cịn nghèo, cơng nghiệp chế tạo phần cứng máy tính cịn phát triển, kinh phí đầu tư cho ngành Cơng nghệ thơng tin chưa cao) Do đó, việc nghiên cứu, phát triển ứng dụng công nghệ Grid Computing vào thực tế xem giải pháp quan trọng để giải toán Với tầm quan trọng vậy, nên em chọn đề tài “Tìm Hiểu Cơng Nghệ Tính Tốn Lưới” làm luận văn tốt nghiệp mình, nhằm góp phần vào việc phát triển ứng dụng cơng nghệ Tính tốn lưới vào thực tiễn Cấu trúc luận văn sau: Chương 1: Lý thuyết tổng quan Tính tốn lưới: Trình bày khái niệm, phân loại kiến trúc Tính tốn lưới Chương 2: Lợi ích thách thức Tính tốn lưới: Giới thiệu, phân tích lợi ích thách thức Tính tốn lưới Chương 3: Phân tích ứng dụng Grid Movie: Phân tích chức năng, dịch vụ ứng dụng, nêu công cụ hỗ trợ TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI CHƯƠNG LÝ THUYẾT TỔNG QUAN VỀ CƠNG NGHỆ TÍNH TỐN LƯỚI 1.1 Khái niệm 1.1.1 Theo lịch sử Mặc dù cơng nghệ Grid Computing (Tính tốn lưới) nhắc đến nhiều thời gian gần đây, thực nhiều ý tưởng Grid (lưới) xuất dạng hay dạng khác lịch sử tính tốn Ví dụ ý tưởng “chia sẻ lực tính tốn” xuất từ năm 60-70 thể kỷ XX, lúc tồn lực tính tốn chia sẻ từ máy Mainframe (máy tính lớn) Năm 1965, người phát triển hệ điều hành Multics (tiền thân hệ điều hành Unix) đề cập đến việc sử dụng lực tính tốn tiện ích, quan điểm gần với quan điểm Grid Đó hệ thống cung cấp lực tính tốn tương tự hệ thống cấp điện, nước sử dụng sống hàng ngày Người dùng muốn sử dụng tài ngun tính tốn để xử lý cơng việc, cần cắm thiệt bị vào hệ thống cấp, sử dụng trả tiền giống cắm thiết bị vào lưới điện Tuy trước có nhiều ý tưởng Grid nguồn gốc Grid thức xác định vào năm 1990, thuật ngữ “siêu tính tốn” (metacomputing) đời, dùng để mơ tả dự án kết nối trung tâm siêu máy tính Mỹ nhằm kết hợp sức mạnh xử lý nhiều siêu máy tính lại với Đến năm 1995, hai dự án siêu tính tốn quan trọng, ảnh hưởng lớn đến công nghệ tảng dự án Grid ngày FAFNER (Factoring via Network-Enabled Recursion) I-WAY (Information Wide Area Year) đời Khái niệm Grid đời phịng thí nghiệm Argonne National Laboratory vào tháng 7/1007, sau đưa vào sách “The Grid: Blueprint for a New Computing Infrastructure” viết tiến sỹ Ian Foster (Argonne TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI National laboratory) Carl Kesselman (University of Southern Califonia) năm 1998 Ian Foster tham gia dự án I-WAY, Carl Kesselman người tham gia dự án Globus Toolkit, dự án tảng cơng nghệ Grid Từ đến nay, việc phát triển công nghệ Grid trở nên sôi động với tham gia nghiên cứu, đầu tư nhiều tổ chức, tập đồn cơng nghệ thơng tin, nhiều quốc gia, thu thành tựu bước đầu Có thể nói, việc phát triển xây dựng hệ thông Grid kế thừa phát triển ý tưởng, công nghệ hành mức cao Sự phát triển không ngừng sở hạ tầng, phần cứng máy tính, mạng hệ thống Grid ngày thực nhiều điều ý tưởng trước 1.1.2 Khái niệm Một định nghĩa Grid hoàn chỉnh đưa tiễn sỹ Ian Foster sau: “Grid loại hệ thống song song, phân tán cho phép chia sẽ, lựa chọn, kết hợp tài nguyên phân tán theo địa lý, thuộc nhiều tổ chức khác dựa tính sãn sàng, khả năng, chi phí chúng yêu cầu chất lượng dịch vụ người dùng để giải tốn, ứng dụng có quy mô lớn khoa học, kỹ thật thương mại Từ hình thành nên tổ chức tập đoàn, liên kết với để chia tài nguyên kỹ nhằm đáp ứng tốt hội kinh doanh dự án có nhu cầu lớn tính tốn liệu, tồn việc liên minh dựa mạng máy tính” Một hệ thống Grid có đặc trưng sau: Có kết hợp, chia sẻ tài nguyên không quản lý tập trung: Grid tích hợp phối hợp tài nguyên, người dùng thuộc nhiều vùng quản lý khác nhau, nhiều đơn vị khác tổ chức, hay nhiều tổ chức khác Công nghệ Grid tập trung giải vấn đề bảo mật, sách quản trị, chi phí, thành viên… nảy sinh trình chia sẻ sử dụng tài nguyên Sử dụng cá giao diện giao thức chuẩn, mang tính chất mở, đa dụng: TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI STT Đối tượng Đặc tính Người dùng, cung cấp người Phân tán theo địa lý Tài nguyên Tính sãn sàng khả Thay đổi theo thời gian tài nguyên Các sách chiến lược sử dụng Yêu cầu chất lượng Đa dạng dịch vụ Chi phí/giá Thay đổi tùy theo tài nguyên, người dùng, thời gian Yêu cầu ứng dụng Đa dạng tốc độ xử lý, nhớ, đòi hỏi lực lưu trữ, lực mạng Đa dạng, phân tán theo địa lý, thuộc nhiều vùng quản trị, sở hữu khác Đa dạng không tập trung, nhà cung cấp người dùng có mục tiêu chiến lược chia sẻ, sử dụng khác Bảng 2-1: Các đặc tính tài nguyên c) Việc tồn tài nguyên Grid thay đổi theo thời gian Trong Grid, tài nguyên xuất biến mà không báo trước nhiều nguyên nhân khác lỗi hệ thống, lỗi mạng, sách chia sẻ nhà cung cấp,… Đây thách thức lớn đề đảm bảo tính tin cậy hệ thống Cần có chế tìm kiếm, xác định tài nguyên, phát phục hồi lỗi d) Vấn đề phối hợp cấp phát tài nguyên Các ứng dngj có nhiều địi hỏi tài ngun mà đáp ứng cách sử dụng song song tài nguyên nhiều site khác Các sách quản trị cục site với khả bị lỗi trình cấp phát tài nguyên địi hỏi phải có chế đặc biệt để phối hợp cấp phát nhiều tài nguyên, khởi tạo q trình tính tốn, theo dõi, quản lý chúng tài ngun 24 TÌM HIỂU CƠNG NGHỆ TÍNH TOÁN LƯỚI e) Vấn đề điều khiển trực tuyến, theo thời gian thực Cần có chế cho phép thỏa thuận sử dụng tài nguyên thời gian thực thi để đáp ứng nhu cầu ứng dụng, trường hợp yêu cầu tính chất tài nguyên thay đổi trình thực thi 2.2.2 Bảo mật Các hệ thống Grid cần phải cung cấp đầy đủ chức bảo mật truyền thống chức thực, phân quyền, bảo vệ thơng điệp, tồn vẹn liệu, … cần đáp ứng yêu cầu sau: a) Đăng nhập lần Một tính tốn đơn giản cần phải sử dụng nhiều tài nguyên khác nhau, lần truy xuất tài nguyên lại cần phải chứng thực người dùng điều không thực tế chấp nhận Thay vào đó, hệ thống Grid cần có chế cho phép người dùng cần chứng thực lần mà sử dụng nhiều tài nguyên khác b) Cho phép ủy quyền Đây yêu cầu quan trọng, để thực yêu cầu “đăng nhập lần” cần phải có ủy quyền Người dùng cần có khẳ ủy quyền cho chương trình sử dụng quyền Và chương trình, đến lượt cần có khẳ ủy quyền cho chương trình khác c) Có khả tích hợp với sách bảo mật cục Mỗi site nhà cấp tài nguyên có sách bảo mật riêng Do đó, giải pháp bảo mật Grid cần phải liên kết với giải pháp cục bộ, không thay toàn giải pháp mà cho phép kế thừa, sử dụng lại d) Sử dụng quan hệ tin cậy lẫn dựa theo người dùng Để cho phép người dùng sử dụng kết hợp tài nguyên từ nhiều nhà cung cấp khác nhau, hệ thống bảo mật không yêu cầu nhà cung cấp phải hợp tác, liên lạc với để thiết lập môi trường bảo mật Ví dụ người dùng có quyền sử dụng site A B người dùng sử dụng kết hợp site A,B lúc mà không cần chuyên gia bảo mật site A, B liên lạc với 25 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI e) Hỗ trợ bảo mật liên lạc nhóm Một q trình tính tốn cấu thành từ nhiều tiến trình khác nhau, tiến trình cần phải liên lạc với theo nhóm Các nhóm thay đổi suốt q trình tính tốn Grid cần phải có giải pháp để thực bảo mật cho nhóm náy f) Đảm bảo tính riêng tư Một khả Grid cho phép xử lý liệu máy tính xa Từ nảy sinh vấn đề cho bảo vệ tính riêng tư liệu, cho người dùng hay nhà quản trị xa xâm nhập, sử dụng liệu xử lý máy tính g) Cho phép có nhiều cài đặt khác Các giải pháp bảo mật không nên tập trung vào cài đặt cụ thể mà nên cài đặt theo nhiều công nghệ khác dựa tảng chung Điều đảm bảo tính tương thích với nhiều hệ thống khác Các giải pháp bảo mật Grid nên cung cấp hỗ trợ mềm dẻo cho công tác bảo vệ liên lạc (ví dụ điều khiển mức độ bảo vệ, bảo vệ gói liệu giao thức khơng đảm bảo tính tin cậy, hỗ trợ giao thức vận chuyên tin cậy khác TCP, …) cho phép nhà cung cấp định phân quyền hạn chế ủy quyền theo nhiều cách khác 2.2.3 Quản lý thơng tin Hệ thống thơng tin Grid cần có chế hỗ trợ việc truy cập, tìm kiếm thông tin loại hệ thống Grid cách nhanh chóng, xác Cần có chức để xác định đặc tính phần cứng, phần mềm thông tin trạng thái tải trạng tháy hàng đợi trường hợp tài nguyên lập lịch sử dụng có chế cung cấp thông tin gần theo thời gian thực Hệ thống thông tin cần hỗ trợ theo dõi thông tin lượng lớn thành phần, cho phép nhiều loại thực thể truy cập, tìm kiếm thơng tin giảm thiều chi phí cơng sức tài nguyên cần thiết để tạo lập, cập nhật thơng tin site lần tồn Grid Một mục tiêu hệ thống thơng tin đơn giản hóa việc tìm kiếm thơng tin để định sử dụng tài nguyên thích hợp, hệ thống thơng tin cần phải xây dựng theo mơ hình liệu đơn nhất, cung cấp giao diện chung để truy xuất nhiều thơng tin khác 26 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI Mơ hình quản lý thơng tin cần đủ bao quát để biểu diễn cấu trúc thông tin mơi trường tính tốn phân tán Một thách thức biểu diễn thuộc tính liên quan đến nhiều site (ví dụ như: băng thơng liên lạc site) Do tài nguyên Grid đa dạng, thêm bớt theo thời gian, khả tích hợp thêm thơng tin vào hệ thống quan trọng Các hệ thống thơng tin Grid cần phải có khả Các hệ thống thơng tin Grid cần có khả phát sinh thông tin từ nhiều nguồn khác để cung cấp thông tin tổng hợp hệ thống Đưa cách thức truy xuất mềm dẻo đến hệ thống thơng tin, người dùng cần có khả đọc, cập nhật với khả tìm kiếm, định vị thơng tin Hệ thống thơng tin hữu dụng triển khải rộng rãi, cần có kỹ thuật cho phép cài đặt, triển khai, bảo trì dễ dàng site khác Cần có mơ hình quản lý thơng tin phân tán, nên cho phép ủy quyền tạo lập quản lý thông tin tài nguyên cho site 2.2.4 Quản lý liệu Cần có mơ hình quản lý liệu phân tán, cho phép kết hợp liệu từ nhiều nơi khác nhau, hệ thống quản lý liệu cần có chế quản lý cho che phức tạp liệu, cung cấp cho người dùng cách thức truy cập đơn giản, hiệu thông qua giao diện chung mà không cần biết vị trí liệu Cho phép xếp vị trí liệu có chế lập lịch truy xuất liệu tối ưu nhằm nâng cao hiệu suất Grid Cần có chế di chuyển liệu đến nơi xử lý mà không tạo hiệu ứng cổ chai hệ thống mạng vấn đề truy xuất liệu khác Cần có chế truyền file hiệu suất cao, đọc ghi loạt file chức chọn lựa, tỉnh giảm liệu từ xa, chế điều khiển việc cấp phát tài nguyên phục vụ truyền liệu (khơng gian, băng thơng, CPU) 27 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI 2.2.5 Phát triển ứng dụng Việc xây dựng Grid gặp khó khăn nhiều so với ứng dụng bình thường nay, cần phải đưa mơ hình, phương pháp giải vấn đề chia sẻ, chia nhỏ, phân tích, di chuyển, bảo mật, quản lý, liệu, đồng hóa tiến trình, … nhằm tận dụng tối đa khả hệ thống Cần xây dựng mơ hình, mơi trường lập trình, cơng cụ phát triển ứng dụng cho Grid nhằm đơn giản hóa việc phát triển ứng dụng, tạo điều kiện đưa công nghệ Grid vào thực tế 2.2.6 Các vấn đề khác Khi kích Grid tăng lên, chi phí quản lý tăng theo, hiệu suất Grid giảm xuống, xây dựng cơng nghệ Grid cần tính tốn khả mở rộng hệ thống Cần có chế quản lý tiến trình để đặt chỗ trước tài nguyên, khởi động, kiểm soát, điều khiển việc thực thi tiến trình Về mã thực thi ứng dụng, dạng đặc biệt tài nguyên lưu trữ đòi hỏi chế quản lý phiên mã nguồn mã thực thi đối tượng để đảm bảo tính tương thích Người dùng mong muốn dùng môi trường ảo Grid với chất lượng gần giống hệ thống cục Do đó, Grid cần phải cung cấp công cụ đơn giản để hỗ trợ người dùng để xác định dịch vụ, số lượng chất lượng chúng, chất lượng trường hợp liên quan đến khả truy cập dịch vụ cách nhanh chóng thơng qua gia diện hồn hảo, hệ thống chứng thực thơng minh đường truyền tốc độ cao Cần có hệ thống quản lý phân phối hợp lý nhu cầu người dùng với khả tài nguyên, theo dõi việc sử dụng dịch vụ, cung cấp dịch vụ cộng thêm khác quản lý tài nguyên cục bộ, quản lý hiệu suất, trạng thái tài nguyên, quản lý đăng nhập bảo mật Cần có giao diên chuẩn để chuyển yêu cầu người dùng khả tài nguyên thành ngôn ngữ tảng phần cứng, phần mềm tài nguyên phân tán nhằm mục đích phối hợp hoạt động 28 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI CHƯƠNG PHÂN TÍCH ỨNG DỤNG GRID MOVIE 3.1 Giới thiệu Việc lưu trữ tập tin video multimedia địi hỏi phải có sở hạ tầng mạnh để lưu trữ, quản lý nhiều tập tin với kích thước lớn Nhiệm vụ ứng dụng cung cấp việc lưu trữ, truy xuất tập tin movie lớn mơi trường phân tán Grid Các dịch vụ mà ứng dụng cần cài đặt: Movie Storage: Đảm nhiệm việc lưu trữ tập tin movie lên Grid node bao gồm việc tìm kiếm node phù hợp với kích thước tập tin Movie Distribution: Cung cấp khả tìm kiếm movie tập trung truy xuất tập tin phân tán Movie Database: Quản lý sở liệu tập trung thông tin chung movie thường xuyên cập nhật thông tin movie lưu trữ Grid node Movie Manipulation: Biến đổi, chuyển đổi định dạng movie 3.1.1 Movie Storage Dịch vụ đảm bảo việc lưu tập tin movie gửi từ grid client vào "grid" Một grid node chọn để nhận file lưu vào hệ thống tập tin cục Qui trình thực sau: Grid client gửi yêu cầu lưu tập tin tới "grid manager" Grid manager định chọn grid node phù hợp sau thu thập thông tin grid node Thơng tin grid node chọn gửi cho grid client grid client kết nối trực tiếp tới grid node đển gửi file grid manager cập nhật sở liệu movie chuyển xong file 29 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI 3.1.2 Movie Distribution Dịch vụ đảm bảo việc truy xuất (lấy liệu) từ grid client tới kho liệu video nằm grid node Quá trình gồm bước: grid client gửi yêu cầu truy xuất đến file video (dựa vào thông tin phim đoạn video) tới grid manager grid manager xác định tên file nơi lưu trữ (grid node:/) dựa vào sở liệu movie gửi lại cho grid client grid client kết nối trực tiếp với grid node để nhận file video mong muốn 3.1.3 Movie Database Dịch vụ quản lý sở liệu movie phục vụ cho việc lưu trữ, tìm kiếm truy xuất movie Các thông tin bao gồm: * Movie ID: Mỗi movie lưu vào hệ thống cấp số ID để phân biệt Số ID dùng làm tên file chứa movie * Movie title: Tên vắn tắt phim * Movie metadata: gồm tham số liên quan đến format tập tin movie: size, frame rate, system; thông tin khác contents, stars, descriptions, date recorded * Storage node: grid node lưu movie Cơ sở liệu lưu grid node cập nhật liên tục có movie gửi tới Để biết thơng tin tồn kho lưu trữ movie grid, grid manager phải thu thập sở liệu từ tất grid node 3.1.4 Movie Manipulation Một movie lưu trữ nhiều format khác (MPEG 1, MPEG 2, VCD, SVCD, DVD, ) Người dùng tạo nhiều phiên movie tùy theo nhu cầu Dịch vụ cung cấp khả thay đổi format movie grid node 30 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI 3.2 Các thành phần Grid Movie Hệ thống gồm thành phần Mỗi thành phần đóng vai trị cụ thể, thực thi dịch vụ tương ứng Khi cài đặt thành phần triển khai máy tính Vai trị thành phần sau: Grid manager - Xác thực grid client - Nhận yêu cầu từ grid client - Thu thập thông tin kho movie từ grid node - Phân phối trình lưu trữ (tìm grid node phù hợp để lưu movie) - Tìm kiếm vị trí movie kho theo yêu cầu từ grid client Grid nodes - Nhận yêu cầu lưu file từ grid client - Gửi file cho grid client - Chuyển đổi format movie - Cập nhật sở liệu movie cục - Gửi thông tin cho grid manager yêu cầu Grid client - Gửi yêu cầu cần lưu/lấy movie tới grid manager - Gửi/nhận file movie tới/từ grid nodes 3.3 Lựa chọn cơng nghệ Sau phân tích yêu cầu đặt bài, ta lựa chọn công nghệ dịch vụ Web để cài đặt lý sau: * Đơn giản (Simplification): Công nghệ dịch vụ Web cung cấp nhiều chuẩn (standard) cần thiết để phát triển ứng dụng chuẩn giao thức trao đổi, dịch vụ bảo mật, quản lý phân tán, * Tương thích với nhiều platform (Cross-platform compability): Công nghệ dịch vụ Web trở thành chuẩn cài đặt rộng rãi nhiều platform khác J2EE, Microsoft.NET Vì ứng dụng Grid movie triển khai mơi trường phân tán có tảng - platform khơng đồng 31 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI * Triển vọng lâu dài (Future-proofing): Cơng nghệ khơng chấp nhận rộng rãi mà cịn có tương lai rộng mở kết nhiều năm nghiên cứu, lập kế hoạch phát triển chuẩn Web * Chuẩn hoá mạng lưới (Grid standardization): Nhằm xây dựng mạng lưới chia theo tư tưởng Grid Computing, việc phát triển theo kiến trúc hướng dịch vụ (Service Oriented Architeture - SOA) tất yếu 3.4 Tổng quan công nghệ dịch vụ Web 3.4.1 Giới thiệu Service Oriented Architeture – SOA SOA hướng tiếp cận kiến trúc phần mềm ứng dụng, đó, ứng dụng cấu thành từ tập thành phần độc lập, phân tán, phối hợp hoạt động với gọi service Các service phân tán nơi nào, bên tổ chức Xa nữa, thành phần service tồn nhiều tảng khác nhau, cài đặt ngơn ngữ lập trình khác Điểm mấu chốt SOA chức service công bố dạng giao diện chuẩn Chi tiết cài đặt cụ thể chức che dấu, người dùng service không cần quan tâm đến; người dùng gọi sử dụng chức service thông qua phương thức cơng bố giao diện Có thể thấy tính đóng gói kế thừa từ phương pháp lập trình hướng đối tượng Cùng với hỗ trợ service lập lịch truy xuất tài nguyên (scheduler service), mục (index service), tìm kiếm tài nguyên (discovery service),…, ứng dụng xác định thời gian thực thi service có chức giống từ nhiều nguồn, từ chọn service tốt để sử dụng, đáp ứng nhu cầu ứng dụng 3.4.2 Kiến trúc SOA Gồm thành phần thông điệp hoạt động trao đổi chúng Các thành phần SOA có thành phần : Service Provider, Service Requestor Service Registry hình 32 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI Hình 8: Các thành phần kiến trúc SOA + ServiceProvider Chịu trách nhiệm xây dựng service, tạo mô tả cho chúng, đăng ký mô tả service cho nhiều ServiceRegistry; tiếp nhận, xử lý thông điệp yêu cầu sử dụng service từ ServiceRequestor + ServiceRequestor Là thực thể sử dụng service cung cấp ServiceProvider ServiceRequestor tìm kiếm đặc tả service ServiceRegistry, lựa chọn service cần thiết thích hợp, sau kết nối đến ServiceProvider sử dụng service mong muốn + ServiceRegistry Chịu trách nhiệm quảng bá service ServiceProvider đăng ký cho nó, cho phép ServiceRequestor tìm kiếm đặc tả service danh sách đăng ký Một thành phần ứng dụng đóng hay nhiều vai trị Các hoạt động SOA có loại hoạt động thành phần : Publish, Find Bind + Public Là hoạt động ServiceProvider ServiceRegistry ServiceProvider thực đăng ký giao diện service cung cấp cho ServiceRegistry thông qua phương thức Public + Find Là hoạt động ServiceRequestor ServiceRegistry ServiceRequestor sử dụng phương thức Find để lấy danh sách service ServiceProvider thoả mãn yêu cầu Có thể có nhiều điều kiện tìm kiếm phương thức Find, ServiceRegistry tìm danh sách ServiceProvider trả thơng tin thích hợp 33 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI + Bind Là hoạt động ServiceRequestor ServiceProvider Nó cho phép ServiceRequestor thực kết nối đến ServiceProvider trước thực lời gọi sử dụng service Cho phép ServiceRequestor khởi tạo proxy phía client cho service cung cấp ServiceProvider Thao tác kết nối thực động hay tĩnh Trong trường hợp kết nối động, ServiceRequestor phát sinh proxy dựa thông tin lấy từ ServiceRegistry, trường hợp lại, proxy phát sinh lúc phát triển ứng dụng 3.4.3 Web service Web Service công nghệ sử dụng rộng rãi để triển khai mơ hình SOA vào thực tế, đưa mơ hình liên lạc, trao đổi ứng dụng với ứng dụng sở ngôn ngữ đặc tả XML Web Service tảng Grid Service (sẽ giới thiệu sau) Web Service sử dụng ngôn ngữ Web Services Description Language (WSDL) để mô tả nội dung cách sử dụng service; sử dụng giao thức SOAP để trao đổi thông điệp Web service; sử dụng ngôn ngữ đặc tả Universal Description, Discovery and Integration (UDDI) phép nhà cung cấp Web service đăng ký service cho phép người sử dụng Web service tìm nhà cung cấp thỏa điều kiện mong muốn Ngoài ra, số chuẩn định nghĩa triển khai chất lượng dịch vụ Web service xây dựng WS-Security, WS-Reliable Messaging, WSCoordination, WS-Transaction,… Về chất, Web service cơng nghệ tính tốn phân tán công nghệ CORBA, RMI, EJB, … Tuy nhiên, Web service có số lợi điểm mà cơng nghệ khác khơng có: + Web service độc lập với ngơn ngữ lập trình, độc lập với tảng thực thi ứng dụng xây dựng chuẩn XML Đây lý để chọn công nghệ Web service làm tảng cho Grid service để giải thách thức lớn công nghệ Grid computing quản lý sử dụng tài nguyên phân tán, đa dạng, phức tạp, nhiều tảng khác + Hầu hết Web service sử dụng giao thức HTTP để truyền thông điệp (các yêu cầu service kết trả từ service), nên hỗ trợ xây 34 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI dựng ứng dụng tầm cỡ tồn cầu qua nhiều site, nhiều vùng bảo mật, nhiều vùng quản trị khác tảng Internet, lưu thông dạng HTTP thường không bị chặn lại gặp firewall proxy Trong đó, việc truyền thơng công nghệ khác thường gặp vấn đề với firewall + Một khác biệt là, công nghệ CORBA EJB hướng đến hệ thống phân tán có độ kết hợp cao (highly coupled), client server phải phụ thuộc chặt chẽ vào Các công nghệ thường lý tưởng cho ứng dụng mạng cục Cịn với cơng nghệ Web service ngược lại hồn tồn, client khơng cần biết thơng tin server service thực cần sử dụng service Do đó, cơng nghệ Web service thường thích hợp để xây dựng ứng dụng có phạm vi rộng Internet, ứng dụng hướng Grid Cơng nghệ Web service sử dụng để quản lý tài nguyên thay đổi động theo thời gian 3.4.4 Các công nghệ dịch vụ web sử dụng Như trình bày, cơng nghệ dịch vụ Web cung cấp chuẩn đặc tả cần thiết để phát triển ứng dụng Các chuẩn nhằm hướng tới ứng dụng phân tán tổng quát Tùy theo yêu cầu ứng dụng cụ thể, ta chọn chuẩn cần thiết Đối với ứng dụng Grid Movie, ta cần chuẩn sau: + Web Services Security (WS-Security) Đây chuẩn nhằm đảm bảo tính an tồn bảo mật cho ứng dụng + Web Services Reliable Messaging (WSRM) Chuẩn cung cấp khả trao đổi thông điệp tin cậy thành phần ứng dụng GridMovie + Web Services Resource Framework (WSRF) Chuẩn cung cấp khả lưu trạng thái cho dịch vụ Web thành Resource Trong ứng dụng GridMovie, trạng thái grid node cần lưu vào Resource cập nhật liên tục để grid manager biết tình trạng toàn hệ thống grid trước định chọn grid node phù hợp với yêu cầu + Web Services Distributed Management (WSDM) Chuẩn cần thiết để quản lý dịch vụ grid node 35 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI + Web Services Notification (WS-Notification) Đây chuẩn cần thiết hệ thống phân tán nhằm cung cấp chế trao đổi thông tin hiệu dịch vụ 3.5 Lựa chọn tảng (platform) phần mềm Sau định công nghệ áp dụng cho ứng dụng, ta cần xác định tiếp platform gói phần mềm cài đặt (implement) cơng nghệ này, thay phải tự cài đặt lấy Có nhiều platform, phần mềm mã nguồn mở Axis 2, WSRF, Apache, Globus Toolkit 4.0, Java chọn ngơn ngữ để phát triển ứng dụng GridMovie lý tính tương thích cao với nhiều hệ điều hành phần cứng khác Geronimo Apache chọn làm Java container (J2EE server) cài đặt chuẩn J2EE, http://java.sun.com/j2ee Axis Apache chọn làm Web services container cung cấp môi trường để chứa dịch vụ cài đặt chuẩn WS WSAddressing, WS-Notification, WS-ReliableMessaging WS-Security WS-Core Globus Toolkit 4.0 chọn để cung cấp cài đặt cho WSRF WSRM Hệ thống gồm thành phần: grid client, grid manager grid node Bây ta cần xác định gói phần mềm cài đặt lên thành phần Grid client: j2sdk, WS-core GT 4.0 Grid node: j2sdk, Geronimo, Axis Grid manager: j2sdk, Geronimo, Axis2 36 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI KẾT LUẬN Kết đạt Sau thời gian tập trung nghiên cứu, em tìm hiểu tổng quan lý thuyết công nghệ Grid Computing Tìm hiểu chi tiết khía cạnh tảng công nghệ này, cụ thể như: + Khái niệm + Lợi ích, thách thức + Mơ hình kiến trúc + Phân loại - Phân tích chức năng, dịch vụ ứng dụng Grid Movie Ứng dụng Grid Movie dự án lớn, đòi hỏi đầu tư nhiều thời gian công sức Trong trình làm luận văn, phải dành thời gian để tìm hiểu cơng nghệ Grid Computing, lĩnh vực mẻ Nên kết đạt chưa đáng kể, việc phát triển ứng dụng địi hỏi có nghiên cứu, phân tích, thiết kế cài đặt kỹ lưỡng giai đoạn sau Hướng phát triển, mở rộng - Thực nghiên cứu sâu cơng nghệ Tính tốn lưới, mã nguồn module, thuật toán để ứng dụng tốt thực tế Từ phát triển, xây dựng thành phần Grid nghiên cứu triển khai ứng dụng Grid, tiến tới làm chủ công nghệ Grid Computing, đưa sức mạnh tính tốn lớn với chi phí thấp vào dự án nghiên cứu khoa học, kinh tế, thương mại đất nước - Hiện ứng dụng dừng lại phân tích, tương lai phát triển thành ứng dụng hoàn chỉnh để áp dụng vào thực tế + Phát triển chức năng, module thích hợp + Thiết kế, cài đặt tiến hành chạy ứng dụng Lời kết Trong thời gian có hạn kiến thức cịn hạn chế em nghiên cứu phần nhỏ công nghệ Grid Computing, lĩnh vực mẻ Chắc chắn khơng thể tránh khỏi thiếu sót, em mong nhận đóng góp ý kiến từ thầy bạn để em hồn thiện Một lần em xin chân thành cảm ơn 37 TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI Tài Liệu Tham Khảo [1] Ian Foster, Carl Kesselman, Steven Tuecke, The Anatomy of Grid, Intl J Supercomputer Applications, 2001 [2] Ian Foster, What is the Grid? A Three Point Checklist, Argonne National Laboratory & University of Chicago, 2002 [3] Mark Baker, Rajkumar Buyya, Domenico Laforenza, Grids and Grid technologies for wide-area distributed computing, John Wiley & Sons Ltd, 2002 [4] Bart Jacob, How Grid infrastructure affects application design, RedBooks, IBM, 2003 [5] Bart Jacob, Taking advantage of Grid computing for application enablement, RedBooks, IBM, 2003 [6] Martin C Brown, Grid computing moving to a standardized platform, RedBooks, IBM, 2003 38 ... cơng cụ hỗ trợ TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI CHƯƠNG LÝ THUYẾT TỔNG QUAN VỀ CƠNG NGHỆ TÍNH TỐN LƯỚI 1.1 Khái niệm 1.1.1 Theo lịch sử Mặc dù cơng nghệ Grid Computing (Tính toán lưới) nhắc đến... Chúng ta hình dung cơng nghệ Tính Tốn Lưới qua hình vẽ sau Hình 1-1: Hình dung chung Tính Tốn Lưới TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI 1.2 Các tài nguyên Lưới 1.2.1 Tài nguyên tính tốn Đây tài ngun... kỷ XX, TÌM HIỂU CƠNG NGHỆ TÍNH TỐN LƯỚI dự án nghiên cứu lĩnh vực khai sinh công nghệ Grid Computing Công nghệ Grid Computing đời dự đốn cơng nghệ tảng thể kỷ XX, làm thay đổi cách thức tính tốn,