Đề tài nghiên cứu khoa học cấp trường ứng dụng grid computing khai thác nguồn tài nguyên nhàn rỗi trên hệ thống mạng máy tính

TRƯỜNG ĐẠI HỌC HÀNG HẢI VIỆT NAM KHOA CÔNG NGHỆ THÔNG TIN ề Đ THUYẾT MINH ĐỀ TÀI NCKH CẤP TRƯỜNG n iê gh in tà u ĐỀ TÀI oa kh ỨNG DỤNG GRID COMPUTING KHAI THÁC NGUỒN TÀI NGUYÊN NHÀN RỖI TRÊN HỆ THỐNG MẠNG MÁY TÍNH c họ Chủ nhiệm đề tài: NGUYỄN DUY TRƯỜNG GIANG Thành viên tham gia: TRẦN VĂN TUYỀN Hải Phòng, tháng 4/2016 Đề tài nghiên cứu khoa học MỤC LỤC MỞ ĐẦU 1 Tính cấp thiết vấn đề nghiên cứu Các thách thức lĩnh vực nghiên cứu 3 Mục tiêu, đối tượng, phạm vi nghiên cứu Phương pháp nghiên cứu, kết cấu cơng trình nghiên cứu Kết đạt đề tài CHƯƠNG I: CƠ SỞ LÝ THUYẾT 1.1 Một số khái niệm ề Đ 1.2 Các tính tính tốn lưới tà gh in 1.3 Mơ hình, tảng tính tốn lưới n iê 1.4 Nền tảng tính tốn lưới u 1.4.1 Tính tốn lưới hoạt động nào? oa kh 1.4.2 Mốt số thành phần mơ hình tính tốn lưới c họ 1.4.3 Các lợi ích tính toán lưới 10 CHƯƠNG II: PHÂN TÍCH VÀ XÂY DỰNG HỆ THỐNG 11 2.1 Tổng quan hệ thống xây dựng 11 2.2 Cơ sở liệu sử dụng hệ thống 13 CHƯƠNG III: TRIỂN KHAI HỆ THỐNG 15 3.1 Chương trình Anthill 15 3.2 Yêu cầu cài đặt thệ thống 15 3.3 Cài đặt chạy phần mềm máy chủ 15 3.4 Cài đặt chạy phần mềm máy trạm 20 3.5 Thơng tin chạy chương trình 26 i Đề tài nghiên cứu khoa học KẾT LUẬN 27 TÀI LIỆU THAM KHẢO 28 PHỤ LỤC 29 Chương trình đơn giản để test ANTHILL 29 Chương trình chạy ngôn ngữ FlexPde 29 Chương trình chạy ngơn ngữ ANSYS 34 Chương trình sinh tập mẫu để chạy ANSYS 42 ề Đ n iê gh in tà u oa kh c họ ii Đề tài nghiên cứu khoa học DANH SÁCH HÌNH ẢNH Hình 1.1 Cấu trúc hệ thống tính tốn lưới Hình 1.2 Mơ hình tính tốn lưới dựa Internet Hình 1.3 Minh họa hệ thống điện tốn mạng lưới Hình 2.1 Giao diện chương trình AntHill 12 Hình 2.2 Thời gian thực hệ thống giải toán cụ thể 13 Hình 2.3 Cơ sở liệu hệ thống 13 Hình 2.4 Một số bảng dùng hệ thống 14 Hình 3.1 Giao diện server khởi tạo thành công 16 Hình 3.2 Giao diện AntHill chạy thành công 16 Hình 3.3 Giao diện đăng nhập vào phần mềm máy chủ 17 ề Đ Hình 3.4 Giao diện đăng ký tài khoản vào phần mềm máy chủ 17 in tà Hình 3.5 Giao diện tải chương trình lên máy chủ 17 gh Hình 3.6 Giao diện tải thành cơng chương trình 18 n iê Hình 3.7 Giao diện cập nhật, sửa, xóa 18 u Hình 3.8 Kết giải nhiệm vụ 19 oa kh Hình 3.9 Thời gian thực trung bình CPU 19 Hình 3.10 Thời gian thực trung bình mạng 20 họ c Hình 3.11 Thời gian trung bình tổng thời gian thực 20 Hình 3.12 Giao diện tải chương trình máy chủ 21 Hình 3.13 Giao diện bắt đầu cài đặt phần mềm máy trạm 21 Hình 3.14 Giao diện nội dung cài đặt 22 Hình 3.15 Giao diện thiết lập đường dẫn máy trạm 22 Hình 3.16 Lựa chọn vị trí xuất chương trình 23 Hình 3.17 Lựa chọn xuất hình 23 Hình 3.18 Tiến hành cài đặt 24 Hình 3.19 Cài đặt hệ thống 24 Hình 3.20 Kết thúc cài đặt phần mềm máy trạm 25 Hình 3.21 Cấu hình máy trạm 25 Hình 3.22 Log file 26 iii Đề tài nghiên cứu khoa học DANH SÁCH THUẬT NGỮ, CHỮ VIẾT TẮT Chữ viết tắt Trang CERN - tổ chức Châu âu nghiên cứu hạt nhân ESA - quan vũ trụ Châu âu VO - Virtual Organization ĐTML - Điện toán mạng lưới ề Đ n iê gh in tà u oa kh c họ iv Đề tài nghiên cứu khoa học MỞ ĐẦU Tính cấp thiết vấn đề nghiên cứu Trong vài năm trở lại tính tốn phân tán phát triển mạnh mẽ, mở giải pháp cho ứng dụng địi hỏi khả tính tốn lớn Tính tốn phân tán sử dụng cho toán nghiên cứu học, vật lý, điện tử… xuất phát từ nhu cầu thực tế người Các tiến liên tục nghiên cứu khoa học tự giải thích nhu cầu vơ to lớn sức mạnh tính toán Mặt khác, kết tiến khoa học sẵn có nhiều mạnh tảng máy tính Ngày nay, hướng nghiên cứu tính tốn phân tán đóng vai trị quan trọng việc giải tốn khoa học kỹ thuật địi hỏi thời gian tính tốn lớn Đ ề Thực điều giảm đáng kể chi phí để trang bị siêu máy tà in tính phục vụ cơng việc tính tốn Việc tính tốn phân tán giải iê gh hoạt động khoa học chủ thể xa thông qua hệ thống mạng máy n tính u Với tính tốn phân tán, hạ tầng công nghệ thông tin vấn đề cốt lõi kh hệ thống Trong thập kỷ qua, cách mạng Internet dẫn đến bùng nổ oa họ ứng dụng web Dựa web xây dựng ứng dụng xử lý phân c tán Do đó, việc tận dụng web mở quan điểm q trình tính tốn phân tán để ứng dụng giải toán khoa học, cách tiếp cận tự nhiên để theo đuổi mục tiêu tính tốn phân tán Cơng nghệ tính tốn phân tán cho phép sử dụng mạng máy tính cơng cụ tính tốn, phân nhóm kết nối loạt tài nguyên có khả phân phối khu vực địa lý rộng lớn, bao gồm siêu máy tính, hệ thống lưu trữ, nguồn liệu, thiết bị phần cứng, sử dụng chúng tài nguyên thống Mở đầu cho trình dự án liên kết trang web với phát triển vượt xa mục đích ban đầu nó, mở kịch cho việc hợp tác, khai thác liệu, giải toán khoa học lớn tính tốn hiệu cao sử dụng siêu liệu Đại học Hàng Hải Trang Đề tài nghiên cứu khoa học Các ứng dụng tính tốn phân tán trực tuyến cho phép họ chia sẻ tài nguyên từ xa, thay đổi sử dụng chúng cách hiệu Trong bối cảnh này, mạng lưới xem mơi trường tính tốn tồn cầu, nơi mà hệ thống phân tán tạo thực thi yêu cầu Tính linh hoạt lưới làm cho hệ thống linh động cấu hình Thơng qua mạng lưới, nhà nghiên cứu nhanh chóng thay đổi u cầu nhằm thích ứng với nhu cầu giải cụ thể theo thời điểm tận dụng hợp lý thay đổi hệ thống, sở hạ tầng nguồn lực Khai thác liệu hệ thống quan trọng đặt biệt xử lý lượng lớn liệu việc khai thác từ trang web từ xa cần thiết Một số ề Đ lĩnh vực nghiên cứu, chẳng hạn phân tích khí hậu nghiên cứu sinh học, in tà yêu cầu lưu trữ truy cập liệu lên đến terabyte petabyte Trong gh trường hợp này, liệu phân bố số trang web sau khai n iê thác để đưa đến kết thống Đôi hệ thống phải tạo nhằm cải thiện hiệu suất xử lý tăng cường độ tin cậy Dịch vụ quản lý u liệu phân tán lưu quan trọng tính tốn lưới kh oa Tính tốn với hiệu cao đòi hỏi lượng lớn sức mạnh tính tốn c họ thời gian dài Ví dụ tốn học dầm, cầu hay đường ống muốn thử nghiệm nhiều lần việc chia lưới nhỏ đòi hỏi thời gian lớn để tính tốn Giải vấn đề tính tốn phân tán thơng qua việc mơ toán phù hợp, xây dựng tập tham số đầu vào khác việc giải thực khoảng thời gian hợp lý Tính tốn phân tán khai thác máy tính nhàn rỗi mạng để giái vấn đề Tính tốn lưới công ty trung tâm lớn nghiên cứu ứng dụng IBM, Microsoft, Google, tổ chức Châu âu nghiên cứu hạt nhân (CERN), quan vũ trụ Châu âu (ESA) Một số ứng dụng cụ thể tính tốn phân tán lưu trữ GEN giải toán liên quan đến GEN người nói riêng động vật nói chung, tìm kiếm phân tán, Đại học Hàng Hải Trang Đề tài nghiên cứu khoa học Hiện phòng LAB, phòng thực hành đơn vị nghiên cứu khoa học trường đại học bị sử dụng lãng phí: máy tính hệ thống thường hoạt động khoảng 15% công suất, máy chủ hoạt động với 30% công suất Việc tận dụng hiệu nguồn tài nguyên mang lại sức mạnh tính tốn khổng lồ Mục tiêu đề tài nghiên cứu tính tốn phân tán xây dựng hệ thống giải toán khoa học địi hỏi thời gian tính tốn lớn nhằm tận dụng nguồn tài nguyên nhàn rỗi Các thách thức lĩnh vực nghiên cứu Các thách thức mà cơng nghệ tính tốn phân tán phải giải bao gồm: - Các tài nguyên đa dạng, không đồng Tài nguyên bao gồm ề Đ tài nguyên phần cứng, phần mềm, hệ thóng mạng Các tài nguyên in tà thiết kế khác giao diện, kiến trúc Việc tạo ứng dụng gh cho phép khai thác, sử dụng hiệu không dễ dàng thách thức vô n iê lớn hệ thống tính tốn phân tán - Các tài nguyên không thuộc tổ chức mà thuộc nhiều tổ chức u tham gia Các tổ chức phải tuân thủ số quy định chung tham gia vào hệ kh oa thống cịn nhìn chung hoạt động độc tài nguyên có họ quyền tự trị Các tổ chức khác thường có sách sử dụng hay cho thuê c tài nguyên họ khác gây khó khăn cho việc quản lý - Các tài nguyên phân tán rộng khắp mặt địa lý cần có chế quản lý phân tán - Đảm bảo an tồn thơng tin cho mơi trường phức tạp mơi trường phân tán khó khăn trong điểm ưu tiên hàng đầu Mục tiêu, đối tượng, phạm vi nghiên cứu Mục tiêu đề tài ứng dụng xử lý phân tán để xây dựng hệ thống giải toán với tập mẫu lớn thỏa mãn nội dung: - Có kết hợp, chia sẻ tài nguyên không quản lý tập trung: thúc đẩy việc khai thác hiệu tài nguyên nhàn rỗi Ngoài tính tốn phân tán Đại học Hàng Hải Trang Đề tài nghiên cứu khoa học giúp cân sử dụng tài nguyên tốt Với hệ thống phân tán việc thêm bớt tài nguyên thực cách dễ dàng - Sử dụng giao diện giao thức chuẩn, mang tính mở, đa dụng: Có khả tùy biến tốt với người dùng Hệ thống cho phép người dùng mở rộng hệ thống tính tốn dễ dàng giải số lượng nhiều toán khác - Đáp ứng yêu cầu cao chất lượng dịch vụ: Cho phép xử lý song song nhằm sử dụng tối đa nguồn lực vi xử lý Đơn giản hóa thao tác để chia sẻ cộng đồng lớn Cho phép chia sẻ hiểu khả xử lý liệu đảm bảo độ tin cậy tối đa Phương pháp nghiên cứu, kết cấu cơng trình nghiên cứu ề Đ Phương pháp nghiên cứu đề tài kết hợp lý thuyết với thực tiễn Kết cấu in tà đề tài tìm hiểu, nghiên cứu tính tốn phân tán Phân tích toán n Kết đạt đề tài iê kết luận gh xử lý dựa tập mẫu lớn Xây dựng chương trình kiểm thử đưa u - Nghiên cứu tính tốn phân tán sở đưa mơ hình giải vấn kh oa đề: giải toán với tập mẫu lớn hệ thống máy tính nhàn rỗi c họ - Nghiên cứu cách thức hoạt động chương trình ngơn ngữ lập trình - Xây dựng sở liệu để lưu trữ thông tin máy chủ - Xây dựng chương trình xử lý việc phân tán máy chủ - Xây dựng phần mềm chạy máy trạm - Đưa đánh giá hiệu sử dụng hệ thống Đại học Hàng Hải Trang Đề tài nghiên cứu khoa học CHƯƠNG I: CƠ SỞ LÝ THUYẾT Hiện tính tốn phân tán ứng dụng rộng rãi lĩnh vực công nghệ thông tin Với đề tài tác giả tìm hiểu kiến trúc hệ thống tính tốn phân tán từ đưa mơ hình giải tốn khoa học với tập mẫu lớn thơng qua hệ thống mạng máy tính nhằm tăng tốc độ giải toán tận dung nguồn tài nguyên nhàn rỗi 1.1 Một số khái niệm Thời gian gần đây, mơ hình tính tốn lưới nghiên cứu để giải nhiều tốn địi hỏi tính tốn phức tạp với thời gian lớn Mục tiêu nhằm kết hợp sức mạnh tính tốn, nguồn tài ngun máy tính phân tán nơi khác nhau, tạo hạ tầng tính tốn tổng hợp cịn mạnh ề Đ siêu máy tính đầu tư với nguồn tiền lớn in tà Định nghĩa tính tốn lưới Carl Kesselman Ian Foster: “A iê gh computational grid is a hardware and software infrastructure that provides n dependable, consistent, pervasive, and inexpensive access to high-end u computational capabilities” [1] oa kh Nhà khoa học Ian Foster đưa ba đặc điểm lưới thực : - Khai thác sử dụng tài nguyên phân tán họ c - Hệ thống phát triển dựa các giao thức chuẩn - Hệ thống hoạt động cho chất lượng dịch vụ tốt so với việc hoạt động môi trường đơn lẻ [1] Các khái niệm “tính tốn lưới” với “tính tốn ngang hàng” có điểm chung có điểm khác Điểm chung hai hoạt động nhằm khai thác tài nguyên hệ thống mạng máy tính, việc xây dựng với mơ hình có điểm mạnh, điểm yếu riêng Tính tốn lưới thường phục vụ cộng đồng người dùng với quy mô nhỏ nhằm giải tốn tính tốn tập mẫu lớn lĩnh vực nghiên cứu Tính tốn lưới hỗ trợ khả tích hợp tài ngun tốt hơn, đa dạng tính tốn ngang hàng Ngược lại, hệ thống tính tốn ngang hàng thường xây dựng dựa kiến trúc linh hoạt hơn, hệ thống ngang hàng thường phục vụ cho cộng đồng Đại học Hàng Hải Trang Đề tài nghiên cứu khoa học PHỤ LỤC Chương trình đơn giản để test ANTHILL import sys, math def check(number): i=2 root = math.ceil(math.sqrt(number)) while i