Nghiên cứu về mô hình tính toán lưới hướng kinh tế và ứng dụng triển khai hệ thống Sun Grid Engine

Nghiên cứu về mô hình tính toán lưới hướng kinh tế và ứng dụng triển khai hệ thống Sun Grid Engine Nghiên cứu về mô hình tính toán lưới hướng kinh tế và ứng dụng triển khai hệ thống Sun Grid Engine Nghiên cứu về mô hình tính toán lưới hướng kinh tế và ứng dụng triển khai hệ thống Sun Grid Engine luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MƠ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Phan Thanh Liêm Người hướng dẫn khoa học: PGS TS NGUYỄN THANH THUỶ Hà Nội - 2008 PHAN THANH LIÊM BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGÀNH : CƠNG NGHỆ THƠNG TIN TÌM HIỂU VỀ LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE TẠI ĐHBKHN PHAN THANH LIỂM 2006 - 2008 Hà Nội 2008 Hµ Néi 2008 LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MƠ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE NGÀNH : CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………… PHAN THANH LIÊM HÀ NỘI 2008 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MƠ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID ENGINE NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Phan Thanh Liêm Người hướng dẫn khoa học: PGS TS NGUYỄN THANH THUỶ Hà Nội - 2008 Tính tốn lưới hướng kinh tế LỜI CAM ĐOAN Tôi xin cam đoan Luận văn cơng trình nghiên cứu riêng tơi Các liệu kết nêu Luận văn hoàn tồn trung thực có nguồn gốc rõ ràng TÁC GIẢ (Ký tên) SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế LỜI CẢM ƠN Trước hết, xin chân thành cảm ơn PGS TS Nguyễn Thanh Thuỷ tận tình hướng dẫn, cung cấp tài liệu kiến thức cần thiết giúp tơi hồn thành Luận văn tốt nghiệp Tơi xin bày tỏ lòng biết ơn sâu sắc tới thầy, cô giáo Khoa Công nghệ thông tin thầy, cô giáo trường Đại học Bách Khoa Hà Nội truyền đạt cho kiến thức quan trọng suốt thời gian học tập nghiên cứu trường Tôi xin gửi lời cảm ơn đến anh, chị, em Trung tâm Tính tốn Hiệu cao, Trung tâm Mạng thơng tin Trung tâm Đào tạo - Chuyển giao công nghệ SUN SAI hỗ trợ tạo điều kiện cho tơi trình thực luận văn Cuối cùng, tơi xin nói lời cảm ơn đến gia đình bạn bè, người ln bên tôi, cổ vũ động viên suốt thời gian học tập làm luận văn tốt nghiệp Trong q trình hồn thành luận văn, cịn thiếu kinh nghiệm, ràng buộc thời gian hạn chế kiến thức nên chắn không tránh khỏi thiếu sót Vì tơi mong nhận đóng góp ý kiến giúp đỡ thầy, cô bạn Một lần xin chân thành cảm ơn! Hà Nội, ngày 10 tháng 11 năm 2008 Người thực luận văn SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC HÌNH DANH MỤC CÁC TỪ VIẾT TẮT CHƯƠNG - MỞ ĐẦU 0.1 ĐẶT VẤN ĐỀ 0.2 MỤC TIÊU LUẬN VĂN 0.3 CẤU TRÚC LUẬN VĂN CHƯƠNG - TỔNG QUAN VỀ TÍNH TỐN LƯỚI 10 1.1 TÍNH TỐN LƯỚI LÀ GÌ ? 10 1.1.1 Khái niệm tính toán lưới 10 1.1.2 Các đặc trưng tính tốn lưới 11 1.2 PHÂN LOẠI TÍNH TỐN LƯỚI 12 1.2.1 Phân loại dựa phạm vi lưới 12 1.2.2 Phân loại dựa đặc tính xử lý 14 1.3 TỔNG KẾT CHƯƠNG 14 CHƯƠNG - MƠ HÌNH LƯỚI HƯỚNG KINH TẾ 16 2.1 KHÁI NIỆM LƯỚI KINH TẾ 16 2.2 MƠ HÌNH SaaS 17 2.2.1 Khái niệm 17 2.2.2 Phân loại 17 2.3 PHÂN LOẠI MƠ HÌNH LƯỚI KINH TẾ 19 2.3.1 Các mơ hình lưới kinh tế nghiên cứu 20 2.3.2 Các mơ hình lưới kinh tế thương mại 20 2.4 TÌM HIỂU MỘT SỐ MƠ HÌNH LƯỚI KINH TẾ TRÊN THẾ GIỚI 21 2.4.1 Amazon’s EC2 22 2.4.2 Sun Compute Grid 28 2.4.3 3Tera Applogic 32 2.4.4 Nhận xét 39 2.5 MỘT SỐ ĐỀ XUẤT CHO MƠ HÌNH LƯỚI TẠI VIỆT NAM 40 2.5.1 Các vấn đề tồn 40 2.5.2 Đề xuất phương hướng giải 41 CHƯƠNG - TÌM HIỂU VỀ ỨNG DỤNG TÍNH TỐN LƯỚI DỰA TRÊN CƠNG NGHỆ CỦA SUN MICROSYSTEMS 42 3.1 SUN SOLARIS 10 42 3.2 SUN JAVA PLATFORM 45 3.2.1 Giới thiệu JAVA 45 3.2.2 Các đặc trưng JAVA 46 3.3.3 Các loại ứng dụng JAVA 48 SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 3.3.4 Công cụ môi trường lập trình JAVA 48 3.3 SUN COMPUTE SERVER TECHNOLOGY 49 3.3.1 Giới thiệu Compute Server Technology 49 3.3.2 Kiến trúc ứng dụng Compute Server 49 3.3.3 Phát triển ứng dụng Compute Server với NetBeans IDE 51 3.3.4 Công nghệ Compute Server 53 3.4 SUN N1 GRID ENGINE 56 3.4.1 Giới thiệu SUN N1 GRID ENGINE 56 3.4.2 Nguyên lý hoạt động Sun Grid Engine [31] 57 3.4.3 Các thành phần Grid Engine 61 3.5 Message Passing Interface 63 CHƯƠNG - XÂY DỰNG HỆ THỐNG THỬ NGHIỆM 65 4.1 THÀNH PHẦN CỦA HỆ THỐNG 65 4.1.1 Sơ đồ hệ thống 65 4.1.2 Thành phần hệ thống 66 4.1.3 Cấu hình hệ thống: 66 4.2 TRIỂN KHAI HỆ THỐNG 66 4.2.1 Cài đặt nút điều khiển 66 4.2.2 Cài đặt nút thực thi 67 4.3 BỘ CÔNG CỤ ĐO HIỆU NĂNG LINPACK 67 4.3.1 Linpack 67 4.3.2 Ý nghĩa thông số 68 4.3.3 Khuyến nghị việc lựa chọn thông số 71 4.4 CHẠY THỬ NGHIỆM 71 4.4.1 Đo hiệu nút 71 4.4.2 Đo hiệu nút 71 4.4.3 Qmon - Giao diện đồ hoạ quản lý tác vụ 72 CHƯƠNG - KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 74 5.1 NHỮNG KẾT QUẢ ĐÃ THỰC HIỆN ĐƯỢC TRONG LUẬN VĂN 74 5.2 HƯỚNG PHÁT TRIỂN 74 5.2.1 Tích hợp với hệ thống Portal 74 5.2.2 Tích hợp với Globus Toolkit 74 5.2.3 Xây dựng LiveCD cài đặt nút thực thi 74 TÀI LIỆU THAM KHẢO 76 SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế DANH MỤC CÁC HÌNH Hình 1- Mơ hình SaaS 17 Hình 2- Các loại mơ hình SaaS 18 Hình - Sun Grid Compute Utility 31 Hình - Kiến trúc Open Cloud 3TERA 34 Hình - Solaris Container 44 Hình - Java Interpreter 47 Hình - Các ứng dụng Compute Server cài đặt mẫu tính tốn chủ-thợ 50 Hình - Các ứng dụng Compute Server tạo nên chuỗi pha thực thi song song 50 Hình - Các mẫu Compute Server NetBeans IDE 52 Hình 10 - Các nhà phát triển tuỳ chọn ứng dụng với NetBeans 53 Hình 11 - Mơ hình ứng dụng Compute Server Technology 55 Hình 12 - Ba phân loại lưới 57 Hình 14 - Sự liên kết sách Grid Engine 60 Hình 15 - Message Passing Interface 64 Hình 16 - Truyền thông điệp máy 64 Hình 17 - Sơ đồ hệ thống Sun Grid Engine thử nghiệm 65 Hình 18 - Qmon Main Control Window 72 Hình 19 - Queue Instances 73 Hình 20 - Hosts status 73 SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế DANH MỤC CÁC TỪ VIẾT TẮT Ký hiệu API Tên đầy đủ Application Programming Interface ASP Application Service Provider BIG GRACE GT Business In the Grid Grid Architecture for Computation Economy Globus Toolkit HPL High Performance Linpack JVM MPI Java Virtual Machine Message Passing Interface SaaS Software as a Service SGE Sun Grid Engine SLA Service Level Agreement SOA TCP/IP Service Oriented Architecture Transmission Control Protocol / Internet Protocol Virtual Private Network VPN SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Giải thích Giao diện lập trình ứng dụng Nhà cung cấp dịch vụ ứng dụng Kiến trúc lưới hướng đến mục tiêu kinh tế Bộ công cụ middleware hỗ trợ tính tốn lưới Cơng cụ đo hiệu cao dành cho siêu máy tính Máy ảo Java Giao diện Truyền thông điệp Phần mềm dịch vụ Bộ quản lý tài nguyên phân tán dựa công nghệ Sun Thoả thuận cam kết chất lượng dịch vụ Kiến trúc hướng dịch vụ Bộ giao thức truyền thông tiếng cho mạng Internet Mạng riêng ảo Tính tốn lưới hướng kinh tế 63 thời gian tồn tại, công việc thực thi liên kết với hàng đợi Việc liên kết tới hàng đợi ảnh hưởng đến xảy cơng việc Ví dụ, hàng đợi bị tạm dừng, tất cơng việc gắn kết với hàng đợi bị tạm dừng theo Các công việc không cần phải đệ trình trực tiếp tới hàng đợi Người dùng cần xác định danh sách yêu cầu cơng việc Danh sách bao gồm yêu cầu nhớ, hệ điều hành, phần mềm có sẵn, v.v… Phần mềm động lưới tự động phân phối công việc tới hàng đợi thích hợp nút phù hợp có tải thực thi nhỏ Nếu bạn đệ trình cơng việc tới hàng đợi cụ thể đó, cơng việc bị gắn chặt vào hàng đợi Kết phần mềm động lưới lựa chọn thiết bị tốt phù hợp thiết bị có tải nhẹ Một hàng đợi cư trú nút đơn hàng đợi trải rộng nhiều nút Vì lý này, hàng đợi hệ thống động lưới gọi "cluster queues" Cluster queues cho phép người dùng người quản trị làm việc với nhóm nút thực thi với cấu hình hàng đợi đơn lẻ Mỗi nút mà gắn với cluster queue nhận thể hàng đợi từ cluster queue 3.5 Message Passing Interface Có nhiều mơ hình lập trình song song sử dụng phổ biến chia sẻ nhớ, đa luồng, truyền thơng điệp, song song liệu Trong đó, truyền thơng điệp mơ hình sử dụng rộng rãi tính tốn song song Mơ hình áp dụng cho hệ thống nhớ phân tán Một chương trình theo mơ hình bao gồm nhiều chương trình chạy độc lập nút với chuỗi lệnh nhớ riêng Mỗi chương trình có định danh chúng tương tác với việc gửi nhận thông điệp định danh Việc truyền liệu thường yêu cầu có hợp tác tiến trình Ví dụ thao tác truyền liệu phải có tương ứng thao tác nhận liệu Hiện nay, thư viện truyền thông điệp sử dụng phổ biến MPI (Message Passing Interface) [25] [38] Thư viện bao gồm hàm C, C++ Fortran dùng để truyền thông tiến trình MPI kết năm thảo luận MPI Forum, nhóm gồm khoảng 60 người từ 40 tổ chức khác đại diện cho nhà phân phối hệ thống song song, phịng thí nghiệm quốc gia trường đại học danh tiếng MPI thiết kế để tận dụng tất ưu hệ thống truyền thơng điệp có SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 64 Hình 15 - Message Passing Interface Hình 16 - Truyền thông điệp máy SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 65 CHƯƠNG - XÂY DỰNG HỆ THỐNG THỬ NGHIỆM Trong chương này, tác giả thực việc xây dựng hệ thống SUN GRID thử nghiệm ĐHBKHN dựa tài liệu hướng dẫn việc xây dựng môi trường thử nghiệm để phát triển ứng dụng trước đưa lên thực thi lưới Mục đích việc xây dựng hệ thống thử nghiệm: - Xây dựng lưới tính tốn phân tán dựa lập lịch Grid Engine SUN Lưới tính tốn phục vụ cho cơng việc nghiên cứu cán trường ĐHBKHN dựa tài nguyên đóng góp đơn vị trường - Triển khai ứng dụng Sun Grid: + SciLab + POV-Ray - Kết nối Sun Grid với Globus Toolkit để tạo thành hệ lưới tính tốn - Sau kết thúc giai đoạn chạy thử nghiệm, tiến hành triển khai thực tế trường ĐHBKHN 4.1 THÀNH PHẦN CỦA HỆ THỐNG 4.1.1 Sơ đồ hệ thống Master Host Execution Zone Exe Host Exe Host Exe Host Exe Host Exe Host Exe Host Exe Host Exe Host Hình 17 - Sơ đồ hệ thống Sun Grid Engine thử nghiệm SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 66 4.1.2 Thành phần hệ thống Hệ thống thử nghiệm xây dựng gồm thành phần: - Master Host: nút điều khiển tất thành phần cấu thành nên hệ thống Sun Grid Engine, gồm có nút: + master.sungrid.hut.vn: chạy hệ điều hành Sun 10 - Vùng thực thi (Execution Zones): chứa nút tính tốn, gồm có nút Các nút cài đặt hệ điều hành Sun Solaris 10 + exe1.sungrid.hut.vn + exe2.sungrid.hut.vn + exe3.sungrid.hut.vn + exe4.sungrid.hut.vn + exe5.sungrid.hut.vn + exe6.sungrid.hut.vn + exe7.sungrid.hut.vn + exe8.sungrid.hut.vn 4.1.3 Cấu hình hệ thống: - Nút điều khiển cài đặt dựa cơng nghệ ảo hố, sử dụng phần mềm VMWARE Server + xử lý Intel Pentium D CPU 3.4GHz + Dung lượng nhớ: 512 MB + Dung lượng ổ cứng 120 GB - Các nút thực thi cài đặt máy Sun Blade 1500 64bit + vi xử lý UltraSPARC IIe 650MHz + Dung lượng nhớ 512 MB + Dung lượng ổ cứng 80GB 4.2 TRIỂN KHAI HỆ THỐNG 4.2.1 Cài đặt nút điều khiển • Cài đặt Hệ điều hành Solaris 10 • Cài đặt Sun Java Platform, Standard Edition (J2SE) Development Kit 5.0 NetBeans 5.0 cho việc phát triển ứng dụng Java • Cài đặt Compute Server technology để tăng tốc trình phát triển ứng dụng tính tốn tiện ích dựa ngơn ngữ Java • Cài đặt MPICH phiên 1.2.7 • Thêm tài khoản người dùng để chia sẻ nút tạo file mặc định cshrc profile • Cài đặt cấu hình Sun N1 Grid Engine • Thêm tài khoản người dùng, thiết lập biến mơi trường kiểm thử • Cài đặt HPL SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 67 4.2.2 Cài đặt nút thực thi • Cài đặt Hệ điều hành Solaris 10 • Cài đặt Sun Java Platform, Standard Edition (J2SE) Development Kit 5.0 • Cài đặt Sun Studio 11 • Cài đặt MPICH phiên 1.2.7 • Thêm tài khoản người dùng để chia sẻ nút tạo file mặc định cshrc profile • Cài đặt cấu hình Sun N1 Grid Engine • Thêm tài khoản người dùng, thiết lập biến mơi trường kiểm thử • Thêm nút thực thi vào hệ thống N1GE có • Cài đặt HPL 4.3 BỘ CÔNG CỤ ĐO HIỆU NĂNG LINPACK 4.3.1 Linpack Để đo hiệu hệ thống siêu máy tính, giới sử dụng công cụ đo High Performance LINPACK (HPL) [23] Công cụ cho phép thực đo hiệu hệ thống thực giải hệ phương trình tuyến tính Ax=b với kích thước ma trận A tuỳ biến Hiện có phiên HPL, phiên 1.0 phát hành vào tháng 1/2004 phiên 2.0 phát hành vào tháng 9/2008 Trong thực nghiệm, tác giả sử dụng phiên HPL 2.0 Bản chất phép đo hiệu thực LINPACK phải giải hệ phương trình tuyến tính Ax = b, A ma trận vng cấp N, cịn x b vector có kích thước N Có thể biểu diễn sau (với m = n = N) Ma trận A phân tích thành tích ma trận tam giác L U: A = L.U, với L ma trận tam giác trên, U ma trận tam giác SV: Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 68 Để ổn định mặt tính tốn, giải thuật phân tích thừa số sử dụng giải thuật xác định phần tử trụ theo cục hàng Phần tử trụ theo hàng phần tử có giá trị tuyệt đối lớn nhất, dựa phần tử thực thao tác biến đổi ma trận Nghiệm x xác định sau giải hệ phương trình: L.z = b U.x = z Q trình phân tích ma trận A thành tích L.U yêu cầu độ phức tạp tính tốn (2/3)*N3 flops Q trình giải hệ phương trình có độ phức tạp * N2 flops Khi N lớn thời gian để phân tích ma trận A chiếm nhiều thời gian 4.3.2 Ý nghĩa thông số Các thông số đo hiệu [24] thiết lập qua tuỳ chọn file "HPL.dat" Để có hiệu tốt cho hệ thống, người dùng cần phải đo với nhiều thông số khác lựa chọn thơng số có kết tốt thơng số cho hiệu tồn hệ thống cao SV: Phan Thanh Liêm - Lớp CH CNTT 2006 69 Hình 18 - Nội dung file "HPL.dat" Dịng Nội dung file HPLinpack benchmark input file Innovative Computing Laboratory, University of Tennessee HPL.out output file name (if any) device out (6=stdout,7=stderr,file) 1000 Ns # of NBs 200 210 220 230 240 250 NBs PMAP process mapping (0=Row-,1=Column-major) 10 11 12 13 14 15 16 17 18 19 20 21 1 16.0 2 # of problems sizes (N) # of process grids (P x Q) Ps Qs threshold # of panel fact PFACTs (0=left, 1=Crout, 2=Right) # of recursive stopping criterium NBMINs (>= 1) # of panels in recursion NDIVs # of recursive panel fact RFACTs (0=left, 1=Crout, 2=Right) Ý nghĩa dòng Tên file log HPL.out Thiết bị xuất kết + 6:màn hình, + 7:lỗi, + Khác 7:xuất file có tên dịng Số kích cỡ ma trận-N thực kiểm tra Giá trị Kích cỡ ma trận N tương ứng, ngăn cách dấu space Số block size thực kiểm tra Giá trị block size tương ứng Ánh xạ tiến trình: + 0: theo hàng (cho giá trị tốt đôi với cluster) + 1: theo cột Số lưới xử lý, xác định cặp PxQ P * Q = Tổng số core P số lượng xử lý hàng Q số lượng xử lý cột Ngưỡng để so sánh với phần dư 70 22 23 24 25 26 27 28 29 30 31 1 64 0 # of broadcast BCASTs (0=1rg,1=1rM,2=2rg,3=2rM,4=Lng,5=LnM) # of lookahead depth DEPTHs (>=0) SWAP (0=bin-exch,1=long,2=mix) swapping threshold L1 in (0=transposed,1=no-transposed) form U in (0=transposed,1=no-transposed) form Equilibration (0=no,1=yes) memory alignment in double (> 0) Giá trị BCAST=1 tốt cho cluster Đặt NB Đặt Đặt Luôn đặt Có thể lấy giá trị 4, 8, 16 Tính tốn lưới hướng kinh tế 71 4.3.3 Khuyến nghị việc lựa chọn thông số Việc lựa chọn thông số tham khảo theo tài liệu [24][36][37] - Kích thước ma trận N thường tính theo cách sau: Dung lượng nhớ ma trận chiếm khoảng 80% tổng số RAM hệ thống, với giả định 20% RAM cịn lại dành cho tiến trình hệ thống Trong trường hợp xác định lượng RAM cịn trống tính theo lượng RAM trống Do phần tử ma trận có độ xác kép, chiếm dung lượng bytes, nên N xác định công thức sau: N x N x = 80% RAM, hay: N= 80% RAM = RAM 10 - Giá trị NB: Do HPL chương trình phụ thuộc vào nhớ, mục đích cần tìm giá trị N lớn trước xảy tượng tráo đổi nhớ Thêm điều kiện N cần phải chia hết cho NB để tránh tượng cân tải cơng việc phải tính tốn phần ma trận dư thừa + Nên bắt đầu NB giá trị nhỏ 16, 32 48 sau lần tăng thêm 16 đơn vị, tìm giá trị đạt hiệu tốt Khoảng giá trị NB = [Nbmin= 16; Nbmax=256] Do giá trị NB tốt không phụ thuộc vào N, nên cần thực tập nhỏ nút để tránh thời gian thực lâu Thường khảo sát giá trị NB với kích thước ma trận N/4 N/2 + Khi chọn giá trị NB tốt nhất, thực tinh chỉnh N để tìm giá trị N lớn với hiệu tốt 4.4 CHẠY THỬ NGHIỆM 4.4.1 Đo hiệu nút - Thực đo hiệu Master Host - Lượng RAM cịn trống Master host: 350 MB - Khoảng giá trị NB gồm có 16 giá trị = [16, 32, 48, 64, 80, 96, 112, 128, 144, 160, 176, 192, 208, 224, 240, 256] - Theo cơng thức tính N trên, ta có N ≈ 350 * 1024 * 1024 ≈ 6,773 Do N cần chia hết cho NB, nên Nmax = (6773 div NB) * NB - Khoảng giá trị N = [Nmax/4, Nmax + NB, … , Nmax] - Do sử dụng vi xử lý nên P Q hay [P,Q] = [1, 1] Sau trình chạy đo hiệu năng, kết thu thông số tương ứng với hiệu cao sau: - NB = 32 - N = 1280 - Hiệu năng: 1.069 GFlops 4.4.2 Đo hiệu nút - Thực đo hiệu nút: từ exe1 đến exe8 Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 72 - Lượng RAM trống host: 250 MB - Tổng lượng RAM toàn hệ thống: 250 MB x = 2GB - Khoảng giá trị NB gồm có 16 giá trị = [16, 32, 48, 64, 80, 96, 112, 128, 144, 160, 176, 192, 208, 224, 240, 256] - Theo công thức tính N trên, ta có N ≈ * 1024 * 1024 * 1024 ≈ 16384 Do N cần chia hết cho NB, nên giá trị NB ta có giá trị N lớn Nmax = (16384 div NB) * NB - Khoảng giá trị N cần khảo sát = [Nmax/4, Nmax/4+NB, … , Nmax] - cặp giá trị [P, Q], [1, 8]; [2, 4]; [4, 2]; [8, 1] Sau trình chạy đo hiệu năng, kết thu thông số tương ứng với hiệu cao sau: - NB = ?? - N = ?? - Hiệu năng: ?? Gflops 4.4.3 Qmon - Giao diện đồ hoạ quản lý tác vụ * Khởi tạo Qmon Main Control Window Hình 19 - Qmon Main Control Window * Hiển thị danh sách hàng đợi Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 73 Hình 20 - Queue Instances * Hiển thị danh sách nút Hình 21 - Hosts status Phan Thanh Liêm - Lớp CH CNTT 2006 Tính toán lưới hướng kinh tế 74 CHƯƠNG - KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 5.1 NHỮNG KẾT QUẢ ĐÃ THỰC HIỆN ĐƯỢC TRONG LUẬN VĂN Trong luận văn này, tác giả thực công việc sau: • Tìm hiểu tổng quan lưới tính tốn lưới hướng kinh tế • Khảo sát, so sánh ưu nhược điểm mơ hình lưới kinh tế thực tế để nắm trạng phát triển, từ vạch vấn đề, tốn cụ thể • Đề xuất giải pháp phù hợp với xu hướng phát triển để giải vấn đề Việt Nam • Nghiên cứu, tìm hiểu cơng nghệ Sun Grid Engine tiến hành cài đặt, triển khai hệ thống o Cài đặt thành công hệ thống Sun Grid Engine nút điều khiển o Cài đặt thành công hệ thống nút thực thi o Đánh giá hiệu hệ thống dựa công cụ đo hiệu High Performance LINPACK 5.2 HƯỚNG PHÁT TRIỂN 5.2.1 Tích hợp với hệ thống Portal Với mục đích tạo hệ thống dễ sử dụng người dùng, tương lai, tác giả tích hợp SGE với hệ thống portal dựa công nghệ Sun, tương tác với APIs Sun Grid Engine Hệ thống cho phép người dùng sử dụng hệ thống cách trực quan, thông qua giao diện Web 5.2.2 Tích hợp với Globus Toolkit Bộ cơng cụ Globus Toolkit sản phẩm dự án Globus – dự án hợp tác nhiều công ty Mỹ nhằm tìm giải pháp cho tính tốn lưới Đã có hàng trăm dự án áp dụng tính tốn lưới cỡ lớn, cỡ nhỏ toàn giới sử dụng công cụ Globus Toolkit để xây dựng sở hạ tầng triển khai ứng dụng Hệ thống tính tốn phân cụm dựa cơng nghệ SUN xây dựng chạy thử nghiệm thành công Nhằm tận dụng sức mạnh hệ thống phạm vi trường đại học, tổ chức, tác giả dự kiến kết nối Sun Grid với Globus Toolkit BKGrid (một sản phẩm TT Tính tốn Hiệu cao - ĐHBKHN) 5.2.3 Xây dựng LiveCD cài đặt nút thực thi Với số lượng nút xử lý trường đại học lớn (30005000 nút), nhằm đơn giản hố q trình cài đặt nút thực thi Tác giả dự kiến xây dựng LiveCD tích hợp sẵn thành phần SGE Khi sử dụng LiveCD để khởi động cho máy tính thơng thường, biến nút thành nút thực thi với thời gian ngắn mà không ảnh hưởng đến Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 75 liệu có hệ thống Như việc tạo lưới tính tốn cỡ trung trở nên đơn giản, tận dụng sức mạnh xử lý nhớ máy tính rỗi 5.2.4 Một số cơng việc khác: Ngồi ra, hệ thống tích hợp thêm thành phần: • FlexLM, quản lý giấy phép phần mềm • Gridway-Globus - siêu lập lịch, cho phép việc chia sẻ tài nguyên tính tốn cách tin cậy, hiệu kích cỡ lớn, quản lý nhiều hệ thống lập lịch nội khác (PBS, SGE, LSF, Condor, …) tổ chức trải nhiều miền quản trị khác Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 76 TÀI LIỆU THAM KHẢO TIẾNG VIỆT [1] Trung tâm tính tốn Hiệu cao, “Báo cáo đề tài nhánh nghiên cứu Grid Computing”, tr 13-39, 3-2006 [2] Dương Quốc Trọng, "Lưới liệu hướng kinh tế", Đồ án tốt nghiệp Đại học, 6-2008 [3] Đoàn Văn Ban, Nguyễn Mậu Hân, Giáo trình "Xử lý song song phân tán", 2006 TIẾNG ANH [4] 3Tera, http://3tera.com [5] Amazon Elastic Compute Cloud, http://aws.amazon.com/ec2/ [6] Compute Server Project, https://computeserver.dev.java.net [7] Sun Official Website, http://www.sun.com/ [8] Sun Grid Compute Utility, http://network.com/ [9] Sun Grid Engine Project, http://gridengine.sunsource.net/ [10] Sun Grid Developer Community, http://sun.java.net/sungrid/ [11] Business in the Grid Infrastructure (BIG) project, http://www.informatik.univie.ac.at/big [12] Heinz Stockinger, Elisabeth Vinek, Thomas Weishaupl ,“Grid Computing and Business survey 1: for people not yet familiar with Grid Computing”, Available online: http://www.pri.univie.ac.at/workgroups/grid-dictionary/ [13] Heinz Stockinger, Elisabeth Vinek, Thomas Weishaupl ,“Grid Computing and Business survey 2: for people already dealing with Grid Computing”, Available online: http://www.pri.univie.ac.at/workgroups/grid-dictionary/ [14] Heiz Stockinger, “Grid Computing: A critical discussion on Business Applicability”, Vol 7, No 6, IEEE Distributed Systems Online, June 2006 [15] John M Willis, “Demystifying Clouds”, Available online: http://www.johnmwillis.com/redmonk/demystifying-clouds/ [16] John M Willis, “Cloud computing vendors A - Z”, Available online: http://www.johnmwillis.com/mysql/cloud-vendors-a-to-z/ [17] Grid Econ Website: http://gridecon.eu/html/deliverables.shtml [18] GridASP Website: http://www.gridasp.org/wiki/ [19] GRASP Website: http://eu-grasp.net [20] GRACE Website: http://www.buyya.com/ecogrid/ [21] Business In the Grid Website: http://www.pri.univie.ac.at/workgroups/big/ [22] WebEx Connect, First SaaS Platform to deliver Mashup Business Applications for Knowledge Workers, http://www.webex.com/pr/pr428.html, 2007 [23] HPL, http://www.netlib.org/benchmark/hpl [24] HPL Tuning, http://www.netlib.org/benchmark/hpl/tuning.html [25] MPICH, http://www-unix.mcs.anl.gov/mpi/mpich1/ Phan Thanh Liêm - Lớp CH CNTT 2006 Tính tốn lưới hướng kinh tế 77 [26] Jorn Altmann, Stavros Routzounis, “Economic Modeling of Grid Services”, e-Challenges 2006, Oct 2006 [27] Jorn Altmann, Ashraf A Bany Mohammed, Mihaela Ion, "Taxonomy of Grid Business Models", Proceedings of Grid Economics and Business Models, Rennes, France, August 2007 [28] Flavia Donno, Heinz Stockinger, Thomas Weishaupl, “Grid Computing and Business Survey”, Ver 1, Feb 2005 [29] Sun Microsystems, “Sun Grid Developers Guide”, 2008 [30] Sun Microsystems, “Sun Grid User Guide”, 2008 [31] Sun Microsystems, "Sun N1 Grid Engine 6.1 User's Guide", May 2007 [32] Sun Microsystems, "Sun N1 Grid Engine 6.1 Installation Guide", Jan 2008 [33] Sun Microsystems, "Sun N1 Grid Engine 6.1 Administration Guide", Jan 2008 [34] Sun Microsystems, “System Administration Guide Solaris Containers Resource Management and Solaris Zones”, 2008 [35] Ahmar Abbas, “Grid computing: a practical guide to technology and applications”, 2004 [36] Oleg I.Vdovikin, "Running High-Performance Linpack on IBM pSeries JS20 cluster with Myrinet Interconnect", 2005 [37] Xavier Pillons, "Running HPL on Windows HPC Server 2008", Jan 2008 [38] William Gropp, Ewing Lusk, "Installation and User's Guide to MPICH", June 2005 Phan Thanh Liêm - Lớp CH CNTT 2006 ... KHAI HỆ THỐNG SUN GRID ENGINE TẠI ĐHBKHN PHAN THANH LIỂM 2006 - 2008 Hà Nội 2008 Hµ Néi 2008 LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU VỀ MƠ HÌNH LƯỚI HƯỚNG KINH TẾ VÀ ỨNG DỤNG TRIỂN KHAI HỆ THỐNG SUN GRID. .. CHƯƠNG - MƠ HÌNH LƯỚI HƯỚNG KINH TẾ Chương trình bày nghiên cứu, tìm hiểu kiến thức tổng quan lưới hướng kinh tế, hướng nghiên cứu chủ đạo tính toán lưới năm gần Khái niệm lưới kinh tế gì? Nó có... PHÂN LOẠI MƠ HÌNH LƯỚI KINH TẾ 19 2.3.1 Các mơ hình lưới kinh tế nghiên cứu 20 2.3.2 Các mơ hình lưới kinh tế thương mại 20 2.4 TÌM HIỂU MỘT SỐ MƠ HÌNH LƯỚI KINH TẾ TRÊN THẾ GIỚI