Mở rộng mô hình hoạt động của CAPE bằng cách sử dụng máy ảo

Bài viết này đánh giá hiệu năng hoạt động của CAPE khi mở rộng mô hình hoạt động của CAPE trên mạng máy tính sử dụng bộ vi xử lý đa lõi theo hướng sử dụng mô hình đa tiến trình trên mỗi nút tính toán bằng cách sử dụng máy ảo.

Tạp chí Khoa học Đại học Huế: Khoa họ c Tự nhiên; ISSN 1859–1388 Tập 127, Số 2A, 2018, Tr 159–168; DOI: 10.26459/hueuni-jtt.v127i2A.4795 MỞ RỘNG MƠ HÌNH HOẠT ĐỘNG CỦA CAPE BẰNG CÁCH SỬ DỤNG MÁY ẢO Đỗ Xuân Huyền1, Hà Viết Hải2* Trường Đại học Khoa học, Đại học Huế, 77 Nguyễn Huệ, Huế, Việt Nam Trường Đại học Sư phạm, Đại học Huế, 32 Lê Lợi, Huế, Việt nam Tóm tắt : Lập trình song song để đáp ứng yêu cầu tốc độ xử lý cho tốn địi hỏi tốc độ cao trở thành tất yếu năm gần đây, tốc độ xung nhịp lõi CPU gần khơng tăng OpenMP, chuẩn lập trình song song cho kiến trúc sử dụng nhớ chia sẻ sử dụng rộng rãi với phổ cập vi xử lý đa lõi CAPE (Checkpointing Aided Parallel Execution) hướng tiếp cận để mở rộng OpenMP cho kiến trúc nhớ phân tán Các phân tích lý thuyết kết thực nghiệm chứng minh CAPE có khả cung cấp hiệu hoạt động cao khả tương thích hồn tồn với chuẩn OpenMP Bài viết đánh giá hiệu hoạt động CAPE mở rộng mơ hình hoạt động CAPE mạng máy tính sử dụng vi xử lý đa lõi theo hướng sử dụng mơ hình đa tiến trình nút tính tốn cách sử dụng máy ảo Từ khóa: CAPE, Checkpointing Aided Parallel Execution, OpenMP, Tính tốn song song, Tính tốn phân tán, Tính tốn hiệu cao, HPC Mở đầu 1.1 OpenMP OpenMP API cung cấp mức trừu tượng hóa cao để viết chương trình song song Nó bao gồm tập biến môi trường, thị hàm, xây dựng để hỗ trợ việc dễ dàng biến chương trình ngơn ngữ sở C/C++ Fortran thành chương trình song song theo mơ hình đa luồng Do sử dụng cấu trúc sở luồng (thread), mô hình nhớ OpenMP nhớ chia sẻ, khơng gian nhớ sử dụng chung luồng Đã có nhiều nỗ lực để cài đặt OpenMP kiến trúc sử dụng nhớ phân tán chưa có phương án thành cơng hai mặt tương thích hồn tồn với chuẩn OpenMP có hiệu cao Những phương án bật kể đến sử dụng SSI 1; SCASH 2; sử dụng mơ hình RC 3; biên dịch thành MPI 4,5; sử dụng Global Array 6; Cluster OpenMP Cluster OpenMP sản phẩm thương Intel đòi hỏi phải sử dụng thêm thị riêng (khơng nằm * Liên hệ: haviethai@dhsphue.edu.vn Nhận bài: 6–5–2018; Hoàn thành phản biện: 31–5–2018; Ngày nhận đăng: 31–5–2018 Đỗ Xuân Huyền Hà Viết Hải Tập 127, Số 2A, 2018 chuẩn OpenMP) số trường hợp vậy, chưa cung cấp cài đặt tương thích hồn tồn với OpenMP CAPE CAPE phát triển với mục tiêu đưa OpenMP lên hệ thống sử dụng nhớ phân tán, điển hình cluster, lưới đám mây CAPE sử dụng đơn vị song song sở tiến trình (process), thay cho luồng OpenMP nguyên để vận hành hệ thống sử dụng nhớ phân tán Mơ hình nhớ sử dụng mơ hình nhớ chia sẻ đồng trễ, với khung nhìn riêng tiến trình nhớ cục tiến trình, việc đồng thực qua chế ngầm định cài đặt thị đồng Đối với mơ hình hoạt động, CAPE tất nhiệm vụ quan trọng mô hình fork-join OpenMP cài đặt cách tự động dựa kỹ thuật chụp ảnh tiến trình, bao gồm việc phân chia công việc cho tiến trình, trích rút kết thực tiến trình phụ cập nhật kết vào khơng gian nhớ tiến trình CAPE triển khai hệ thống mạng theo mơ hình Chính-Phụ (Master-Slave) Trong nút (Master) đóng vai trị luồng mơ hình hoạt động OpenMP nút phụ (Slave/nút tính tốn) đảm nhận vai trị luồng tính tốn Theo đó, nút thực phần mã luồng chính, phân chia cơng việc cho luồng phụ chứa kết thực tất luồng sau thực xong khối mã song song Chi tiết mơ hình triển khai CAPE xin tham khảo CAPE phát triển cài đặt ban đầu để thực thị song song OpenMP parallel for, parallel section Các phân tích lý thuyết số liệu thực nghiệm chứng minh tính hiệu CAPE, với hệ số tăng tốc đo nằm khoảng 75% đến 90% so với hệ số gia tăng tối đa lý thuyết xấp xỉ 90% MPI 810 Tuy nhiên, với mơ hình hoạt động CAPE nút tính tốn có tiến trình thực câu lệnh chương trình ứng dụng Hơn nữa, tiến trình tiến trình khơng phải đa luồng Do nút tính tốn lúc đó, câu lệnh chương trình ứng dụng thực cách Điều thấy rõ quan sát biểu đồ đo đạc thông số vận hành hệ thống chạy CAPE, Hình , biểu diễn tỷ lệ hoạt động lõi CPU nút tính tốn trang bị CPU lõi Qua biểu đồ dễ dàng nhận thấy có luân phiên sử dụng lõi CPU thời điểm có lõi CPU khai thác chính, hết cơng suất, lõi khác không hoạt động Như vậy, tài ngun tính tốn hệ thống cịn bị lãng phí khai thác chúng cách hiệu làm giảm thời gian thực chương trình, tức tăng hiệu suất hoạt động 160 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 Hình Tỷ lệ hoạt động lõi nút tính tốn chạy tiến trình Giải pháp mở rộng mơ hình hoạt động CAPE mạng máy tính đa lõi Việc khai thác khả xử lý đa lõi CAPE tiến hành nút nút phụ Trong phạm vi báo này, có nút phụ xem xét Theo mơ hình hoạt động thời CAPE, vùng song song, nút phụ giao phần công việc đoạn mã song song thực tiến trình Chính điều dẫn đến việc có lõi CPU sử dụng với tỷ lệ cao, cịn lõi khác trạng thái nghỉ Để tăng hiệu suất chương trình, rõ ràng khoảng thời gian thực tính tốn nút phụ, cần song song hóa đoạn mã này, tức phải tìm cách để có đa tiến trình đa luồng thực Chúng tơi sử dụng đa tiến trình nút phụ cách cho thực song song nhiều lần chương trình ứng dụng nút, lần thực chạy tiến trình độc lập, có số hiệu khác phân phần cơng việc khác đoạn mã tính tốn song song Giải pháp cài đặt thử nghiệm 9, với cluster gồm máy tính trang bị CPU Intel Core i3 (2 lõi x siêu phân luồng), tốc độ 3.5GHz, RAM 4GB, chạy hệ điều hành Ubuntu 14.04, kết nối mạng Ethernet tốc độ 100Mb/s (máy thực) Các thử nghiệm cho kết tốc tăng tốc gần gấp cho chạy tiến trình ứng dụng đồng thời nút tính tốn Đây kết tốt hợp lý mặt hiệu Tuy nhiên, giải pháp gặp phải vấn đề tính ổn định Số liệu thực nghiệm cho thấy tình tranh chấp mặt tài nguyên IP hệ thống nút tính tốn dẫn đến dừng hệ thống lên đến đến gần 30% trường hợp thử nghiệm Để khắc phục tình tranh chấp mặt tài nguyên IP hệ thống, sử dụng nhiều máy ảo nút phụ, máy ảo chạy tiến trình đoạn mã tính tốn song song Đây nội dung báo 161 Đỗ Xuân Huyền Hà Viết Hải Tập 127, Số 2A, 2018 Sử dụng đa tiến trình nút tính tốn cách sử dụng máy ảo 4.1 Nguyên tắc Máy ảo (Virtual Machine) phần mềm mơ hệ thống máy tính Máy ảo chạy hệ điều hành - hệ điều hành chủ cung cấp phần cứng ảo tới hệ điều hành khách Đối với hệ điều hành khách, máy ảo lại diện cỗ máy vật lý thực Ta cài đặt nhiều máy ảo lên máy thực cho chúng chạy đồng thời, với chương trình khác chạy máy ảo Ý tưởng khởi đầu giải pháp sử dụng đa tiến trình nút tính tốn cách sử dụng máy ảo xuất phát từ vấn đề tương tranh tiến trình giải pháp sử dụng đa tiến trình nút phụ nói Vấn đề xảy tiến trình chạy máy (vật lý) nên có chung địa IP Khi chuyển qua sử dụng máy ảo, trình ứng dụng người dùng trình theo dõi cài đặt thực máy ảo, có nhiều máy ảo cài đặt vận hành song song máy vật lý nút phụ Nhờ tính chất độc lập máy ảo, dù có chạy máy tính máy ảo có địa IP riêng, nguy xung đột tiến trình tranh chấp IP giải Hình trình bày mơ hình giải pháp này, với nút thực tiến trình máy thực nút phụ, nút sử dụng máy ảo, máy ảo thực tiến trình chương trình ứng dụng Hình Mơ hình sử dụng nhiều máy ảo nút phụ 162 jos.hueuni.edu.vn 4.2 Tập 127, Số 2A, 2018 Cách thức cài đặt Chúng cài đặt giải pháp với máy ảo KVM (Kernel-based Virtual Machine) máy ảo hóa đầy đủ cho Linux tảng phần cứng x86 KVM cung cấp kiến trúc ảo hóa module xử lý chuyên biệt Trình quản trị KVM cho phép thực nhiều máy ảo máy tính vật lý, máy có địa IP khác điều hữu hiệu cho việc cấu hình CAPE Nhờ khả mà ta dễ dàng chạy nhiều tiến trình người dùng nút phụ mà không bị xung đột IP Thực tế việc cài đặt dễ dàng, cần cài đặt CAPE trình ứng dụng máy ảo, sau nhân thành nhiều máy Cơng việc cịn lại viết lại Trình phân phối để cấu hình CAPE máy ảo Dưới ví dụ mã Trình phân phối viết lại để thay cho mã ban đầu Hệ thống bao gồm máy đóng vai trị nút chính, hai máy khác đóng vai trị nút tính tốn, máy chạy máy ảo #!bin/sh folder=/home/hahai/cape2/cdv9 prog=mulmt num_nodes=4 master=172.16.1.1 node1a=172.16.1.20 6a node1b=172.16.1.24 node2a=172.16.1.52 7a node2a=172.16.1.60 ${folder}/dbpf -f ${folder}/${prog} -a ${master} –k ${num_nodes} -c ${master} -o & ssh ${node1a} ${folder}/dbpf -f ${folder}/${prg} -a ${master} -k ${num_nodes} -o & 9a ssh ${node1b} ${folder}/dbpf -f ${folder}/${prg} -a ${master} -k ${num_nodes} -o & 10 ssh ${node2a} ${folder}/dbpf -f ${folder}/${prg} -a ${master} -k ${num_nodes} -o & 10a ssh ${node2b} ${folder}/dbpf -f ${folder}/${prg} -a ${master} -k ${num_nodes} -o & 11 exit Hình Trình phân phối với máy ảo Các thay đổi mã bao gồm: 163 Đỗ Xuân Huyền Hà Viết Hải Tập 127, Số 2A, 2018 - Dịng 4: chỉnh sửa để có tiến trình phụ máy ảo; - Dịng 6: chỉnh sửa tương ứng với IP máy ảo node 1; - Dòng 6a: nhân dòng địa IP tương ứng với máy ảo thứ node 1; - Dòng 7a: tương tự dòng 6a áp dụng cho node phụ thứ 2; - Dòng 9: sửa đổi để tham chiếu đến máy ảo 1a node phụ thứ 1; - Dòng 9a: nhân dịng số tiến trình tham chiếu tới node 1b, IP máy ảo thứ node Như vậy, node vật lý thứ thứ 1, có lần trình ứng dụng thực hiện, tức có tiến trình với số khác tạo cho đoạn mã song song; - Dòng 10 10b: xử lý tương tự với dịng 9a, có số tiến trình 4.3 Đánh giá hiệu giải pháp Chúng thực việc đánh giá giải pháp Cluster máy tính để bàn có CPU Intel Core i3, lõi x hyperthread (được tính lõi), nối mạng Ethernet 100 Mb/s Đây cấu hình phổ dụng trường đại học Đánh giá tỷ lệ sử dụng CPU Về khả khai thác lõi hệ thống máy tính đa lõi, thu kết tương tự với trường hợp sử dụng đa tiến trình máy thực giới thiệu mục Trong đó, tỷ lệ khai thác lõi CPU 100% sử dụng máy ảo nút vật lý 50% trường hợp sử dụng máy ảo Biểu đồ đo tỷ lệ sử dụng chụp ảnh trình bày Hình Hình Lý cho việc chọn thử nghiệm với máy ảo máy tính để tương ứng với cấu hình CPU lõi x siêu phân luồng, chạy song song thật cho x tiến trình Hình Tỷ lệ khai thác lõi chạy máy ảo 164 jos.hueuni.edu.vn Tập 127, Số 2A, 2018 Hình Tỷ lệ khai thác lõi chạy máy ảo Đánh giá hiệu thực chương trình Để đánh giá giải pháp mặt hiệu năng, chúng tơi thử nghiệm tốn nhân ma trận với kích thước ma trận 6000x6000, sử dụng 21 nút vật lý (1 nút 20 nút phụ), số lượng máy ảo nút phụ biến thiên với giá trị 1, Thời gian thực so sánh với giải pháp CAPE tại, tức chạy tiến trình máy thực Biểu đồ so sánh thời gian chạy trình bày Hình nhóm tương ứng với trường hợp chạy tiến trình máy thực Theo nguyên lý hoạt động chung CAPE, số liệu tương tự thu thử nghiệm cho tốn có chứa vịng lặp for lớn song song hóa với cấu trúc parallel for OpenMP Như biểu đồ thể hiện, CPU làm việc nhiều hơn, kết mặt hiệu không mong đợi, thời gian thực trường hợp sử dụng máy ảo lớn thời gian sử dụng máy thực (vật lý) Ngay trường hợp tốt sử dụng máy ảo nút phụ, thời gian nút phụ nút tăng lên khoảng đến lần Điều kết chi phí máy ảo lên thời gian thực trường hợp này, chi phí lớn nhiều so với lợi ích thu lại chạy nhiều tiến trình của trình ứng dụng máy ảo Do đó, sử dụng nhiều máy ảo chương trình chạy chậm lại, dẫn đến suy giảm hiệu Hình Thời gian thực chương trình với số máy ảo khác 165 Đỗ Xuân Huyền Hà Viết Hải Tập 127, Số 2A, 2018 Để kiểm chứng lại việc giảm hiệu hệ thống sử dụng máy ảo thử nghiệm chạy chương trình nhân hai ma trận kích thước 6000x6000 viết ngơn ngữ C chạy máy tính cài hệ điều hành Ubuntu 14.04, máy ảo KVM, có cấu hình CPU Core i7, lõi x hyperthread (được tính lõi), RAM GB có cài máy ảo với kịch khác để kiểm chứng: kịch chạy chương trình máy thực, máy máy ảo sử dụng lõi CPU, chạy máy ảo máy ảo sử dụng lõi CPU, chạy vào máy ảo sử dụng máy ảo 01 lõi CPU, dung lượng RAM phân cho máy ảo Để đơn giản việc thử nghiệm kịch sử dụng nhiều máy ảo với chương trình lập trình tuần tự, chúng tơi chạy đồng thời chương trình nhân ma trận kích thước 6000x6000 máy ảo Ví dụ: Trường hợp chạy máy ảo thời gian chạy máy ảo tương đương với máy thực có nghĩa tăng tốc khoảng gấp đôi Kết thực nghiệm với số liệu Bảng cho thấy việc sử dụng máy ảo làm giảm tốc độ thực chương trình mức độ suy giảm trường hợp lớn Đối với trường hợp tốt sử dụng máy ảo mức độ suy giảm tới khoảng 1.8 lần, CPU thường xuyên sử dụng tối đa 100% cơng suất lõi có ln phiên sử dụng lõi CPU theo thời gian, thể Hình Hình Trạng thái sử dụng CPU chạy chương trình máy ảo Bảng Kết thực nghiệm mức độ giảm hiệu sử dụng máy ảo Số máy ảo 166 Kích thước ma trận Tổng thời gian thực chương trình Tổng thời % suy giảm gian/số lượng hiệu so máy với máy thực Ghi 6000 954 954 0% Máy thực 6000 4,542 4,542 476% 01 máy ảo 6000 5,172 2,586 271% 02 máy ảo 6000 6,829 1,707 179% 04 máy ảo 6000 10,715 1,786 187% 06 máy ảo 6000 21,755 2,719 285% 08 máy ảo jos.hueuni.edu.vn 4.4 Tập 127, Số 2A, 2018 Đánh giá ưu điểm nhược điểm giải pháp Tương tự với giải pháp sử dụng đa tiến trình máy thực, ưu điểm bật giải pháp tính đơn giản, mã chương trình giữ nguyên (trừ chỉnh sửa Trình phân phối) Tất nhiên giải pháp có phức tạp phải có thêm bước cài đặt sử dụng máy ảo, nhiên việc khơng có vấn đề mặt kỹ thuật, cần sử dụng kỹ thuật máy ảo sẵn có Ưu điểm thứ tiến trình cài đặt máy ảo có IP khác nên tránh xung đột lỗi gây xung đột, lỗi thường xảy giải pháp sử dụng nhiều tiến trình máy thực Tuy nhiên, nhược điểm lớn giải pháp làm tăng thời gian thực chương trình khơng làm giảm kỳ vọng Điều làm cho giải pháp khơng có ý nghĩa xét mặt hiệu năng, tức khơng có ý nghĩa cho việc nâng cao hiệu suất hoạt động hệ thống Kết luận hướng phát triển Bài báo đề xuất ý tưởng thực cài đặt thử nghiệm đánh giá hiệu triển khai CAPE theo hướng sử dụng đa tiến trình/đa luồng hệ thống máy tính đa lõi cách sử dụng máy ảo Kết thực nghiệm giải pháp trình bày cụ thể mục 3, hoạt động khơng có lỗi, khai thác tỷ lệ làm việc CPU cao, lại giảm hiệu hoạt động so sánh với trường hợp triển khai máy thực, chi phí máy ảo lớn phí phí khác thác tối đa tỷ lệ làm việc CPU Để khai thác tốt vi xử lý đa lõi, thay mở rộng mơ hình hoạt động theo hướng đa tiến trình cách sử dụng máy ảo trên, định hướng sử dụng đa luồng nút tính tốn Theo nhận định ban đầu, sử dụng đa luồng giúp song song hóa đoạn mã tính tốn tránh lỗi đụng độ IP giải pháp sử dụng đa tiến trình máy thực không gặp phải vấn đề suy giảm hiệu suất sử dụng máy ảo Tuy nhiên, để thực việc phải nâng cấp trình checkpointer CAPE để theo dõi tiến trình đa luồng Đây việc thực phức tạp, đòi hỏi nhiều thời gian công sức Trong thời gian tới, tập trung nghiên cứu phát triển CAPE theo hướng Tài liệu tham khảo D Margery, G Vallée, R Lottiaux, C Morin, J Berthou Kerrighed: A SSI Cluster OS Running OpenMP Proceeding of the Fifth European Workshop on OpenMP (EWOMP 2003) Aachen, Germany, September, 2003 M Sato, H Harada, A Hasegawa and Y Ishikaw, Cluster-enabled OpenMP: An OpenMP compiler for the SCASH software dis-tributed shared memory system Journal Scientific Programming, Volume Issue 2,3 (2001) J Tao, W Karl, C Trinitis Implementing an OpenMP Execution Environment on InfiniBand Clusters Proceeding of the First International Workshop on OpenMP (IWOMP 2005) Eugene, Oregon, 2005 167 Đỗ Xuân Huyền Hà Viết Hải Tập 127, Số 2A, 2018 A Saa-Garriga, D Castells-Rufas, J Carrabina (2015) OMP2MPI: Automatic MPI code generation from OpenMP programs Proceedings of the Workshop on High Performance Energy Efficient Embedded Systems (HIP3ES 2015), Collocated with HIPEAC 2015 Conference Amsterdam, Holland, January 2015 Jacob A.C et al Exploiting Fine - and Coarse - Grained Parallelism Using a Directive Based Approach Lecture Notes in Computer Science, vol 9342 Springer, Cham, pp 30-41, 2015 L Huang and B Chapman and Z Liu Towards a more efficient implementation of OpenMP for clusters via translation to Global Arrays Journal of Parallel Computing 31, pp 1114–1139, 2005 J.P Hoeflinger (Intel) Cluster OpenMP* for Intel® Compilers, 2010 https://software.intel.com/en-us/articles/cluster-openmp-for-intel-compilers 6/5/2018 Online Truy tại: cập Viet Hai Ha and Éric Renault Improving Performance of CAPE using Discontinuous Incremental Checkpointing Proceedings of the IEEE International Conference on High Performance and Communications 2011 (HPCC-2011) Banff, Canada, September 2011 Hà Viết Hải, Nguyễn Cảnh Hồi Đức, Đỗ Xn Huyền Sử dụng nhiều tiến trình nút tính tốn để gia tăng hiệu hoạt động CAPE mạng máy tính đa lõi Tạp chí Khoa học, Đại học Huế, Tập 121, số 7-A, 2016 10 Van Long Tran, Eric Renault, Viet Hai Analysis and evaluation of the performance of CAPE Proceeding of The 16th IEEE International Conference on Scalable Computing and Communications Toulouse, France, 8/2016 EXTEND THE CAPE’S DEPLOYMENT MODEL BY VIRTUAL MACHINE Do Xuan Huyen1*, Ha Viet Hai2* College of Sciences, Hue University, 77 Nguyen Hue, Hue, Vietnam College of Education, Hue University, 32 Le Loi, Hue Vietnam Abstract Parallel programming to meet the increasing demand for more computing power and higher processing speed, as the clock speed of each CPU core has not increased OpenMP, the parallel programming standard for shared memory architecture, is widely used CAPE (Checkpointing Aided Parallel Execution) is an approach to extend OpenMP for distributed memory architecture Theoretical demonstrations and experiments have proved that CAPE has potential competence to become a fully compliance and high-performance implement of OpenMP for distributed-memory systems This article evaluates the performance of CAPE when extending CAPE's execution model on a multi-core processor-based computer network using virtual machine Keywords: CAPE, Checkpointing Aided Parallel Execution, OpenMP, Parallel Computing, Distributed Computing, High Performance Computing, HPC 168 ... lõi), RAM GB có cài máy ảo với kịch khác để kiểm chứng: kịch chạy chương trình máy thực, máy máy ảo sử dụng lõi CPU, chạy máy ảo máy ảo sử dụng lõi CPU, chạy vào máy ảo sử dụng máy ảo 01 lõi CPU,... IP giải Hình trình bày mơ hình giải pháp này, với nút thực tiến trình máy thực nút phụ, nút sử dụng máy ảo, máy ảo thực tiến trình chương trình ứng dụng Hình Mơ hình sử dụng nhiều máy ảo nút phụ... phí máy ảo lớn phí phí khác thác tối đa tỷ lệ làm việc CPU Để khai thác tốt vi xử lý đa lõi, thay mở rộng mơ hình hoạt động theo hướng đa tiến trình cách sử dụng máy ảo trên, định hướng sử dụng