1. Trang chủ
  2. » Luận Văn - Báo Cáo

Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao

95 1 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Áp Dụng Học Máy Vào Việc Quản Lý Tài Nguyên Và Công Việc Trên Các Hệ Thống Tính Toán Hiệu Năng Cao
Tác giả Hoàng Lê Hải Thanh
Người hướng dẫn PGS.TS. Thoại Nam
Trường học Đại học Bách Khoa
Chuyên ngành Khoa Học Máy Tính
Thể loại luận văn thạc sĩ
Năm xuất bản 2021
Thành phố TP. Hồ Chí Minh
Định dạng
Số trang 95
Dung lượng 2,34 MB

Nội dung

Ngày đăng: 12/05/2022, 11:05

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[1] H. Sun, P. Stolf, J.-M. Pierson, and G. Da Costa, “Energy-efficient and thermal- aware resource management for heterogeneous datacenters,” Sustain. Comput.Informatics Syst., vol. 4, no. 4, pp. 292–306, 2014, doi:https://doi.org/10.1016/j.suscom.2014.08.005 Sách, tạp chí
Tiêu đề: Energy-efficient and thermal-aware resource management for heterogeneous datacenters,” "Sustain. Comput. "Informatics Syst
[2] R. Grandl, G. Ananthanarayanan, S. Kandula, S. Rao, and A. Akella, “Multi- Resource Packing for Cluster Schedulers,” in Proceedings of the 2014 ACM Conference on SIGCOMM, 2014, pp. 455–466, doi: 10.1145/2619239.2626334 Sách, tạp chí
Tiêu đề: Multi-Resource Packing for Cluster Schedulers,” in "Proceedings of the 2014 ACM Conference on SIGCOMM
[3] D. G. Feitelson, L. Rudolph, U. Schwiegelshohn, K. C. Sevcik, and P. Wong, “Theory and practice in parallel job scheduling,” in Workshop on Job Scheduling Strategies for Parallel Processing, 1997, pp. 1–34 Sách, tạp chí
Tiêu đề: Theory and practice in parallel job scheduling,” in "Workshop on Job Scheduling Strategies for Parallel Processing
[4] E. Frachtenberg and D. G. Feitelson, “Pitfalls in Parallel Job Scheduling Evaluation,” in Job Scheduling Strategies for Parallel Processing, 2005, pp.257–282 Sách, tạp chí
Tiêu đề: Pitfalls in Parallel Job Scheduling Evaluation,” in "Job Scheduling Strategies for Parallel Processing
[5] M. Uchroński, W. Bożejko, Z. Krajewski, M. Tykierko, and M. Wodecki, “User Estimates Inaccuracy Study in HPC Scheduler,” in Contemporary Complex Systems and Their Dependability, 2019, pp. 504–514 Sách, tạp chí
Tiêu đề: User Estimates Inaccuracy Study in HPC Scheduler,” in "Contemporary Complex Systems and Their Dependability
[6] A. W. Mu’alem and D. G. Feitelson, “Utilization, predictability, workloads, and user runtime estimates in scheduling the IBM SP2 with backfilling,” IEEE Trans. Parallel Distrib. Syst., vol. 12, no. 6, pp. 529–543, Jun. 2001, doi:10.1109/71.932708 Sách, tạp chí
Tiêu đề: Utilization, predictability, workloads, and user runtime estimates in scheduling the IBM SP2 with backfilling,” "IEEE Trans. Parallel Distrib. Syst
[7] D. Zotkin and P. J. Keleher, “Job-length estimation and performance in backfilling schedulers,” in Proceedings. The Eighth International Symposium on High Performance Distributed Computing (Cat. No.99TH8469), 1999, pp Sách, tạp chí
Tiêu đề: Job-length estimation and performance in backfilling schedulers,” in "Proceedings. The Eighth International Symposium on High Performance Distributed Computing (Cat. No.99TH8469)
[9] S.-H. Chiang, A. C. Arpaci-Dusseau, and M. K. Vernon, “The Impact of More Accurate Requested Runtimes on Production Job Scheduling Performance,” in Revised Papers from the 8th International Workshop on Job Scheduling Strategies for Parallel Processing, 2002, pp. 103–127 Sách, tạp chí
Tiêu đề: The Impact of More Accurate Requested Runtimes on Production Job Scheduling Performance,” in "Revised Papers from the 8th International Workshop on Job Scheduling Strategies for Parallel Processing
[10] D. Tsafrir, Y. Etsion, and D. G. Feitelson, “Backfilling Using System-Generated Predictions Rather than User Runtime Estimates,” IEEE Trans. Parallel Distrib.Syst., vol. 18, no. 6, pp. 789–803, 2007, doi: 10.1109/TPDS.2007.70606 Sách, tạp chí
Tiêu đề: Backfilling Using System-Generated Predictions Rather than User Runtime Estimates,” "IEEE Trans. Parallel Distrib. "Syst
[11] T. N. Minh and L. Wolters, “Using Historical Data to Predict Application Runtimes on Backfilling Parallel Systems,” in 2010 18th Euromicro Conference on Parallel, Distributed and Network-based Processing, 2010, pp. 246–252, doi: 10.1109/PDP.2010.18 Sách, tạp chí
Tiêu đề: Using Historical Data to Predict Application Runtimes on Backfilling Parallel Systems,” in "2010 18th Euromicro Conference on Parallel, Distributed and Network-based Processing
[12] E. Gaussier, D. Glesser, V. Reis, and D. Trystram, “Improving backfilling by using machine learning to predict running times,” in SC ’15: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2015, pp. 1–10, doi: 10.1145/2807591.2807646 Sách, tạp chí
Tiêu đề: Improving backfilling by using machine learning to predict running times,” in "SC ’15: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis
[13] J.-W. Park and E. Kim, “Runtime prediction of parallel applications with workload-aware clustering,” J. Supercomput., vol. 73, no. 11, pp. 4635–4651, Apr. 2017, doi: 10.1007/s11227-017-2038-2 Sách, tạp chí
Tiêu đề: Runtime prediction of parallel applications with workload-aware clustering,” "J. Supercomput
[14] D. Klusáček and V. Chlumský, “Evaluating the Impact of Soft Walltimes on Job Scheduling Performance,” in Job Scheduling Strategies for Parallel Processing, 2019, pp. 15–38 Sách, tạp chí
Tiêu đề: Evaluating the Impact of Soft Walltimes on Job Scheduling Performance,” in "Job Scheduling Strategies for Parallel Processing
[15] B. Trstenjak, S. Mikac, and D. Donko, “KNN with TF-IDF based Framework for Text Categorization,” Procedia Eng., vol. 69, pp. 1356–1364, 2014, doi:https://doi.org/10.1016/j.proeng.2014.03.129 Sách, tạp chí
Tiêu đề: KNN with TF-IDF based Framework for Text Categorization,” "Procedia Eng
[16] H. Mao, M. Alizadeh, I. Menache, and S. Kandula, “Resource Management with Deep Reinforcement Learning,” in Proceedings of the 15th ACM Sách, tạp chí
Tiêu đề: Resource Management with Deep Reinforcement Learning,” in
[17] Y. Fan, Z. Lan, T. Childers, P. Rich, W. Allcock, and M. E. Papka, “Deep Reinforcement Agent for Scheduling in HPC,” 2021 IEEE Int. Parallel Distrib.Process. Symp., Feb. 2021, doi: 10.1109/IPDPS49936.2021.00090 Sách, tạp chí
Tiêu đề: Deep Reinforcement Agent for Scheduling in HPC,” "2021 IEEE Int. Parallel Distrib. "Process. Symp
[18] D. Zhang, D. Dai, Y. He, F. S. Bao, and B. Xie, “RLScheduler: An Automated HPC Batch Job Scheduler Using Reinforcement Learning,” Proc. Int. Conf.High Perform. Comput. Networking, Storage Anal., 2020 Sách, tạp chí
Tiêu đề: RLScheduler: An Automated HPC Batch Job Scheduler Using Reinforcement Learning,” "Proc. Int. Conf. "High Perform. Comput. Networking, Storage Anal
[19] L. Clarke, I. Glendinning, and R. Hempel, “The MPI Message Passing Interface Standard,” in Programming Environments for Massively Parallel Distributed Systems, 1994, pp. 213–218 Sách, tạp chí
Tiêu đề: The MPI Message Passing Interface Standard,” in "Programming Environments for Massively Parallel Distributed Systems
[20] L. Dagum and R. Menon, “OpenMP: An Industry-Standard API for Shared- Memory Programming,” IEEE Comput. Sci. Eng., vol. 5, no. 1, pp. 46–55, Jan.1998, doi: 10.1109/99.660313 Sách, tạp chí
Tiêu đề: OpenMP: An Industry-Standard API for Shared-Memory Programming,” "IEEE Comput. Sci. Eng
[21] A. B. Yoo, M. A. Jette, and M. Grondona, “Slurm: Simple linux utility for resource management,” in Workshop on Job Scheduling Strategies for Parallel Processing, 2003, pp. 44–60 Sách, tạp chí
Tiêu đề: Slurm: Simple linux utility for resource management,” in "Workshop on Job Scheduling Strategies for Parallel Processing

HÌNH ẢNH LIÊN QUAN

Hình 3.2. Hệ thống Tính toán hiệu năng cao SuperNode-XP. - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.2. Hệ thống Tính toán hiệu năng cao SuperNode-XP (Trang 26)
Hình 3.1 Hệ thống Siêu máy tính Fugaku. - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.1 Hệ thống Siêu máy tính Fugaku (Trang 26)
Hình 3.3. Biểu đồ Gantt cho quá trình định thời 100 công việc với thuật toán EASY Backfilling - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.3. Biểu đồ Gantt cho quá trình định thời 100 công việc với thuật toán EASY Backfilling (Trang 28)
Hình 3.4. Các thuật toán Backfilling (Nguồn: [25] ). - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.4. Các thuật toán Backfilling (Nguồn: [25] ) (Trang 29)
Hình 3.6. Mô tả kết quả của thuật toán kNN với các hệ số k khác nhau - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.6. Mô tả kết quả của thuật toán kNN với các hệ số k khác nhau (Trang 34)
Hình 3.7. Tương tác giữa thực thể và môi trường trong mô hình học tăng cường - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.7. Tương tác giữa thực thể và môi trường trong mô hình học tăng cường (Trang 36)
Hình 3.8. Phương pháp Actor-Critic với Policy Gradient - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 3.8. Phương pháp Actor-Critic với Policy Gradient (Trang 40)
Bảng 4.1: Thông tin các tập dữ liệu HPC từ PWA dùng trong thực nghiệm - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Bảng 4.1 Thông tin các tập dữ liệu HPC từ PWA dùng trong thực nghiệm (Trang 43)
Hình 4.1. Phân phối về thời gian chạy và tài nguyên cần cấp phát của các công việc trên bốn tập dữ liệu  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 4.1. Phân phối về thời gian chạy và tài nguyên cần cấp phát của các công việc trên bốn tập dữ liệu (Trang 43)
Bảng 4.2: Số lượng công việc trên các tập dữ liệu sau khi làm sạch - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Bảng 4.2 Số lượng công việc trên các tập dữ liệu sau khi làm sạch (Trang 44)
Hình 4.2. Sơ đồ tổng quát hệ thống SuperNode-XP. - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 4.2. Sơ đồ tổng quát hệ thống SuperNode-XP (Trang 45)
Hình 4.5. Phân phối tích luỹ thời gian chạy thực tế và dự đoán trên các tập dữ liệu từ PWA  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 4.5. Phân phối tích luỹ thời gian chạy thực tế và dự đoán trên các tập dữ liệu từ PWA (Trang 49)
Hình 4.6. Phân phối tích luỹ thời gian chạy thực tế và dự đoán trên tập dữ liệu SuperNode-XP  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 4.6. Phân phối tích luỹ thời gian chạy thực tế và dự đoán trên tập dữ liệu SuperNode-XP (Trang 50)
Hình 4.7. Độ lệch giữa giá trị dự đoán và giá trị thực tế trên các tập dữ liệu từ PWA  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 4.7. Độ lệch giữa giá trị dự đoán và giá trị thực tế trên các tập dữ liệu từ PWA (Trang 51)
Bảng 4.4: Thông số về thời gian chờ trên các tập dữ liệu - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Bảng 4.4 Thông số về thời gian chờ trên các tập dữ liệu (Trang 53)
Hình 5.1. Cách biểu diễn trạng thái của mô hình học tăng cường. - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 5.1. Cách biểu diễn trạng thái của mô hình học tăng cường (Trang 62)
Hình 5.2. Kiến trúc mô hình A2C dành cho việc định thời trên hệ thống HPC - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 5.2. Kiến trúc mô hình A2C dành cho việc định thời trên hệ thống HPC (Trang 65)
Hình 5.3. Kiến trúc cải thiện hiệu suất định thời của mô hình học sâu tăng cường bằng kỹ thuật dự đoán thời gian chạy  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 5.3. Kiến trúc cải thiện hiệu suất định thời của mô hình học sâu tăng cường bằng kỹ thuật dự đoán thời gian chạy (Trang 67)
Hình 6.2. Kết quả độ lệch giữa thời gian chạy thực tế và dự đoán của các công việc trên các tập dữ liệu  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.2. Kết quả độ lệch giữa thời gian chạy thực tế và dự đoán của các công việc trên các tập dữ liệu (Trang 72)
Hình 6.4. Heatmap kết quả cải thiện dự đoán của người dùng trên tập dữ liệu SDSC-DS-2004  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.4. Heatmap kết quả cải thiện dự đoán của người dùng trên tập dữ liệu SDSC-DS-2004 (Trang 73)
Hình 6.5. Heatmap kết quả cải thiện dự đoán của người dùng trên tập dữ liệu ANL-Intrepid-2009  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.5. Heatmap kết quả cải thiện dự đoán của người dùng trên tập dữ liệu ANL-Intrepid-2009 (Trang 74)
Hình 6.6. Heatmap kết quả cải thiện dự đoán của người dùng trên tập dữ liệu UniLu-Gaia-2004  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.6. Heatmap kết quả cải thiện dự đoán của người dùng trên tập dữ liệu UniLu-Gaia-2004 (Trang 74)
Hình 6.8. Kết quả thời gian chờ trung bình trên các tập dữ liệu với các phương pháp khác nhau  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.8. Kết quả thời gian chờ trung bình trên các tập dữ liệu với các phương pháp khác nhau (Trang 76)
Hình 6.9. Giá trị bounded slowdown trung bình trên các tập dữ liệu với các phương pháp khác nhau  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.9. Giá trị bounded slowdown trung bình trên các tập dữ liệu với các phương pháp khác nhau (Trang 77)
Hình 6.11. Heatmap kết quả cải thiện thời gian chờ trên công việc của tập dữ liệu UniLu-Gaia-2014  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.11. Heatmap kết quả cải thiện thời gian chờ trên công việc của tập dữ liệu UniLu-Gaia-2014 (Trang 78)
Hình 6.13. Heatmap kết quả cải thiện thời gian chờ trên tập dữ liệu SuperNode- SuperNode-XP  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.13. Heatmap kết quả cải thiện thời gian chờ trên tập dữ liệu SuperNode- SuperNode-XP (Trang 79)
Hình 6.12. Heatmap kết quả cải thiện thời gian chờ trên tập dữ liệu HPC2N-2002 - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.12. Heatmap kết quả cải thiện thời gian chờ trên tập dữ liệu HPC2N-2002 (Trang 79)
Hình 6.14. Heatmap kết quả cải thiện thời gian chờ trên tập dữ liệu ANL- ANL-Intrepid-2009  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.14. Heatmap kết quả cải thiện thời gian chờ trên tập dữ liệu ANL- ANL-Intrepid-2009 (Trang 80)
Hình 6.15. Tổng phần thưởng nhận được trên tập dữ liệu xác thực từ hệ thống SuperNode-XP  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.15. Tổng phần thưởng nhận được trên tập dữ liệu xác thực từ hệ thống SuperNode-XP (Trang 83)
Hình 6.16. Kết quả thời gian chờ trung bình bằng các phương pháp định thời trên hệ thống SuperNode-XP  - Áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
Hình 6.16. Kết quả thời gian chờ trung bình bằng các phương pháp định thời trên hệ thống SuperNode-XP (Trang 84)

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w