Nghiên cứu phát triển công cụ hỗ trợ triển khai ứng dụng trên hệ thống máy tính mạnh và xử lý dữ liệu lớn hpda giai đoạn 1

ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH SỞ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CHƯƠNG TRÌNH KHOA HỌC VÀ CÔNG NGHỆ CẤP THÀNH PHỐ BÁO CÁO TỔNG HỢP KẾT QUẢ NHIỆM VỤ NGHIÊN CỨU KHOA HỌC VÀ CÔNG NGHỆ NGHIÊN CỨU PHÁT TRIỂN CÔNG CỤ HỖ TRỢ TRIỂN KHAI ỨNG DỤNG TRÊN HỆ THỐNG MÁY TÍNH MẠNH & XỬ LÝ DỮ LIỆU LỚN (HPDA GIAI ĐOẠN I) Cơ quan chủ trì nhiệm vụ: Trường Đại học Bách Khoa - ĐHQG-HCM Chủ nhiệm nhiệm vụ: PGS TS THOẠI NAM Thành phố Hồ Chí Minh - 2020 ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH SỞ KHOA HỌC VÀ CÔNG NGHỆ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CHƯƠNG TRÌNH KHOA HỌC VÀ CƠNG NGHỆ CẤP THÀNH PHỐ BÁO CÁO TỔNG HỢP KẾT QUẢ NHIỆM VỤ NGHIÊN CỨU KHOA HỌC VÀ CÔNG NGHỆ NGHIÊN CỨU PHÁT TRIỂN CÔNG CỤ HỖ TRỢ TRIỂN KHAI ỨNG DỤNG TRÊN HỆ THỐNG MÁY TÍNH MẠNH & XỬ LÝ DỮ LIỆU LỚN (HPDA GIAI ĐOẠN I) Chủ nhiệm nhiệm vụ: Thoại Nam Cơ quan chủ trì nhiệm vụ Thành phố Hồ Chí Minh- 2020 Mẫu Báo cáo thống kê (trang Báo cáo tổng hợp kết nhiệm vụ) _ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc TPHCM, ngày 28 tháng 12 năm 2020 BÁO CÁO THỐNG KÊ KẾT QUẢ THỰC HIỆN NHIỆM VỤ NGHIÊN CỨU KH&CN I THÔNG TIN CHUNG Tên nhiệm vụ: Thuộc: Chương trình/lĩnh vực (tên chương trình/lĩnh vực): Cơng nghệ thông tin truyền thông/ Kỹ thuật công nghệ Chủ nhiệm nhiệm vụ: Họ tên: Thoại Nam Ngày, tháng, năm sinh: 16/01/1973 Nam/ Nữ: Nam Học hàm, học vị: PGS TS Chức danh khoa học: Chức vụ:…………………… Điện thoại: Tổ chức: 38647256 (5850) Nhà riêng: Mobile: 0918352226 Fax: E-mail: namthoai@hcmut.edu.vn Tên tổ chức công tác: Trường Đại học Bách Khoa - ĐHQG-HCM Địa tổ chức: 268 Lý Thường Kiệt, Q.10, TP.HCM Địa nhà riêng: 79/30/54 Âu Cơ, P.14, Q.11, TP.HCM Tổ chức chủ trì nhiệm vụ: Tên tổ chức chủ trì nhiệm vụ: Trường Đại học Bách Khoa - ĐHQG-HCM Điện thoại: 38647256 (5850) Fax: E-mail: Website: https://www.hcmut.edu.vn/vi Địa chỉ: 268 Lý Thường Kiệt, Q.10, TP.HCM Họ tên thủ trưởng tổ chức: PGS TS MAI THANH PHONG Số tài khoản: 3713.0.1056923.00000 Kho bạc: Kho bạc Nhà nước TP.HCM Tên quan chủ quản đề tài: Trường Đại học Bách Khoa - ĐHQG HCM II TÌNH HÌNH THỰC HIỆN Thời gian thực nhiệm vụ: - Theo Hợp đồng ký kết: từ tháng 12 năm 2018 đến tháng 12 năm 2020 - Thực tế thực hiện: từ tháng 12 năm 2018 đến tháng 12 năm 2020 - Được gia hạn (nếu có): - Lần từ tháng… năm… đến tháng… năm… - Lần … Kinh phí sử dụng kinh phí: a) Tổng số kinh phí thực hiện: 4.087 triệu đồng, đó: + Kính phí hỗ trợ từ ngân sách khoa học: 4.087 triệu đồng + Kinh phí từ nguồn khác: tr.đ b) Tình hình cấp sử dụng kinh phí từ nguồn ngân sách khoa học: Số TT Theo kế hoạch Thời gian Kinh phí (Tháng, năm) (Tr.đ) 01/2019 2.043 01/2020 1.634 Thực tế đạt Thời gian Kinh phí (Tháng, năm) (Tr.đ) 11/2019 2.043 09/2020 1.634 Ghi (Số đề nghị tốn) 2.043 1.634 c) Kết sử dụng kinh phí theo khoản chi: Đối với đề tài: Đơn vị tính: Triệu đồng Số TT Nội dung khoản chi Trả công lao động (khoa học, phổ thông) Nguyên, vật liệu, lượng Thiết bị, máy móc Xây dựng, sửa chữa nhỏ Chi khác Tổng cộng Theo kế hoạch Tổng Thực tế đạt 3.346 3.346 Nguồn khác 3.346 3.346 Nguồn khác 0 0 0 0 0 0 0 0 0 331 3.677 331 3.677 0 331 3.677 331 3.677 0 NSKH Tổng NSKH - Lý thay đổi (nếu có): Đối với dự án: Đơn vị tính: Triệu đồng Số TT Nội dung khoản chi Thiết bị, máy móc mua Nhà xưởng xây dựng mới, cải tạo Kinh phí hỗ trợ cơng nghệ Theo kế hoạch Tổng NSKH Nguồn khác Thực tế đạt Tổng NSKH Nguồn khác Chi phí lao động Nguyên vật liệu, lượng Thuê thiết bị, nhà xưởng Khác Tổng cộng - Lý thay đổi (nếu có): Các văn hành q trình thực đề tài/dự án: (Liệt kê định, văn quan quản lý từ công đoạn xét duyệt, phê duyệt kinh phí, hợp đồng, điều chỉnh (thời gian, nội dung, kinh phí thực có); văn tổ chức chủ trì nhiệm vụ (đơn, kiến nghị điều chỉnh có) Số TT Số, thời gian ban hành văn Số 1439/QĐSKHCN, ngày 27/12/2018 Số 46/2018/HĐQKHCN, ngày 27/12/2018 Số 166/HĐ-ĐHBKKHCN&DA, ngày 28/12/2018 Tên văn Ghi Quyết định việc phê duyệt nhiệm vụ nghiên cứu khoa học công nghệ - Giám đốc sở khoa học công nghệ Hợp đồng thực nhiệm vụ nghiên cứu khoa học công nghệ Hợp đồng giao nhiệm vụ Tổ chức phối hợp thực nhiệm vụ: Số TT Tên tổ chức đăng ký theo Thuyết minh Đại học LudwigMaximilians (LMU) Munich & Trung tâm Siêu máy tính Leibniz (LRZ) Đức Trung tâm kỹ thuật Trí tuệ nhân tạo Nvidia - Singapore HPE Việt Nam Tên tổ chức tham gia thực Đại học LudwigMaximilians (LMU) Munich & Trung tâm Siêu máy tính Leibniz (LRZ) - Đức Nội dung tham gia chủ yếu Thiết kế tổng quan hệ thống & đánh hiệu Sản phẩm chủ yếu đạt Chương 2, 3, 4, 5, Trung tâm kỹ thuật Trí tuệ nhân tạo Nvidia Singapore HPE Việt Nam Thiết kế tổng quan hệ thống & Trí tuệ nhân tạo Thiết kế tổng quan hệ thống, kỹ thuật công nghệ HPE Chương 2, - Lý thay đổi (nếu có): Cá nhân tham gia thực nhiệm vụ: Chương 2, 3, 4, 5, Ghi chú* Có báo chung Có báo chung (Người tham gia thực đề tài thuộc tổ chức chủ trì quan phối hợp, không 10 người kể chủ nhiệm) Tên cá nhân đăng ký theo Thuyết minh Thoại Nam Tên cá nhân tham gia thực Thoại Nam Nguyễn Quang Hùng Phạm Trần Vũ Nguyễn Quang Hùng Phạm Trần Vũ Lê Thành Sách Lê Thành Sách Nguyễn Mạnh Thìn Nguyễn Mạnh Thìn Số TT Bùi Xuân Giang Bùi Xuân Giang Chung Thành Minh Chung Thành Minh 10 Phạm Trung Kiên Trần Ngọc Anh Tú Nguyễn Lê Duy Lai Phạm Trung Kiên Trần Ngọc Anh Tú Nguyễn Lê Duy Lai Nội dung tham gia Quản lý chung Thiết kế tổng quan hệ thống & đánh hiệu Thư ký, nghiên cứu Ứng dụng phân tích liệu liệu vị trí Ứng dụng phân tích liệu liệu camera Nghiên cứu phát triển Nghiên cứu phát triển Nghiên cứu phát triển Nghiên cứu phát triển Nghiên cứu phát triển Nghiên cứu phát triển Sản phẩm Ghi chủ yếu đạt chú* Thiết kế Ch2 Phân hệ Ch7 Hadoop Phân hệ Spark Ch8 Đánh giá hiệu GPU Ứng dụng phân tích liệu vị trí Ứng dụng phân tích liệu hình ảnh Thiết kế Công cụ quản trị hệ thống HPC Portal Phân hệ Hadoop Hệ thống lưu trữ Thiết kế, Công cụ quản lý phân bổ tài nguyên & HPC Portal Phân hệ Spark & ứng dụng Công cụ quản lý phân bổ tài nguyên Công cụ hỗ trợ Xeon Phi & ứng dụng MPI PyMIC* Ch5 Phân hệ mạng tốc siêu cao Infiniband Ch6 Ch9 Ch9 Ch2 Ch3 Ch3 Ch7 Ch3 Ch2, Ch4 Ch3 Ch8 Ch4 Ch5 Ch5 - Lý thay đổi ( có): Tình hình hợp tác quốc tế: Số TT Theo kế hoạch (Nội dung, thời gian, kinh phí, địa điểm, tên tổ chức hợp tác, số Thực tế đạt (Nội dung, thời gian, kinh phí, địa điểm, tên tổ chức hợp tác, số Ghi chú* đoàn, số lượng người tham gia ) Khơng có đồn & đồn vào đề tài đoàn, số lượng người tham gia ) thành viên nhóm nghiên cứu nhận học bổng sang làm NCS Đại học LudwigMaximilians (LMU) Munich & Trung tâm Siêu máy tính Leibniz (LRZ) - Đức - Lý thay đổi (nếu có): Tình hình tổ chức hội thảo, hội nghị: Theo kế hoạch Số (Nội dung, thời gian, kinh phí, địa TT điểm ) Hội thảo kỹ thuật nghiên cứu phát triển công cụ hỗ trợ triển khai ứng dụng hệ thống máy tính mạnh & xử lý liệu lớn (HPDA), lúc 13h30 ngày 26/9/2019 phòng chuyên đề khoa Khoa học & Kỹ thuật Máy tính, trường Đại học Bách Khoa – ĐHQG-HCM Địa chỉ: 268 Lý Thường Kiệt, quận 10, TpHCM Hội thảo Nghiên cứu phát triển công cụ hỗ trợ triển khai ứng dụng hệ thống máy tính mạnh xử lý liệu lớn (HPDA giai đoạn 1), Ngày 30/07/2019 (Sáng từ 8:30-11:30 – Chiều từ 13:30- 16:30) Phòng Chuyên đề Khoa Khoa học Kỹ thuật Máy tính, trường Đại học Bách Khoa – ĐHQG-HCM Địa chỉ: 268 Lý Thường Kiệt, quận 10, TpHCM Thực tế đạt (Nội dung, thời gian, kinh phí, địa điểm ) - Tổng số báo cáo: 07 - Lúc 13h30 ngày 26/9/2019 phòng chuyên đề khoa Khoa học & Kỹ thuật Máy tính, trường Đại học Bách Khoa – ĐHQG-HCM Địa chỉ: 268 Lý Thường Kiệt, quận 10, TpHCM Nội dung hội thảo: - Giới thiệu chuyên đề HPDA giai đoạn 1: PGS TS Thoại Nam - Thiết kế hạ tầng mạng cho hệ thống HPC AI: TS Nguyễn Lê Duy Lai - Giải pháp công cụ quản trị & monitoring: Nguyễn Mạnh Thìn - Quản lý tài nguyên & PBSpro: Phạm Trung Kiên - pyMIC-DL: Trần Ngọc Anh Tú - Giải pháp sử dụng Spark & ứng dụng phân tích liệu: Mai Lê Thông & Đỗ Thành Phát - Hệ thống liệu phân tán Lustre: Bùi Xuân Giang - Tổng số báo cáo: 08 - Nội dung 1: Giải pháp tận dụng công nghệ RDMA Infiniband cho ứng dụng tính tốn khoa học Trình bày: TS Nguyễn Lê Duy Lai - Nội dung 2: Sử dụng Intel Xeon Phi SuperNodeXP Trình bày: KS Phạm Trung Kiên - Nội dung 3: Công cụ hỗ Ghi chú* trợ GPUs Trình bày: TS Nguyễn Quang Hùng - Nội dung 4: Hadoop for Big Data Analytics Trình bày: KS Trần Ngọc Anh Tú - Nội dung 5: Spark cho phân tích liệu lớn Trình bày: KS Phạm Trung Kiên - Nội dung 6: Analyzing and Predicting the Popularity of Online Contents Trình bày: ThS Nguyễn Minh Trí - Nội dung 7: Triển khai hệ thống phân tích liệu vị trí hệ thống máy tính lớn Trình bày: TS Nguyễn Lê Duy Lai - Nội dung 8: Quản trị SuperNode-XP Trình bày: ThS Nguyễn Mạnh Thìn - Lý thay đổi (nếu có): Tóm tắt nội dung, công việc chủ yếu: (Nêu mục 15 thuyết minh, không bao gồm: Hội thảo khoa học, điều tra khảo sát nước nước ngoài) Số TT 10 Các nội dung, công việc chủ yếu (Các mốc đánh giá chủ yếu) Nội dung 1: Xây dựng cổng giao tiếp cho hệ thống máy tính lớn Nội dung 2: Nghiên cứu phát triển công cụ quản trị Nội dung 3: Nghiên cứu phát triển hệ quản lý tài khoản người dùng Nội dung 4: Nghiên cứu phát triển hệ thống phân bổ tài nguyên Nội dung 5: Nghiên cứu phát triển công cụ hỗ trợ sử dụng GPUs Nội dung 6: Nghiên cứu phát triển công cụ hỗ trợ sử dụng Xeon Phi Nội dung 7: Nghiên cứu phát triển thư viện hỗ trợ ứng dụng Python Xeon Phi Nội dung 8: Phân hệ hỗ trợ tốn phân tích liệu lớn dùng Hadoop Nội dung 9: Phân hệ hỗ trợ tốn phân tích liệu lớn dùng Spark nút tinh toán Nội dung 10: Phân hệ hỗ trợ tốn phân tích liệu lớn dùng Spark Thời gian (Bắt đầu, kết thúc - tháng … năm) Theo kế Thực tế đạt hoạch 12/2018 12/2018 05/2019 05/2019 12/2018 12/2018 11/2019 11/2019 12/2018 12/2018 11/2019 11/2019 12/2018 12/2018 11/2019 11/2019 06/2019 06/2019 05/2020 05/2020 06/2019 06/2019 05/2020 05/2020 08/2019 08/2019 07/2020 07/2020 03/2019 02/2020 03/2019 02/2020 03/2019 02/2020 03/2019 02/2020 12/2019 - 12/2019 - Người, quan thực 11 12 13 14 nút ảo nhiều nút tính tốn Nội dung 11: Phân hệ sử dụng mạng giao tiếp tốc độ siêu cao Nội dung 12: Triển khai ứng dụng phân tích liệu hình ảnh Nội dung 13: Triển khai ứng dụng phân tích liệu liệu vị trí Nội dung 14: Tích hợp hệ thống viết tài liệu kỹ thuật, báo cáo tổng kết 08/2020 12/2018 08/2020 09/2019 08/2020 09/2019 08/2020 11/2019 08/2020 08/2020 12/2018 08/2020 09/2019 08/2020 09/2019 08/2020 11/2019 08/2020 - Lý thay đổi (nếu có): III SẢN PHẨM KH&CN CỦA NHIỆM VỤ Sản phẩm KH&CN tạo ra: a) Sản phẩm Dạng I: Số TT Tên sản phẩm tiêu chất lượng chủ yếu Đơn vị đo Số lượng Theo kế hoạch Thực tế đạt - Lý thay đổi (nếu có): b) Sản phẩm Dạng II: TT Tên sản phẩm Phần mềm cổng thông tin giao tiếp cho SuperNode-XP Yêu cầu khoa học cần đạt Ghi - Trang người dùng có chức yêu cầu tài nguyên SuperNode-XP Đạt - Trang cho người quản trị có chức đánh giá cấp quyền/xố quyền cho người sử dụng - Trang (công cụ) cho người dùng chạy ứng dụng SuperNode-XP Giải pháp quản lý người dùng SuperNode-XP - Giải pháp cấp tài khoản cho người dùng máy vật lý máy ảo/Docker Đạt - Giải pháp cho người dùng sử dụng tài khoản cấp truy xuất vào nút tính tốn SuperNode-XP - Các giải pháp triển khai thực tế SuperNode-XP Công cụ quản trị hệ thống - Công cụ giám sát tài nguyên hệ thống nút tính tốn, CPUs, RAM - Cơng cụ giám sát ứng dụng người dùng nút tính tốn - Các cơng cụ triển khai thực tế SuperNode-XP Đạt Giải thuật phần mềm phân bổ tài nguyên SuperNode-XP - Triển khai công cụ quản lý tài nguyên PBSpro SuperNode-XP Đạt - Giải thuật tự động/bán tư động phân bổ tài nguyên - Tích hợp giải thuật tự động/bán tư động phân bổ tài nguyên vào PBS Pro Thư viện hỗ trợ ứng dụng Python Xeon Phi - Thư viện hỗ trợ ứng dụng dùng Python sử dụng Xeon Phi Đạt - Triển khai thư viện hỗ trợ ứng dụng dùng Python sử dụng Xeon Phi SuperNode-XP Công cụ triển khai Hadoop SuperNode-XP - Triển khai tự động Hadoop nhiều nút Đạt - Tích hợp với tài khoản người dùng Cơng cụ triển khai Spark SuperNode-XP - Triển khai Spark & nhiều nút tính tốn & nút ảo Đạt - Tích hợp với tài khoản người dùng Cơng cụ giúp triển khai Infiniband - Triển khai Infiniband cho nút vật lý nút ảo dùng Docker Đạt - Hỗ trợ RDMA - Lý thay đổi (nếu có): c) Sản phẩm Dạng III: Số TT Tên sản phẩm Bài báo khoa học liên quan đến nghiên cứu đề tài Yêu cầu khoa học cần đạt Theo Thực tế kế hoạch đạt 06 07 ( + 03) (Hội nghị chuyên ngành có phản biện Tạp chí/Hội nghị IEEE/ACM/ Springer Verlag) Số lượng, nơi cơng bố (Tạp chí, nhà xuất bản) Thanh-Dang Diep, Kien Trung Pham, Karl Fürlinger, Nam Thoai, A time-stamping system to detect memory consistency errors in MPI one-sided applications Journal of Parallel Computing (SCI-E) 86: 36-44 (2019) Thong Le Mai, Minh Thanh Chung, Van Thanh Le and Nam Thoai, From Transcripts to Insights for Recommending The Curriculum to University Students SN Computer Science journal - Springer-Verlag, 1(6), 323 (2020), https://doi.org/10.1007/s42979-020-00332-7 Minh Thanh Chung, Kien Pham, Nam Thoai, Dieter Kranzlmüller, "A New Approach for Scheduling Job with the HeterogeneityAware Resource in HPC Systems", IEEE 21st International Conference on High Performance Computing and Communications; IEEE 17th International 10 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ Dữ liệu file json import vào MongoDB, liệu file csv import vào LARM để sử dụng cho q trình tính truy xuất liệu để xử lý tính tốn Các file csv tạo đẩy trực tiếp vào LARM project nhỏ viết C++ có cấu trúc liệu lưu LARM gồm: Node item, Segment item, Street item, Cell item Phân tích liệu kết hợp tính tốn song song để rút trích thơng tin giao thơng Dữ liệu nhận từ thiết bị di động có nhiễu mặt ý nghĩa Cần giải pháp để giải vấn lọc nhiễu ý nghĩa Đặc biệt phân biệt người sử dụng tham gia hay không tham gia giao thông dựa tín hiệu di động truyền từ thiết bị giải pháp cho toán realTime nên cần có giải pháp có độ phức tạp thấp Vì vậy, tín hiệu vào qua loạt bước để lọc nhiễu, loại giá trị không tham gia giao thơng, tìm đoạn đường phù hợp trước tiến hành ước lượng giá trị vận tốc Bộ lọc module Preprocessor.java xử lý processor xem chi tiết báo cáo chuyên đề Những liệu qua lọc xác định tham gia giao thơng sử dụng để tính tốn vận tốc, cịn xác định khơng tham gia giao thơng khơng đưa vào để tính tốn Giới thiệu chung giải thuật Dựa vào tìm hiểu, khảo sát giải thuật có tính chất liệu thu vào, thấy mục tiêu khảo sát tình hình giao thơng mà đề tài nhắm tới giải toán giao thơng mức độ vi mơ Vì phương pháp sử dụng phương trình tốn học hiệu với trường hợp Cùng với đấy, toán đặt thu liệu di động, nên khả số lượng mẫu thấp, liệu thưa, khó để thực phương pháp ANN Cùng với tính chất tốn giải vấn đề giao thơng thị, giải thuật trung bình hay thơng kê cân nhắc, nói tốn toán với liệu thưa nên cần phải có bước xử lý phù hợp để đạt độ xác cao Đề tài xây dựng hệ thống tính tốn ước lượng vận tốc luồng giao thông khoảng thời gian để phù hợp với tình trạng thời điểm đấy, nhằm mục tiêu đảm bảo tín hiệu rơi vào khung thời gian có ý nghĩa tương đương Với khoảng thời gian chọn, hệ thống sử dụng cơng thức trung bình để tính trung bình vận tốc khung thời gian Công thức chọn dùng để ước lượng kết mong muốn hợp lý 9.3.3 Đánh giá hiệu 254 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ Hình 11 Biểu đồ so sánh hiệu giải pháp đề xuất giải pháp cũ 9.3.4 Kết luận ứng dung phân tích liệu vị trí Đã xây dựng hệ thống ước lượng vận tốc luồng giao thông thiết bị di động đề tài có ý nghĩa thực tiễn mà số người sử dụng thiết bị di động thông minh Việt Nam ngày tăng Xuất phát từ vấn đề giao thông trung tâm thành phố lớn nói chung thành phố Hồ Chí Minh nói riêng, vấn đề ước lượng vận tốc luồng giao thông đề tài quan trọng để phát triển ứng dụng cảnh báo, hướng dẫn lộ trình, phân luồng giao thơng tương lai, đóng góp vào giải pháp giải thực trạng giao thông Hệ thống giao thông thông minh - ITS Trong thời gian thực nghiên cứu, đề tài thiết kế thực ứng dụng thu thập liệu GPS từ thiết bị di động Đề tài có đánh giá liệu GPS thu thập từ thiết bị di động Ngoài ra, đề tài thiết kế hệ thống thu thập, xử lý, ước lượng vận tốc luồng giao thông liệu di động, thực vài module thu thập xử lý liệu Tìm phương pháp ước lượng vận tốc phương pháp đánh giá hệ thống ước lượng vận tốc luồng giao thông 9.4 Kết luận Chương trình bày ba (03) ứng dụng triển khai chạy thử nghiệm hệ thống SuperNode-XP trường ĐHBK Các ứng dụng có đặc điểm u cầu tính tốn hiệu cao, phân tích liệu tính tốn sử dụng kỹ thuật học sâu Việc nhằm cho thấy khả ứng dụng giải pháp triển khai đề tài cho hệ thống máy tính mạnh khác hướng để giải nhu cầu tính tốn thực tế giai đoạn đến Vấn đề quan tâm triển khai ứng dụng hiệu suất tính tốn hệ thống máy tính mạnh Ngồi ba ứng dụng trên, hệ thống SuperNode-XP cịn cung cấp dịch vụ tính tốn cho nhiều tốn khác nhóm nghiên cứu ngồi ĐHQG-HCM để kiểm chứng tính ổn định giải pháp 255 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ CHƯƠNG 10 KẾT LUẬN Hệ thống máy tính mạnh địi hỏi phải có thiết kế hợp lý để chạy ứng dụng lớn hiệu quả; nhiên việc đạt hiệu suất cao tốn khó hệ thống máy tính mạnh giới thông thường đạt 60%-70% Đây cơng việc ngồi khả người dùng chạy ứng dụng đầu cuối Hơn người dùng cần hệ thống máy tính cung cấp dịch vụ để thuận tiện việc triển khai ứng dụng Các yêu cầu triển khai nghiên cứu phần đề tài HPC Portal phục vụ cho hệ thống máy tính lớn nghiên cứu phát triển đề tài Kết triển khai thử nghiệm hệ thống SuperNode-XP PTN Tính tốn Hiệu cao - ĐHBK Do có nhiều người sử dụng với yêu cầu khác hệ thống máy tính nên việc quản lý cấp tài khoản phân quyền, cung cấp tài nguyên cho người dùng nghiên cứu triển khai thực tế SuperNode-XP Để quản lý số lượng tài nguyên lớn nhiều người dùng cơng cụ quản trị, giám sát từ hệ thống đến người dùng ứng dụng nghiên cứu phát triển, tích hợp ứng dụng thực tế Hướng đến ứng dụng liên quan đến liệu lớn trí tuệ nhân tạo việc kết hợp nút tính tốn truyền thống với card gia tốc GPUs Nvidia, Xeon Phi Intel nghiên cứu Việc đánh giá hiệu thư viện tiện ích phục vụ tính tốn phân tích liệu dùng kỹ thuật học sâu triển khai Việc giúp người dùng sử dụng Xeon Phi SuperNode-XP nghiên cứu triển khai Ngoài thư viện pyMIC-DL giúp triển khai ứng dụng học sâu qua thư viện Chainer chạy Xeon Phi thực Vận hành hệ thống máy tính lớn hiệu hiệu việc quản lý phân phối tài nguyên tập trung phải thực Đề tài đề xuất giải pháp thực thông qua việc sử dụng công cụ PBS Pro Các kỹ thuật lập lịch đáp ứng loại toán khác nghiên cứu triển khai ứng dụng thực tế SuperNode-XP Việc phân tích log file ứng dụng chạy hệ thống để ứng dụng kỹ thuật phân tích liệu dùng trí tuệ nhân tạo vào tốn lập lịch nghiên cứu kết khả quan Hỗ trợ cho tốn phân tích liệu lớn Hadoop & Spark nghiên cứu phát triển Giải pháp quản lý cung cấp tài nguyên cho tốn phân tích liệu lớn triển khai Docker Container để tăng tính linh động cho việc triển khai đơn giản hoá việc quản lý hạ tầng phần cứng toàn hệ thống máy tính mạnh Bài tốn phân tích liệu sinh viên triển khai thử nghiệm giải pháp hệ thống SuperNode-XP cho kết tốt Thiết kế tổ chức hệ thống mạng giao tiếp cho hệ thống máy tính lớn toán phức tạp Việc xem xét nghiên cứu giai đoạn Đặc biệt hệ thống SuperNode-XP có mạng giao tiếp tốc độ cao dùng Infiniband 56Gbps - 100Gbps nên việc sử dụng mạng tốc độ cao nghiên cứu đề tài Giải pháp cho phép nút tính tốn vật lý nút ảo sử dụng Docker Container giải triển khai SuperNode-XP 256 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ Kết nghiên cứu đề tài triển khai quản lý hệ thống máy tính lớn hỗ trợ tính tốn hiệu cao phân tích liệu phục vụ hướng phân tích liệu hiệu cao (HPDA) thực tế ứng dụng vào hệ thống máy tính mạnh SuperNode-XP ĐHBK-ĐHQG-HCM Hướng phát triển tương lai dựa kết có để phát triển hệ thống phần mềm quản lý cho hệ thống máy tính mạnh hỗ trợ ba hướng tính tốn đại: (1) Tính tốn hiệu cao, (2) Trí tuệ nhân tạo hướng học máy học sâu (3) Phân tích liệu lớn Hệ thống cần thiết định hướng phát triển Trí tuệ nhân tạo, Đơ thị thơng minh Cơng nghiệp 4.0 cho phép chia sẻ tài ngun tính tốn cho nhiều đơn vị nâng cao khả cạnh tranh phát triển sản phẩm cho doanh nghiệp Để đạt yêu cầu hệ thống phần mềm cần tập trung sâu việc cung cấp dịch vụ ảo hố tài ngun tồn hệ thống Việc phát triển dịch vụ phục vụ phát triển ứng dụng trí tuệ nhân tạo cần nghiên cứu sâu Một việc quan trọng cần phát triển đề cập chưa thực nghiên cứu đề tài hệ thống lưu trữ liệu lớn hướng đến toán ba định hướng Khi triển khai quy mô lớn hơn, số lượng dịch vụ người sử dụng lớn đa dạng hơn, hệ thống cần đánh giá toàn diện Đây vài nội dung nghiên cứu phát triển tương lai Tóm lại, kết đạt đề tài không đáp ứng tất yêu cầu vượt số mục nội dung yêu cầu, sản phẩm đăng ký thuyết minh hợp đồng đề tài Cụ thể:  Về nội dung: Hoàn thành đạt 100% tất nội dung đăng ký; số nội dung triển khai nhiều công việc đăng ký  Về sản phẩm phần mềm: Hoàn thành đạt 100% sản phẩm đề tài đăng ký; Triển khai đánh giá thực tiễn SuperNode-XP cho nhiều nhóm ứng dụng tính tốn hiệu cao, phân tích liệu trí tuệ nhân tạo  Về sản phẩm đào tạo: Hoàn thành đạt 100% số luận văn Thạc sỹ tốt nghiệp NCS bảo vệ thành công luận án Tiến sĩ Ngồi ra, cịn số sinh viên đại học tham gia nghiên cứu tốt nghiệp  Một giải pháp hữu ích "Hệ thống phân bổ tài nguyên cho hệ thống máy tính phân cụm" chấp nhận đơn đăng ký Một số kết khác đề tài đăng ký giải pháp hữu ích  Bài báo khoa học: vượt kế hoạch với 02 tạp chí & 05 báo kỷ yếu hội nghị IEEE so với kế hoạch 06 báo kỷ yếu hội nghị; ngồi cịn 03 báo khoa học liên quan đến việc triển khai đề tài HPDA Giai đoạn 257 TÀI LIỆU THAM KHẢO [1] B Nitzberg, J M Schopf, and J P Jones, “PBS Pro: Grid Computing and Scheduling Attributes,” in Grid resource management, no March 2003, 2004, pp 183–190 [2] A Geist, A Beguelin, J Dongarra, W Jiang, R Manchek, and V S Sunderam, PVM: Parallel virtual machine: a users’ guide and tutorial for networked parallel computing MIT press, 1994 [3] M Armbrust, A D Joseph, R H Katz, and D A Patterson, “Above the Clouds : A Berkeley View of Cloud Computing,” in Technical Report No UCB/EECS-2009-28, 2009, pp 1–23 [4] V Mauch, M Kunze, and M Hillenbrand, “High performance cloud computing,” Futur Gener Comput Syst., vol 29, no 6, pp 1408–1416, Aug 2013 [5] N Quang-Hung, N Thoai, and N T Son, “EPOBF: Energy Efficient Allocation of Virtual Machines in High Performance Computing Cloud,” Trans LargeScale Data- Knowledge-Centered Syst XVI Sel Pap from ACOMP 2013, vol 8960, pp 71–86, Oct 2014 [6] C Pahl, “Containerization and the PaaS Cloud,” IEEE Cloud Comput., vol 2, no 3, pp 24–31, 2015 [7] M T Chung, K Pham, N Thoai, and D Kranzlmueller, “A new approach for scheduling job with the heterogeneity-aware resource in HPC systems,” Proc 21st IEEE Int Conf High Perform Comput Commun 17th IEEE Int Conf Smart City 5th IEEE Int Conf Data Sci Syst HPCC/SmartCity/DSS 2019, pp 1900–1907, 2019 [8] A Desai, R Oza, P Sharma, and B Patel, “Hypervisor: A survey on concepts and taxonomy,” Int J Innov Technol Explor Eng., vol 2, no 3, pp 222–225, 2013 [9] R Morabito, J Kjällman, and M Komu, “Hypervisors vs lightweight virtualization: a performance comparison,” in 2015 IEEE International Conference on Cloud Engineering, 2015, pp 386–393 [10] P Barham et al., “Xen and the art of virtualization,” ACM SIGOPS Oper Syst Rev., vol 37, no 5, pp 164–177, 2003 [11] H D Chirammal, P Mukhedkar, and A Vettathu, Mastering KVM virtualization Packt Publishing Ltd, 2016 [12] J J Dongarra, H W Meuer, and E Strohmaier, “Top500 supercomputer sites (2019).” 2019 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ [13] P Calegari, M Levrier, and P Balczyński, “Web Portals for High-performance Computing,” ACM Trans Web, vol 13, no 1, pp 1–36, Feb 2019 [14] B Pawlowski, D Noveck, D Robinson, and R Thurlow, “The NFS version protocol,” in In Proceedings of the 2nd International System Administration and Networking Conference (SANE 2000, 2000 [15] F B Schmuck and R L Haskin, “GPFS: A Shared-Disk File System for Large Computing Clusters.,” in FAST, 2002, vol 2, no 19 [16] D E Hudak et al., “OSC OnDemand,” in Proceedings of the Conference on Extreme Science and Engineering Discovery Environment Gateway to Discovery - XSEDE ’13, 2013, pp 1–6 [17] W McKinney, Python for data analysis: Data wrangling with Pandas, NumPy, and IPython “ O’Reilly Media, Inc.,” 2012 [18] J Kuan, Learning Highcharts Packt Publishing Ltd, 2012 [19] D Marr, “Artificial intelligence—A personal view,” Artif Intell., vol 9, no 1, pp 37–48, Aug 1977 [20] R Rahman, Intel®Xeon PhiTM Coprocessor Architecture and Tools: The Guide for Application Developers Apress, 2013 [21] J Corbet, “Toward better NUMA scheduling.” Retrieved 2015-06-08 from http://lwn net/Articles/486858, 2012 [22] A B Yoo, M A Jette, and M Grondona, “SLURM: Simple Linux Utility for Resource Management,” in Workshop on Job Scheduling Strategies for Parallel Processing, 2003, pp 44–60 [23] A M Bailey et al., “Blue Gene/Q: Sequoia and Mira,” in Contemporary High Performance Computing, Chapman and Hall/CRC, 2017, pp 225–281 [24] J Power et al., “Heterogeneous system coherence for integrated CPU-GPU systems,” in 2013 46th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO), 2013, pp 457–467 [25] U Davis and J Owens, “GPU Architecture Overview,” SIGGRAPH2007, vol 10, 2007 [26] L Dagum and R Menon, “OpenMP: an industry standard API for sharedmemory programming,” IEEE Comput Sci Eng., vol 5, no 1, pp 46–55, 1998 [27] B Chapman, G Jost, and R Van Der Pas, Using OpenMP: portable shared memory parallel programming, vol 10 MIT press, 2008 [28] S Lyberis et al., “Formic: Cost-efficient and scalable prototyping of manycore architectures,” in 2012 IEEE 20th International Symposium on Field- Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ Programmable Custom Computing Machines, 2012, pp 61–64 [29] M Garland et al., “Parallel computing experiences with CUDA,” IEEE micro, vol 28, no 4, pp 13–27, 2008 [30] F Broquedis et al., “hwloc: A generic framework for managing hardware affinities in HPC applications,” in 2010 18th Euromicro Conference on Parallel, Distributed and Network-based Processing, 2010, pp 180–186 [31] E Jeannot, G Mercier, and F Tessier, “Process placement in multicore clusters: Algorithmic issues and practical techniques,” IEEE Trans Parallel Distrib Syst., vol 25, no 4, pp 993–1002, 2013 [32] E H M Cruz, M Diener, and P O A Navaux, “Using the translation lookaside buffer to map threads in parallel applications based on shared memory,” in 2012 IEEE 26th International Parallel and Distributed Processing Symposium, 2012, pp 532–543 [33] A Kleen, “A numa api for linux,” Nov Inc, 2005 [34] M Diener, E H M Cruz, and P O A Navaux, “Locality vs Balance: Exploring data mapping policies on NUMA systems,” in 2015 23rd Euromicro International Conference on Parallel, Distributed, and Network-Based Processing, 2015, pp 9–16 [35] P Radojkovic et al., “Thread assignment of multithreaded network applications in multicore/multithreaded processors,” IEEE Trans Parallel Distrib Syst., vol 24, no 12, pp 2513–2525, 2012 [36] A B Yoo, M A Jette, and M Grondona, “Slurm: Simple linux utility for resource management,” in Workshop on Job Scheduling Strategies for Parallel Processing, 2003, pp 44–60 [37] S Kannan, M Roberts, P Mayes, D Brelsford, and J F Skovira, “Workload management with loadleveler,” IBM Redbooks, vol 2, no 2, p 58, 2001 [38] S Zhou, “Lsf: Load sharing in large heterogeneous distributed systems,” in I Workshop on cluster computing, 1992, vol 136 [39] R Buyya and M Murshed, “Gridsim: A toolkit for the modeling and simulation of distributed resource management and scheduling for grid computing,” Concurr Comput Pract Exp., vol 14, no 13–15, pp 1175–1220, 2002 [40] A Beloglazov, J Abawajy, and R Buyya, “Energy-aware resource allocation heuristics for efficient management of data centers for Cloud computing,” Futur Gener Comput Syst., vol 28, no 5, pp 755–768, May 2012 [41] T D Braun et al., “A taxonomy for describing matching and scheduling heuristics for mixed-machine heterogeneous computing systems,” in Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ Proceedings Seventeenth IEEE Symposium on Reliable Distributed Systems (Cat No 98CB36281), 1998, pp 330–335 [42] V Hamscher, U Schwiegelshohn, A Streit, and R Yahyapour, “Evaluation of job-scheduling strategies for grid computing,” in International Workshop on Grid Computing, 2000, pp 191–202 [43] D G Feitelson, L Rudolph, U Schwiegelshohn, K C Sevcik, and P Wong, “Theory and practice in parallel job scheduling,” in Workshop on Job Scheduling Strategies for Parallel Processing, 1997, pp 1–34 [44] E Deelman et al., “Pegasus: A framework for mapping complex scientific workflows onto distributed systems,” Sci Program., vol 13, no 3, pp 219–237, 2005 [45] A C Dusseau, R H Arpaci, and D E Culler, “Effective distributed scheduling of parallel workloads,” ACM SIGMETRICS Perform Eval Rev., vol 24, no 1, pp 25–36, 1996 [46] A Hameed et al., “A survey and taxonomy on energy efficient resource allocation techniques for cloud computing systems,” Computing, vol 98, no 7, pp 751–774, Jul 2016 [47] R N Calheiros, E Masoumi, R Ranjan, and R Buyya, “Workload prediction using ARIMA model and its impact on cloud applications’ QoS,” IEEE Trans Cloud Comput., vol 3, no 4, pp 449–458, 2014 [48] T P Pham, J J Durillo, and T Fahringer, “Predicting workflow task execution time in the cloud using a two-stage machine learning approach,” IEEE Trans Cloud Comput., 2017 [49] M.-H Tsai, K.-C Lai, H.-Y Chang, K F Chen, and K.-C Huang, “Pewss: A platform of extensible workflow simulation service for workflow scheduling research,” Softw Pract Exp., vol 48, no 4, pp 796–819, 2018 [50] I Pietri, G Juve, E Deelman, and R Sakellariou, “A performance model to estimate execution time of scientific workflows on the cloud,” in 2014 9th Workshop on Workflows in Support of Large-Scale Science, 2014, pp 11–19 [51] A Beloglazov, J H Abawajy, and R Buyya, “Energy-aware resource allocation heuristics for efficient management of data centers for Cloud computing,” Futur Gener Comput Syst., vol 28, no 5, pp 755–768, May 2012 [52] A Beloglazov and R Buyya, “OpenStack Neat: a framework for dynamic and energy-efficient consolidation of virtual machines in OpenStack clouds,” Concurr Comput Pract Exp., vol 27, no 5, pp 1310–1333, 2015 [53] Z Cao, J Lin, C Wan, Y Song, Y Zhang, and X Wang, “Optimal cloud computing resource allocation for demand side management in smart grid,” IEEE Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ Trans Smart Grid, vol 8, no 4, pp 1943–1955, 2016 [54] R N Calheiros, R Ranjan, A Beloglazov, C A F De Rose, and R Buyya, “CloudSim: a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms,” Softw., Pr Exper., vol 41, no 1, pp 23–50, 2011 [55] M Sourouri et al., “Towards fine-grained dynamic tuning of HPC applications on modern multi-core architectures,” in Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, 2017, pp 1–12 [56] M T Chung, N Quang-Hung, M.-T Nguyen, and N Thoai, “Using docker in high performance computing applications,” in 2016 IEEE Sixth International Conference on Communications and Electronics (ICCE), 2016, pp 52–57 [57] M T Chung, K Pham, N Thoai, and D Kranzlmueller, “A new approach for scheduling job with the heterogeneity-aware resource in HPC systems,” in Proceedings - 21st IEEE International Conference on High Performance Computing and Communications, 17th IEEE International Conference on Smart City and 5th IEEE International Conference on Data Science and Systems, HPCC/SmartCity/DSS 2019, 2019, no August, pp 1900–1907 [58] “Docker CLI,” 2019 [Online] Available: https://docs.docker.com/engine/reference/commandline/docker/ [Accessed: 10Dec-2019] [59] A.-T N Tran, H.-P Nguyen, M.-T Nguyen, T.-D Diep, N Quang-Hung, and N Thoai, “pyMIC-DL: A Library for Deep Learning Frameworks Run on the Intel® Xeon PhiTM Coprocessor,” in 2018 IEEE 20th International Conference on High Performance Computing and Communications; IEEE 16th International Conference on Smart City; IEEE 4th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), 2018, pp 226–234 [60] T Van Luong, N Melab, and E Talbi, “GPU Computing for Parallel Local Search Metaheuristic Algorithms,” IEEE Trans Comput., vol 62, no 1, pp 173–185, Jan 2013 [61] Y E Wang, G.-Y Wei, and D Brooks, “Benchmarking TPU, GPU, and CPU Platforms for Deep Learning,” Jul 2019 [62] NVIDIA Corporation, “NVIDIA GPU Cloud (NGC),” 2019 [Online] Available: https://docs.nvidia.com/ngc/ [Accessed: 31-Dec-2019] [63] I Chakroun, N Melab, M Mezmaz, and D Tuyttens, “Combining multi-core and GPU computing for solving combinatorial optimization problems,” J Parallel Distrib Comput., vol 73, no 12, pp 1563–1577, Dec 2013 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ [64] Y You, Z Zhang, C.-J Hsieh, J Demmel, and K Keutzer, “Fast Deep Neural Network Training on Distributed Systems and Cloud TPUs,” IEEE Trans Parallel Distrib Syst., vol 30, no 11, pp 2449–2462, Nov 2019 [65] W G Hatcher and W Yu, “A Survey of Deep Learning: Platforms, Applications and Emerging Research Trends,” IEEE Access, vol 6, pp 24411–24432, 2018 [66] A Voulodimos, N Doulamis, A Doulamis, and E Protopapadakis, “Deep Learning for Computer Vision: A Brief Review,” Comput Intell Neurosci., vol 2018, pp 1–13, 2018 [67] M A Nielsen, Neural networks and deep learning, vol 2018 Determination press San Francisco, CA, 2015 [68] M Abadi, B Paul, C Jianmin, and Z Xiaoquian, “TensorFlow: A System for Large-Scale Machine Learning,” in 12th USENIX Symposium on Operating Systems Design and Implementation, 2016, pp 265–283 [69] G Ramirez-Gargallo, M Garcia-Gasulla, and F Mantovani, “TensorFlow on State-of-the-Art HPC Clusters: A Machine Learning use Case,” in 2019 19th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID), 2019, pp 526–533 [70] Y Jia et al., “Caffe: Convolutional architecture for fast feature embedding,” in Proceedings of the 22nd ACM international conference on Multimedia, 2014, pp 675–678 [71] A Paszke et al., “Pytorch: An imperative style, high-performance deep learning library,” in Advances in neural information processing systems, 2019, pp 8026– 8037 [72] S W D Chien, S Markidis, V Olshevsky, Y Bulatov, E Laure, and J Vetter, “TensorFlow Doing HPC,” in 2019 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW), 2019, pp 509–518 [73] T Ben-Nun, M Besta, S Huber, A N Ziogas, D Peter, and T Hoefler, “A modular benchmarking infrastructure for high-performance and reproducible deep learning,” Proc - 2019 IEEE 33rd Int Parallel Distrib Process Symp IPDPS 2019, no L, pp 66–77, 2019 [74] L A Barroso, J Clidaras, and U Hölzle, “The datacenter as a computer: An introduction to the design of warehouse-scale machines,” Synth Lect Comput Archit., vol 8, no 3, pp 1–154, 2013 [75] J Owens, “GPU Architecture Overview The Right-Hand Turn,” Siggraph, 2007 [76] “OpenMP.” [Online] Available: https://www.openmp.org/ [Accessed: 02-Jan2019] Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ [77] A T N Tran, H P Nguyen, M T Nguyen, T D Diep, N Quang-Hung, and N Thoai, “PyMIC-DL: A Library for Deep Learning Frameworks Run on the Intel® Xeon PhiTM Coprocessor,” Proc - 20th Int Conf High Perform Comput Commun 16th Int Conf Smart City 4th Int Conf Data Sci Syst HPCC/SmartCity/DSS 2018, pp 226–234, 2018 [78] M Klemm and J Enkovaara, “pyMIC: A Python offload module for the Intel Xeon Phi coprocessor,” Proc PyHPC, 2014 [79] T Elpelt, R Franke, Y Z Miranda, “Networking Design for HPC and AI on IBM Power Systems” IBM Redbooks, 2018 [80] Mellanox Technologies, “Deploying HPC Cluster with Mellanox InfiniBand Interconnect Solutions”, Reference Design Rev 1.3, 2017 [81] A Kalia, M Kaminsky, D G Andersen, “Design Guidelines for High Performance RDMA Systems”, USENIX ATC’16, 2016 [82] D Goldenberg, L Shoshan, “Enabling Heterogeneous High Performance Containerized Platforms”, ISC Container Workshop Frankfurt, June 2019 [83] D K Panda, H Subramoni, “InfiniBand, Omni-Path, and High-Speed Ethernet: Advanced Features, Challenges in Designing HEC Systems, and Usage”, The Ohio State University, 2018 [84] T Steinke, “Network Fabrics: Cray Aries”, Zuse Institute Berlin, 2017 [85] F O Sem-Jacobsen, “A Cost and Scalability Comparision of the Dragonfly versus the Fat Tree”, HPC Advisory Council Workshop, 2013 [86] P Foulkes, “A Trusted Approach for High Performance Networking InsideHPC Special Report, 2016 [87] Mellanox Technologies, “MLNX_OFED Documentation”, Rev 4.6-1.0.1.1, 2019 [88] O Lascu, K Bosworth, H Kitzhöfer, J Ko, N Mroz, G Noble, F Pizzano, R (Bob) Simon, A Vlad, “HPC Clusters Using InfiniBand on IBM Power Systems Servers”, IBM Redbooks, 2009 [89] G Fu, “Implementing RDMA on Linux”, Lenovo Press, 2018 [90] O Cardona, “Towards Hyperscale High Performance Computing with RDMA”, NANOG 76, 2019 [91] N Zhang, J Simons, “Performance of RDMA and HPC Applications in Virtual Machines using FDR InfiniBand on VMware vSphere®”, VMware Technical White Paper, 2018 Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ [92] Designing an HPC Cluster with Mellanox InfiniBand Solutions https://community.mellanox.com/s/article/designing-an-hpc-cluster-withmellanox-infiniband-solutions [93] High Availability Using Mellanox Switches and Adapters https://community.mellanox.com/s/article/high-availability-using-mellanoxswitches-and-adapters [94] The Mellanox Official Store https://store.mellanox.com/ [95] InfiniBand and IinfiniBand Trade Association https://www.infinibandta.org/ [96] OpenHPC https://openhpc.community/ [97] Intel Omni-Path Architecture https://www.intel.com/content/www/us/en/highperformance-computing-fabrics/omni-path-driving-exascale-computing.html [98] Ethernet https://ethernetalliance.org/ [99] TOP500 The List https://www.top500.org/ [100] InfiniBand Switches https://www.mellanox.com/page/switch_systems_overview [101] InfiniBand Cables http://www.fiber-optic-cable-sale.com/infiniband- infiniband-switch.html [102] Cabling for CLOS networks https://community.mellanox.com/s/article/cabling-considerations-for-clos5-networks [103] InfiniBand Wikipedia https://en.wikipedia.org/wiki/InfiniBand [104] RDMA Wikipedia https://en.wikipedia.org/wiki/Remote_direct_memory_access [105] RDMA http://www.rdmamojo.com/2014/03/31/remote-direct-memory- access-rdma/ [106] J Simons, E DeMattia, and C Chaubal, “Virtualizing HPC and Technical Computing with VMware vSphere,” VMware Technical White Paper, http://www.vmware.com/files/pdf/techpaper/vmware-virtualizing-hpctechnical-computing-withvsphere.pdf [107] _, “Configuration Examples and Troubleshooting for VMDirectPath,” VMware Technical Note, http://www.vmware.com/pdf/vsp_4_vmdirectpath_host.pdf Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ [108] _, “MVAPICH2 2.1 User Guide,” http://mvapich.cse.ohio- state.edu/static/media/mvapich/mvapich2-2.1a-userguide.pdf [109] B Davda, “Best Practices for Performance Tuning of Latency-Sensitive Workloads in vSphere VMs,” VMware Technical White Paper, http://www.vmware.com/files/pdf/techpaper/VMW-Tuning-LatencySensitive-Workloads.pdf [110] A De Mauro, M Greco, and M Grimaldi, “A formal definition of Big Data based on its essential features,” Libr Rev., 2016 [111] T Erl, W Khattak, and P Buhler, Big data fundamentals: concepts, drivers and techniques Prentice Hall Press, 2016 [112] Hadoop, “The ApacheTM Hadoop® project develops open-source software for reliable, scalable, distributed computing.,” 2020 https://hadoop.apache.org/ [113] T White, Hadoop: The Definitive Guide, 4th ed O’Reilly Media, Inc., 2015 [114] M Zaharia et al., “Apache Spark: A Unified Engine for Big Data Processing,” Commun ACM, vol 59, no 11, pp 56–65, Oct 2016, doi: 10.1145/2934664 [115] T L Mai, P T Do, M T Chung, and N Thoai, “An Apache Spark-Based Platform for Predicting the Performance of Undergraduate Students,” in 2019 IEEE 21st International Conference on High Performance Computing and Communications; IEEE 17th International Conference on Smart City; IEEE 5th International Conference on Data Science and Systems (HPCC/SmartCity/DSS), Aug 2019, pp 191–199, doi: 10.1109/HPCC/SmartCity/DSS.2019.00041 [116] K Shvachko, H Kuang, S Radia, and R Chansler, "The Hadoop Distributed File System," Proceedings of the 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies (MSST), 2010 [Online] Available: https://doi.org/10.1109/MSST.2010.5496972 [116] D Laney, "3D Data Management: Controlling Data Volume, Velocity, and Variety," 2001 [Online] Available: http://blogs.gartner.com/douglaney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-VolumeVelocity-and-Variety.pdf [117] Lustre, "The Lustre® file system," vol 2020 [Online] Available: http://lustre.org/ [118] “Download OpenStreetMap data for this region:Vietnam,” [Trực tuyến] Available: http://download.geofabrik.de/asia/vietnam.html Đề tài nghiên cứu HPDA Giai Đoạn I – Báo cáo cuối kỳ