Nghiên cứu ứng dụng ai xây dựng thuật toán phân loại tác vụ dựa trên độ ưu tiên nhằm nâng cao hiệu năng cân bằng tải trên điện toán đám mây

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH ∞0∞ CAO THÀNH NAM NGHIÊN CỨU ỨNG DỤNG AI XÂY DỰNG THUẬT TOÁN PHÂN LOẠI TÁC VỤ DỰA TRÊN ĐỘ ƯU TIÊN NHẰM NÂNG CAO HIỆU NĂNG CÂN BẰNG TẢI TRÊN ĐIỆN TOÁN ĐÁM MÂY Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giảng viên hướng dẫn: PGS.TS TRẦN CÔNG HÙNG TP HỒ CHÍ MINH, NĂM 2021 TRƯỜNG ĐẠI HỌC MỞ CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM THÀNH PHỐ HỒ CHÍ MINH Độc lập – Tự – Hạnh phúc KHOA ĐÀO TẠO SAU ĐẠI HỌC GIẤY XÁC NHẬN Tôi tên là: Cao Thành Nam Ngày sinh: 30/06/1976 Nơi sinh: Tân Thành, Thành phố Cà Mau, tỉnh Cà Mau Chuyên ngành: Khoa học máy tính Mã học viên: 1884801010005 Tơi đồng ý cung cấp tồn văn thơng tin luận văn tốt nghiệp hợp lệ quyền cho Thư viện trường đại học Mở Thành phố Hồ Chí Minh Thư viện trường đại học Mở Thành phố Hồ Chí Minh kết nối tồn văn thơng tin luận văn tốt nghiệp vào hệ thống thông tin khoa học Sở Khoa học Cơng nghệ Thành phố Hồ Chí Minh Ký tên (Ghi rõ họ tên) Cao Thành Nam CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc Ý KIẾN CHO PHÉP BẢO VỆ LUẬN VĂN THẠC SĨ CỦA GIẢNG VIÊN HƯỚNG DẪN Giảng viên hướng dẫn: PGS.TS Trần Công Hùng Học viên thực hiện: Cao Thành Nam Lớp: MCOM018A Ngày sinh: 30/06/1976 Nơi sinh: Tân Thành, Thành phố Cà Mau, tỉnh Cà Mau Tên đề tài: Nghiên cứu ứng dụng AI xây dựng thuật toán phân loại tác vụ dựa độ ưu tiên nhằm nâng cao hiệu cân tải điện toán đám mây Ý kiến giáo viên hướng dẫn việc cho phép học viên Cao Thành Nam bảo vệ luận văn trước Hội đồng: Học viên thực theo đề cương giao, thực chương qua 61 trang, dùng 30 tài liệu tham khảo, Học viên thực + Giới thiệu tổng quan điện toán đám mây cân tải mơi trường điện tốn đám mây, giới thiệu thuật toán AI ứng dụng phân loại tác vụ + Trình bày sở cơng trình liên quan tới cân tải điện toán đám mây + Đề xuất phương pháp cải tiến thuật toán cân tải điện toán đám mây + Đánh giá thuật toán cân tải Đánh giá thuật toán phân loại tác vụ dựa độ ưu tiên Luận văn đạt yêu cầu luận văn thạc sĩ, đề nghị phép bảo vệ luận văn tốt nghiệp Tp Hồ Chí Minh, ngày 23 tháng 07 năm 2021 Người nhận xét PGS.TS Trần Công Hùng i LỜI CAM ĐOAN Tôi tên Cao Thành Nam, cam đoan luận văn: “Nghiên cứu ứng dụng AI xây dựng thuật toán phân loại tác vụ dựa độ ưu tiên nhằm nâng cao hiệu cân tải điện tốn đám mây” cơng trình nghiên cứu tơi Những kết nghiên cứu trình bày luận văn cơng trình riêng hướng dẫn PGS.TS Trần Công Hùng Những kết nghiên cứu tác giả khác số liệu sử dụng luận văn có trích dẫn đầy đủ Những kết nghiên cứu chung trình bày luận văn có đồng ý đồng tác giả Tp Hồ Chí Minh, ngày 21 tháng năm 2021 Học viên thực luận văn Cao Thành Nam ii LỜI CẢM ƠN Trong suốt trình học tập nghiên cứu thực luận văn, nỗ lực thân, tơi nhận hướng dẫn nhiệt tình q báu quý Thầy Cô, với động viên ủng hộ gia đình, bạn bè đồng nghiệp Với lịng kính trọng biết ơn sâu sắc, xin gửi lời cảm ơn chân thành tới: Ban Giám hiệu, quý Thầy Cô Khoa Đào tạo Sau Đại học Khoa Công nghệ Thông tin, Trường Đại học Mở Tp.HCM tạo điều kiện thuận lợi giúp tơi hồn thành luận văn Tơi xin chân thành cảm ơn Thầy PGS.TS Trần Cơng Hùng, người thầy kính mến hết lòng giúp đỡ, hướng dẫn, động viên, tạo điều kiện cho tơi suốt q trình thực hồn thành luận văn Tơi xin chân thành cảm ơn gia đình, bạn bè, đồng nghiệp quan động viên, hỗ trợ tơi lúc khó khăn để tơi học tập hồn thành luận văn Mặc dù có nhiều cố gắng, nỗ lực, thời gian kinh nghiệm nghiên cứu khoa học cịn hạn chế nên khơng thể tránh khỏi thiếu sót Tơi mong nhận góp ý quý Thầy Cô bạn bè đồng nghiệp để kiến thức tơi ngày hồn thiện Xin chân thành cảm ơn! iii TÓM TẮT Ngày điện toán đám mây trở thành tảng phổ biến cho ứng dụng khoa học đời sống người Cùng với đó, thách thức lớn lĩnh vực điện toán đám mây toán lập lịch luồng công việc Nhiều nghiên cứu cho thấy hiệu hệ thống điện toán đám mây phụ thuộc nhiều vào việc xếp tác vụ luồng thực thi máy tính mơi trường đám mây Với mục đích giải vấn đề cân tải mơi trường điện tốn đám mây, cần tìm khắc phục yếu phương pháp tại, cung cấp dịch vụ chất lượng tốt Đề tài “Nghiên cứu ứng dụng AI xây dựng thuật toán phân loại tác vụ dựa độ ưu tiên nhằm nâng cao hiệu cân tải điện toán đám mây” tập trung vào nghiên cứu thuật toán cân tải, nghiên cứu tham số đánh giá mức độ ưu tiên tác vụ, thuật tốn áp dụng vào phân lớp tác vụ (tasks classification), nghiên cứu thuật toán cân tải phổ biến áp dụng nay, từ cải tiến bổ sung đề xuất kỹ thuật cân tải ứng dụng AI nhằm phân loại tác vụ, từ nâng cao hiệu cân tải điện toán đám mây Việc phát triển đề xuất thực nghiệm mô môi trường mơ điện tốn đám mây phổ biến CloudSim, Matlab, GridSim, … từ kết thực nghiệm, ta đánh giá kết quả, chứng minh thuật toán đề xuất mang lại hiệu suất tốt so với thuật toán lập lịch truyền thống khác iv ABSTRACT Nowadays cloud computing has become a popular platform for scientific applications and human life Along with that, the biggest challenge in cloud computing is the problem of workflow schedule Many studies show that the performance of cloud computing systems depends a lot on arranging tasks in the execution stream on computers in a cloud environment With the purpose of solving load balancing problems in the cloud, it is necessary to find and overcome weaknesses in current methods, as well as provide better quality services The topic "AI application research builds priority-based task classification algorithms to enhance load balancing performance on the cloud computing" will focus on studying load balancing algorithms, studying sets of parameters to evaluate task priority, algorithms that can be applied to task classification, study common load balancing algorithms that are being applied today, thereby further improving or proposing a new AI application load balancing technique to categorise tasks and enhancing load balancing performance in the cloud This development and proposal will be experimentally simulated on popular cloud computing simulation environments such as CloudSim, Matlab, GridSim, from the experimental results, we can evaluate the results, proving that the proposed algorithm offers better performance than other traditional schedule algorithms v DANH MỤC CÁC THUẬT NGỮ, TỪ VIẾT TẮT Từ viết tắt BW CAP Cloud CLOUDLET CPU CS DC FW GB HOST Tiếng anh Bandwidth Capacity Cloud Computing CLOUDLET Central Processing Unit Cloudsim Datacenter Firewall Giga Byte HOST IAAS LBC MAX-MIN Infrastructure as a Service Load balance Max-Min MB MIPS OS PAAS QOS RAM SAAS TMA TZ VIRTUAL VM Task/Job AI ML DL Mega Byte Millions of Instructions Per Second Operating System Platform as a Service Quality of Service Random Access Memory Software as a Service Throttled Modified Algorithm Timezone Virtualization Virtual machine Task/Job Artificial Intelligence Machine Learning Deep Learning Tiếng việt Băng thông mạng Năng lực xử lý trung bình Điện tốn đám mây u cầu giả lập web request Bộ xử lý trung tâm Bộ thư viện CloudSim Trung tâm liệu Tưởng lửa Đơn vị nhớ Giga byte Máy chủ trung tâm liệu Dịch vụ sở hạ tầng Cân tải Thuật toán cân tải MaxMin Đơn vị nhớ Mega byte Tốc độ xử lý CPU Hệ điều hành Dịch vụ tảng Chất lượng dịch vụ Bộ nhớ truy cập ngẫu nhiên Phần mềm dịch vụ Thuật tốn sửa đổi throttled Múi Ảo hóa Máy ảo Tác vụ/cơng việc thực Trí Tuệ Nhân Tạo Học Máy Học Sâu vi DANH MỤC BẢNG Bảng Kết mơ thuật tốn FCFS, GA ACO [21] 31 Bảng 4.1 Thông số cấu hình Datacenter 49 Bảng 4.2 Cấu hình máy ảo 49 Bảng 4.3 Cấu hình thơng số Request 50 Bảng 4.4 Kết thực nghiệm mô với 30 request 51 Bảng 4.5 Kết thực nghiệm mô với 60 request 52 Bảng 4.6 Kết thực nghiệm mô với 100 request 52 Bảng 4.7 Kết thực nghiệm mô với 1000 request 53 vii DANH MỤC HÌNH ẢNH Hình 1 Mơ hình điện tốn đám mây (theo 3STechBlog) Hình Mơ hình kiến trúc điện toán đám mây [7] Hình Mơ hình dịch vụ điện toán đám mây [8] 10 Hình Mơ hình Cân tải điện toán đám mây [11] 11 Hình 1.5 Sơ đồ thiết kế lớp CloudSim [15] 17 Hình Luồng giao tiếp thực thể lõi CloudSim [16] .19 Hình Mối liên hệ AI, ML DL (theo NVIDIA.com) 20 Hình Phân nhóm thuật tốn Machine Learning (theo Data Flair) 21 Hình Sơ đồ mã giả thuật toán Min-Min [18] 27 Hình 2 Sơ đồ mã giả thuật tốn LBMin-Min [18] 28 Hình Lưu đồ phân bổ tài nguyên cloud [19] 29 Hình Khung lập lịch Makespan tối thiểu MMSF [20] 31 Hình Các quan sát thực nghiệm FCFS, GA ACO [21] 32 Hình Mơ hình thuật toán LBRS [22] 33 Hình Mơ hình cân tải cloud [24] 35 Hình Sơ đồ mơ hình nghiên cứu Cloud 41 Hình Tính tốn độ ưu tiên request Cloud 42 Hình 3 Sơ đồ thuật tốn đề xuất k-CTPA 45 Hình 4.1 Biểu đồ so sánh thời gian thực thuật tốn với 30 Request 51 Hình 4.2 Biểu đồ so sánh thời gian thực thuật tốn với 60 Request 52 Hình 4.3 Biểu đồ so sánh thời gian thực thuật tốn với 100 Request .53 Hình 4.4 Biểu đồ so sánh thời gian thực thuật toán với 1000 Request 54 Hình 4.5 Thời gian thực trung bình thuật tốn từ 30-1000 Request 54 Hình 4.6 Thời gian thực lớn thuật toán từ 30-1000 Request .55