Thuật toán tiến hóa đa nhiệm tự thích ứng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Thuật tốn tiến hố đa nhiệm tự thích ứng LÊ TIẾN THÀNH thanh.ltcb190211@sis.hust.edu.vn Ngành Khoa học Dữ liệu Giảng viên hướng dẫn: PGS TS Huỳnh Thị Thanh Bình Chữ ký GVHD Viện: Công nghệ Thông tin Truyền thơng HÀ NỘI, 04/2021 CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ———————— BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Lê Tiến Thành Đề tài luận văn: Thuật tốn tiến hóa đa nhiệm tự thích ứng Chuyên ngành: Khoa học Dữ liệu Mã số học viên: CB190211 Tác giả, người hướng dẫn khoa học hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 28 tháng năm 2021 với nội dung sau: • Bổ sung thêm giải thích chế trao đổi tri thức khác tác vụ trường hợp tác vụ có số chiều thứ ngun khác (Mục 2.1.4) • Giải thích lại cách cách cài đặt thuật toán để trao đổi tri thức cách tuần tự, làm rõ khác biệt với MFEA giả mã (Mục 4.2) • Thêm phần tổng kết chương cuối chương 2, 3, • Thống cách gọi tên thuật tốn thuật tốn tiến hóa đa nhiệm, thay sử dụng nhiều cách gọi khác đa tác vụ, đa nhân tố tồn luận văn • Chỉnh sửa Công thức 4.2, Mục 4.1 để điều kiện sinh biến j cụ thể • Thay phần viết tiếng Anh Thuật tốn • Chỉnh lại “while điều kiện kết thúc thỏa mãn” Thuật toán thành “while điều kiện kết thúc chưa thỏa mãn” để hợp logic • Kiểm tra lại số lỗi tả, ngữ pháp tồn luận văn Ngày 23 tháng 06 năm 2021 Giáo viên hướng dẫn Tác giả luận văn Chủ tịch hội đồng ĐỀ TÀI LUẬN VĂN Thuật tốn tiến hóa đa nhiệm tự thích ứng Giáo viên hướng dẫn Ký ghi rõ họ tên Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang Lời cảm ơn Trước hết, xin cảm ơn giáo viên hướng dẫn PGS.TS Huỳnh Thị Thanh Bình Cô luôn giúp đỡ tạo điều kiện tốt cho tơi hồn thành khối lượng cơng việc nghiên cứu chương trình thạc sĩ khoa học Tôi xin cảm ơn học viên cao học Tạ Bảo Thắng sinh viên Lê Văn Cường, hai đồng tác giả báo khoa học tổng kết đề tài nghiên cứu Trong q trình học, tơi may mắn trường cho phép thực tập nghiên cứu Viện Tin học Quốc gia Nhật Bản (NII) Tôi xin cảm ơn Giáo sư Yusheng Ji, giáo viên hướng dẫn NII bao dung giúp đỡ tập Cảm ơn nghiên cứu sinh Lê Văn An, người làm việc trực tiếp ngày NII, tận tay việc giúp nâng cao kỹ nghiên cứu Cảm ơn bạn thân tôi, Hải, cung cấp máy tính để tơi chạy thực nghiệm Cảm ơn bố mẹ bạn gái động viên tinh thần tơi để tơi hồn thành mục tiêu đề Tóm tắt nội dung luận văn Thuật tốn tiến hóa đa nhiệm nhận quan tâm cộng đồng nghiên cứu tính tốn tiến hóa Thuật tốn lấy cảm hứng từ khả làm nhiều việc lúc người Phỏng lại tượng trên, thuật tốn tối ưu nhiều tốn khác nhau, ngầm chia sẻ thông tin lúc giải để kết tối ưu tác vụ thành phần cải thiện so với giải riêng tác vụ Thuật toán áp dụng nhiều ứng dụng khác từ tối ưu toán định tuyến, phân cụm đồ thị khó đến tối ưu mạng nơ ron nhỏ Tiến hóa đa nhiệm hướng tới triển khai mơi trường tính tốn đám mây với số lượng lớn người dùng gửi yêu cầu giải toán họ hệ thống để máy chủ trung tâm giải toán nhiều người dùng khác nhau Tuy nhiên, nghiên cứu tiền hóa đa nhiệm thường dừng lại tối ưu hai đến ba tác vụ lúc Để đạt yêu cầu triển khai thực tế trên, thuật toán cần phải đáp ứng việc giải lượng lớn tác vụ khác Nghiên cứu đề xuất thuật tốn tiến hóa đa nhiệm xử lý lượng lớn tác vụ, gọi Many-task Multi-armed Bandit Evolutionary Algorithm (Ma2 BEA) Ngoài ra, để giảm thiểu số lượng tham số, thuật toán cần tự động thích nghi với tập tốn đầu vào khác nhau, dựa nguồn liệu dồi sinh từ q trình tối ưu Ý tưởng Ma2 BEA mơ hình hóa lại cách ghép cặp tác vụ tương đồng để trao đổi thông tin với mơ hình Multi-Armed Bandits Cách ghép cặp tự động dựa liệu giá trị hàm mục tiều tác vụ thành phần, sinh trình tối ưu Một khung thuật tốn cho tiến hóa đa nhiệm, phù hợp với trường hợp số lượng tác vụ lớn đề xuất Thuật toán đánh giá so sánh với thuật toán giải số lượng tác vụ lớn nhất, liệu thử nghiệm chung Ngồi ra, thuật tốn thử nghiệm ứng dụng tối ưu mạng nơ-ron cho học tăng cường HỌC VIÊN Ký ghi rõ họ tên Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang Tóm tắt Thuật tốn tiến hóa đa nhiệm nhận quan tâm cộng đồng nghiên cứu tính tốn tiến hóa Thuật tốn lấy cảm hứng từ khả làm nhiều việc lúc người Phỏng lại tượng trên, thuật tốn tối ưu nhiều tốn khác nhau, ngầm chia sẻ thơng tin lúc giải để kết tối ưu tác vụ thành phần cải thiện so với giải riêng tác vụ Thuật toán áp dụng nhiều ứng dụng khác từ tối ưu toán định tuyến, phân cụm đồ thị khó đến tối ưu mạng nơ ron nhỏ Tiến hóa đa nhiệm hướng tới triển khai mơi trường tính tốn đám mây với số lượng lớn người dùng gửi yêu cầu giải toán họ hệ thống để máy chủ trung tâm giải toán nhiều người dùng khác nhau Tuy nhiên, nghiên cứu tiền hóa đa nhiệm thường dừng lại tối ưu hai đến ba tác vụ lúc Để đạt yêu cầu triển khai thực tế trên, thuật toán cần phải đáp ứng việc giải lượng lớn tác vụ khác Nghiên cứu đề xuất thuật tốn tiến hóa đa nhiệm xử lý lượng lớn tác vụ, gọi Ma2 BEA Ngoài ra, để giảm thiểu số lượng tham số, thuật tốn cần tự động thích nghi với tập toán đầu vào khác nhau, dựa nguồn liệu dồi sinh từ trình tối ưu Ý tưởng Ma2 BEA mơ hình hóa lại cách ghép cặp tác vụ tương đồng để trao đổi thông tin với mơ hình Multi-Armed Bandits Cách ghép cặp tự động dựa liệu giá trị hàm mục tiều tác vụ thành phần, sinh q trình tối ưu Một khung thuật tốn cho tiến hóa đa nhiệm, phù hợp với trường hợp số lượng tác vụ lớn đề xuất Thuật toán đánh giá so sánh với thuật toán giải số lượng tác vụ lớn nhất, liệu thử nghiệm chung Ngồi ra, thuật tốn thử nghiệm ứng dụng tối ưu mạng nơ-ron cho học tăng cường Luận văn trình bày với phần sau: • Chương giới thiệu khái quát khái niệm, nguồn gốc, lý nghiên cứu Multifactorial Evolutionary Algorithm (MFEA), đồng thời giới thiệu ứng dụng thuật toán việc giải nhiều toán đồng thời nghiên cứu thực tế • Chương trình bày vắn tắt kiến thức sở dẫn dắt đến thuật toán đề xuất nghiên cứu • Chương liệt kê nghiên cứu liên quan đến nghiên cứu này, cụ thể biến thể thuật tốn MFEA có khả giải số lượng lớn tốn • Chương mơ tả đóng góp thuật tốn đề xuất • Chương trình bày thực nghiệm so sánh thuật toán đề xuất với biến thể khác thuật toán MFEA nhiều toán tối ưu khác Danh sách viết tắt Viết tắt EA DE GP ES PSO SBX PM GM rmp MFEA MFEA-II GMFEA MaTGA SBSGA GA MAB MDP Ma2 BEA UCB KL-UCB MTO MaTO MaTO-10 MaTO-50 Tên đầy đủ tiếng Anh Evolutionary Algorithm Differential Evolutionary algorithm Genetic Programming Evolution Strategies Particle Swarm Optimization Simulated Binary Crossover Polynomial Mutation Gausian Mutation Random Mating Probability Multifactorial Evolutionary Algorithm Multifactorial Evolutionary Algorithm - II Group-based Multifactorial Evolutionary Algorithm Many-Task archive-based Genetic Algorithm Evolutionary many-tasking based on Symbiosis in Biocoenosis Genetic Algorithm Multi Armed Bandit Markov Decision Process Many-task Multi-armed Bandit Evolutionary Algorithm Upper Confident Bound Kullback-Leibler UCB Multi Task Optimization Many Task Optimization Many-task Optimization (10 tasks) Many-task Optimization (50 tasks) Viết tắt EA DE GP ES PSO SBX PM GM rmp MFEA MFEA-II GMFEA MaTGA SBSGA GA MAB MDP Ma2 BEA UCB KL-UCB MTO MaTO MaTO-10 MaTO-50 Giải nghĩa tiếng Việt Thuật toán tiến hóa Thuật tốn tiến hóa sai phân Thuật tốn lập trình tiến hóa Thuật tốn thiến lược tiến hóa Thuật toán tối ưu bầy đàn Phép lai ghép số thực giả lập lai ghép nhị phân Phép đột biến với phân phối Polynomial Phép đột biến với phân phối chuẩn Xác suất lai ghép khác tác vụ Thuật toán tiến hóa đa nhiệm Thuật tốn tiến hóa đa nhiệm - Phiên Thuật tốn tiến hóa đa nhiệm dựa vào phân nhóm Thuật tốn tiến hóa nhiều tác vụ dựa vào lưu trữ lịch sử tiến hóa Thuật tốn tiến hóa nhiều tác vụ lấy cảm hứng từ chế cộng sinh Giải thuật di truyền Mô hình Multi Armed Bandit Quá trình định Markov Thuật tốn tiến hóa nhiều tác vụ dựa mơ hình Multi Armed Bandit Upper Confident Bound Kullback-Leibler Upper Confident Bound Mơ hình tối ưu đa nhiệm Mơ hình tối ưu nhiều tác vụ Bộ liệu tối ưu 10 tác vụ Bộ liệu tối ưu 50 tác vụ Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang Danh sách bảng 3.1 Ví dụ hai tác vụ mà việc trao đổi phần nghiệm tối ưu cho cho kết tốt trao đổi toàn nghiệm cho 25 5.1 Mô tả chi tiết hàm liệu thử nghiệm Many-task Optimization (10 tasks) (MaTO-10) Giá trị hàm đánh giá thuật tốn tiến hóa đa nhiệm tác vụ, lấy trung bình sau 30 lần chạy (−, +, and ≈ đặt cạnh thuật toán thể thuật toán đáng kể, tốt đáng kể tương đương với Ma2 BEA, sau kiểm định phép thống kê phi tham số Wilcoxon signed-rank test với độ tin cậy α = 0.05) Danh sách hàm liệu đánh giá Bảng so sánh độ hiệu thuật toán 10 tập hàm đánh giá, tập có 50 hàm đánh giá liệu Many-task Optimization (50 tasks) (MaTO-50), thống kê lại sau 30 lần chạy Giá trị ô thể số lần thuật tốn cột tốt tất thuật toán khác liệu hàng Giá trị ngoặc đơn thể số lần thuật tốn kiểm định tốt đáng kể sử dụng phép thống kê phi tham số Wilcoxon signed-rank test với độ tin cậy α = 0.05 5.2 5.3 5.4 36 42 42 44 Danh sách hình vẽ 1.1 1.2 2.1 2.2 Ví dụ chế đa nhiệm não người người bình thường tương tác với nhiều thiết bị thông tin truyền thông lúc [2] 11 Ví dụ mơ hình tối ưu đa nhiệm [2] 12 Bài tốn tối ưu nhiều mạng nơ ron có số lượng tham số khác [11] Các tham số mạng nơ ron nhỏ chia sẻ với mạng nơ-ron lớn 18 Ví dụ minh họa cho phương pháp mã hóa mạng nơ ron có số lượng tham số khác vào biểu diễn chung MFEA [11] 19 3.1 Ví dụ minh họa cho việc hai tác vụ có phân phối quẩn thể thời điểm, hướng để đến cực trị toàn cục khác [16] 25 4.1 Ví dụ minh họa cho việc trao đổi tác vụ tương đồng, hệ Ma2 BEA 31 Tương tác tác tử (Agent) mơi trường (Environment) mơ hình Markov Decision Process (MDP) [27] 32 4.2 5.1 5.2 5.3 5.4 5.5 5.6 5.7 Minh họa hàm liệu thử nghiệm khơng gian tìm kiếm chiều Số lần trung bình tác vụ ghép cặp với tác vụ khác mỗi hệ, sử dụng chế ghép cặp đề xuất Ma2 BEA Tác vụ để ghép cặp lý tưởng vẽ với màu đỏ Biểu đồ hội tụ thuật toán hàm đánh giá B7 , thể giá trị hàm đánh giá trung bình q trình tiến hóa trải dài 1000 hệ B7 mà Ma2 BEA khơng phải thuật tốn tốt Biểu đồ hội tụ thuật toán hàm đánh giá B9 , thể giá trị hàm đánh giá trung bình trình tiến hóa trải dài 1000 hệ B9 mà Ma2 BEA thuật toán tốt Thời gian chạy thuật tốn tiến hóa đa nhiệm, lấy thời gian chạy MFEA một trường thực nghiệm, ngơn ngữ lập trình làm chuẩn Minh họa cách hoạt động robot Hopper [36] Biểu đồ hộp (minh hoạ giá trị nhỏ nhất, quartile thứ nhất, median, quartile thứ ba, giá trị lớn nhất) hàm mục tiêu Mujoco Multitask, giải Evolutionary Algorithm (EA), MFEA, Ma2 BEA Giá trị thống kê biểu đồ hộp giá trị hàm mục tiêu hệ cuối tác vụ khác nhau, giải thuật toán liệu 35 40 43 44 45 46 47 Mục lục Tóm tắt Danh sách viết tắt Giới thiệu 11 Cơ sở lý thuyết 14 Cơ sở lý thuyết 2.1 Thuật tốn tiến hóa đa nhiệm 2.1.1 Giới thiệu chung 2.1.2 Không gian biểu diễn chung 2.1.3 Giải thuật MFEA 2.1.4 Trao đổi tri thức lai ghép khác tác vụ 2.2 Mô hình Multi-Armed Bandits Các nghiên cứu liên quan 14 14 14 15 15 16 21 23 Các nghiên cứu liên quan 23 3.1 Bài toán tối ưu đa nhiệm 23 3.2 Bài toán tối ưu đa nhiệm với số lượng tác vụ lớn 24 Thuật toán đề xuất Thuật 4.1 4.2 4.3 4.4 27 toán đề xuất Cơ chế lựa chọn tác vụ tương đồng mơ hình Multi-Armed Bandits Cài đặt trao đổi tri thức Tổng quan mơ hình đề xuất Ứng dụng tiến hóa đa nhiệm cho tối ưu mạng nơ ron học tăng cường 27 27 29 31 32 Kết thực nghiệm 34 Kết thực nghiệm 5.1 Bài toán tối ưu với 10 tác vụ, biết trước mối quan hệ tác vụ 5.1.1 Mô tả liệu 5.1.2 Cài đặt thực nghiệm 5.1.3 Phân tích kết thực nghiệm 5.2 Bài toán tối ưu đa nhiệm với 50 tác vụ, trước mối quan hệ tác vụ 5.2.1 Mô tả liệu 5.2.2 Cài đặt thực nghiệm 34 34 34 37 38 41 41 41 Như trình bày Chương 3, MaTGA có nhiều tham số cần phải tinh chỉnh Bộ tham số MaTGA chạy tốt MaTO-10, cịn đem ngun tham số áp vào MaTO-50 kết thiếu cạnh tranh hẳn, MaTGA tốt 1/10 Ma2 BEA khơng có tham số khác ngồi rmp = 0.3, tự thích nghi dựa vào liệu ln trì tốt 6/10 hai liệu 50-task benchmark 10-task benchmark 1.8 3.5 1.7 1.6 1.521 1.5 1.483 3.201 3.0 2.5 1.4 2.186 1.3 2.0 1.2 1.1 1.5 1.000 1.025 1.0 0.9 1.0 MFEA SBSGA MaTGA Ma2BEA 1.000 MFEA 0.830 SBSGA MaTGA Ma2BEA Hình 5.5: Thời gian chạy thuật tốn tiến hóa đa nhiệm, lấy thời gian chạy MFEA một trường thực nghiệm, ngơn ngữ lập trình làm chuẩn Hình 5.5 so sánh thời gian chạy thuật toán hai liệu MaTO-10 MaTO-50 Thời gian chạy SBSGA tương đồng với MFEA, thời gian chạy Ma2 BEA MaTGA tăng đáng kể số lượng tác vụ tăng từ 10 đến 50 Tuy nhiên thời gian chạy Ma2 BEA tăng chậm so với MaTGA Đó MaTGA đo khoảng K cặp khoảng cách Kullback Leibler Divergence K quần thể với nhau, Ma2 BEA cập nhật K phân phối phần thưởng Hơn nữa, Ma2 BEA tính tốn giá trị hàm mục tiêu khơng tính tốn quần thể MaTGA Nói tóm lại, Ma2 BEA cho kết tối ưu đa nhiệm với số lượng tác vụ lớn tương đối cạnh tranh so với thuật toán nhất, với thời gian chấp nhận Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang 45 Hình 5.6: Minh họa cách hoạt động robot Hopper [36] 5.3 5.3.1 Kết ứng dụng tối ưu mạng nơ ron cho học tăng cường môi trường Mujoco Mơ tả liệu Tại thí nghiệm này, sử dụng liệu học Mujoco Multitask [28] Trong liệu có nhiều tập mơi trường thử nghiệm, chọn hai tập môi trường Hopper − gravity Hopper − size để thử nghiệm thuật tốn Hopper robot đơn giản mơ chân người với ba khớp nối hình 5.6 Với tác vụ tối ưu môi trường thử nghiệm này, mạng nơ-ron nhận vào trạng thái s ∈ R11 đưa hành động a ∈ R3 , tương đương với lực ba mối nối Ở tập mơi trường, có nhiều mơi trường tương đương với nhau, cụ thể sau: • Hopper − gravity: gia tốc trọng trường môi trường khác HopperGravityHalf-v0 HopperGravityThreeQuarters-v0 Hopper-v1 HopperGravityOneAndQuarter-v0 HopperGravityOneAndHalf-v0 • Hopper − size: robot có kích cỡ khác HopperSmallFoot-v0 HopperSmallLeg-v0 HopperSmallThigh-v0 HopperSmallTorso-v0 HopperBigFoot-v0 HopperBigLeg-v0 HopperBigThigh-v0 HopperBigTorso-v0 Hopper-v1 Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang 46 5.3.2 Cài đặt thực nghiệm Phần lớn việc cài đặt thực nghiệm đánh giá kết thực tương tự với Mục 5.1.2 Tuy nhiên, liệu Mujoco Multitask này, nhiều thời gian giả lập môi trường học tăng cường nên thời gian thực nghiệm kéo dài so với MaTO-10 MaTO50, Ma2 BEA so sánh với EA MFEA Không MaTO-10 MaTO-50, MFEA chưa chứng minh tốt so với EA liệu Mujoco Multitask nên EA chạy thêm để so sánh Cả ba thuật toán tối ưu mạng nơ ron lớp ẩn, với đầu vào 11 chiều, lớp ẩn chứa 16 nút đầu nút Tổng số tham số 243 tham số Các mạng nơ-ron mã hóa vào khơng gian biểu diễn chung [0, 1]243 Khi mang đánh giá, mạng nơ-ron giải mã lại, dãn từ khoảng [0, 1] đến [−5, 5] Ngoài ra, thời gian chạy lâu nên tham số số hệ kích thước quần thể chọn nhỏ so với hai liệu trước (T, N ) = (100, 10) 5.3.3 Phân tích kết thực nghiệm Phân phối giá trị hàm đánh giá ba thuật toán EA, MFEA, Ma2 BEA thể hình 5.7 Dễ thấy, ứng dụng này, hai thuật toán tối ưu đa nhiệm cho kết cao so với EA Với khả trao đổi thông tin nhiều tác vụ, giá trị tối thiểu tổng phần thưởng mơi trường giải hai thuật tốn tiến hóa đa nhiệm cao giá trị tối thiểu tổng phần thưởng EA Ở EA, khơng có chế trao đổi thơng tin nên cịn vài tác vụ kém, chưa thoát khỏi vùng cục với tổng phần thưởng khoảng 500 Hopper − gravity vùng cục với giá trị hàm đánh giá mức 200 Hopper − size Ta dễ thấy Ma2 BEA với chế ghép cặp tự thích nghi cho kết nhỉnh so với MFEA Với chế ghép cặp ngẫu nhiên thô sơ, MFEA để tác vụ Hopper − gravity tắc vùng cục với tổng phần thưởng mức 300, cịn Ma2 BEA ln đặn cho kết cao 800 Hopper − gravity, cao 600 Hopper − size 900 800 Total rewards Total rewards 800 700 600 500 400 300 600 400 200 EA MFEA Algorithm Ma2BEA (a) Hopper − gravity EA MFEA Algorithm Ma2BEA (b) Hopper − size Hình 5.7: Biểu đồ hộp (minh hoạ giá trị nhỏ nhất, quartile thứ nhất, median, quartile thứ ba, giá trị lớn nhất) hàm mục tiêu Mujoco Multitask, giải EA, MFEA, Ma2 BEA Giá trị thống kê biểu đồ hộp giá trị hàm mục tiêu hệ cuối tác vụ khác nhau, giải thuật toán liệu Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang 47 Kết luận Trong luận văn này, đề xuất thuật tốn tiến hóa đa nhiệm tên Ma2 BEA, tự thích nghi với liệu tối ưu Giải thuật có hai điểm bật chế ghép cặp tự động, khơng có tham số sử dụng mơ hình Multi-Armed Bandits, cách cài đặt chuyển giao tri thức cách Thực nghiệm Ma2 BEA với tham số mặc định tự ứng biến nhiền liệu thực nghiệm khác Ma2 BEA phần nhiều tốt ba liệu thử nghiệm, tối ưu hàm số thực lẫn tối ưu mạng nơ-ron 48 Bài báo trình học Bài báo tổng kết nội dung nghiên cứu luận văn • Le Tien Thanh, La Van Cuong, Ta Bao Thang, and Huynh Thi Thanh Binh “MultiArmed Bandits for Many-task Evolutionary Optimization” In: 2021 IEEE Congress on Evolutionary Computation (CEC) IEEE 2021, pp 1–8 Các báo khác thực tập nghiên cứu q trình học • Le Van An, Le Tien Thanh, Nguyen Phi Le, Huynh Thi Thanh Binh, Akerkar Rajendra, and Yusheng Ji “GCRINT: Network Traffic Imputation Using Graph Convolutional Recurrent Neural Network” In: 2021 IEEE International Conference on Communications IEEE 2021, pp 1–6 • Le Van An, Le Tien Thanh, Nguyen Phi Le, Huynh Thi Thanh Binh, and Yusheng Ji “Multi-time-step Segment Routing based Traffic Engineering Leveraging Traffic Prediction” In: 2021 IFIP/IEEE International Symposium on Integrated Network Management IEEE 2021, pp 1–8 49 Tài liệu tham khảo [1] Cora M Dzubak et al “Multitasking: The good, the bad, and the unknown” In: The Journal of the Association for the Tutoring Profession 1.2 (2008), pp 1–12 [2] Yew-Soon Ong and Abhishek Gupta “Evolutionary multitasking: a computer science view of cognitive multitasking” In: Cognitive Computation 8.2 (2016), pp 125– 142 [3] Huynh Thi Thanh Binh, Pham Dinh Thanh, Tran Ba Trung, and Le Phuong Thao “Effective multifactorial evolutionary algorithm for solving the cluster shortest path tree problem” In: 2018 IEEE Congress on Evolutionary Computation (CEC) IEEE 2018, pp 1–8 [4] Tran Ba Trung, Le Tien Thanh, Ly Trung Hieu, Pham Dinh Thanh, and Huynh Thi Thanh Binh “Multifactorial evolutionary algorithm for clustered minimum routing cost problem” In: Proceedings of the Tenth International Symposium on Information and Communication Technology 2019, pp 170–177 [5] Huynh Thi Thanh Binh, Ta Bao Thangy, Nguyen Binh Long, Ngo Viet Hoang, and Pham Dinh Thanh “Multifactorial Evolutionary Algorithm for Inter-Domain Path Computation under Domain Uniqueness Constraint” In: 2020 IEEE Congress on Evolutionary Computation (CEC) IEEE 2020, pp 1–8 [6] Pham Dinh Thanh, Huynh Thi Thanh Binh, and Tran Ba Trung “An efficient strategy for using multifactorial optimization to solve the clustered shortest path tree problem” In: Applied Intelligence 50.4 (2020), pp 1233–1258 [7] Huynh Thi Thanh Binh, Ta Bao Thang, Nguyen Duc Thai, and Pham Dinh Thanh “A bi-level encoding scheme for the clustered shortest-path tree problem in multifactorial optimization” In: Engineering Applications of Artificial Intelligence 100 (2021), p 104187 [8] Phan Thi Hong Hanh, Pham Dinh Thanh, and Huynh Thi Thanh Binh “Evolutionary algorithm and multifactorial evolutionary algorithm on clustered shortest-path tree problem” In: Information Sciences 553 (2021), pp 280–304 [9] Ta Bao Thang, Nguyen Binh Long, Ngo Viet Hoang, and Huynh Thi Thanh Binh “Adaptive Knowledge Transfer in Multifactorial Evolutionary Algorithm for the Clustered Minimum Routing Cost Problem” In: Applied Soft Computing (2021), p 107253 [10] Nguyen Thi Tam, Tran Quang Tuan, Huynh Thi Thanh Binh, and Ananthram Swami “Multifactorial evolutionary optimization for maximizing data aggregation tree lifetime in wireless sensor networks” In: Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications II Vol 11413 International Society for Optics and Photonics 2020, 114130Z 50 [11] Rohitash Chandra, Abhishek Gupta, Yew-Soon Ong, and Chi-Keong Goh “Evolutionary multi-task learning for modular knowledge representation in neural networks” In: Neural Processing Letters 47.3 (2018), pp 993–1009 [12] Kavitesh Kumar Bali, Yew-Soon Ong, Abhishek Gupta, and Puay Siew Tan “Multifactorial evolutionary algorithm with online transfer parameter estimation: MFEAII” In: IEEE Transactions on Evolutionary Computation 24.1 (2019), pp 69–83 [13] Abhishek Gupta and Yew-Soon Ong Memetic computation: the mainspring of knowledge transfer in a data-driven optimization era Vol 21 Springer, 2018 [14] Jing Tang, Yingke Chen, Zixuan Deng, Yanping Xiang, and Colin Paul Joy “A Group-based Approach to Improve Multifactorial Evolutionary Algorithm.” In: IJCAI 2018, pp 3870–3876 [15] Rung-Tzuo Liaw and Chuan-Kang Ting “Evolutionary manytasking optimization based on symbiosis in biocoenosis” In: Proceedings of the AAAI conference on artificial intelligence Vol 33 01 2019, pp 4295–4303 [16] Yongliang Chen, Jinghui Zhong, Liang Feng, and Jun Zhang “An adaptive archivebased evolutionary framework for many-task optimization” In: IEEE Transactions on Emerging Topics in Computational Intelligence 4.3 (2019), pp 369–384 [17] Abhishek Gupta and Yew-Soon Ong “Multitask Knowledge Transfer Across Problems” In: Memetic Computation Springer, 2019, pp 83–92 [18] Serkan Cabi, Sergio Gómez Colmenarejo, Matthew W Hoffman, Misha Denil, Ziyu Wang, and Nando Freitas “The intentional unintentional agent: Learning to solve many continuous control tasks simultaneously” In: Conference on Robot Learning PMLR 2017, pp 207–216 [19] Kevin Swersky, Jasper Snoek, and Ryan Prescott Adams “Multi-task bayesian optimization” In: (2013) [20] Bobak Shahriari, Kevin Swersky, Ziyu Wang, Ryan P Adams, and Nando De Freitas “Taking the human out of the loop: A review of Bayesian optimization” In: Proceedings of the IEEE 104.1 (2015), pp 148–175 [21] Abhishek Gupta, Yew-Soon Ong, and Liang Feng “Multifactorial evolution: toward evolutionary multitasking” In: IEEE Transactions on Evolutionary Computation 20.3 (2015), pp 343–357 [22] Abhishek Gupta, Yew-Soon Ong, Bingshui Da, Liang Feng, and Stephanus Daniel Handoko “Landscape synergy in evolutionary multitasking” In: 2016 IEEE Congress on Evolutionary Computation (CEC) IEEE 2016, pp 3076–3083 [23] William R Thompson “On the likelihood that one unknown probability exceeds another in view of the evidence of two samples” In: Biometrika 25.3/4 (1933), pp 285–294 [24] Tor Lattimore and Csaba Szepesvári Bandit algorithms Cambridge University Press, 2020 [25] Michael R Zhang, James Lucas, Geoffrey Hinton, and Jimmy Ba “Lookahead optimizer: k steps forward, step back” In: arXiv preprint arXiv:1907.08610 (2019) [26] Reem Alzahabi and Mark W Becker “The association between media multitasking, task-switching, and dual-task performance.” In: Journal of Experimental Psychology: Human Perception and Performance 39.5 (2013), p 1485 Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang 51 [27] Richard S Sutton and Andrew G Barto Reinforcement learning: An introduction MIT press, 2018 [28] Peter Henderson, Riashat Islam, Philip Bachman, Joelle Pineau, Doina Precup, and David Meger “Deep reinforcement learning that matters” In: Thirty-Second AAAI Conference on Artificial Intelligence 2018 [29] Nguyen Quoc Tuan, Ta Duy Hoang, and Huynh Thi Thanh Binh “A guided differential evolutionary multi-tasking with powell search method for solving multi-objective continuous optimization” In: 2018 IEEE Congress on Evolutionary Computation (CEC) IEEE 2018, pp 1–8 [30] Jinghui Zhong, Liang Feng, Wentong Cai, and Yew-Soon Ong “Multifactorial genetic programming for symbolic regression problems” In: IEEE transactions on systems, man, and cybernetics: systems 50.11 (2018), pp 4492–4505 [31] Zedong Tang and Maoguo Gong “Adaptive multifactorial particle swarm optimisation” In: CAAI Transactions on Intelligence Technology 4.1 (2019), pp 37–46 [32] Kalyanmoy Deb, Ram Bhushan Agrawal, et al “Simulated binary crossover for continuous search space” In: Complex systems 9.2 (1995), pp 115–148 [33] Kalyanmoy Deb and Debayan Deb “Analysing mutation schemes for real-parameter genetic algorithms” In: International Journal of Artificial Intelligence and Soft Computing 4.1 (2014), pp 1–28 [34] Robert Hinterding “Gaussian mutation and self-adaption for numeric genetic algorithms” In: Proceedings of 1995 IEEE International Conference on Evolutionary Computation Vol IEEE 1995, p 384 [35] Donald W Zimmerman “Comparative power of Student t test and Mann-Whitney U test for unequal sample sizes and variances” In: The Journal of Experimental Education 55.3 (1987), pp 171–174 [36] Tom Erez, Yuval Tassa, and Emanuel Todorov “Infinite horizon model predictive control for nonlinear periodic tasks” In: Manuscript under review (2011) Lê Tiến Thành - Khoa học Dữ liệu 2019B Trang 52 ... Thuật tốn tiến hóa đa nhiệm Thuật tốn tiến hóa đa nhiệm - Phiên Thuật tốn tiến hóa đa nhiệm dựa vào phân nhóm Thuật tốn tiến hóa nhiều tác vụ dựa vào lưu trữ lịch sử tiến hóa Thuật tốn tiến hóa. .. cứu tiến hóa đa nhiệm Thuật tốn đề xuất MFEA khung mẫu đơn giản để chứng minh giả thiết thuật tốn tiến hóa đa nhiệm tốt so với tiến hóa đơn nhiệm Như mơ tả Phần 2, MFEA khác thuật tốn tiến hóa. .. hình vào khung giải thuật tiến hóa đa nhiệm chương 2.1 2.1.1 Thuật toán tiến hóa đa nhiệm Giới thiệu chung Một nguyên nhân dẫn đến ý tưởng thuật toán tối ưu đa nhiệm diện nhiều toán tối ưu tương