Giải thuật tiến hóa đa nhiệm vụ trong huấn luyện mạng nơ ron truyền thẳng

NGUYỄN QUỐC TUẤN BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Học viên: Nguyễn Quốc Tuấn KHOA HỌC MÁY TÍNH GIẢI THUẬT TIẾN HĨA ĐA NHIỆM VỤ TRONG HUẤN LUYỆN MẠNG NƠ-RON TRUYỀN THẲNG LUẬN VĂN THẠC SĨ KHOA HỌC KHOA HỌC MÁY TÍNH 2016B Hà Nội – Năm 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Học viên: Nguyễn Quốc Tuấn GIẢI THUẬT TIẾN HÓA ĐA NHIỆM VỤ TRONG HUẤN LUYỆN MẠNG NƠ-RON TRUYỀN THẲNG Chuyên ngành : Khoa học máy tính LUẬN VĂN THẠC SĨ KHOA HỌC KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS TS Huỳnh Thị Thanh Bình Hà Nội – Năm 2019 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Quốc Tuấn Đề tài luận văn: Giải thuật tiến hóa đa nhiệm vụ huấn luyện mạng nơ-ron truyền thẳng Chuyên ngành: Khoa học máy tính Mã số SV: CB160552 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 27/04/2019 với nội dung sau: - Chỉnh sửa lỗi tả, lỗi đánh máy - Điều chỉnh phông chữ luận văn theo quy định - Sửa lỗi tham chiếu chéo hình ảnh bảng biểu Ngày 27 tháng 04 năm 2019 Giáo viên hướng dẫn CHỦ TỊCH HỘI ĐỒNG Tác giả luận văn LỜI TRI ÂN Lời đầu tiên, xin gửi lời cảm ơn chân thành sâu sắc tới giáo viên hướng dẫn PGS TS Huỳnh Thị Thanh Bình tận tình dạy bảo cung cấp gợi ý quý báu giúp nâng cao kiến thức hồn thành tốt luận văn Tơi xin bày tỏ lòng biết ơn sâu sắc tới GS Ong Yew Soon, TS Abhishek Gupta Đại học Công nghệ Nanyang (Singapore) GS Katsumi Inoue Viện Tin học quốc gia Nhật Bản nhiệt tình hỗ trợ đưa định hướng, lời khuyên suốt trình tơi thực đề tài Đồng thời, tơi xin bày tỏ lịng biết ơn tới thầy trường Đại học Bách khoa Hà Nội, đặc biệt thầy cô Viện Công nghệ Thông tin Truyền thông, người thầy cô mẫu mực hết lòng truyền đạt kiến thức, kinh nghiệm cho cho hệ sinh viên kỹ thuật chúng tơi Những kiến thức kinh nghiệm hành trang vững cho sinh viên đường nghiệp sau Tôi xin gửi lời cảm ơn tới anh chị nghiên cứu sinh bạn sinh viên phịng thí nghiệm Mơ hình hóa, mơ tối ưu (Modelling, Simulation and Optimization lab), người ln nhiệt tình giúp đỡ tơi suốt q trình học tập, nghiên cứu trường đại học Cuối cùng, với tất thương yêu kính trọng, xin gửi lời biết ơn sâu sắc tới bố mẹ người thân gia đình ln chỗ dựa vững chắc, nguồn động viên tinh thần vô lớn lao, tạo điều kiện tốt cho ăn học nên người, trưởng thành chín chắn III LỜI CAM ĐOAN Tôi, Nguyễn Quốc Tuấn - tác giả luận văn này, xin cam đoan: Những nội dung luận văn cơng trình nghiên cứu tơi hướng dẫn trực tiếp PGS TS Huỳnh Thị Thanh Bình Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Mọi chép khơng hợp lệ, vi phạm quy chế đào tạo, xin chịu hoàn toàn trách nhiệm Tác giả luận văn IV MỤC LỤC TRANG PHỤ BÌA LUẬN VĂN I BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ II LỜI TRI ÂN III LỜI CAM ĐOAN IV MỤC LỤC V DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT VII DANH MỤC HÌNH ẢNH X DANH MỤC BẢNG BIỂU XI DANH MỤC GIẢI THUẬT XII Chương I: GIỚI THIỆU TỔNG QUAN I.1 Tính cấp thiết đề tài I.2 Mục đích đối tượng nghiên cứu I.3 Phạm vi phương pháp nghiên cứu I.4 Cấu trúc luận văn 2 Chương II: CƠ SỞ LÝ THUYẾT II.1 Tổng quan mạng nơ-ron II.1.1 Các thành phần mạng nơ-ron nhân tạo II.1.1.1 Đơn vị xử lý II.1.1.2 Hàm kích hoạt II.1.2 Lan truyền thông tin mạng nơ-ron II.1.3 Hàm mát II.1.4 Giải thuật lan truyền ngược mạng nơ-ron II.2 Tổng quan tối ưu hóa liên tục II.2.1 Bài toán tối ưu liên tục II.2.2 Một số phương pháp giải toán tối ưu liên tục II.2.2.1 Phương pháp đưòng tìm kiếm II.2.2.2 Phương pháp heuristic II.2.3 Tối ưu đa mục tiêu II.2.4 Tối ưu đa nhiệm II.3 Tổng quan giải thuật tiến hóa đa nhiệm vụ II.3.1 Giải thuật tiến hóa II.3.1.1 Lai ghép chéo hóa nhị phân II.3.1.2 Đột biến đa thức II.3.1.3 Phép biến đổi tiến hóa vi phân II.3.2 Giải thuật tiến hóa đa nhiệm vụ II.3.2.1 Độ đo tương tự II.3.2.2 Sự giao hội tập lời giải tối ưu tối ưu hóa đa nhiệm vụ II.3.2.3 Độ đo ảnh hưởng đa nhiệm 4 5 8 10 11 11 12 13 14 15 15 16 17 17 18 20 21 22 NƠ-RON 25 25 25 26 26 27 27 28 Chương III: GIẢI THUẬT TIẾN HÓA HUẤN LUYỆN MẠNG III.1 Các phương pháp dựa đạo hàm III.1.1 Gradient Descent III.1.2 Stochastic Gradient Descent III.1.3 Stochastic Gradient Descent với động lực III.2 Sử dụng giải thuật tiến hóa làm giải thuật học III.2.1 Tối ưu trọng số kết nối III.2.2 Tối ưu kiến trúc mạng V III.3 Tiến hóa đa nhiệm huấn luyện mạng nơ-ron ĐỀ XUẤT GIẢI THUẬT HỌC CHO MẠNG NƠ-RON TRUYỀN THẲNG NHIỀU LỚP DỰA TRÊN THUẬT TỐN TIẾN HĨA ĐA NHIỆM VỤ IV.1 Phương pháp mã hóa mạng nơ-ron nhiều lớp không gian chung IV.2 Tính tốn độ thích nghi đơn nhiệm IV.3 Giải thuật tiến hóa đa nhiệm đề xuất IV.3.1 Phép lai ghép đột biến không gian chung IV.3.2 Chiến lược tự thích nghi xác suất ghép cặp ngẫu nhiên 30 Chương IV: Chương V: KẾT QUẢ ĐẠT ĐƯỢC V.1 Thiết lập thực nghiệm V.1.1 Dữ liệu thực nghiệm V.1.2 Cấu hình ANN thực nghiệm V.1.3 Cấu hình tham số giải thuật V.2 Kết thực nghiệm V.2.1 Mạng nơ-ron độ sâu V.2.2 Mạng nơ-ron khác độ sâu V.3 Nhận xét bàn luận 34 35 38 38 39 39 41 41 41 42 43 43 44 50 57 KẾT LUẬN VÀ KIẾN NGHỊ 59 DANH MỤC TÀI LIỆU THAM KHẢO 60 PHỤ LỤC Danh sách cơng trình công bố 63 63 Chương VI: VI DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Các thuật ngữ accuracy : độ xác 41, 43, 57 activation function : hàm kích hoạt 6, 9, 28, 30 backpropagation : lan truyền ngược 8, 26 bias : độ lệch 6, 8, 9, 34 building block : khối di truyền 16 complete intersection : giao hội hoàn toàn 21 continuous optimization : tối ưu hóa liên tục 3, 9, 10, 11, 12, 15, 17, 23, 28 convex optimization : tối ưu lồi 10, 18 convex function : hàm lồi 10 cross over : lai ghép 15, 17, 19, 22, 32, 35, 39 decision variable : biến định discrete optimization : tối ưu hóa rời rạc factorial rank : xếp hạng đơn nhiệm 19 factorial cost : giá trị thích nghi đơn nhiệm 19, 38 feasible solution : lời giải khả thi 9, 12, 13, 14, 21 fitness : độ thích nghi 18, 38, 43 global complemetary : ảnh hưởng toàn cục 22 global minima : tối ưu toàn cục 10, 22, 23, 26, 27 hidden layer : lớp ẩn 9, 30, 34, 41 hidden unit : đơn vị ẩn 5, 9, 30 input layer : lớp đầu vào 30, 34, 35 input unit : đơn vị đầu vào 5, 41 learning rate : tốc độ học 25 line search : đường tìm kiếm 11, 15 local complemetary : ảnh hưởng cục 22 local search : tìm kiếm địa phương 12 local minima : tối ưu cục 10, 11, 25, 26, 27, 32 loss function : hàm mát 8, 9, 38 maximization : cực đại hóa 10 minimization : cực tiểu hóa 10, 13, 14 multi-variate optimization : tối ưu hóa đa biến 10 VII mutation : đột biến 15, 17, 19, 22, 35, 39 no intersection : không giao hội 21 non-dominated solution set : tập nghiệm khơng trội 14 optimization : tối ưu hóa 9, 10, 13, 14, 15, 18, 19, 20, 21, 25, 27, 28, 30, 31, 32, 33, 35, 37, 41, 42, 57 output layer : lớp đầu 9, 30, 34, 35 output unit : đơn vị đầu overfit : học tủ 25 Pareto-optimal front : biên tối ưu Pareto 14 Pareto-optimal set : tập nghiệm tối ưu Pareto 14 Pareto front : biên Pareto 14 Pareto dominant : trội Pareto 13 partial intersection : giao hội phần 21 plateau : bình nguyên 27 population-based search : tìm kiếm dựa quần thể 12, 18 random mating probability : xác suất ghép cặp ngẫu nhiên 19, 35, 38, 39, 40 scalar fitness : độ thích nghi vô hướng 19, 38 self complemetary : tự ảnh hưởng 23 skill factor : số kỹ 19, 37, 38, 39 solution : lời giải 9, 12, 13, 14, 15, 16, 17, 18, 20, 22 steepest descent : ngược hướng đạo hàm với bước nhảy cho cực tiểu hóa hàm mục tiêu 12 transfer optimization : tối ưu hóa có truyền đạt 31 transfer learning : học có truyền đạt 31 unified space : không gian chung 18, 23, 30, 35, 39 Các từ viết tắt ACO (Ant Colony Optimization) : Tối ưu đàn kiến 15 ANN (Artificial Neural Network) : Mạng nơ-ron nhân tạo 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 25, 26, 27, 28, 29, 30, 33, 34, 35, 37, 38, 41, 42, 43, 56, 57, 59 CNN (Convolutional Neural Network) : Mạng nơ-ron tích chập DE (Differential Evolution) : Tiến hóa vi phân 15, 17, 18, 28, 39, 43 EA (Evolutionary Algorithm) : Giải thuật tiến hóa 3, 12, 15, 16, 17, 22, 27, 30, 31, 41, 43, 56, 57, 58 EANN (Evolutionary Artificial Neural Network) : Mạng nơ ron nhân tạo tiến hóa 27, 28 FNN (Feedforward Neural Network) : Mạng nơ-ron truyền thẳng 2, 3, VIII FSM (Functional Synergy Metric) : Độ đo ảnh hưởng đa nhiệm 22, 23 GD (Gradient Descent) : Đi ngược hướng đạo hàm 8, 12, 25, 26, 41, 56, 58, 59 MFEA (Multi-Factorial Evolutionary Algorithm) : Giải thuật tiến hóa đa nhiệm vụ 2, 3, 15, 18, 19, 21, 22, 23, 30, 31, 32, 33, 34, 37, 38, 39, 40, 41, 43, 57, 58 MFO (Multi-Factorial Optimization) : Tối ưu hóa đa nhiệm vụ 10, 14, 15, 18, 21, 31, 32, 37 ML (Machine Learning) : Học máy 4, 25 MOO (Multi-Objective Optimization) : Tối ưu hóa đa mục tiêu 10, 13, 15 MSE (Mean Square Error) : Trung bình bình phương lỗi 2, 8, 38, 41, 43, 57 NAG (Nesterov Accelerated Gradient) : Gia tốc cho đạo hàm Nesterov 27 NEAT (NeuroEvolution through Augmenting Topologies) : Tiến hóa mạng nơ-ron thơng qua tăng cường kiến trúc mạng 29, 30 PMU (Polynomial Mutation) : Đột biến đa thức 15, 30, 39, 43 PSO (Particle Swarm Optimization) : Tối ưu bầy đàn 15 RMSProp (Root Mean Square propagation) : Lan truyền ngược trung bình bình phương lỗi 27 RNN (Recurrent Neural Network) : Mạng nơ-ron hồi qui SBX (Simulated Binary Crossover) : Lai ghép chéo hóa nhị phân 15, 16, 30, 39, 43 SGD (Stochastic Gradient Descent) : Đi ngược hướng đạo hàm ngẫu nhiên 26, 27 UCI (University of California, Irvine) : Đại học California, Irvine 41 UDA (Unified representation for Deep ANN) : Biểu diễn chung cho mạng nơ-ron nhiều lớp 38, 39, 41, 43, 57, 58 IX Bảng V.8: Tổng hợp kết liệu Tic tac toe, tác vụ tác vụ, mạng độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0296 0.0038 0.0624 0.0157 0.0035 0.0348 0.0182 0.0285 0.0841 0.0226 0.0269 0.0360 0.0398 0.0287 0.0412 (0.0446) (0.0026) (0.0947) (0.0281) (0.0024) (0.0690) (0.0363) (0.0407) (0.1000) (0.0419) (0.0423) (0.0758) (0.0539) (0.0455) (0.0770) ACC học 0.9597 0.9961 0.9070 0.9783 0.9965 0.9512 0.9772 0.9644 0.8747 0.9658 0.9656 0.9470 0.9407 0.9619 0.9401 (0.0664) (0.0026) (0.1475) (0.0471) (0.0025) (0.1062) (0.0504) (0.0588) (0.1563) (0.0751) (0.0663) (0.1186) (0.0888) (0.0711) (0.1196) MSE kiểm định ACC kiểm định 0.0445 0.0154 0.0701 0.0319 0.0150 0.0475 0.0291 0.0390 0.0916 0.0336 0.0365 0.0449 0.0556 0.0399 0.0531 0.9405 0.9840 0.9034 0.9597 0.9843 0.9394 0.9653 0.9521 0.8715 0.9568 0.9543 0.9399 0.9237 0.9525 0.9293 (0.0510) (0.0034) (0.0861) (0.0383) (0.0026) (0.0634) (0.0411) (0.0443) (0.0916) (0.0458) (0.0452) (0.0692) (0.0615) (0.0507) (0.0727) (0.0802) (0.0035) (0.1301) (0.0616) (0.0029) (0.0942) (0.0581) (0.0677) (0.1386) (0.0716) (0.0718) (0.1047) (0.0952) (0.0732) (0.1082) Bảng V.9: Tổng hợp kết liệu Ionosphere, tác vụ tác vụ, mạng độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0148 0.0179 0.0792 0.0156 0.0175 0.0893 0.0153 0.0346 0.0910 0.0152 0.0277 0.0849 0.0171 0.0317 0.0889 (0.0071) (0.0079) (0.0807) (0.0070) (0.0054) (0.0858) (0.0075) (0.0169) (0.0910) (0.0057) (0.0130) (0.0883) (0.0070) (0.0139) (0.0928) ACC học 0.9841 0.9815 0.8912 0.9838 0.9819 0.8759 0.9842 0.9639 0.8705 0.9839 0.9713 0.8803 0.9824 0.9671 0.8710 49 (0.0079) (0.0084) (0.1273) (0.0072) (0.0058) (0.1362) (0.0079) (0.0178) (0.1447) (0.0063) (0.0134) (0.1412) (0.0071) (0.0142) (0.1484) MSE kiểm định ACC kiểm định 0.0768 0.0632 0.1412 0.0742 0.0576 0.1555 0.0739 0.0928 0.1548 0.0698 0.0868 0.1462 0.0755 0.0828 0.1580 0.9186 0.9340 0.8182 0.9230 0.9396 0.7987 0.9230 0.9035 0.7940 0.9280 0.9082 0.8085 0.9226 0.9145 0.7899 (0.0199) (0.0159) (0.0544) (0.0236) (0.0167) (0.0538) (0.0247) (0.0350) (0.0598) (0.0147) (0.0246) (0.0629) (0.0310) (0.0247) (0.0577) (0.0199) (0.0169) (0.1037) (0.0254) (0.0175) (0.1057) (0.0267) (0.0366) (0.1155) (0.0157) (0.0266) (0.1179) (0.0327) (0.0246) (0.1156) Bảng V.10: Tổng hợp kết liệu Credit screening, tác vụ tác vụ, mạng độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0848 0.0831 0.1446 0.0826 0.0836 0.1215 0.0842 0.0897 0.1506 0.0855 0.0897 0.1569 0.0823 0.0918 0.1312 (0.0062) (0.0051) (0.0840) (0.0089) (0.0066) (0.0766) (0.0076) (0.0071) (0.0844) (0.0070) (0.0078) (0.0846) (0.0071) (0.0096) (0.0823) ACC học 0.9004 0.9032 0.7713 0.9064 0.9019 0.8196 0.9028 0.8988 0.7600 0.9016 0.8994 0.7455 0.9090 0.8988 0.7992 (0.0107) (0.0090) (0.1746) (0.0095) (0.0153) (0.1586) (0.0119) (0.0116) (0.1764) (0.0107) (0.0105) (0.1763) (0.0095) (0.0107) (0.1711) MSE kiểm định ACC kiểm định 0.1132 0.1144 0.1831 0.1151 0.1181 0.1624 0.1129 0.1105 0.1857 0.1156 0.1179 0.1856 0.1176 0.1160 0.1739 0.8662 0.8665 0.7134 0.8677 0.8633 0.7633 0.8660 0.8719 0.7031 0.8668 0.8668 0.6973 0.8662 0.8716 0.7400 (0.0136) (0.0151) (0.0568) (0.0155) (0.0144) (0.0562) (0.0132) (0.0156) (0.0598) (0.0141) (0.0189) (0.0622) (0.0160) (0.0131) (0.0562) (0.0140) (0.0158) (0.1582) (0.0175) (0.0177) (0.1486) (0.0156) (0.0145) (0.1620) (0.0165) (0.0187) (0.1663) (0.0165) (0.0128) (0.1561) V.2.2 Mạng nơ-ron khác độ sâu Bảng V.11: Tổng hợp kết toán 8-bit, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0730 0.0957 0.2453 0.0744 0.0898 0.2450 0.0859 0.0789 0.2388 0.0988 0.0840 0.2444 0.0766 0.0727 0.2441 (0.0652) (0.0367) (0.0108) (0.0614) (0.0460) (0.0136) (0.0504) (0.0461) (0.0298) (0.0663) (0.0474) (0.0108) (0.0609) (0.0575) (0.0157) ACC học 0.8939 0.8719 0.5397 0.8911 0.8818 0.5361 0.8812 0.8944 0.5575 0.8512 0.8924 0.5439 0.8894 0.8952 0.5387 50 (0.1166) (0.0570) (0.0456) (0.1083) (0.0677) (0.0355) (0.0793) (0.0766) (0.0709) (0.1225) (0.0737) (0.0378) (0.1006) (0.1003) (0.0410) MSE kiểm định ACC kiểm định 0.0968 0.1115 0.2530 0.0935 0.1016 0.2558 0.1110 0.0978 0.2489 0.1202 0.1026 0.2558 0.1044 0.0862 0.2539 0.8615 0.8515 0.4584 0.8632 0.8688 0.4498 0.8563 0.8662 0.4810 0.8255 0.8615 0.4519 0.8489 0.8805 0.4541 (0.0777) (0.0624) (0.0077) (0.0774) (0.0561) (0.0157) (0.0668) (0.0557) (0.0351) (0.0781) (0.0554) (0.0092) (0.0772) (0.0660) (0.0115) (0.1354) (0.0926) (0.0550) (0.1386) (0.0766) (0.0321) (0.0986) (0.0966) (0.0899) (0.1310) (0.0928) (0.0381) (0.1231) (0.1106) (0.0427) Bảng V.12: Tổng hợp kết toán 9-bit, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0934 0.0862 0.2377 0.0840 0.0866 0.2468 0.1122 0.1092 0.2461 0.1025 0.1164 0.2416 0.0771 0.0810 0.2451 (0.0598) (0.0546) (0.0253) (0.0588) (0.0568) (0.0065) (0.0600) (0.0544) (0.0071) (0.0611) (0.0552) (0.0229) (0.0458) (0.0615) (0.0147) ACC học 0.8574 0.8813 0.5569 0.8764 0.8845 0.5299 0.8349 0.8439 0.5317 0.8438 0.8401 0.5379 0.8872 0.8834 0.5345 (0.1108) (0.0841) (0.0750) (0.1019) (0.0863) (0.0367) (0.1120) (0.0958) (0.0258) (0.1148) (0.0909) (0.0592) (0.0819) (0.1033) (0.0489) MSE kiểm định ACC kiểm định 0.1060 0.0987 0.2466 0.0970 0.0976 0.2516 0.1328 0.1256 0.2537 0.1172 0.1342 0.2474 0.0853 0.0968 0.2489 0.8426 0.8584 0.5028 0.8660 0.8688 0.4788 0.8091 0.8130 0.4786 0.8351 0.8080 0.4784 0.8794 0.8604 0.4755 (0.0644) (0.0656) (0.0224) (0.0666) (0.0631) (0.0067) (0.0726) (0.0623) (0.0086) (0.0697) (0.0617) (0.0198) (0.0525) (0.0713) (0.0164) (0.1144) (0.1073) (0.0858) (0.1060) (0.0985) (0.0569) (0.1241) (0.1151) (0.0391) (0.1226) (0.1061) (0.0687) (0.0918) (0.1208) (0.0544) Bảng V.13: Tổng hợp kết toán 10-bit, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0910 0.0944 0.2407 0.1098 0.0957 0.2444 0.1031 0.0976 0.2446 0.0940 0.1103 0.2489 0.1159 0.0837 0.2474 (0.0466) (0.0467) (0.0308) (0.0600) (0.0482) (0.0173) (0.0520) (0.0388) (0.0102) (0.0559) (0.0404) (0.0020) (0.0550) (0.0447) (0.0077) ACC học 0.8790 0.8767 0.5366 0.8321 0.8636 0.5286 0.8496 0.8677 0.5349 0.8617 0.8541 0.5207 0.8226 0.8872 0.5214 51 (0.0734) (0.0716) (0.0692) (0.1155) (0.0786) (0.0434) (0.0965) (0.0642) (0.0436) (0.1020) (0.0694) (0.0175) (0.0999) (0.0776) (0.0141) MSE kiểm định ACC kiểm định 0.0973 0.0983 0.2462 0.1224 0.1022 0.2481 0.1151 0.1046 0.2526 0.1031 0.1191 0.2515 0.1239 0.0921 0.2510 0.8709 0.8711 0.4807 0.8152 0.8523 0.4780 0.8359 0.8561 0.4723 0.8473 0.8423 0.4729 0.8173 0.8754 0.4695 (0.0504) (0.0476) (0.0299) (0.0651) (0.0529) (0.0111) (0.0556) (0.0454) (0.0118) (0.0604) (0.0434) (0.0019) (0.0590) (0.0483) (0.0021) (0.0785) (0.0732) (0.0777) (0.1187) (0.0853) (0.0425) (0.1046) (0.0725) (0.0600) (0.1118) (0.0721) (0.0234) (0.1037) (0.0855) (0.0143) Hình V.7: Kết thực nghiệm toán 8-bit, tác vụ, mạng khác độ sâu Hình V.8: Kết thực nghiệm toán 8-bit, tác vụ, mạng khác độ sâu 52 Hình V.9: Kết thực nghiệm tốn 9-bit, tác vụ, mạng khác độ sâu Hình V.10: Kết thực nghiệm toán 9-bit, tác vụ, mạng khác độ sâu 53 Hình V.11: Kết thực nghiệm toán 10-bit, tác vụ, mạng khác độ sâu Hình V.12: Kết thực nghiệm tốn 10-bit, tác vụ, mạng khác độ sâu 54 Bảng V.14: Tổng hợp kết liệu Breast cancer, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0166 0.0181 0.1835 0.0170 0.0188 0.1898 0.0162 0.0183 0.1493 0.0164 0.0183 0.1623 0.0164 0.0177 0.1833 (0.0026) (0.0015) (0.0816) (0.0030) (0.0023) (0.0769) (0.0026) (0.0014) (0.0985) (0.0022) (0.0019) (0.0947) (0.0037) (0.0027) (0.0818) ACC học 0.9816 0.9791 0.7242 0.9815 0.9791 0.7138 0.9810 0.9796 0.7773 0.9811 0.9795 0.7569 0.9817 0.9806 0.7241 (0.0034) (0.0017) (0.1274) (0.0037) (0.0022) (0.1192) (0.0035) (0.0020) (0.1535) (0.0030) (0.0020) (0.1471) (0.0042) (0.0031) (0.1272) MSE kiểm định ACC kiểm định 0.0280 0.0271 0.1902 0.0268 0.0268 0.1969 0.0291 0.0266 0.1567 0.0275 0.0273 0.1726 0.0298 0.0261 0.1901 0.9700 0.9706 0.7076 0.9714 0.9711 0.6962 0.9684 0.9719 0.7616 0.9708 0.9716 0.7376 0.9676 0.9724 0.7073 (0.0050) (0.0054) (0.0794) (0.0067) (0.0033) (0.0738) (0.0056) (0.0044) (0.0963) (0.0044) (0.0065) (0.0876) (0.0066) (0.0061) (0.0796) (0.0058) (0.0058) (0.1296) (0.0072) (0.0041) (0.1193) (0.0064) (0.0045) (0.1561) (0.0046) (0.0067) (0.1448) (0.0077) (0.0066) (0.1290) Bảng V.15: Tổng hợp kết liệu Tic tac toe, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0486 0.0217 0.1526 0.0526 0.0216 0.1898 0.0216 0.0321 0.1414 0.0603 0.0306 0.1640 0.0616 0.0333 0.1859 (0.0589) (0.0338) (0.1020) (0.0691) (0.0337) (0.0813) (0.0394) (0.0534) (0.1074) (0.0668) (0.0515) (0.0982) (0.0702) (0.0565) (0.0762) ACC học 0.9349 0.9748 0.7670 0.9221 0.9750 0.7075 0.9683 0.9574 0.7828 0.9190 0.9589 0.7482 0.9125 0.9541 0.7182 55 (0.0859) (0.0425) (0.1602) (0.1114) (0.0425) (0.1281) (0.0698) (0.0793) (0.1691) (0.0986) (0.0769) (0.1553) (0.1121) (0.0882) (0.1230) MSE kiểm định ACC kiểm định 0.0554 0.0271 0.1518 0.0626 0.0276 0.1849 0.0287 0.0391 0.1399 0.0749 0.0384 0.1626 0.0735 0.0398 0.1838 0.9295 0.9696 0.7794 0.9142 0.9693 0.7287 0.9605 0.9520 0.7964 0.9012 0.9512 0.7631 0.9019 0.9494 0.7329 (0.0608) (0.0328) (0.0932) (0.0711) (0.0322) (0.0749) (0.0414) (0.0583) (0.0989) (0.0727) (0.0562) (0.0891) (0.0741) (0.0608) (0.0686) (0.0857) (0.0406) (0.1416) (0.1079) (0.0398) (0.1141) (0.0774) (0.0801) (0.1504) (0.1067) (0.0820) (0.1364) (0.1115) (0.0878) (0.1073) Bảng V.16: Tổng hợp kết liệu Ionosphere, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0320 0.0295 0.1456 0.0325 0.0288 0.1933 0.0302 0.0468 0.1375 0.0325 0.0454 0.1330 0.0342 0.0488 0.1891 (0.0161) (0.0100) (0.0819) (0.0136) (0.0101) (0.0669) (0.0088) (0.0208) (0.0877) (0.0140) (0.0163) (0.0852) (0.0110) (0.0167) (0.0727) ACC học 0.9660 0.9690 0.7897 0.9656 0.9698 0.7039 0.9679 0.9487 0.8005 0.9654 0.9509 0.8073 0.9638 0.9471 0.7143 (0.0190) (0.0110) (0.1374) (0.0157) (0.0110) (0.1109) (0.0098) (0.0281) (0.1437) (0.0164) (0.0188) (0.1409) (0.0124) (0.0196) (0.1208) MSE kiểm định ACC kiểm định 0.1002 0.0789 0.1866 0.1021 0.0817 0.2209 0.1010 0.1070 0.1907 0.1027 0.1070 0.1760 0.0948 0.1052 0.2151 0.8915 0.9154 0.7324 0.8887 0.9123 0.6597 0.8912 0.8811 0.7292 0.8884 0.8821 0.7491 0.8975 0.8836 0.6717 (0.0252) (0.0225) (0.0516) (0.0223) (0.0250) (0.0376) (0.0236) (0.0277) (0.0496) (0.0202) (0.0220) (0.0554) (0.0244) (0.0245) (0.0429) (0.0315) (0.0247) (0.1071) (0.0267) (0.0282) (0.0777) (0.0275) (0.0358) (0.1048) (0.0252) (0.0250) (0.1131) (0.0284) (0.0286) (0.0930) Bảng V.17: Tổng hợp kết liệu Credit screening, tác vụ tác vụ, mạng khác độ sâu Thuật toán Tác vụ EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD EA-UDA MFEA-UDA GD 2task_T1 2task_T1 2task_T1 2task_T2 2task_T2 2task_T2 3task_T1 3task_T1 3task_T1 3task_T2 3task_T2 3task_T2 3task_T3 3task_T3 3task_T3 MSE học 0.0873 0.0913 0.2209 0.0895 0.0914 0.2041 0.0886 0.0987 0.1839 0.0905 0.0961 0.2245 0.0923 0.0957 0.1905 (0.0061) (0.0057) (0.0575) (0.0066) (0.0071) (0.0685) (0.0059) (0.0078) (0.0765) (0.0068) (0.0086) (0.0517) (0.0064) (0.0076) (0.0728) ACC học 0.9000 0.8953 0.6138 0.8966 0.8952 0.6523 0.8970 0.8848 0.6923 0.8953 0.8898 0.6086 0.8938 0.8878 0.6802 56 (0.0092) (0.0080) (0.1248) (0.0092) (0.0093) (0.1482) (0.0086) (0.0111) (0.1647) (0.0098) (0.0092) (0.1155) (0.0086) (0.0107) (0.1597) MSE kiểm định ACC kiểm định 0.1158 0.1168 0.2301 0.1197 0.1189 0.2181 0.1171 0.1141 0.1963 0.1184 0.1167 0.2322 0.1157 0.1132 0.2029 0.8648 0.8631 0.5753 0.8602 0.8599 0.6117 0.8633 0.8672 0.6568 0.8614 0.8663 0.5724 0.8639 0.8656 0.6437 (0.0154) (0.0109) (0.0472) (0.0149) (0.0102) (0.0535) (0.0125) (0.0142) (0.0672) (0.0132) (0.0139) (0.0430) (0.0141) (0.0140) (0.0637) (0.0185) (0.0134) (0.1230) (0.0177) (0.0123) (0.1442) (0.0120) (0.0175) (0.1672) (0.0142) (0.0158) (0.1170) (0.0176) (0.0161) (0.1619) V.3 Nhận xét bàn luận Kết thực nghiệm rõ ưu điểm cách tiếp cận EA tất liệu thực nghiệm Giải thuật GD thể không tốt tất n-bit liệu thực tế so với cách tiếp cận tiến hóa Điều lý giải ANN độ sâu lớn thường tồn nhiều trở ngại khiến cho phương pháp tối ưu dựa đạo hàm không dễ dàng vượt qua Trong thực nghiệm với ANN độ sâu, MFEA-UDA vượt trội EA-UDA hầu khắp tác vụ học Đặc biệt thực nghiệm tác vụ Hình V.1, Hình V.3 Hình V.5 Đối với thực nghiệm tác vụ loại Hình V.2, Hình V.4 Hình V.6, MFEA-UDA EA-UDA tỉ lệ nhỏ số tác vụ Trong thực nghiệm với ANN khác độ sâu, MFEA-UDA EA-UDA có hiệu tương đương nhau, thuật tốn tốt liệu định khác biệt khơng q nhiều Hình V.7, Hình V.9, Hình V.11, Hình V.8, Hình V.10 Hình V.12 Điều lý giải mạng sâu khác số lớp, lượng tham số chia sẻ chung cấu hình thấp hơn, phép lai ghép đa nhiệm tỏ ưu chất lượng lời giải MFEA-UDA tương đương EA-UDA Khi so sánh hiệu mạng lớp rộng với mạng nhiều lớp sâu (3, 4, lớp) Hình V.1 với Hình V.7 hay Hình V.3 với Hình V.9, , ta thấy mạng sâu hẹp có hiệu tốt tương đương với mạng nơng rộng mạng sâu hẹp tham số nhiều Điều có việc tăng độ sâu mạng giúp tăng độ phức tạp hàm xấp xỉ biểu diễn nên khớp liệu học tốt Khi so sánh kết thực nghiệm luận văn đề xuất với thực nghiệm Chandra et al [53], ta thấy kết MSE độ xác liệu tương đồng Tuy nhiên cần phải để ý thực nghiệm Chandra et al không chia liệu học liệu kiểm định luận văn thực mà cho giải thuật học 100% tập điểm liệu toán Việc học gần giống với tốn tối ưu hóa có phần tính tổng qt áp dụng vào thực tế Như với mạng sâu hơn, ta tìm hàm xấp xỉ đủ tốt để khớp liệu phân loại nhị phân tùy ý Tổng kết thực nghiệm, ta thấy rõ hiệu chất lượng mạng ANN học 57 phương pháp tiếp cận dựa MFEA Tuy nhiên để có chất lượng tốt, MFEA-UDA phải trả giá thời gian Bảng V.18 thống kê lại thời gian chạy trung bình giải thuật cho tốn 8-bit Các toán liệu khác có thời gian theo tỉ lệ tương tự nên gọn luận văn đưa thống kê thời gian liệu Bảng V.18: Thời gian chạy trung bình (giây) giải thuật cho toán 8-bit 2 3 Thực nghiệm tác vụ, độ sâu tác vụ, khác độ sâu tác vụ, độ sâu tác vụ, khác độ sâu EA-UDA MFEA-UDA GD 31.12 30.37 32.55 31.79 40.43 37.78 39.53 38.13 15.76 12.61 16.31 14.95 58 Chương VI: KẾT LUẬN VÀ KIẾN NGHỊ Về mặt lý thuyết, luận văn trình bày nội dung sau: • Tổng quan mạng nơ-ron: mơ hình, ý nghĩa tốn học, thuật tốn lan truyền tham số ANN • Tổng quan tối ưu hóa liên tục, định nghĩa toán số phương pháp giải, tối ưu đa mục tiêu tối ưu đa nhiệm • Tổng quan giải thuật tiến hóa đa nhiệm: sở giải thuật tiến hóa cho tốn tối ưu liên tục, sở giải thuật tiến hóa đa nhiệm • Đưa mối liên hệ huấn luyện ANN toán tối ưu Đưa động lực cho giải thuật tiến hóa đa nhiệm áp dụng vào huấn luyện ANN • Đề xuất phương pháp mã hóa mạng nơ-ron nhiều lớp không gian chung Đề xuất giải thuật học cho ANN dựa giải thuật tiến hóa đa nhiệm Về mặt thực nghiệm, luận văn thu số kết quả: • Cài đặt giải thuật đề xuất thực nghiệm với liệu phân loại nhị phân • So sánh kết thực nghiệm giải thuật đề xuất với cách tiếp cận đạo hàm GD so sánh mơ hình đa nhiệm với đơn nhiệm • Tổng kết thực nghiệm đưa đánh giá, nhận xét kết luận tính ưu nhược giải thuật đề xuất Các vấn đề tồn đọng chưa giải quyết: • Dữ liệu thực nghiệm so sánh chưa đủ đa dạng • Chưa đánh giá đầy đủ hiệu phương pháp tiếp cận dựa đạo hàm phương pháp tiến hóa, GD chưa giải thuật tốt • Từ tồn đọng đó, tác giả đề xuất mở rộng việc áp dụng tiến hóa đa nhiệm cho mơ hình ANN khác nhiều liệu khác Từ tồn đọng đó, tác giả đề xuất hướng nghiên cứu tương lai: • Mở rộng việc áp dụng tiến hóa đa nhiệm cho mơ hình ANN khác nhiều liệu khác • Tiếp tục nghiên cứu tiến hóa đa nhiệm Tập trung vào giải vấn đề nên dùng đa nhiệm với độ đo thực tế • Nghiên cứu phát triển chiến lược tự thích nghi điều chỉnh tham số • Kết hợp tiến hóa đa nhiệm với phương pháp dựa đạo hàm để phát triển thuật toán lai hiệu • Phát triển mơ hình đồng thời tối ưu trọng số kiến trúc mạng 59 DANH MỤC TÀI LIỆU THAM KHẢO [1] Arthur Asuncion and David Newman UCI machine learning repository 2007 [2] Martin T Hagan et al Neural network design Vol 20 Pws Pub Boston, 1996 [3] Ian Goodfellow, Yoshua Bengio, and Aaron Courville Deep learning MIT press, 2016 [4] Ethem Alpaydin Introduction to machine learning MIT press, 2009 [5] Vũ Hữu Tiệp Machine Learning 2017 [6] Nicholas Gould An introduction to algorithms for continuous optimization 2006 [7] R Gary Parker and Ronald L Rardin Discrete optimization Elsevier, 2014 [8] Jorge Nocedal and Stephen Wright Numerical optimization Springer Science & Business Media, 2006 [9] Stephen Boyd and Lieven Vandenberghe Convex optimization Cambridge university press, 2004 [10] C-L Hwang and Abu Syed Md Masud Multiple objective decision making—methods and applications: a state-of-the-art survey Vol 164 Springer Science & Business Media, 2012 [11] Harold M Hochman and James D Rodgers “Pareto optimal redistribution” In: The American economic review 59.4 (1969), pp 542–557 [12] Yew-Soon Ong and Abhishek Gupta “Evolutionary multitasking: a computer science view of cognitive multitasking” In: Cognitive Computation 8.2 (2016), pp 125–142 [13] Rich Caruana “Multitask learning” In: Learning to learn Springer, 1998, pp 95–133 [14] Rainer Storn and Kenneth Price “Differential evolution–a simple and efficient heuristic for global optimization over continuous spaces” In: Journal of global optimization 11.4 (1997), pp 341– 359 [15] Muhlis ÖZDEMİR “Particle Swarm Optimization for Continuous Function Optimization Problems” In: International Journal of Applied Mathematics, Electronics and Computers 5.3 (2017), pp 47–52 [16] Varun Kumar Ojha, Ajith Abraham, and Václav Snášel “ACO for continuous function optimization: A performance analysis” In: 2014 14th International Conference on Intelligent Systems Design and Applications IEEE 2014, pp 145–150 [17] Xiaofeng Qi and Francesco Palmieri “Theoretical analysis of evolutionary algorithms with an infinite population size in continuous space Part I: Basic properties of selection and mutation” In: IEEE Transactions on Neural Networks 5.1 (1994), pp 102–119 [18] Xin Yao, Yong Liu, and Guangming Lin “Evolutionary programming made faster” In: IEEE Transactions on Evolutionary computation 3.2 (1999), pp 82–102 [19] Colin Reeves and Jonathan E Rowe Genetic algorithms: principles and perspectives: a guide to GA theory Vol 20 Springer Science & Business Media, 2002 [20] Ram Bhushan Agrawal, Kalyanmoy Deb, and Ram Bhushan Agrawal “Simulated binary crossover for continuous search space” In: Complex systems 9.2 (1995), pp 115–148 [21] Kalyanmoy Deb and Debayan Deb “Analysing mutation schemes for real-parameter genetic algorithms” In: International Journal of Artificial Intelligence and Soft Computing 4.1 (2014), pp 1–28 [22] Swagatam Das and Ponnuthurai Nagaratnam Suganthan “Differential evolution: A survey of the state-of-the-art” In: IEEE transactions on evolutionary computation 15.1 (2011), pp 4–31 [23] A Kai Qin and Ponnuthurai N Suganthan “Self-adaptive differential evolution algorithm for numerical optimization” In: 2005 IEEE congress on evolutionary computation Vol IEEE 2005, pp 1785–1791 60 [24] Janez Brest et al “Dynamic optimization using self-adaptive differential evolution” In: 2009 IEEE Congress on Evolutionary Computation IEEE 2009, pp 415–422 [25] Abhishek Gupta, Yew-Soon Ong, and Liang Feng “Multifactorial evolution: toward evolutionary multitasking” In: IEEE Transactions on Evolutionary Computation 20.3 (2016), pp 343–357 [26] Bingshui Da et al “Evolutionary multitasking for single-objective continuous optimization: Benchmark problems, performance metric, and baseline results” In: arXiv preprint arXiv:1706.03470 (2017) [27] Rung-Tzuo Liaw and Chuan-Kang Ting “Evolutionary many-tasking based on biocoenosis through symbiosis: A framework and benchmark problems” In: 2017 IEEE Congress on Evolutionary Computation (CEC) IEEE 2017, pp 2266–2273 [28] Jinliang Ding et al “Generalized Multi-tasking for Evolutionary Optimization of Expensive Problems” In: IEEE Transactions on Evolutionary Computation (2017) [29] Abhishek Gupta et al “Multiobjective multifactorial optimization in evolutionary multitasking” In: IEEE transactions on cybernetics 47.7 (2017), pp 1652–1665 [30] Yuan Yuan et al “Evolutionary multitasking for multiobjective continuous optimization: Benchmark problems, performance metrics and baseline results” In: arXiv preprint arXiv:1706.02766 (2017) [31] Nguyen Quoc Tuan, Ta Duy Hoang, and Huynh Thi Thanh Binh “A Guided Differential Evolutionary Multi-Tasking with Powell Search Method for Solving Multi-Objective Continuous Optimization” In: 2018 IEEE Congress on Evolutionary Computation (CEC) IEEE 2018, pp 1–8 [32] Huynh Thi Thanh Binh, Nguyen Quoc Tuan, and Doan Cao Thanh Long “A multi-objective multi-factorial evolutionary algorithm with reference-point-based approach” In: 2019 IEEE Congress on Evolutionary Computation (CEC) IEEE 2019 [33] Jerrold H Zar “Significance testing of the Spearman rank correlation coefficient” In: Journal of the American Statistical Association 67.339 (1972), pp 578–580 [34] Abhishek Gupta and Yew-Soon Ong “Genetic transfer or population diversification? Deciphering the secret ingredients of evolutionary multitask optimization” In: Computational Intelligence (SSCI), 2016 IEEE Symposium Series on IEEE 2016, pp 1–7 [35] A Gupta et al “Measuring complementarity between function landscapes in evolutionary multitasking” In: 2016 IEEE Congress on Evolutionary Computation, accepted 2016 [36] Heung Bum Kim et al “Fast learning method for back-propagation neural network by evolutionary adaptation of learning rates” In: Neurocomputing 11.1 (1996), pp 101–106 [37] Yann A LeCun et al “Efficient backprop” In: Neural networks: Tricks of the trade Springer, 2012, pp 9–48 [38] Xin Yao “Evolving artificial neural networks” In: Proceedings of the IEEE 87.9 (1999), pp 1423– 1447 [39] Tijmen Tieleman and Geoffery Hinton “RMSprop gradient optimization” In: URL http://www cs toronto edu/tijmen/csc321/slides/lecture_slides_lec6 pdf (2014) [40] Yu Nesterov “Gradient methods for minimizing composite functions” In: Mathematical Programming 140.1 (2013), pp 125–161 [41] Diederik P Kingma and Jimmy Ba “Adam: A method for stochastic optimization” In: arXiv preprint arXiv:1412.6980 (2014) [42] Ronen Eldan and Ohad Shamir “The power of depth for feedforward neural networks” In: Conference on learning theory 2016, pp 907–940 [43] Kenji Kawaguchi “Deep learning without poor local minima” In: Advances in Neural Information Processing Systems 2016, pp 586–594 [44] Risto Miikkulainen et al “Evolving deep neural networks” In: Artificial Intelligence in the Age of Neural Networks and Brain Computing Elsevier, 2019, pp 293–312 61 [45] Darrell Whitley, Timothy Starkweather, and Christopher Bogart “Genetic algorithms and neural networks: Optimizing connections and connectivity” In: Parallel computing 14.3 (1990), pp 347–361 [46] Felipe Petroski Such et al “Deep neuroevolution: Genetic algorithms are a competitive alternative for training deep neural networks for reinforcement learning” In: arXiv preprint arXiv:1712.06567 (2017) [47] Adam Slowik and Michal Bialko “Training of artificial neural networks using differential evolution algorithm” In: 2008 Conference on Human System Interactions IEEE 2008, pp 60– 65 [48] Rodger Ziemer and William H Tranter Principles of communications: system modulation and noise John Wiley & Sons, 2006 [49] Kenneth O Stanley and Risto Miikkulainen “Evolving neural networks through augmenting topologies” In: Evolutionary computation 10.2 (2002), pp 99–127 [50] Kenneth O Stanley, David B D’Ambrosio, and Jason Gauci “A hypercube-based encoding for evolving large-scale neural networks” In: Artificial life 15.2 (2009), pp 185–212 [51] Forest Agostinelli et al “Learning activation functions to improve deep neural networks” In: arXiv preprint arXiv:1412.6830 (2014) [52] Alexander Hagg, Maximilian Mensing, and Alexander Asteroth “Evolving parsimonious networks by mixing activation functions” In: Proceedings of the Genetic and Evolutionary Computation Conference ACM 2017, pp 425–432 [53] Rohitash Chandra et al “Evolutionary multi-task learning for modular training of feedforward neural networks” In: International Conference on Neural Information Processing Springer 2016, pp 37–46 [54] Rohitash Chandra et al “Evolutionary multi-task learning for modular knowledge representation in neural networks” In: Neural Processing Letters 47.3 (2018), pp 993–1009 [55] Abhishek Gupta, Yew-Soon Ong, and Liang Feng “Insights on transfer optimization: Because experience is the best teacher” In: IEEE Transactions on Emerging Topics in Computational Intelligence 2.1 (2018), pp 51–64 [56] Sinno Jialin Pan and Qiang Yang “A survey on transfer learning” In: IEEE Transactions on knowledge and data engineering 22.10 (2010), pp 1345–1359 [57] Yu-Wei Wen and Chuan-Kang Ting “Parting ways and reallocating resources in evolutionary multitasking” In: Evolutionary Computation (CEC), 2017 IEEE Congress on IEEE 2017, pp 2404–2411 [58] Kavitesh Kumar Bali et al “Linearized domain adaptation in evolutionary multitasking” In: Evolutionary Computation (CEC), 2017 IEEE Congress on IEEE 2017, pp 1295–1302 [59] Jing Tang et al “A Group-based Approach to Improve Multifactorial Evolutionary Algorithm.” In: IJCAI 2018, pp 3870–3876 [60] Michael Steinbach George Karypis, Vipin Kumar, and Michael Steinbach “A comparison of document clustering techniques” In: TextMining Workshop at KDD2000 (May 2000) 2000 62 PHỤ LỤC Danh sách cơng trình công bố Nguyen Quoc Tuan, Ta Duy Hoang, and Huynh Thi Thanh Binh “A Guided Differential Evolutionary Multi-Tasking with Powell Search Method for Solving Multi-Objective Continuous Optimization” In: 2018 IEEE Congress on Evolutionary Computation (CEC) IEEE 2018, pp 1–8 Huynh Thi Thanh Binh, Nguyen Quoc Tuan, and Doan Cao Thanh Long “A multi-objective multifactorial evolutionary algorithm with reference-point-based approach” In: 2019 IEEE Congress on Evolutionary Computation (CEC) IEEE 2019 63 ... III.3 Tiến hóa đa nhiệm huấn luyện mạng nơ- ron ĐỀ XUẤT GIẢI THUẬT HỌC CHO MẠNG NƠ -RON TRUYỀN THẲNG NHIỀU LỚP DỰA TRÊN THUẬT TOÁN TIẾN HÓA ĐA NHIỆM VỤ ... BÁCH KHOA HÀ NỘI - Học viên: Nguyễn Quốc Tuấn GIẢI THUẬT TIẾN HÓA ĐA NHIỆM VỤ TRONG HUẤN LUYỆN MẠNG NƠ -RON TRUYỀN THẲNG Chuyên ngành : Khoa học máy tính LUẬN VĂN THẠC SĨ KHOA HỌC... bình (giây) giải thuật cho tốn 8-bit 58 XI DANH MỤC GIẢI THUẬT Giải thuật lan truyền tham số mạng nơ- ron nhân tạo L lớp Giải thuật lan truyền ngược cho mạng nơ- ron nhân tạo