Việc sosánh kết quả thực nghiệm là thước đo kiểm chứng tính thực tiễn của giải thuậtđề xuất trong việc phát triển các giải thuật học.I.4 Cấu trúc của luận vănCấu trúc các Chương tiếp the
Tai ngay!!! Ban co the xoa dong chu nay!!! 17051113911881000000 LỜI TRI ÂN Lời đầu tiên, xin gửi lời cảm ơn chân thành sâu sắc tới giáo viên hướng dẫn PGS TS Huỳnh Thị Thanh Bình tận tình dạy bảo cung cấp gợi ý q báu giúp tơi nâng cao kiến thức hồn thành tốt luận văn Tôi xin bày tỏ lòng biết ơn sâu sắc tới GS Ong Yew Soon, TS Abhishek Gupta Đại học Công nghệ Nanyang (Singapore) GS Katsumi Inoue Viện Tin học quốc gia Nhật Bản nhiệt tình hỗ trợ đưa định hướng, lời khuyên suốt trình thực đề tài Đồng thời, xin bày tỏ lịng biết ơn tới thầy trường Đại học Bách khoa Hà Nội, đặc biệt thầy cô Viện Công nghệ Thông tin Truyền thông, người thầy cô mẫu mực hết lịng truyền đạt kiến thức, kinh nghiệm cho cho hệ sinh viên kỹ thuật chúng tơi Những kiến thức kinh nghiệm ln hành trang vững cho sinh viên đường nghiệp sau Tôi xin gửi lời cảm ơn tới anh chị nghiên cứu sinh bạn sinh viên phịng thí nghiệm Mơ hình hóa, mơ tối ưu (Modelling, Simulation and Optimization lab), người ln nhiệt tình giúp đỡ tơi suốt trình học tập, nghiên cứu trường đại học Cuối cùng, với tất thương yêu kính trọng, xin gửi lời biết ơn sâu sắc tới bố mẹ người thân gia đình ln chỗ dựa vững chắc, nguồn động viên tinh thần vô lớn lao, tạo điều kiện tốt cho ăn học nên người, trưởng thành chín chắn III LỜI CAM ĐOAN Tôi, Nguyễn Quốc Tuấn - tác giả luận văn này, xin cam đoan: Những nội dung luận văn cơng trình nghiên cứu tơi hướng dẫn trực tiếp PGS TS Huỳnh Thị Thanh Bình Mọi tham khảo dùng luận văn trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm cơng bố Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Mọi chép khơng hợp lệ, vi phạm quy chế đào tạo, xin chịu hoàn toàn trách nhiệm Tác giả luận văn IV MỤC LỤC TRANG PHỤ BÌA LUẬN VĂN I BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ II LỜI TRI ÂN III LỜI CAM ĐOAN IV MỤC LỤC V DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT VII DANH MỤC HÌNH ẢNH X DANH MỤC BẢNG BIỂU XI DANH MỤC GIẢI THUẬT XII Chương I: GIỚI THIỆU TỔNG QUAN I.1 Tính cấp thiết đề tài I.2 Mục đích đối tượng nghiên cứu I.3 Phạm vi phương pháp nghiên cứu I.4 Cấu trúc luận văn 2 Chương II: CƠ SỞ LÝ THUYẾT II.1 Tổng quan mạng nơ-ron II.1.1 Các thành phần mạng nơ-ron nhân tạo II.1.1.1 Đơn vị xử lý II.1.1.2 Hàm kích hoạt II.1.2 Lan truyền thông tin mạng nơ-ron II.1.3 Hàm mát II.1.4 Giải thuật lan truyền ngược mạng nơ-ron II.2 Tổng quan tối ưu hóa liên tục II.2.1 Bài toán tối ưu liên tục II.2.2 Một số phương pháp giải toán tối ưu liên tục II.2.2.1 Phương pháp đưịng tìm kiếm II.2.2.2 Phương pháp heuristic II.2.3 Tối ưu đa mục tiêu II.2.4 Tối ưu đa nhiệm II.3 Tổng quan giải thuật tiến hóa đa nhiệm vụ II.3.1 Giải thuật tiến hóa II.3.1.1 Lai ghép chéo hóa nhị phân II.3.1.2 Đột biến đa thức II.3.1.3 Phép biến đổi tiến hóa vi phân II.3.2 Giải thuật tiến hóa đa nhiệm vụ II.3.2.1 Độ đo tương tự II.3.2.2 Sự giao hội tập lời giải tối ưu tối ưu hóa đa nhiệm vụ II.3.2.3 Độ đo ảnh hưởng đa nhiệm 4 5 8 10 11 11 12 13 14 15 15 16 17 17 18 20 21 22 Chương III: GIẢI THUẬT TIẾN HÓA HUẤN LUYỆN MẠNG NƠ-RON III.1 Các phương pháp dựa đạo hàm III.1.1 Gradient Descent III.1.2 Stochastic Gradient Descent III.1.3 Stochastic Gradient Descent với động lực III.2 Sử dụng giải thuật tiến hóa làm giải thuật học III.2.1 Tối ưu trọng số kết nối III.2.2 Tối ưu kiến trúc mạng 25 25 25 26 26 27 27 28 V III.3 Tiến hóa đa nhiệm huấn luyện mạng nơ-ron ĐỀ XUẤT GIẢI THUẬT HỌC CHO MẠNG NƠ-RON TRUYỀN THẲNG NHIỀU LỚP DỰA TRÊN THUẬT TỐN TIẾN HĨA ĐA NHIỆM VỤ IV.1 Phương pháp mã hóa mạng nơ-ron nhiều lớp không gian chung IV.2 Tính tốn độ thích nghi đơn nhiệm IV.3 Giải thuật tiến hóa đa nhiệm đề xuất IV.3.1 Phép lai ghép đột biến không gian chung IV.3.2 Chiến lược tự thích nghi xác suất ghép cặp ngẫu nhiên 30 Chương IV: Chương V: KẾT QUẢ ĐẠT ĐƯỢC V.1 Thiết lập thực nghiệm V.1.1 Dữ liệu thực nghiệm V.1.2 Cấu hình ANN thực nghiệm V.1.3 Cấu hình tham số giải thuật V.2 Kết thực nghiệm V.2.1 Mạng nơ-ron độ sâu V.2.2 Mạng nơ-ron khác độ sâu V.3 Nhận xét bàn luận 34 35 38 38 39 39 41 41 41 42 43 43 44 50 57 KẾT LUẬN VÀ KIẾN NGHỊ 59 DANH MỤC TÀI LIỆU THAM KHẢO 60 PHỤ LỤC Danh sách cơng trình công bố 63 63 Chương VI: VI DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT Các thuật ngữ accuracy : độ xác 41, 43, 57 activation function : hàm kích hoạt 6, 9, 28, 30 backpropagation : lan truyền ngược 8, 26 bias : độ lệch 6, 8, 9, 34 building block : khối di truyền 16 complete intersection : giao hội hoàn toàn 21 continuous optimization : tối ưu hóa liên tục 3, 9, 10, 11, 12, 15, 17, 23, 28 convex optimization : tối ưu lồi 10, 18 convex function : hàm lồi 10 cross over : lai ghép 15, 17, 19, 22, 32, 35, 39 decision variable : biến định discrete optimization : tối ưu hóa rời rạc factorial rank : xếp hạng đơn nhiệm 19 factorial cost : giá trị thích nghi đơn nhiệm 19, 38 feasible solution : lời giải khả thi 9, 12, 13, 14, 21 tness : độ thích nghi 18, 38, 43 global complemetary : ảnh hưởng toàn cục 22 global minima : tối ưu toàn cục 10, 22, 23, 26, 27 hidden layer : lớp ẩn 9, 30, 34, 41 hidden unit : đơn vị ẩn 5, 9, 30 input layer : lớp đầu vào 30, 34, 35 input unit : đơn vị đầu vào 5, 41 learning rate : tốc độ học 25 line search : đường tìm kiếm 11, 15 local complemetary : ảnh hưởng cục 22 local search : tìm kiếm địa phương 12 local minima : tối ưu cục 10, 11, 25, 26, 27, 32 loss function : hàm mát 8, 9, 38 maximization : cực đại hóa 10 minimization : cực tiểu hóa 10, 13, 14 multi-variate optimization : tối ưu hóa đa biến 10 VII mutation : đột biến 15, 17, 19, 22, 35, 39 no intersection : không giao hội 21 non-dominated solution set : tập nghiệm khơng trội 14 optimization : tối ưu hóa 9, 10, 13, 14, 15, 18, 19, 20, 21, 25, 27, 28, 30, 31, 32, 33, 35, 37, 41, 42, 57 output layer : lớp đầu 9, 30, 34, 35 output unit : đơn vị đầu overt : học tủ 25 Pareto-optimal front : biên tối ưu Pareto 14 Pareto-optimal set : tập nghiệm tối ưu Pareto 14 Pareto front : biên Pareto 14 Pareto dominant : trội Pareto 13 partial intersection : giao hội phần 21 plateau : bình nguyên 27 population-based search : tìm kiếm dựa quần thể 12, 18 random mating probability : xác suất ghép cặp ngẫu nhiên 19, 35, 38, 39, 40 scalar tness : độ thích nghi vơ hướng 19, 38 self complemetary : tự ảnh hưởng 23 skill factor : số kỹ 19, 37, 38, 39 solution : lời giải 9, 12, 13, 14, 15, 16, 17, 18, 20, 22 steepest descent : ngược hướng đạo hàm với bước nhảy cho cực tiểu hóa hàm mục tiêu 12 transfer optimization : tối ưu hóa có truyền đạt 31 transfer learning : học có truyền đạt 31 unied space : không gian chung 18, 23, 30, 35, 39 Các từ viết tắt ACO (Ant Colony Optimization) : Tối ưu đàn kiến 15 ANN (Articial Neural Network) : Mạng nơ-ron nhân tạo 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 25, 26, 27, 28, 29, 30, 33, 34, 35, 37, 38, 41, 42, 43, 56, 57, 59 CNN (Convolutional Neural Network) : Mạng nơ-ron tích chập DE (Dierential Evolution) : Tiến hóa vi phân 15, 17, 18, 28, 39, 43 EA (Evolutionary Algorithm) : Giải thuật tiến hóa 3, 12, 15, 16, 17, 22, 27, 30, 31, 41, 43, 56, 57, 58 EANN (Evolutionary Articial Neural Network) : Mạng nơ ron nhân tạo tiến hóa 27, 28 FNN (Feedforward Neural Network) : Mạng nơ-ron truyền thẳng 2, 3, VIII FSM (Functional Synergy Metric) : Độ đo ảnh hưởng đa nhiệm 22, 23 GD (Gradient Descent) : Đi ngược hướng đạo hàm 8, 12, 25, 26, 41, 56, 58, 59 MFEA (Multi-Factorial Evolutionary Algorithm) : Giải thuật tiến hóa đa nhiệm vụ 2, 3, 15, 18, 19, 21, 22, 23, 30, 31, 32, 33, 34, 37, 38, 39, 40, 41, 43, 57, 58 MFO (Multi-Factorial Optimization) : Tối ưu hóa đa nhiệm vụ 10, 14, 15, 18, 21, 31, 32, 37 ML (Machine Learning) : Học máy 4, 25 MOO (Multi-Objective Optimization) : Tối ưu hóa đa mục tiêu 10, 13, 15 MSE (Mean Square Error) : Trung bình bình phương lỗi 2, 8, 38, 41, 43, 57 NAG (Nesterov Accelerated Gradient) : Gia tốc cho đạo hàm Nesterov 27 NEAT (NeuroEvolution through Augmenting Topologies) : Tiến hóa mạng nơ-ron thơng qua tăng cường kiến trúc mạng 29, 30 PMU (Polynomial Mutation) : Đột biến đa thức 15, 30, 39, 43 PSO (Particle Swarm Optimization) : Tối ưu bầy đàn 15 RMSProp (Root Mean Square propagation) : Lan truyền ngược trung bình bình phương lỗi 27 RNN (Recurrent Neural Network) : Mạng nơ-ron hồi qui SBX (Simulated Binary Crossover) : Lai ghép chéo hóa nhị phân 15, 16, 30, 39, 43 SGD (Stochastic Gradient Descent) : Đi ngược hướng đạo hàm ngẫu nhiên 26, 27 UCI (University of California, Irvine) : Đại học California, Irvine 41 UDA (Unied representation for Deep ANN) : Biểu diễn chung cho mạng nơ-ron nhiều lớp 38, 39, 41, 43, 57, 58 IX