Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron Nhóm 12 1 Vũ Đức Hải – tin học 1 2 Trương Cẩm Vân – tin học 1 Nội dung Giới thiệu.Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron
Ứng dụng giải thuật di truyền xây dựng cấu trúc mạng nơron Nhóm 12 Vũ Đức Hải – tin học Trương Cẩm Vân – tin học Nội dung Giới thiệu toán Sơ đồ khối thuật toán EPNet Chi tiết bước thuật tốn EPNet Giới thiệu tốn Tại phải tối ưu cấu trúc mạng nơron Khả xử lý thông tin mạng nơron phụ thuộc nhiều vào cấu trúc mạng Thuật toán gen dùng để tìm cấu trúc tối ưu cho mạng nơron Sơ đồ khối thuật toán EPNet Chi tiết bước EPNet Mã hóa Hàm finess phương pháp chọn Phương pháp huấn luyện lai Đột biến cấu trúc mạng Xóa node ẩn Xóa kết nối Thêm kết nối node Huấn luyện sau tiến hóa Các vấn đề liên quan khác Mã hóa Mã hóa Tín hiệu vào Hàm kích hoạt Mã hóa Dùng ma trận (m+N+n)*(m+N+n) để mã hóa kết nối Dùng ma trận (m+N+n)*(m+N+n) để mã hóa trọng số biases Dùng ma trận chiều N để mã hóa số node ẩn Mã hóa Mã hóa Ma trận kết nối 0000001101 0000001101 0000001101 0000001101 0000000000 0000000000 0000000001 0000000001 0000000000 Ma trận trọng số biases 000000 5.36946 6.81358 -2.69331 000000 -4.57565 -2.49735 1.85439 000000 5.96387 4.69046 -2.75533 000000 -5.52133 -2.57897 1.95033 0000000000 0000000000 000000 2.96945 0 4.3198 0000000 -3.3351 5.51952 000000000 5.59817 Ma trận node ẩn 00110 Hàm fitness phương pháp chọn Hàm fitness Phương pháp chọn Rank Sắp xếp cá thể quần thể theo thứ tự tăng dần theo fitness, gán số thứ tự 0,1 ,M-1 Cá thể (M-j) chọn với xác xuất: Đột biến cấu trúc Xóa node ẩn Xóa node ẩn ngẫu nhiên, số lượng node ẩn lớn người dùng định nghĩa Xóa kết nối Đột biến cấu trúc Thêm kết nối node Huấn luyện sau tiến hóa Sau trải qua trình đột biến ta thu quần thể mạng nơron, chọn cá thể tốt quần thể huấn luyện với tập xác thực thứ hai Việc chắn cá thể tốt không học vẹt với tập xác thực thứ Các vấn đề liên quan Permutation problem(vấn đề đổi vị trí node) Replacement Strategy and Generation Gap Chiến lược thay EPNet nhấn mạnh đến việc cải thiện behaviours giữ lại behaviours ANN cha mẹ 1.1 Replacement Strategy MBP : thay trực tiếp cho cha mẹ SA: thay trực tiếp cho cha mẹ sai số giảm cách đáng kể Deletion nodes, connections: thay lại cá thể “tồi ” quần thể tốt Adding nodes, connections: thay lại cá thể “tồi ” quần thể mạng có nhiều node “mạnh hơn” chưa huấn luyện xong 1.2 Generation Gap Khoảng cách hệ EPNet nhỏ 2 Hybrid Training Thuật tốn BP có khuyết điểm sau: Chậm hội tụ Hội tụ đến giá trị cực tiểu địa phương Để giải trường hợp chậm hội tụ sử dụng thuật toán MBP Trong trường hợp hội tụ đến giá trị cực đại địa phương sử dụng thuật toán SA ... Sơ đồ khối thuật tốn EPNet Chi tiết bước thuật toán EPNet Giới thiệu toán Tại phải tối ưu cấu trúc mạng nơron Khả xử lý thông tin mạng nơron phụ thuộc nhiều vào cấu trúc mạng Thuật toán... dùng để tìm cấu trúc tối ưu cho mạng nơron Sơ đồ khối thuật tốn EPNet Chi tiết bước EPNet Mã hóa Hàm finess phương pháp chọn Phương pháp huấn luyện lai Đột biến cấu trúc mạng ... tụ đến giá trị cực tiểu địa phương Để giải trường hợp chậm hội tụ sử dụng thuật toán MBP Trong trường hợp hội tụ đến giá trị cực đại địa phương sử dụng thuật toán SA