Huấn luyện mạng neuron nhân tạo pptx

GV: Lê Hoài Long Huấn luyện mạng neuron nhân tạo Phần GV: Lê Hoài Long Học của mạng neuron x 1 x 2 x n W 2 W n Đầu vào Đầu ra Huấn luyện Các thông số huấn luyện Neuron  Một bước rất quan trọng của mạng neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc học GV: Lê Hoài Long Học của mạng neuron  Có hai cách học khác nhau trong mạng neuron nhân tạo : Học tham số (parameter learning) và học cấu trúc (structure learning).  Hầu hết trong các nghiên cứu trong ngành quản lý xây dựng, ta dùng cách học thông số để huấn luyện mạng GV: Lê Hoài Long Học thông số  Học thông số là phương pháp học bằng cách cập nhật trọng số kết nối.  Vấn đề đặt ra là tìm cách nào để tìm ra một ma trận trọng số thực sự của mạng xấp xỉ với ma trận W trong quá trình xử lý thông tin?  Chế độ học thông số được áp dụng là chế độ học giám sát GV: Lê Hoài Long Học giám sát (supervised) Mạng neuron W Khâu phát sinh tín hiệu sai số Y (Đầu ra thực sự) X (Đầu vào) Tín hiệu sai số d (Đầu ra mong muốn) GV: Lê Hoài Long Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation)  Giải thuật được sử dụng để huấn luyện các mạng nuôi tiến nhiều lớp với các phần tử xử lý trong mạng có hàm tác động là hàm phi tuyến.  Giải thuật sẽ cung cấp một thủ tục cho việc cấp nhật các trọng số kết nối trong mạng truyền ngược từ lớp neuron đầu ra đến lớp neuron đầu vào. GV: Lê Hoài Long Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation)  Giải thuật vận hành theo hai luồng dữ liệu. Đó là:  Đầu tiên, các mẫu huấn luyện được truyền từ lớp neuron đầu vào đến lớp đầu ra và cho kết quả thực sự y(k) của lớp neuron đầu ra.  Sau đó, tín hiệu sai lệch giữa đầu ra mong muốn và đầu ra thực sự của mạng truyền ngược từ lớp đầu ra đến các lớp đứng trước để cập nhật các trọng số kết nối trong mạng. GV: Lê Hoài Long Mạng hướng tiến và giải thuật lan truyền ngược (Back-Propagation)  Việc áp dụng phương pháp lan truyền ngược là một quá trình lặp đi lặp lại nhiều lần hai tiến trình chính : ánh xạ và lan truyền ngược sai số.  Quá trình luyện mạng được bắt đầu với các trọng số tùy ý có thể là các số ngẫu nhiên và tiến hành lặp đi lặp lại. Mỗi lần lặp được gọi là một thế hệ.  Trong mỗi thế hệ, mạng hiệu chỉnh các trọng số sao cho sai số giảm dần. GV: Lê Hoài Long Thuật toán tối ưu hóa trong huấn luyện  Ba thuật toán hay sử dụng nhất đó là:  Steepest descent,  Newton,  và conjugate gradient  Ba thuật toán này có thể tìm hiểu sâu trong tài liệu được giao GV: Lê Hoài Long Nhiễu  Thiếu thông tin  Thông tin không chính xác  Thông tin thiếu. [...]...Quá khớp (lack of generality) Mạng bị quá khớp được đặt biệt quan tâm  Nghĩa là mạng không có khả năng tổng quát hoá, điều mà ta cần khi sử dụng mạng  Mạng sẽ trả lời chính xác những gì nó được học còn những gì nó không được học nó không quan tâm  GV: Lê Hoài Long Quá khớp (lack of generality) Việc huấn luyện mạng với số bước lớn hơn cần thiết Nguyên nhân là mạng đã được luyện quá khớp với dữ liệu... tài liệu, sách báo, các vấn đề nghiên cứu trước đây Đề xuất nghiên cứu Xác định phương pháp nghiên cứu Công cụ phân tích số liệu – Mạng neuron nhân tạo Xác định các biến tiềm năng Xác định loại và cấu hình mạng Thu thập số liệu các biến tiềm năng (Bảng câu hỏi) Huấn luyện mạng Xử lý ban đầu số liệu thu thập Phân tích kết quả Kết luận và kiến nghị GV: Lê Hoài Long ... Lê Hoài Long Precision và Accuracy Precise và không accurate Precise và accurate GV: Lê Hoài Long Bài đọc HÃY CHỈ RA NHỮNG VẤN ĐỀ CỦA NGHIÊN CỨU SAU ĐÂY Ước lượng chi phí xây dựng chung cư bằng mạng neuron nhân tạo (Phan Văn Khoa và các Tác giả) Tạp chí phát triển Khoa học và Công nghệ Quyển 10, Số 11, 2007 GV: Lê Hoài Long Đề xuất một qui trình nghiên cứu Nghiên cứu tài liệu, sách báo, các vấn đề nghiên... linh động của lan truyền ngược là lý do khiến nó có thể thực hiện công việc tạo mô hình tốt hơn hồi qui tuyến tính, nhưng cũng vì thế có thể dễ dẫn đến vấn đề quá khớp  GV: Lê Hoài Long Quá khớp (lack of generality) 8500 thế hệ 3000 thế hệ 15000 thế hệ 7000 thế hệ 101000 thế hệ GV: Lê Hoài Long Quá trình phát triển của mô hình neuron GV: Lê Hoài Long Đánh giá mô hình Đánh giá dựa trên sai số  Sai số . Long Huấn luyện mạng neuron nhân tạo Phần GV: Lê Hoài Long Học của mạng neuron x 1 x 2 x n W 2 W n Đầu vào Đầu ra Huấn luyện Các thông số huấn luyện Neuron  Một bước rất quan trọng của mạng neuron. của mạng neuron đó là việc huấn luyện mạng (training) hay còn gọi là việc học GV: Lê Hoài Long Học của mạng neuron  Có hai cách học khác nhau trong mạng neuron nhân tạo : Học tham số (parameter. tâm GV: Lê Hoài Long Quá khớp (lack of generality)  Việc huấn luyện mạng với số bước lớn hơn cần thiết. Nguyên nhân là mạng đã được luyện quá khớp với dữ liệu học (kể cả nhiễu).  Tính linh