Slide 1 Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu Giáo viên hướng dẫn TRẦN CAO TRƯỞNG Người thực hiện Dương Đỗ Nhuận Vũ Đình Hưng BÁO CÁO TRÍ TUỆ NHÂN TẠO 1 Nội dung 1 Giới thiệu 2 Các.
Mạng nơron truyền thẳng ứng dụng dự báo liệu BÁO CÁO: TRÍ TUỆ NHÂN TẠO Giáo viên hướng dẫn: TRẦN CAO TRƯỞNG Người thực hiện: Dương Đỗ Nhuận Vũ Đình Hưng Nội dung 1.Giới thiệu 2.Các khái niêm mạng nơron 3.Mạng nơron truyền thẳng 4.Thu thập phân tích, xử lý liệu 5.Chương trình dự báo liệu Giới thiệu • Mạng nơron nhân tạo xuất phát từ việc mô hoạt động não người • Mạng nơron mơ hình tính tốn chứa đơn vị xử lý có khả truyền thơng với cách gửi tín hiệu đến lẫn thơng qua liên kết có trọng số • Có khả thích nghi, nghĩa “học từ mẫu” thay “lập trình” • Các ứng dụng mạng nơron: – Phân loại: tín hiệu radar; xem xét mẫu bệnh,… – Giảm nhiễu: tiếng nói, ảnh tĩnh bị nhiễu,… – Dự đoán/Dự báo : lượng sử dụng, thị trường, dự đoán lượng bán,… Các khái niệm mạng nơron: Mạng nơron có đặc trưng: • Tập đơn vị xử lý • Trạng thái kích hoạt hay đầu đơn vị xử lý • Liên kết đơn vị: Mỗi liên kết định nghĩa trọng số cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị k • Luật lan truyền định cách tính tín hiệu đơn vị đầu vào • Một hàm kích hoạt hay hàm chuyển • Các đầu vào liệu (độ lệch - bias) • Phương pháp thu thập thơng tin Trong đó: xi : đầu vào wji : trọng số tương ứng với đầu vào θj : độ lệch (bias) aj : đầu vào mạng (net – input) zj : đầu nơron g(x): hàm chuyển (hàm kích hoạt) Mạng nơron truyền thẳng 3.1 Cấu trúc x0 bias h0 bias x1 y1 h1 x2 … … xl Input Layer y2 h2 w(1)ij … yn hm (2) Hidden Layer w jk Output Layer Đơn vị ẩn: • Bao gồm số lớp (1 lớp vào, hay nhiều lớp ẩn lớp ra) • Mỗi lớp có số đơn vị • Mỗi đơn vị nhận đầu vào từ đơn vị lớp trước gửi tín hiệu đến đơn vị lớp • Đầu biểu diễn hàm tường minh trọng số độ lệch l l (1 ) a j w ji x i ( ) h j g ( a j ) g ( w ji x i ) i i Đơn vị đầu ra: m ak w j 0 m (2) kj hj yk g 2(ak ) g 2( w j 0 (2) l kj g ( w (1 ) ji x i ) ) i 0 3.2 Khả thể • Các mạng khơng có lớp ẩn có khả giải tốn khả phân tuyến tính • Các mạng nơron với lớp ẩn xấp xỉ tốt ánh xạ hàm từ không gian hữu hạn chiều sang khơng gian khác • Các mạng nơron với lớp ẩn có khả thể đường phân chia hay xấp xỉ ánh xạ mịn tới độ xác 3.3 Huấn luyện thuật tốn lan truyền ngược: • Đây phương pháp thông dụng để huấn luyện cho mạng nơron truyền thẳng nhiều lớp • Có thể áp dụng cho mạng truyền thẳng với hàm chuyển hàm lỗi khả vi Bước 1: Lan truyền xuôi đầu vào qua mạng: a0 = p am+1 = fm+1 (Wm+1 am + bm+1), với m = 0, 1, , M – a = aM Bước 2: Lan truyền độ nhậy cảm (lỗi) ngược lại qua mạng: M M t a , s F n m T s m F n m W m 1 s m 1 , với m = M – 1, , 2, M Bước 3: Cuối cùng, trọng số độ lệch cập nhật công thức sau: T m m m m W k W k s a m m m k k b b s 3.3 Huấn luyện thuật toán lan truyền ngược: • Trong đó: P: vector đầu vào (vector cột) Wi : Ma trận trọng số noron lớp thứ i (S i x Ri : S hàng (noron) - R cột (số đầu vào)) bi : Vector độ lệch (bias) lớp thứ i (S i x 1: cho S nơron) ni : net input (Si x 1) fi : Hàm chuyển (Hàm kích hoạt) : net output (Si x 1) Cơng thức tính đầu ra: 4.Thu thập, phân tích, xử lý liệu Tập kiểm định sử dụng để xác định kiến trúc mạng; tập huấn luyện dùng để cập nhật trọng số mạng; tập kiểm tra dùng để kiểm tra hiệu mạng sau luyện •Tiền xử lý: Trong ứng dụng mạng Nơron có số phương pháp tiền xử lý sau: Chuyển đổi liệu khuôn dạng phù hợp đầu vào mạng nơron làm cho thời gian xử lý mạng ngắn Các chuyển đổi bao gồm: -Áp dụng hàm tốn học (hàm logarit hay bình phương) cho đầu vào; -Mã hóa liệu văn sở liệu; -Chuyển đổi liệu cho có giá trị nằm khoảng [0, 1] -Lấy biến đổi Fourier cho liệu thời gian Lựa chọn liệu xác đáng nhất: -Lọc hay lấy tổ hợp đầu vào để tối ưu hóa nội dung liệu Điều đặc biệt quan trọng mà liệu có nhiễu chứa thơng tin thừa Việc lựa chọn cẩn thận liệu phù hợp làm cho mạng dễ xây dựng tăng cường hiệu chúng liệu nhiễu Tối thiểu hóa số đầu vào mạng, tối thiểu số mẫu đưa vào đơn giản hóa tốn •Hậu xử lý: xử lý áp dụng cho đầu mạng hậu xử lý hoàn toàn phụ thuộc vào ứng dụng cụ thể bao gồm việc phát tham số có giá trị vượt khoảng cho phép sử dụng đầu mạng đầu vào hệ khác d.Tổng hợp: Trong thực tế xây dựng mạng nơron ứng dụng lĩnh vực dự báo liệu, việc áp dụng phương pháp tiền xử lý liệu đầu vào (và sau áp dụng phương pháp hậu xử lý liệu đầu ra) giúp ích nhiều ứng dụng Có nhiều phương pháp áp dụng cho liệu q trình tiền xử lý hậu xử lý Các phương pháp thực hiệu cho toán cụ thể lẽ chúng làm giảm bớt độ phức tạp liệu đầu vào, từ làm giảm thời gian học mạng nơron ... mạng nơron ứng dụng lĩnh vực dự báo liệu, việc áp dụng phương pháp tiền xử lý liệu đầu vào (và sau áp dụng phương pháp hậu xử lý liệu đầu ra) giúp ích nhiều ứng dụng Có nhiều phương pháp áp dụng. .. niêm mạng nơron 3 .Mạng nơron truyền thẳng 4.Thu thập phân tích, xử lý liệu 5.Chương trình dự báo liệu 1 Giới thiệu • Mạng nơron nhân tạo xuất phát từ việc mô hoạt động não người • Mạng nơron. .. toán lan truyền ngược: • Đây phương pháp thơng dụng để huấn luyện cho mạng nơron truyền thẳng nhiều lớp • Có thể áp dụng cho mạng truyền thẳng với hàm chuyển hàm lỗi khả vi Bước 1: Lan truyền xuôi