CHƢƠNG 1 : GIỚI THIỆU TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU
2.3. Mạng Neural hồi quy
2.3.1. Mơ hình mạng neural hồi quy
Mơ hình mạng neural hồi quy khác với các mơ hình mạng neural truyền thống: thơng tin đầu vào (input) hồn tồn độc lập với thơng tin đầu ra (output), RNN chứa
32
các vịng lặp bên trong, đầu ra (output) từ bƣớc trƣớc đƣợc cung cấp làm đầu vào (input) cho bƣớc hiện tại và xử lý đƣợc các thơng tin dạng chuỗi. Mơ hình dƣới đây mơ tả phép triển khai nội dung của một RNN.
Hình 2.4: Mơ hình RNN
Cĩ thể hiểu, RNN là một mơ hình cĩ khả năng sử dụng bộ nhớ để lƣu lại thơng tin đã tính tốn trƣớc, rồi dựa vào đĩ để đƣa ra dự đốn chính xác nhất cho bƣớc dự đốn hiện tại. Trong đĩ, kết quả đầu ra tại thời điểm hiện tại phụ thuộc vào kết quả tính tốn của các thành phần ở những thời điểm trƣớc đĩ.
Mơ hình RNN này biểu diễn một mạng neural chuỗi tuần tự .
Giả sử chúng ta cĩ một chuỗi dữ liệu gồm 6 giá trị khác nhau nhƣ một câu gồm 6 chữ “Bảo vệ luận văn thạc sĩ”. RNN đƣợc xây dựng sẽ gồm 6 tầng neural, mỗi tầng sẽ tƣơng ứng với mỗi chữ. Khi đĩ, mơ hình RNN sẽ thực hiện việc tính tốn nhƣ sau:
- Đầu vào xt tại bƣớc t. Ví dụ , xt là “một vector one - hot tƣơng ứng với giá trị thứ 2 của chuỗi dữ liệu”.
- Trạng thái ẩn st, tại bƣớc t. Dựa vào trạng thái ẩn phía trƣớc và đầu vào tại bƣớc t mà ta cĩ thể tính tốn đƣợc S, với cơng thức sau:
Si = ƒ ( Uxt + Wst-1 ) ( 2.4 )
Hàm phi tuyến tính ƒ ở đây cĩ thể là một hàm nhƣ tanh (tang - hyperbolic) hay một hàm ReLu. Thơng thƣờng, ta sẽ khởi tạo giá trị St - 1 để thực hiện các phép tốn trên phần tử ẩn đầu tiên và giá trị St - 1 gán bằng 0.
Đầu ra ot, tại bƣớc t. Ví dụ, trong bài tốn dự báo sự xuất hiện của giá trị tiếp theo trong một chuỗi thì ok chính là vector xác xuất của các giá trị trong danh sách các chuỗi giá trị:
33
Xét về mặt lý thuyết, RNN cĩ thể nhớ đƣợc thơng tin của chuỗi cĩ chiều dài bất kì, nhƣng trong thực tế, mơ hình này chỉ nhớ đƣợc thơng tin ở vài bƣớc trƣớc đĩ.