3.2. Cơ sở lý thuyết về các mô hình học sâu
3.2.4. Mô hình mạng nơ ron hồi quy (RNN)
Mô hình mạng nơ-ron hồi quy (RNN) là một trường hợp đặc biệt của mạng nơ-ron. Mục tiêu của RNN là dự đoán giá trị tiếp theo trong chuỗi giá trị được quan sát ở các bước trước. Ý tưởng của RNN là sử dụng chuỗi giá trị được quan sát ở các bước trước cho mục đích huấn luyện mô hình, sau đó dự đoán giá trị các bước tiếp theo trong tương lai. Điều đó có nghĩa là các giá trị học được từ các bước trước phải được ghi nhớ khi dự đoán ở các bước tiếp theo. Trong RNN, các hidden layers hoạt động như một bộ nhớ trong, lưu trữ tất cả thông tin các bước trước của chuỗi dữ liệu đầu vào. RNNs được gọi là mạng hồi quy bởi cách thức hoạt động của nó. RNN thực thi các nhiệm vụ giống nhau cho tất cả các phần tử dữ liệu của chuỗi, là xử lí các thông tin bắt được trước đó nhằm dự đoán giá trị tiếp theo trong tương lai không được cho trước của chuỗi giá trị.
• xt là đầu vào tại bước t.
• st là trạng thái ẩn tại bước t. Nó chính là bộ nhớ của mạng. st được tính toán dựa trên cả các trạng thái ẩn phía trước và đầu vào tại bước đó: st = f(Uxt +
Wst − 1). Hàm f thường là một hàm phi tuyến tính như tanh, relu... Để làm
43
phép toán cho phần tử ẩn đầu tiên ta cần khởi tạo thêm st-1, thường giá trị khởi tạo được gắn bằng 0.
• ot là đầu ra tại bước t. Ví dụ, ta muốn dự đoán từ tiếp theo có thể xuất hiện trong câu thì ot chính là một vec-tơ xác xuất các từ trong danh sách từ vựng của ta:
ot = softmax(V st)
Bài toán RNN đươc chia làm các loại sau:
• One to one: Bài toán gồm một input và một output. Ví dụ: đầu vào của ta
là một ảnh, sau quá trình học, ta thu được ảnh đã được phân loại.
• One to many: Bài toán có một input nhưng có nhiều output. Ví dụ như bài
toán xây dựng mô tả cho ảnh, input là một ảnh, output là dòng gồm nhiều chữ mô tả ảnh.
• Many to one: Bài toán gồm nhiều input nhưng chỉ có một output. Ví dụ
như bài toán phân loại hành động trong video, input là chuỗi các ảnh tách ra từ video, output là hành động dự đoán trong video
• Many to many: Bài toán có nhiều input và output. Ví dụ như bài toán xây
dựng mô hình hội thoại, đầu vào là các từ của câu hội thoại 1, đầu ra là các câu hội thoại 2 tương ứng.
Thách thức mà RNN gặp phải là khả năng ghi nhớ dữ liệu. Mạng RNN chỉ có khả năng ghi nhớ dữ liệu của một vài bước trước đó, và chính vì vậy, nếu gặp phải dữ liệu cần ghi nhớ quá dài, RNN sẽ cho ra kết quả không chính xác. Vấn đề này được xử lí bởi mô hình mới có tên gọi Long Short-Term Memory (LSTM) neuron network, bằng cách sử dụng “memory line”.
44