Mạng nơ-ron hồi quy

Một phần của tài liệu Nghiên cứu ứng dụng mạng nơ ron hồi quy trong nhận dạng tiếng nói (Trang 29)

Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) là mô hình mạng nơ-ron tương tự như cấu trúc của nơ-ron nhiều lớp, với sự khác biệt là chúng cho phép kết nối giữa các đơn vị ẩn liên quan đến độ trễ thời gian. Thông qua các kết nối này, mô hình có thể lưu giữ thông tin về các đầu vào ở quá khứ, cho phép khám phá mối tương quan về thời gian giữa các sự kiện có thể cách xa nhau trong dữ liệu.

RNN được chú ý rất nhiều trong thời gian gần đây bởi các kết quả tốt khi áp dụng trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Mạng hồi quy được áp dụng rộng rãi trong mô hình ngôn ngữ, sử dụng để đánh giá độ chính xác của một câu dựa theo mức độ tương tự của chúng trên thực tế, hữu ích trong các công cụ máy dịch và tự động sinh văn bản.

Ý tưởng chính của mạng nơ-ron hồi quy là sử dụng chuỗi các thông tin. Trong các mạng nơ-ron truyền thống tất cả các đầu vào và cả đầu ra là độc lập với nhau. Tức là chúng không liên kết thành chuỗi với nhau, việc này sẽ gây khó trong nhiều nhiều bài toán liên quan đến ngôn ngữ, cần sự liên kết thông tin trước và sau.

Về mặt lý thuyết, mạng nơ-ron hồi quy là mô hình đơn giản và mang lại hiệu quả, nhưng trên thực tế còn nhiều vấn đề liên quan đến độ lớn và độ tốt của dữ liệu huấn luyện, thời gian huấn luyện, và cũng như những vấn đề phát sinh trong quá trình huấn luyện như mất đạo hàm (vanishing gradient), hay bùng nổ đạo hàm (exploding gradient), gây cho mô hình chúng ta kém chính xác.

Một phần của tài liệu Nghiên cứu ứng dụng mạng nơ ron hồi quy trong nhận dạng tiếng nói (Trang 29)

Tải bản đầy đủ (PDF)

(74 trang)