Mạng nơ-ron sâu (Deep Neural Network - DNN) đã được áp dụng thành công cho nhiều lĩnh vực, bao gồm cả nhận dạng giọng nói và thị giác máy. Đối với các bài toán trong lĩnh vực xử lý ngôn ngữ tự nhiên, mạng nơ-ron hồi qui (Recurrent Neural Network - RNN) [9] được sử dụng rộng rãi hơn vì khả năng ghi nhớ phụ thuộc dạng dãy của nó.
Tuy nhiên, mô hình RNN có vấn đề về sự biến mất gradient (vanishing gradient). Vì RNN có thể được coi là một mạng nơ ron sâu theo thời gian (độ dài dãy đầu vào), các ngữ cảnh ở đầu câu có thể không truyền và nhớ để dự đoán thành phần cuối câu, vì nhiều lớp ẩn trong mạng RNN đã biến đổi phi tuyến.
Mạng nơ-ron bộ nhớ thuật ngữ ngắn dài (LSTM) [10] là phần mở rộng của mạng RNN [11]. Thay vì sử dụng kết nối phi tuyến giữa các hàm kích hoạt của lớp ẩn trong quá khứ và lớp ẩn của lớp hiện tại, nó sử dụng sự phụ thuộc tuyến tính để liên kết bộ nhớ trong quá khứ với bộ nhớ hiện tại. Quan trọng là, một cổng quên được giới thiệu trong LSTM để điều chỉnh từng phần tử của bộ nhớ trong quá khứ được đóng góp vào ô nhớ hiện tại.
LSTM và các phần mở rộng của nó, chẳng hạn như đơn vị hồi tiếp có cổng (GRU - Gated Recurrent Unit)[12] đã được sử dụng thành công trong nhiều bài toán xử lý ngôn ngữ tự nhiên, bao gồm dịch máy[13] và hiểu ngôn ngữ[14].
Để xây dựng một mạng nơ-ron sâu, cách thường làm là xếp chồng nhiều lớp mạng nơ-ron (tầng ẩn). Tuy nhiên, điều này có cùng một vấn đề là xây dựng các mạng lặp lại đơn giản. Sự khác biệt ở đây là các tín hiệu lỗi từ phía trên, thay vì từ lần trước, phải truyền ngược trở lại qua nhiều lớp biến đổi phi tuyến và do đó các tín hiệu lỗi bị giảm nhanh hoặc bùng nổ.
CHƯƠNG 2: MÔ HÌNH MẠNG LSTM
Trình bày các mô hình nhận biết ngôn ngữ tựđộng dựa vào học sâu mà đầu
vào là các đoạn văn bản. Chúng tôi tập trung vào mô tả chi tiết về lý thuyết mô
hình LSTM. Mô hình này được đánh giá là tốt trong các mô hình nhận biết ngôn
ngữ dựa vào đoạn văn bản hiện nay và sử dụng chúng trong bài toán xác định
ngôn ngữ của luận văn này.