LSTM được giới thiệu bởi Hochreiter và Schmidhuber (1997) [22] sau đó đã dần được cải tiến và phổ biến rất nhiều trong nhiều bài toán khác nhau bởi tính hiệu quả của nó. LSTM cũng được thiết kế để tránh được vấn đề phụ thuộc xa (long-term dependencies). Việc nhớ thông tin trong suốt thời gian dài là đặc tính mặc định của chúng, việc huấn luyện để nó nhớ được là không cần thiết.
Hình 2-7: Một chuỗi mạng LSTM với mỗi module bao gồm 4 tầng tương tác
Ý tưởng cốt lõi của LSTM là các trạng thái tế bào (cell state) – chính là đường chạy ngang kết nối thông suốt các module trong mạng. Giống như một băng truyền, chạy thông suốt kết nối tất cả các mắt xích trong mạng và chỉ tương tác tuyến tính chút ít. Vì vậy mà thông tin có thể truyền đi dễ dàng thông suốt mà không sợ bị thay đổi. LSTM có khả năng bỏ đi hoặc thêm thông tin cần thiết cho các trạng thái tế bào, khả năng này có được là nhờ vào các nhóm cổng (gate). Các cổng là nơi sàng lọc thông tin đi qua nó, chúng được kết hợp bởi một tầng mạng sigmoid và một phép nhân. Tầng Sigmoid sẽ cho đầu ra là một số trong khoảng [0, 1] mô tả việc có bao nhiêu thông tin được thông qua cổng. Khi đầu ra là 0 nghĩa là không có thông tin nào được qua, ngược lại nếu đầu ra là 1 nghĩa là tất cả thông tin đều được đi qua cổng.
35
Việc nhận dạng chính xác thông tin trong một đoạn dữ liệu phụ thuộc không chỉ vào các thông tin phía trước của dữ liệu đang xét mà còn cả các thông tin phía sau. Tuy nhiên, kiến trúc LSTM truyền thống với một lớp duy nhất chỉ có thể dự đoán nhãn của dữ liệu hiện tại dựa trên thông tin có được từ thời gian trước đó. Bidirectional LSTM (BiLSTM) đã được tạo ra để khắc phục điểm yếu trên. Một kiến trúc BiLSTM thường chưa hai mạng LSTM đơn được sử dụng đồng thời và độc lập để mô hình hóa chuỗi đầu vào theo hai hướng: từ trái sang phải (forward LSTM) và từ phải sang trái (backward LSTM). Chính vì những ưu điểm này của BiLSTM nên học viên đã xây dựng mô hình BiLSTM cho bài toán phát hiện và nhận dạng nhịp thở.
Hình 2-8: Mô hình mạng BiLSTM