5. Bố cục của luận án
3.3.1. Mơ hình mạng bộ nhớ dài ngắn (LSTM)
Mạng nơ-ron hồi quy (RNN) được xây dựng dựa trên ý tưởng kết nối các thơng tin ở bước xử lý trước để dự đốn cho hiện tại, để làm được điều này, thay vì sử dụng các nơ-ron, RNN sử dụng bộ nhớ để lưu lại được nhiều thơng tin hơn từ những bước xử lý trước đĩ, từ đĩ cĩ thể đưa ra dự đốn chính xác nhất cho bước hiện tại. Một dạng đặc biệt của RNN hay được sử dụng cho các bài tốn nhận dạng là mạng bộ nhớ dài ngắn (LSTM). Ngay từ khi ra đời, LSTM đã cho thấy được sự hiệu quả khi ứng dụng cho các bài tốn cĩ sự phụ thuộc dài hạn hay phụ thuộc xa như nhận dạng chữ viết tay, xử lý ngơn ngữ và máy dịch. Do sử dụng bộ nhớ nên LSTM cĩ thể nhớ thơng tin trong một khoảng thời gian dài, chúng ta khơng cần thiết phải huấn luyện mạng để nĩ cĩ thể nhớ được. Hiện nay LSTM cịn được sử dụng cho nhiều bài tốn khác nhau, đặc biệt là trong lĩnh vực nhận dạng hoạt động ở người.
Các mạng hồi quy đều cĩ dạng là một chuỗi những cấu trúc lặp đi lặp lại của mạng nơ-ron, trong RNN cấu trúc này khá đơn giản và thường là một tầng tanh. Vì được sinh ra từ RNN nên LSTM cũng cĩ cấu trúc dạng chuỗi, tuy nhiên khác với RNN, một khối của LSTM bao gồm các thành phần thơng minh hơn một lớp nơ-ron, nĩ bao gồm các cổng quản lý các trạng thái của khối. Một đơn vị bộ nhớ hoạt động theo một chuỗi đầu vào, mỗi cổng trong một đơn vị bộ nhớ sử dụng hàm kích hoạt sigmoid và một phép nhân để kiểm sốt thơng tin được đi qua nĩ, thực hiện thay đổi trạng thái và thêm luồng thơng tin qua các đơn vị bộ nhớ cĩ điều kiện. Tầng sigmoid cho đầu ra là các giá trị trong khoảng [0,1]. Khi giá trị là 0 tức là khơng cĩ thơng tin nào đi qua, cịn nếu giá trị là 1 tức là cho tất cả thơng tin đi qua nĩ.
Cĩ ba loại cổng trong một đơn vị bộ nhớ, bao gồm:
Cổng Input: Cĩ điều kiện quyết định giá trị nào từ đầu vào để cập nhật vào trạng thái của bộ nhớ.
Cổng Output: Cĩ điều kiện quyết định đầu ra dựa vào giá trị đầu vào và bộ nhớ của đơn vị.
Chúng ta cĩ thể hình dung mỗi đơn vị bộ nhớ như một bộ máy kiểm sốt trạng thái trong đĩ các cổng của mỗi đơn vị cĩ trọng số được học trong quá trình huấn luyện.