Việc chuẩn bị dữ liệu cho mạng LSTM bao gồm các bước thời gian. Một số vấn đề trình tự có thể có số bước thời gian khác nhau trên mỗi mẫu. Ví dụ: có thể có các phép đo của một máy vật lý dẫn đến một điểm thất bại hoặc một điểm đột biến. Mỗi sự cố sẽ là một mẫu, các quan sát dẫn đến sự kiện sẽ là các bước thời gian và các biến được quan sát sẽ là các tính năng. Các bước thời gian cung cấp một cách khác để diễn đạt vấn đề chuỗi thời gian của chúng tôi. Giống như ở bên trong ví dụ của phương thức LSTM cửa sổ, chúng tôi có thể thực hiện các bước thời gian trước trong chuỗi thời gian của mình làm đầu vào để dự đoán đầu ra ở bước thời gian tiếp theo.
Thay vì đưa ra các quan sát trong quá khứ như các tính năng đầu vào riêng biệt, chúng ta có thể sử dụng chúng như các bước thời gian của một tính năng đầu vào, đây thực sự là một khung chính xác hơn của vấn đề.
Mạng LSTM có bộ nhớ có khả năng ghi nhớ trong các chuỗi dài. Thông thường, trạng thái trong mạng được đặt lại sau mỗi đợt đào tạo khi khớp mô hình, cũng như mỗi lệnh gọi dự đoán hoặc đánh giá. Chúng ta có thể giành quyền kiểm soát tốt hơn khi trạng thái bên trong của mạng LSTM bị xóa trong Keras bằng cách làm cho lớp LSTM có trạng thái. Điều này có nghĩa là nó có thể xây dựng trạng thái trên toàn bộ chuỗi đào tạo và thậm chí duy trì trạng thái đó nếu cần để đưa ra dự đoán. Nó đòi hỏi dữ liệu đào tạo không được xáo trộn khi lắp mạng. Nó cũng yêu cầu thiết lập
lại rõ ràng trạng thái mạng sau mỗi lần tiếp xúc với dữ liệu huấn luyện bằng cách gọi đến trạng thái đặt lại.