Để thực hiện phương pháp đề xuất, chúng ta thiết kế 1 mạng học sâu như sau: Sau khi trích xuất được dòng quang và bản đồ mật độ nhiệt của tập dữ liệu đưa vào, ta đào tạo qua mạng với cấu trúc sau đây:
Hình 3.6: Mô hình mạng đề xuất.
Hình 3.7: Dữ liệu đầu vào của mạng huấn luyện.
Mô tả:
- Đầu vào của mạng: là các dữ liệu ảnh màu RGB, dòng chuyển động quang học, bản đồ mật độ nhiệt, được trích xuất và biểu diễn dưới dạng các tensor với các chiều dữ liệu tương ứng (hình 3.7).
- Bước 1: Spatial Encode - có nhiệm vụ trích xuất và học các đặc trưng theo không gian của dữ liệu đầu vào. Đó là hướng chuyển động, chiều chuyển động, mật độ đám đông, bối cảnh….Tại thành phần này, luận văn sử dụng mạng Resnet18 đã được tiền huấn luyện trên tập dữ liệu ImageNet.
- Bước 2: Temporal Encode - có nhiệm vụ trích xuất và học các thay đổi theo thời gian của các đặc trưng đã trích xuất được từ Bước 1. Để thực hiện công việc này, luận văn sử dụng mạng LSTM với 2 lớp ẩn.
- Bước 3: Kết nối đầy đủ: làm phẳng dữ liệu đầu ra của mạng và kết nối chúng thành mảng 1 chiều.
- Bước 4: Phân lớp: tính toán xác xuất phân lớp đầu ra, sử dụng hàm Softmax. - Đầu ra: mảng 3 phần tử, mỗi phần tử là xác xuất phân lớp của dữ liệu đầu vào
với lớp tương ứng.
Dữ liệu đầu vào được tạo thành từ việc xếp các đặc trưng đã trích xuất trước lại với nhau, đưa qua phần đầu của mạng để trích xuất đặc trưng theo không gian. Tiếp đó, dữ liệu thu được đưa qua phần thứ 2 để trích xuất đặc trưng theo thời gian. Kết quả cuối cùng được đưa qua mạng kết nối đầy đủ sau đó tính toán kết quả phân lớp. Trong quá trình huấn luyện, để tăng độ chính xác, giảm thiểu tình trạng quá khớp (overfitting), nghiên cứu có sử dụng thêm các kỹ thuật tăng cường dữ liệu. Các phương pháp được sử dụng bao gồm xoay, thêm nhiễu, lật ảnh, điều chỉnh độ sáng, cắt ngẫu nhiên… khi sử dụng các phương pháp này, phải đảm bảo các khung hình thuộc cùng 1 mẫu huấn luyện phải được áp dụng các thay đổi như nhau để không làm sai lệch dòng chuyển động.