Đầu vào của toàn hệ thống là những đoạn video. Nhiệm vụ trong giai đoạn này là rút trích những face track từ những đoạn video và tổ chức thành cơ sở dữ liệu face track phục vụ cho quá trình tìm kiếm sau này. Để làm điều đó chúng tôi đã sử
dụng phương pháp của Ngo và cộng sự [10]. Phương pháp này được mô tả như sau:
Input: Đoạn video.
Output: Tập hợp những face track đã được dò.
Một bộ dò khung hình flash được chạy để loại bỏ những khung hình bị ảnh hưởng bởi đèn flash máy quay. Bộ dò này dò ra các khung hình flash bằng cách kiểm tra độ sáng của mỗi khung hình với các khung hình xung quanh, nếu độ sáng của nó bất ngờ lớn hơn rất nhiều so với những khung hình quanh nó thì bộ dò sẽ quyết định đó là khung hình flash và sẽ bị loại bỏ ra khỏi những bước xử lý sau đó.
Mỗi khung hình sẽ lưu trữ một danh sách L những điểm quan tâm (interest point) được dò trong vùng mặt người trong khung hình đó. Những điểm quan tâm được tìm thấy trong khung hình đầu tiên sẽ được dùng để khởi tạo L. Trong những khung hình tiếp theo, các điểm quan tâm trong danh sách sẽ được theo vết, những điểm nào chưa có trong danh sách sẽđược bổ xung vào danh sách.
Tại mỗi khung hình không phải là flash, bộ dò tìm mặt người của Viola- John [31] được sử dụng để dò tìm các vùng mặt người trong video. Mỗi vùng
mặt được dò sẽ có một danh sách tham chiếu đến những điểm quan tâm
được lưu trữ trong L. Danh sách này cho biết những điểm quan tâm nào có trong vùng mặt đó. Bằng cách này những vùng mặt sẽ được kiểm tra để tìm xem chúng thuộc face track nào trong danh sách face track hiện có bằng cách
đếm số lượng điểm quan tâm chung trên tổng số điểm có trong cả hai vùng mặt. Nếu nó lớn hơn một ngưỡng cho trước thì vùng mặt sẽđược liên kết với face track tương ứng.
Phương pháp này có ưu điểm có thể rút trích face track của nhiều người cùng xuất hiện trong đoạn video, hơn thế nữa có khả năng xử lý được hiện tượng che khuất (có thể khiến số lượng điểm quan tâm bị giảm) hay lỗi do bộ dò tìm mặt người. Hình 3-1 minh họa phương pháp tính toán số lượng điểm quan tâm được theo vết đi qua vùng mặt người, những điểm màu xanh lá cây mô tả những điểm chung cho cả hai khung hình. Nếu số lượng điểm quan tâm đi qua đủ lớn thì vùng
ảnh được dò sẽ được liên kết với face track tương ứng. Kết quả của giai đoạn rút trích face track, ta sẽđược face track gồm nhiều ảnh của cùng một người như trong
Hình 1-1.
Hình 3-1: Liên kết các vùng mặt được dò với face track (nguồn [10]).