Khi các khuôn mặt được phát hiện, thuật toán thực hiện phát hiện các điểm quan trọng để căn chỉnh khuôn mặt. Thuật toán sẽ tìm cách khôi phục mặt về hình dáng mặc định ban đầu: gọi khuôn mặt là I, hình dạng ban đầu là S0, thuật toán sẽ tính toán mức tăng hình dạng ∆S từ các mô tả sâu (deep descriptors) và cập nhật bằng công thức sau:
Các tính năng CNN (được biểu thị là Φ trong công thức trên) được thiết kế với bước nhảy và cách gộp hợp lý, được sử dụng làm các tính năng để thực hiện tính toán. Ở đây, kiến trúc CNN được sử dụng tương tự như Alexnet với các trọng số được xử lý trước cho bộ dữ liệu ImageNet như trong hình sau:
Hình 2.7: Kiến trúc DCNN được sử dụng để trích xuất các mô tả cục bộ cho nhiệm vụ phát hiện các điểm mốc trên khuôn mặt
Vì mục tiêu mạng CNN này là phát hiện khuôn mặt. Do đó, mạng sẽ được căn chỉnh để xử lý dữ liệu khuôn mặt tốt hơn. Các dữ liệu đầu ra ở từng tầng sẽ là dữ liệu đầu vào ở tầng tiếp theo. Trong hình trên, chúng ta có thể thấy có 5 tầng. Sau khi hoàn thành
3
phát hiện các mốc, khuôn mặt sẽ được căn chỉnh theo tọa độ bằng cách sử dụng phép biến đổi và các điểm mốc.
Điều này giúp mạng tìm hiểu các đặc điểm cụ thể đối với khuôn mặt. Hơn nữa, mạng áp dụng hồi quy theo tầng, trong đó đầu ra được tạo bởi giai đoạn đầu tiên sẽ được sử dụng làm đầu vào cho giai đoạn tiếp theo, tổng là năm giai đoạn tích chập được áp dụng trong hệ thống. Các bộ lọc được chọn để trích xuất tính năng được tinh chỉnh trong các giai đoạn sau để cải thiện việc chuẩn hóa các mốc trên khuôn mặt. Sau khi hoàn thành phát hiện các mốc trên khuôn mặt, mỗi khuôn mặt được căn chỉnh theo tọa độ chính tắc bằng cách sử dụng biến đổi tương tự và các điểm mốc.
Hình 2.8: Ví dụ về các điểm mốc trên khuôn mặt