Cũng nhƣ Kahler và cộng sự [20], Bùi Thế Duy và cộng sự [9] biến đổi một mô hình khuôn mặt nguồn để biểu diễn một mô hình khuôn mặt mục tiêu bằng cách sử dụng các mạng RBF [6], các mạng này đƣợc huấn luyện với giá trị của các điểm đánh dấu tƣơng ứng trên hai mô hình khuôn mặt. Các điểm đánh dấu trên khuôn mặt nguồn là cố định, và ta tìm kiếm các điểm đánh dấu trên khuôn mặt mục tiêu để giảm thiểu sự khác biệt giữa mô hình khuôn mặt biến đổi và mô hình khuôn mặt mục tiêu. Phƣơng pháp của Bùi Thế Duy và cộng sự [9] đƣợc mô tả tại Hình 3.1.
Hình 3.1: Tổng quan hệ thống khai thác khuôn mặt.
Bùi Thế Duy và cộng sự [9] sử dụng một khuôn mặt nguồn dựa trên hệ thống cơ (nhƣ đã giới thiệu ở chƣơng 1). Các cơ trên mô hình khuôn mặt nguồn đƣợc sắp xếp một cách tỉ mỉ và thủ công, nhằm tạo nên những biểu hiện khuôn mặt chân thực. Mô hình khuôn mặt nguồn cũng đƣợc xử lý trƣớc để nâng cao tốc độ hoạt ảnh. Sau khi khuôn mặt nguồn đã đƣợc biến đổi để biểu diễn một mô hình khuôn mặt mới, và hệ thống các cơ đã đƣợc chuyển tới mô hình khuôn mặt biến đổi, thì ta có thể tái sử dụng dữ liệu về mức co cơ để tạo hoạt ảnh khuôn mặt trên mô hình khuôn mặt biến đổi.
Một tập hợp điểm đánh dấu đƣợc xác định trƣớc trên mô hình khuôn mặt nguồn. Hầu hết các điểm đánh dấu đƣợc xác định một cách thủ công (ngoại trừ một số
đƣợc phát hiện tự động) và những điểm đánh dấu này bao trùm toàn bộ các đặc điểm của khuôn mặt. Ta chỉ cần xác định các điểm đánh dấu duy nhất một lần, và tái sử dụng chúng cho mọi mô hình khuôn mặt mục tiêu mới. Với các điểm đánh dấu trên mô hình khuôn mặt mục tiêu, trƣớc tiên, Bùi Thế Duy và cộng sự [9] xác định những điểm đánh dấu dễ phát hiện (bao gồm đỉnh đầu, chóp mũi…). Các điểm đánh dấu tự phát hiện này (“auto-detected landmarks”) sẽ đƣợc giữ cố định trong khi tất cả những điểm đánh dấu còn lại sẽ đƣợc điều chỉnh. Để thuận tiện, ta gọi những điểm đánh dấu còn lại là “điểm đánh dấu không tự phát hiện” (“non-detected landmarks”). Bùi Thế Duy và cộng sự [9] dùng các điểm đánh dấu tự phát hiện và điểm đánh dấu tƣơng ứng với chúng trên mô hình khuôn mặt nguồn làm tập huấn luyện cho các mạng RBF để xác định dạng ban đầu của các điểm đánh dấu trên mô hình khuôn mặt mục tiêu. Các mạng RBF sẽ tạo ra một dạng biến đổi của mô hình khuôn mặt nguồn, bằng cách sử dụng các điểm đánh dấu trên mô hình khuôn mặt nguồn và mô hình khuôn mặt mục tiêu. Sau đó, các điểm đánh dấu không tự phát hiện trên mô hình khuôn mặt mục tiêu đƣợc điều chỉnh bằng thuật toán di truyền học để giảm thiểu mức khác biệt giữa mô hình khuôn mặt mục tiêu và mô hình khuôn mặt biến đổi.