Bùi Thế Duy và cộng sự [9] sử dụng một khuôn mặt nguồn dựa trên hệ thống cơ (nhƣ đã giới thiệu ở chƣơng 1). Các cơ trên mô hình khuôn mặt nguồn đƣợc sắp xếp một cách tỉ mỉ và thủ công, nhằm tạo nên những biểu hiện khuôn mặt chân thực. Mô hình khuôn mặt nguồn cũng đƣợc xử lý trƣớc để nâng cao tốc độ hoạt ảnh. Sau khi khuôn mặt nguồn đã đƣợc biến đổi để biểu diễn một mô hình khuôn mặt mới, và hệ thống các cơ đã đƣợc chuyển tới mô hình khuôn mặt biến đổi, thì ta có thể tái sử dụng dữ liệu về mức co cơ để tạo hoạt ảnh khuôn mặt trên mô hình khuôn mặt biến đổi.
Một tập hợp điểm đánh dấu đƣợc xác định trƣớc trên mô hình khuôn mặt nguồn. Hầu hết các điểm đánh dấu đƣợc xác định một cách thủ công (ngoại trừ một số
đƣợc phát hiện tự động) và những điểm đánh dấu này bao trùm toàn bộ các đặc điểm của khuôn mặt. Ta chỉ cần xác định các điểm đánh dấu duy nhất một lần, và tái sử dụng chúng cho mọi mô hình khuôn mặt mục tiêu mới. Với các điểm đánh dấu trên mô hình khuôn mặt mục tiêu, trƣớc tiên, Bùi Thế Duy và cộng sự [9] xác định những điểm đánh dấu dễ phát hiện (bao gồm đỉnh đầu, chóp mũi…). Các điểm đánh dấu tự phát hiện này (“auto-detected landmarks”) sẽ đƣợc giữ cố định trong khi tất cả những điểm đánh dấu còn lại sẽ đƣợc điều chỉnh. Để thuận tiện, ta gọi những điểm đánh dấu còn lại là “điểm đánh dấu không tự phát hiện” (“non-detected landmarks”). Bùi Thế Duy và cộng sự [9] dùng các điểm đánh dấu tự phát hiện và điểm đánh dấu tƣơng ứng với chúng trên mô hình khuôn mặt nguồn làm tập huấn luyện cho các mạng RBF để xác định dạng ban đầu của các điểm đánh dấu trên mô hình khuôn mặt mục tiêu. Các mạng RBF sẽ tạo ra một dạng biến đổi của mô hình khuôn mặt nguồn, bằng cách sử dụng các điểm đánh dấu trên mô hình khuôn mặt nguồn và mô hình khuôn mặt mục tiêu. Sau đó, các điểm đánh dấu không tự phát hiện trên mô hình khuôn mặt mục tiêu đƣợc điều chỉnh bằng thuật toán di truyền học để giảm thiểu mức khác biệt giữa mô hình khuôn mặt mục tiêu và mô hình khuôn mặt biến đổi.
3.3 Các mạng RBF
Nhƣ đã trình bày ở chƣơng 2, một mạng RBF là sự kết hợp tuyến tính có trọng số giữa một số hàm cơ bản. Để lấy ánh xạ một mô hình khuôn mặt 3D sang một mô hình khác, ta phải xác định các hàm cơ bản và các trọng số dựa trên những điểm đánh dấu trên hai mô hình khuôn mặt. Mỗi hàm cơ bản là một hàm của khoảng cách từ một đỉnh tới một trong các điểm đánh dấu nguồn.
Bùi Thế Duy và cộng sự [9] sử dụng phƣơng pháp của Noh và Neumann [28] là dùng ba mạng RBF để lấy ánh xạ một đỉnh trên mô hình khuôn mặt nguồn sang các giá trị x, và y z của một đỉnh trên mô hình khuôn mặt mục tiêu:
)) , , ( ), , , ( ), , , ( ( ) , , (x y z RBF1 x y z RBF2 x y z RBF3 x y z Mỗi RBFi đƣợc xác định bởi: n j i j i j i x y z w h x y z RBF 1 , , ) , , ( ) , , (
trong đó, wi,j là trọng số của mạng, cần đƣợc xác định dựa trên cơ sở một tập huấn luyện. Các giá trị x, và y z của các điểm đánh dấu nguồn và các điểm đánh dấu mục tiêu đƣợc dùng làm các tập huấn luyện cho ba mạng này. Về các hàm cơ bản hi,j, Bùi Thế Duy và cộng sự [9] áp dụng phƣơng pháp rất thành công của Noh và Neumann [28]:
) , , ( , ) ( , 2 2, , v v s v x y z hi j i j i j
trong đó, i,j đƣợc gọi là trọng tâm của hi,j, còn si,j đƣợc xác định bởi:
j i k i j k j i s, min , ,
Việc lựa chọn si,j nhƣ vậy là do Eck [14] đề xuất, dẫn đến những biến đổi nhỏ hơn đối với các điểm trung tâm nằm rải rác khắp nơi, và những biến đổi lớn hơn đối với những điểm nằm gần nhau.
Để tránh việc điều chỉnh quá mức và nâng cao mức tổng quát hóa, Bishop [3] đã bổ sung jwi2,j vào số hạng sai số đối với mỗi RBFi.
3.4 Hàm sai số
Hàm sai số đánh giá mức khác biệt giữa mô hình khuôn mặt nguồn biến đổi và mô hình khuôn mặt mục tiêu bằng cách tính khoảng cách giữa chúng tại những điểm mẫu [9]. Trƣớc hết, một tập hợp các điểm mẫu đƣợc xác định tự động trên mô hình khuôn mặt biến đổi. Những điểm mẫu này đƣợc phân bố đều trên mô hình khuôn mặt biến đổi. Sử dụng phép chiếu hình trụ đƣợc mô tả ở Phần 2.2.1, Bùi Thế Duy và cộng sự [9] chiếu những điểm mẫu này lên mô hình khuôn mặt mục tiêu. Khoảng cách giữa các điểm mẫu tới phép chiếu của chúng đƣợc dùng để xác định mức khác biệt giữa mô hình khuôn mặt biến đổi và mô hình khuôn mặt mục tiêu. Bởi vì không có biểu hiện khuôn mặt trên phần đầu phía sau, nên họ bỏ qua phần này và tập trung và phần đầu phía trƣớc. Họ cũng bỏ qua phần cổ khi lấy điểm mẫu, để tránh những điều chỉnh nhầm lẫn không đáng có giữa một bộ phận trên đầu của mô hình này và phần cổ của mô hình kia.
Lƣu ý rằng phép chiếu hình trụ của một điểm tới một bề mặt đƣợc biểu diễn bởi các đa giác là một quá trình tính toán rất công phu. Nguyên nhân là với mỗi đa giác trên bề mặt, quá trình tính toán phải xác định liệu tia (đi qua điểm đó và vuông góc với đƣờng trung tâm của phép chiếu) có cắt đa giác đang xét hay không. Vì vậy, quá trình tính toán này sẽ làm giảm tốc độ tìm kiếm của các thuật toán di truyền học mà tôi đề cập ở trên. Mặc dù còn nhiều phƣơng pháp xác định điểm mẫu khác, nhƣng phƣơng pháp đƣợc trình bày dƣới đây cho phép khắc phục nhƣợc điểm này.
Để đơn giản hóa bài toán, Bùi Thế Duy và cộng sự [9] đặt tất cả các mô hình khuôn mặt vào cùng một hệ thống tọa độ (xem Hình 3.2). Mô hình khuôn mặt đƣợc định hƣớng nhìn theo chiều z dƣơng, trục y đi qua đỉnh đầu và trục x đi qua tai phải.
Đặt Vth là ký hiệu cho đỉnh đầu của mô hình khuôn mặt biến đổi. Bởi các mạng RBF lấy ánh xạ tƣơng đối chính xác sang các điểm đánh dấu tƣơng ứng, và đỉnh đầu là một trong các điểm đánh dấu đó, nên đỉnh đầu của mô hình khuôn mặt biến đổi sẽ phù hợp tƣơng đối với đỉnh đầu của mô hình khuôn mặt mục tiêu. Đặt l là đƣờng trung tâm của phép chiếu đi qua Vth và song song với trục y.
Hình 3.2: Mô hình khuôn mặt nguồn (4650 đa giác).
Trƣớc tiên, Bùi Thế Duy và cộng sự [9] lấy mẫu m mặt phẳng Pi(i0..m1) đi qua l. Mỗi Pi đƣợc xác định bởi góc đi qua chính đó và và mặt phẳng YOZ:
m i
với i0..m1
Mỗi mặt phẳng Pi cắt bề mặt của mô hình khuôn mặt biến đổi và mô hình khuôn mặt mục tiêu tại một số cạnh (nhƣ mô tả ở Hình 3.3). Bằng cách che lấp tất cả các hốc mắt, lỗ mũi, miệng… trên mô hình khuôn mặt biến đổi và mô hình khuôn mặt mục tiêu, những cạnh này tạo thành hai đƣờng cong liên tục, nhƣ ta có thể thấy trên Hình 3.4: i NM i i i em em em,1, ,2,, , và i NT i i i et et et,1, ,2,, ,