Sử dụng kỹ thuật hoạt ảnh dựa trên hệ cơ để tạo hoạt ảnh cho khuôn mặt. Với mỗi hoạt ảnh của mặt, các cơ sẽ được tính toán lại theo biến dạng mới của khuôn mặt để tạo các biểu hiện cho khuôn mặt.
Các class:
- Expressions: lựa chọn các cảm xúc được thể hiện trên mặt. Chế độ đơn sẽ chỉ hiển thị một cảm xúc trên mặt, ở chế độ trộn sẽ lựa chọn hai cảm xúc có cường độ lớn nhất.
- AnimationControl: kết hợp tác động của các cơ, tái tạo lại mô hình 3D Tham số do người dùng đưa vào chương trình là cường độ của cảm xúc. Chương trình sẽ dựa vào luật mờ là cơ sở để lựa chọn các cảm xúc nào được thể hiện trên mô hình 3D, ví dụ như e1, e2 được thể hiện. Xây dựng các hàm tác động của từng cơ. Sau đó xác định e1, e2 sẽ tác động lên những cơ nào? Ví dụ như m1, m2, m3. Đối với mỗi cơ, tác động của những cơ này sẽ xác định những vùng của mặt bị ảnh hưởng, và chương trình sẽ tính toán lại tọa độ của các đỉnh thuộc vùng ảnh hưởng đó. Cuối cùng chương trình sẽ tái tạo lại mô hình mặt 3D với cảm xúc được lựa chọn.
5.3.3 Module visemeModel - Xây dựng hoạt ảnh của miệng khi phát âm
Sử dụng chuyển động dựa trên hệ cơ mặt để tạo hoạt ảnh cho miệng khi phát âm. Để làm được như vậy, đoạn văn được chia thành một tập các âm vị (đây là đơn vị của từ), mỗi âm vị này sẽ có âm thanh tương ứng. Gồm có 56 âm vị (bao gồm cả âm “câm”, là âm không phát ra khi nói). Khi đó hình dáng của miệng, gọi là viseme, sẽ có tương ứng cho từng âm vị. Tương ứng với 56 âm vị sẽ có 56 viseme. Có nhiều viseme tương tự nhau, các viseme này sẽ đưa vào cùng một lớp. Hoạt ảnh của miệng khi phát âm được tạo ra bằng cách nội suy giữa các viseme, tức là tạo ra các frame giữa ảnh đầu và ảnh cuối của miệng để chuyển đổi hình thái của miệng [26].
Dữ liệu văn bản (text) được chia thành các câu (utterance), mỗi câu chia thành các từ (word), mỗi từ chia thành các segmenter. Segmenter này sẽ có các thông tin như viseme, trọng âm, khoảng thời gian phát âm của segmenter. Quá trình chuyển động của miệng khi nói một đoạn văn bản là quá trình hoạt động của một loạt các segmenter.
Ví dụ, cần tạo chuyển động của miệng khi thực hiện câu nói sau: “It is January 1st 2002” quá trình thực hiện như sau:
Hình 5.2: Chuyển xâu dữ liệu đầu vào thà nh các Token
Hình 5.5: Chuyển thành các Segment