1.2.1. Mô hình hóa khuôn mặt
Khi đoán nhận một con ngƣời, khuôn mặt là một cơ quan giúp cho nhận biết rõ ràng nhất. Thực tiễn cho thấy, nếu nhìn con ngƣời từ phía sau, hoặc không nhìn thấy khuôn mặt, khả năng đoán nhận của con ngƣời còn nhiều sai lầm. Tuy nhiên, nếu chỉ nhìn thoáng qua khuôn mặt, ngƣời ta có thể đoán nhận đƣợc đối tƣợng ngay. Một ngƣời nào đó, sau nhiều năm không gặp, việc nhận biết sẽ rất dễ nếu đƣợc nhìn vào nét mặt của ngƣời đó. Khuôn mặt đóng một vai trò quan trọng trong quá trình nhận biết hình dáng. Để có vai trò quan trọng đó, khuôn mặt, bằng các bộ phận cơ bản của mình, đã tạo nên các hình thái riêng biệt cho từng cá thể, mà không nhầm lẫn vào cá thể khác. Trong số hàng trăm khuôn mặt, ta có thể nhận ra khuôn mặt mà mình đã từng gặp, rất ít các trƣờng hợp trùng lặp hoàn toàn, mặc dù tƣởng chừng nhƣ giống nhau.
Nét mặt con ngƣời, thể hiện lƣợng thông tin truyền đạt lớn trong giao tiếp, cụ thể là giao tiếp thông tin nhƣ: nóng giận, hoan hỉ…hoặc trong cảm xúc lắng đọng nhƣ: buồn, vui…của bản thân. Các thành phần cung cấp thông tin chính của nét mặt để thể hiện cảm xúc nhƣ ánh mắt, làn môi, sự tạo nếp của da tập trung ở miệng, trán, và gò má. Nếu nắm bắt đƣợc sự phụ thuộc của các thành phần, và mô hình hóa đƣợc nó, chúng ta sẽ hoàn toàn thể hiện đƣợc cảm xúc thực của con ngƣời dƣới dạng tập các thông tin đầu vào liên quan. Ở đây, chúng ta không bàn tới sự thể hiện của
ngữ âm âm thanh phát ra từ miệng, không nói tới ánh mắt, mặc dù sự thể hiện đó góp phần không nhỏ trong việc thể hiện cảm xúc. Chúng ta quan tâm tới các thể hiện mang tính cơ học của khuôn mặt trong quá trình biểu lộ cảm xúc và tâm trạng.
Hình 1.14. Các cảm xúc cơ bản thể hiên trên nét mặt
Việc mô hình hóa khuôn mặt đƣợc phát triển từ rất lâu, tuy nhiên quá trình hóa mang tính ngƣợc. Phần lớn các thể hiện mô hình hóa hiện nay, là quá trình chuyển thông tin vào mô hình đã đƣợc tạo dựng, đơn giản nhƣ xây dựng một nhân vật hoạt hình đang cƣời vui, ngƣời ta xây dựng một khuôn dạng 3D có miệng đƣợc dãn, có thể là sang ngang, lên trên theo một định dạng nào đó, cùng với sự thể hiện của các tông màu sao cho nó giống nhƣ một khuôn mặt đang cƣời. Từ khuôn dạng giống thật đó, thông tin truyền tải của mô hình là nhân vật đang thể hiện trạng thái cƣời. Đây là một hƣớng phát triển đơn giản, vì dựa trên những tri thức có sẵn trong thực tế, cùng với hỗ trợ đồ họa, để tạo nên cái đã có sẵn trong thực tế, đó là khuôn mặt và cảm xúc thể hiện của nó. Hƣớng phát triển theo chiều khó hơn, nhƣng
ghi nhận sự cách mạng vƣợt trội, đó là từ một khuôn mặt có sẵn, kết hợp với các thông tin cung cấp đầu vào, khuôn mặt đó sẽ biến đổi để thể hiện các thông tin đó. Việc đó sẽ là hoàn hảo, nếu sự thật nó biểu diễn đƣợc cảm xúc nhƣ ngƣời thật.
Hình 1.15. Mô phỏng khuôn mặt 3D từ ảnh 2D
Giải phẫu khuôn mặt ngƣời là một bài toán khó, phần lớn các bài toán thực không có kết quả để kiểm chứng, và kết quả giải phẫu chỉ là một trong những phƣơng án có thể chấp nhận đƣợc. Quá trình biểu diễn tình cảm tự nhiên trên nét mặt, là quá trình sau của quá trình giải phẫu, nó phụ thuộc nhiều vào sự chính xác của giải phẫu. Nếu giải phẫu không chính xác, thành công thì sự biểu diễn sẽ sai, đó là điều chắc chắn, ngay khi giải phẫu thành công, thì sự biểu diễn nét mặt đúng vẫn là một bài toán khó. Với sự tinh tế của diện mạo khuôn mặt, các thông tin thể hiện trên nét mặt hết sức đa dạng và biểu diễn linh hoạt, nắm bắt các đƣờng nét và biểu diễn các nét trên khuôn mặt phụ thuộc vào các tình thái và thời gian, không gian cụ thể, dƣờng nhƣ không có quy luật nào cho sự thể hiện đó. Việc thể hiện tốt các yếu tố vật lý, cụ thể là các nếp nhăn của da mặt, màu sắc của nếp da là một cách hiệu quả để mô hình hóa khuôn mặt. Vốn dĩ, khuôn mặt con ngƣời là một bề mặt ba chiều
phức tạp và luôn thay đổi nếp da theo trạng thái biểu cảm, dù là cùng một trạng thái biểu cảm nhƣng sự thể hiện của nếp da cũng có sự khác biệt theo các lần thể hiện. Những nếp nhăn và sự lồi lõm trên khuôn mặt đƣợc sinh ra trong sự biểu lộ cảm xúc.
Hình 1.16. Mô hình mặt theo CANDIDE và GRETA
Một trong cách thức mô hình hóa khuôn mặt đó là mô hình hóa khuôn mặt với các lớp đa giác đƣợc Gouraud (1971) giới thiệu [6]. Chúng ta sử dụng nhiều mặt đa giác phẳng để xấp xỉ bề mặt cong của đối tƣợng 3D. Các thao tác trên các đỉnh của đa giác trên bề mặt sẽ làm cho mô hình khuôn mặt chuyển động. Tuy nhiên, khi số đa giác xấp xỉ một mặt cong tăng thì khối lƣợng tính toán và lƣu trữ cũng tăng theo tỷ lệ thuận theo số mặt, cho nên sẽ hạn chế tốc độ thực hiện. Do khuôn mặt ngƣời phổ biến có tính chất khá đối xứng, có nghĩa là 2 bên đều có những bộ phận giống nhau và đối xứng với nhau nếu lấy đƣờng phân giới là ở giữa khuôn mặt, do vậy một bên của khuôn mặt mô hình là đƣợc tái tạo, còn bên kia đƣợc
phản chiếu đối xứng. Bằng cách giảm thiểu số lƣợng đa giác với số lƣợng thích hợp với kết quả cần có, để tập chung vào tốc độ và chất lƣợng tạo hình giúp việc tạo hình nhanh hơn. Parke (1972) đã vận dụng tính chất đối xứng đó tạo nên một cải tiến đáng kể, với phƣơng pháp đa giác tạo ra một mô hình khuôn mặt, với mô hình bao gồm khoảng 250 đa giác với 400 đỉnh. Parke sử dụng nhiều đa giác trong các khu vực có độ cong cao, những khu vực nhƣ: mũi, miệng, quanh mắt và bờ cằm… và ít đa giác hơn trong khu vực có độ cong thấp nhƣ: trán, má và cổ, việc này sẽ giúp làm mịn tốt hơn. Việc thiết kế các đa giác cũng cần có sự tính toán, sao cho cạnh của chúng trùng với các đƣờng nếp nhăn trên khuôn mặt, áp dụng các đa giác này sẽ rất tốt để thể hiện các khu vực dƣới mắt, bên cạnh mũi, bờ môi và khóe miệng trên khuôn mặt để thiết kế thể hiện hoạt hóa khuôn mặt.
Khi chúng ta thực hiện các hoạt ảnh với khuôn mặt, nhƣ phóng to, thu nhỏ, xoay, kéo dịch chuyển…Quá trình đó thực chất là quá trình thay đổi, di chuyển các đa giác thiết kế khi
chúng ta tiến hành mô phỏng hình dạng khuôn mặt. Việc co, dãn, dịch chuyển các đa giác dẫn đến hình ảnh về các bề mặt đa giác lại hiện rõ, hoặc thu hẹp và gây ra cảm giác không
đƣợc trơn mịn, hoặc chồng chất hình ảnh. Mô hình bóng của Gouraud là tạo cho đối tƣợng một cái nhìn giống nhƣ nó có nhiều mặt đa giác bằng cách vẽ bề mặt với nhiều cƣờng độ sáng khác nhau, làm cho mặt phẳng có tính cong.
Bề mặt tham số cũng là một trong các cách mô hình hóa khuôn mặt, với mục tiêu là tìm một hàm toán học biểu diễn đƣợc nét mặt [9]. Nhƣng tìm đƣợc một hàm số để
biểu diễn chi tiết khuôn mặt là hoàn toàn khó khăn. Bằng tƣ tƣởng chia nhỏ vùng tiếp cận, chúng ta có thể tạo nên các hàm tham số con cho các vùng biểu diễn khác nhau, và cả khuôn mặt sẽ là tập các hàm biểu diễn, cách này có thể gọi là cách liên kết tập hợp các miếng vá tham số (patch). Những miếng vá liên kết với nhau, các miếng vá lân cận đƣợc liên kết với nhau bởi các đƣờng biên. Điều này đƣợc gọi là tính liên tục C0. Tính mịn của bề mặt đƣợc đánh giá thông qua tính liên tục của các bậc cao hơn. Các bề mặt có Ci liên tục khi những miếng vá tham số đƣợc biểu điễn bằng đạo hàm bậc i của miếng vá gốc là liên tục tại các đƣờng biên. Các bề mặt càng mịn nếu có sự liên tục của bậc cao hơn [9].
Bề mặt của bản vá đƣợc xác định bởi tập hợp các điểm, các điểm đó gọi là “điểm kiểm soát” (control point) [8]. Thao tác trên các điểm kiểm soát sẽ tạo nên tính động cho mô hình khuôn mặt. Các điểm kiểm soát đƣơc sắp xếp trong một lƣới có kích thƣớc (n + 1) × (m + 1): Wi, j, 0 ≤ i ≤ n, 0 ≤ j ≤ m. Điểm trên bề mặt, w(u, v), đƣợc đánh trọng số là tổng các điểm kiểm Wi, j:
trong đó Ni(u) và Nj(v) là những hàm cơ sở. Một hàm cơ sở biểu diễn một đƣờng cong trong không gian hai chiều. Sự kết hợp nhiều phần của đƣờng cong sẽ tạo nên bề mặt. Để tạo nên bề mặt mịn màng cần lựa chọn những đƣờng cong phù hợp. Thông thƣờng những đƣờng đơn giản và có tính liên tục cao sẽ đƣợc lựa chọn, ví dụ nhƣ đƣờng Spline. So với mô hình tam giác thì mô hình hóa khuôn mặt bằng phƣơng pháp “parametric patch” có lợi thế về xử lý ít dữ liệu và tạo ra bề mặt mịn hơn. Tuy nhiên, khi tạo dựng bề mặt thì gặp nhiều vấn đề. Thuật toán dựng hình và bề mặt ẩn tuy còn thiếu hiệu quả [Mahl, 1972; Weiss, 1966]. Ở các bề mặt bậc cao thƣờng đƣợc xấp xỉ với một lớp đa giác. Quá trình này đƣợc gọi là đa giác hóa (polygonalization); nó vẫn đòi hỏi sự tính toán tƣơng đối lớn nếu độ phân giải mẫu cần ở mức cao.
Hình 1.18. Bề mặt B-spline
Vấn đề trở nên phức tạp hơn khi số lƣợng các điểm kiểm soát spline lớn để mô hình hóa chính xác mỗi khu vực nhỏ trên mặt. Phƣơng pháp này chỉ phù hợp để làm mịn, không phù hợp cho việc tạo ra các vết nhăn trên mặt, cho nên việc áp dụng phƣơng pháp này chỉ phù hợp cho một số vùng trên khuôn mặt nhƣ là làn môi, má, và trán ở trạng thái thƣờng của khuôn mặt…gọi chung là những vùng không có nếp nhăn.
1.2.2. Hoạt hóa khuôn mặt
Với các phƣơng pháp mô hình hóa khuôn mặt đã trình bày, sự sống động của mặt đƣợc thao tác trực tiếp qua các đỉnh đa giác hoặc các điểm kiểm soát (control point). Trong nội dung luận văn này, chúng ta đề cấp tới một số kỹ thuật cơ bản để thao tác trên bề mặt khuôn mặt, nhƣ: hoạt ảnh khung chính (key-frame animation), hoạt ảnh tham số hóa (parameterized animation), hoạt ảnh dựa trên cơ giả tạo (pseudomuscle-based animation) và hoạt ảnh dựa trên cơ (muscle-based animation).
Hoạt ảnh khung chính là kỹ thuật, trong đó hàm nội suy đƣợc sử dụng để sinh ra các khung hình giữa các khung hình chính. Các khung hình chính có sự chuyển đổi phù hợp để thể hiện sự biểu lộ của các cảm xúc khác nhau. Kỹ thuật hoạt ảnh khung chính đƣợc sử dụng rộng rãi, đó là một cách tiếp cận trực quan cho hoạt ảnh khuôn mặt.
Hoạt ảnh tham số hóa là kỹ thuật dung tập tham số điều khiển có phân loại rõ ràng nhằm làm sống động khuôn mặt. Các tham số đƣợc phân loại rõ ràng, các tham số đƣợc đặc biệt hóa trong các khu vực đặc biệt của khuôn mặt để tạo nên sự biến dạng cục bộ. Quá trình biến dạng đƣợc xử lý bởi tham số, chính tham số này sẽ hoạt hóa cho chuyển động khuôn mặt. Hoạt ảnh tham số đƣợc Parke (1972) phát triển đầu tiên, kỹ thuật đó khắc phục hạn chế của hoạt ảnh khung chính.
Hoạt ảnh dựa trên giả cơ là kỹ thuật mô phỏng co dãn của cơ thật bằng cách biến đổi lƣới khuôn mặt. Các cơ giả tƣởng sẽ đƣợc thiết kế trên khuôn mặt, và việc tạo nên hoạt động của các cơ, sự biến dạng của cơ sẽ tạo nên hoạt ảnh khuôn mặt. Hoạt ảnh dựa trên cơ dựa trên nguyên lý cơ học, bằng sự đàn hồi của mô hình đa lớp của da trên bộ xƣơng, quá trình đàn hồi của lớp da chính là quá trình mô phỏng hoạt hóa khuôn mặt. Kỹ thuật này sử dụng tối đa sự co giãn của cơ, để mô hình hóa sự biến đổi của da mặt, nhờ đó nét mặt đƣợc thể hiện sinh động.
CHƢƠNG 2: MỘT SỐ KỸ THUẬT BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT NGƢỜI
2.1. Các trạng thái cơ bản khuôn mặt
Mỗi cảm xúc đều có những dấu hiệu thể hiện riêng. Khuôn mặt là tín hiệu duy nhất cho ta biết cảm xúc của đối phƣơng. Sau đây là 6 nét mặt tiêu biểu tƣơng ứng với 6 trạng thái cảm xúc thƣờng gặp [14].
Vui là trạng thái có tâm trạng tích cực, thích thú của ngƣời đang gặp việc hợp nguyện vọng hoặc việc làm cho mình hài lòng. Vui vẻ là thể hiện của trạng thái vui, sự thể hiện ở bên ngoài với tâm trạng rất vui. Khi con ngƣời ở trạng thái vui vẻ, một vài đặc điểm điển hình nổi bật trên khuôn mặt biễu diễn trạng thái đó đƣợc thể hiện qua nụ cƣời, gò má nhô cao,và đuôi mắt nhăn. Hình 2.1. Trạng thái vui
Buồn thể hiện con ngƣời có tâm trạng tiêu cực, không thích thú khi con ngƣời đang gặp việc đau thƣơng hoặc đang có điều không đƣợc nhƣ ý. Ở trạng thái buồn, có các thể hiện ở vùng trán nhăn, lông mày phía trong nhô lên, miệng trề xuống biểu lộ sự phiền muộn, đau khổ. Các đặc điểm khuôn mặt có thể thể hiện toàn bộ các đặc tính nhƣ mô tả, cũng có khi là chỉ mài đặc tính kết
Căm ghét là trạng thái con ngƣời giận ngƣời nào đó lắm vì đã làm điều không tốt với mình, nhƣng phải cố nén trong lòng. Căm ghét, coi thƣờng là trạng thái thể hiện thái độ của con ngƣời trƣớc một điều gì mà họ không hài lòng. Trạng thái căm gét, coi thƣờng biểu hiện qua điệu bộ nhăn mũi, lông mày hạ thấp, môi trên chun lên và mắt khép lại gần nhƣ nhắm hẳn. Biểu hiện này thƣờng xuất hiện khi chúng ta nếm phải vị khó chịu của đồ ăn, ngửi thấy mùi hôi hoặc khi phải chứng kiến hành vi "không đẹp" của ai đó.
Hình 2.3: Trạng thái căm gét
Sợ là trạng thái thể hiện không yên lòng, khi cho rằng có cái gì đó trực tiếp gây nguy hiểm hoặc gây hại cho mình, không yên lòng do lƣờng trƣớc khả năng không hay nào đó, mà tự thấy không thể
chống lại hoặc tránh khỏi. Sợ hãi là một trạng thái biểu đạt hoảng loạn về tinh thần trƣớc một điều bất an ảnh hƣởng tới con ngƣời, thể hiện cảm giác bối rối và lo lắng trƣớc một mối nguy rình rập tức thời nào đó. Ở trạng thái sợ hãi lông mày nhô lên, sát vào nhau, mắt mở to, mi mắt căng ra, môi kéo giật ra sau.
Ngạc nhiên là trạng thái rất lấy làm lạ, cảm thấy là hoàn toàn bất ngờ với mình Trạng thái ngạc nhiên diễn ra trong khoảng thời gian ngắn, nét mặt diễn ra nhanh nhất. Với trạng thái này, sự ngạc nhiên biểu hiện qua lông mày nhô cao, mắt mở to, phần hàm dƣới trề xuống, miệng há hốc.
Giận là trạng thái cảm thấy không bằng lòng và bực bội với ngƣời có quan hệ gần gũi nào đó vì ngƣời ấy đã làm điều trái với ý mình; Giận dữ tức là tỏ ra giận lắm, một cách đáng sợ. Giận dữ có biểu hiện qua đôi lông mày kéo sát lại gần nhau và hạ thấp, ánh mắt hung hãn, mi mắt căng và hẹp, môi mím chặt.
Hình 2.5. Trạng thái ngạc nhiên Hình 2.6 Trạng thái giận
2.2. Biểu diễn trạng thái khuôn mặt nhờ hàm biến đổi
Chúng ta có thể sử dụng các tham số để mô hình hóa khuôn mặt. Thực chất của mô hình hóa khuôn mặt theo tham số là sử dụng một mô hình khuôn mặt tổng quát để mô phỏng, trong đó nội dung mô phỏng sẽ là hình ảnh theo những đặc tính màu, vùng của khuôn mặt, hoặc theo dãy các hình ảnh các khuôn mặt. Việc lựa chọn