Nghiên cứu một số kỹ thuật biểu diễn biểu cảm khuôn mặt theo trạng thái tâm lý

Trong điều khiển đối tượng, hoạt ảnh khuôn mặt là một lĩnh vực khá mới mẻ đối với khoa học ứng dụng công nghệ thông tin trong nước ta, nó cũng là một lĩnh vực đang rất được quan tâm khi

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-NGUYỄN MINH CHÂU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT BIỂU DIỄN BIỂU CẢM KHUÔN MẶT THEO TRẠNG THÁI TÂM LÝ

MÃ SỐ: 60.48.15 Người hướng dẫn khoa học: PGS.TS ĐỖ NĂNG TOÀN

TÓM TẮT LUẬN VĂN THẠC SĨ

HÀ NỘI - 2010

MỤC LỤC

Trang

MỞ ĐẦU……… 2

Chương 1 Khái quát về thực tại ảo và hoạt hoá khuôn mặt……….… 4

1.1 Công nghệ thực tại ảo và ứng dụng……… 4

1.1.1 Công nghệ thực tại ảo……… 4

1.1.2 Các ứng dụng cơ bản của thực tại ảo……… 5

1.2 Các vấn đề liên quan đến thực tại ảo và hoạt hoá khuôn mặt… 7

1.2.1 Mô hình hoá khuôn mặt……….…… 8

1.2.2 Hoạt hoá khuôn mặt theo trạng thái tâm lý……….…… 9

1.3 Ngôn ngữ lập trình đồ hoạ Java 3D……… … 11

1.3.1 Tổng quan về Java 3D……… 11

1.3.2 Tạo hoạt ảnh và những đối tượng Java 3D……… 12

Chương 2 Các kỹ thuật hoạt hoá khuôn mặt theo trạng thái tâm lý… 12

2.1 Tâm lý học……… 13

2.1.1 Trạng thái, cảm xúc……… 13

2.1.2 Các trạng thái tâm lý cơ bản……….…… 13

2.2 Hoạt hoá khuôn mặt theo hệ thống điểm điều khiển……… 14

2.2.1 Nguyên tắc mô hình hoá và biểu diễn……… 15

2.2.2 Các công cụ mô hình hoá khuôn mặt bằng điểm điều khiển 15 2.2.3 Phân tích các ưu điểm mô hình hoá khuôn mặt theo hệ thống điểm điều khiển trong công nghệ 3D Morphing……… 16

2.3 Hoạt hóa khuôn mặt dựa vào kỹ thuật Morphing……… 16

2.3.1 Morphing là gì?……….… 16

2.3.2 Công nghệ 2D Morphing……… 16

2.3.3 Công nghệ 3D Morphing……… 17

2.3.4 Ứng dụng 3D Morphing trong hoạt ảnh khuôn mặt 3 chiều 17 Chương 3 Chương trình thử nghiệm……… …… 18

3.1 Cài đặt và chạy chương trình Java 3D……… …… 18

3.2 Giới thiệu phần mềm Demo……….…… 18

KẾT LUẬN……… 21

KIẾN NGHỊ VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO………… … 22

Mở đầu

Sự phát triển của phần cứng máy tính và các thiết bị liên

quan đã mở đường cho sự phát triển của công nghệ thông tin Những bức tiến dài của công nghệ thông tin những năm gần đây phải kể đến Thực tại ảo Trong thực tại ảo có hai khâu quan trọng, là mô hình hóa và điều khiển Mô hình hóa là việc tạo ra

mô hình 3D của đối tượng trên máy tính, trong khi điều khiển nhằm thể hiện tính động của đối tượng trong không gian ảo của máy tính

Trong điều khiển đối tượng, hoạt ảnh khuôn mặt là một lĩnh vực khá mới mẻ đối với khoa học ứng dụng công nghệ thông tin trong nước ta, nó cũng là một lĩnh vực đang rất được quan tâm khi ứng dụng vào đời sống nhất là đời sống giải trí Trong đó, việc mô phỏng hay biểu diễn khuôn mặt theo các trạng thái tâm lý (Illustrate 3D face according to Psychological State) là một nhánh quan trọng trong lĩnh vực hoạt ảnh khuôn mặt Mô hình hoá và biểu diễn khuôn mặt 3D theo trạng thái tâm lý có ứng dụng trong các lĩnh vực công nghệ thông tin, giải trí, quảng cáo, tạo mô hình ảo, kỹ thuật số, Trên thế giới, đã

có nhiều nhà nghiên cứu tiến hành xây dựng các mô hình nhân vật ảo có khả năng thể hiện mô tả sự chuyển động, nói, phát âm,… đã tạo tiền đề cho công nghệ quảng cáo và phim hoạt hình Tuy nhiên, hiện nay, ở Việt Nam, vấn đề này vẫn còn khá mới mẻ

Xuất phát trong hoàn cảnh đó, luận văn lựa chọn đề tài

"Nghiên cứu một số kỹ thuật biểu diễn biểu cảm khuôn mặt

theo trạng thái tâm lý" nhằm nghiên cứu một số kỹ thuật điều

khiển khuôn mặt và áp dụng vào việc biểu diễn khuôn mặt theo trạng thái tâm lý là việc làm không chỉ có tính thời sự, tính khoa học mà còn mang đậm tính thực tiễn

Cấu trúc của luận văn bao gồm ba chương và một phụ lục, sau khi tìm hiểu về thực tại ảo, mô hình hoá và hoạt ảnh khuôn mặt (gọi tắt là hoạt hoá khuôn mặt) cùng với việc tìm

hiểu ngôn ngữ lập trình đồ hoạ Java 3D ([Chương 1]) Với các kiến thức ở ([Chương 1]) chúng ta bắt đầu tìm hiểu các trạng

thái tâm lý cơ bản ở con người tiếp đến là thảo luận về các phương pháp hoạt hoá khuôn mặt theo trạng thái tâm lý và giới thiệu chi tiết về cách thức hoạt hoá khuôn mặt theo trạng thái

tâm lý bằng phương pháp điểm điều khiển ([Chương 2]), sau

đó giới thiệu phần mềm Demo về biểu diễn khuôn mặt 3D theo trạng thái tâm lý được viết trên môi trường Java 3D, sử dụng

công cụ phát triển đồ hoạ 3D là NetBean 6.9.1 ([Chương 3]), ở

phần kết luận chúng ta sẽ đưa ra những khía cạnh mà luận văn

đã đạt được cùng những hạn chế của luận văn, sau rồi là hướng phát triển của luận văn Đi kèm với luận văn là phụ lục morphing với Java 3D sẽ giới thiệu các lớp Alpha, Interpolator, Morph của Java 3D

Chương 1 Khái quát về thực tại ảo và hoạt hoá khuôn mặt

Trước khi đi vào nội dung chính của luận văn, chúng ta tìm hiểu đôi nét về công nghệ thực tại ảo và một nhánh của nó

là mô hình hoá và hoạt ảnh, ở đây chỉ đề cập tới việc mô hình hoá và hoạt ảnh khuôn mặt (gọi tắt là hoạt hoá khuôn mặt) Nội dung của chương nhằm mục tiêu giới thiệu về công nghệ thực tại ảo và một nhánh của công nghệ này

1.1 Công nghệ thực tại ảo và ứng dụng

1.1.1 Công nghệ thực tại ảo

Thực tại ảo (Virtual Reality, viết tắt là VR) - có tài liệu gọi là thực tế ảo là một hệ thống mô phỏng trong đó đồ họa máy tính được sử dụng để tạo ra một thế giới "như thật" Hơn nữa, thế giới "nhân tạo" này không tĩnh tại, mà lại phản ứng, thay đổi theo ý muốn (tín hiệu vào) của người sử dụng (nhờ hành động, lời nói, ) Điều này xác định một đặc tính chính của VR, đó là tương tác thời gian thực (real-time interactivity) Thời gian thực

ở đây có nghĩa là máy tính có khả năng nhận biết được tín hiệu vào của người sử dụng và thay đổi ngay lập tức thế giới ảo Người sử dụng nhìn thấy sự vật thay đổi trên màn hình ngay theo ý muốn của họ và bị thu hút bởi sự mô phỏng này

1.1.1.1 Thực tại ảo là gì?

VR- Thực Tế Ảo là một hệ thống giao diện cấp cao giữa Người sử dụng và Máy tính Hệ thống này mô phỏng các

sự vật và hiện tượng theo thời gian thực và tương tác với người

sử dụng qua tổng hợp các kênh cảm giác Đó là ngũ giác gồm: thị giác, thính giác, xúc giác, khứu giác, vị giác

1.1.1.2 Các đặc tính của VR

Như vậy, theo trên VR có hai đặc tính chính là “tương tác” và “đắm chìm”, đây là hai "I" (Interactive, Immersion) mà nhiều người đã biết Tuy nhiên VR còn cần có 1 đặc tính thứ 3

mà ít người để ý tới VR không chỉ là một hệ thống tương tác Người- Máy tính, mà các ứng dụng của nó còn liên quan tới việc giải quyết các vấn đề thật trong kỹ thuật, y học, quân sự, Các ứng dụng này do các nhà phát triển VR thiết kế, điều này phụ thuộc rất nhiều vào khả năng tưởng tượng của con người, đó chính là đặc tính "I" (Imagination) thứ 3 của VR Do

đó có thể coi VR là tổng hợp của 3 yếu tố: tương tác- đắm chìm- tưởng tượng (3 I trong tiếng Anh: Interactive- Immersion- Imagination)

1.1.1.3 Các thành phần của một VR

Theo các nhà phân tích và nghiên cứu, một VR bao gồm những 5 thành phần: HW (HardWare), SW (SoftWare), Các ứng dụng, Người dùng và mạng liên kết

1.1.2 Các ứng dụng cơ bản của thực tại ảo

Tại các nước phát triển, chúng ta có thể nhận thấy VR được ứng dụng trong mọi lĩnh vực: Khoa học kỹ thuật, kiến trúc, quân sự, giải trí, và đáp ứng mọi nhu cầu: Nghiên cứu- Giáo dục- Thương mại Y học là lĩnh vực ứng dụng truyền thống của VR Bên cạnh đó VR cũng được ứng dụng trong giáo dục, nghệ thuật, giải trí Trong lĩnh vực quân sự, VR cũng được ứng dụng rất nhiều ở các nước phát triển

1.1.2.1 Trong khoa học công nghệ

Với các đặc tính của VR, một môi trường ảo như thế sẽ

là một điều kiện tốt cho việc nghiên cứu và thử nghiệm các lý

thuyết khoa học mà việc thực hiện các thí nghiệm trong thế giới thực là khó khăn hoặc đòi hỏi các chi phí lớn Bằng VR các nhà nghiên cứu có thể tạo ra bối cảnh tương lai hay nhìn lại quá khứ theo nghĩa như thực, từ đó đưa ra các giả thuyết trong tương lai hay giải thích các sự kiện trong quá khứ một cách thuyết phục hơn

1.1.2.2 Trong giáo dục và đào tạo

Trong giáo dục, việc dạy học bắt đầu từ những cái cơ bản nhất sau đó dần chuyển sang những kỹ năng phát triển về tinh thần và tư duy Trẻ thơ tiếp xúc với thế giới tự nhiên từ rất sớm và trong chúng cần hình thành những ý tưởng, những sự lý giải và nhu cầu tìm hiểu thế giới tự nhiên Bằng hệ thống VR chúng ta có thể mô phỏng lại thế giới thực thậm trí tái hiện lại

cả những thế giới trong lịch sử mà hiện thực tự nhiên không thấy, nhờ đó việc hình thành những tư duy biện chứng về thế giới tự nhiên của trẻ thơ trở lên dễ dàng hơn

1.1.2.3 Trong huấn luyện quân sự

Trong quân sự và sự huấn luyện quân sự người ta tạo ra những môi trường huấn luyện ảo, thiết lập các hệ thống chiến trận và chiến trường và cho người huấn luyện tương tác với môi trường ảo với cảm giác như thực rồi tiến hành các thao tác huấn luyện nguy hiểm, việc tập luyện quân sự trong môi trường ảo với VR diễn ra như thực là điều rất cần thiết và hữu ích cho các nhà chỉ huy và những cá nhân tham gia trực tiếp chiến đấu, vì người ta có thể phát hiện ra những sai lầm trong quyết định hay những hành động chiến đấu mà trong chiến đấu thực không có

cơ hội làm lại

1.1.2.4 Trong công nghiệp

Trong công nghiệp với hệ thống VR người ta có thể chế tạo các máy và vận hành chúng trong môi trường ảo Những sự huấn luyện động cơ để chứng minh tính đúng đắn hay đưa ra những sửa đổi phù hợp trong chế tạo máy, sự chuẩn xác hiệu quả của những cỗ máy với công nghiệp và quân sự được kiểm nghiên trong môi trường ảo trước khi sử dụng trong thực tế

1.1.2.5 Trong y học

Nhờ công nghệ thực tại ảo nhiều nghiên cứu về cấu trúc các loại phân tử AND và những biến thể trong cơ thể sống đã có những bước tiến vượt bậc Những mô phỏng về khuôn mặt, hàm răng, lưới da,… đã giúp cho việc giải phẫu hay phẫu thuật được định hình trước, người ta có thể tạo ra những mô hình giải phẫu

ảo và thực hiện các thao tác trên đó

1.1.2.6 Trong việc tái tạo lịch sử

Chúng ta có thể mô phỏng, tái tạo lại các cuộc chiến tranh, các triều đại lịch sử thông qua hệ thống VR một cách sinh động, cũng có thể tái tạo các di tích lịch sử một cách chân thực

1.2 Các vấn đề liên quan đến thực tại ảo và hoạt hoá

khuôn mặt

Như đã trình bày trong phần mở đầu của luận văn, khi nói tới thực tại ảo là ta đề cập tới rất nhiều vấn đề và lĩnh vực liên quan, trong đó việc mô phỏng ba chiều trong công nghệ thực tại ảo đóng vai trò quyết định trong tính tập trung hứng thú

và tính như thực của ứng dụng Việc mô hình hoá và tạo hoạt

ảnh cho các đối tượng là một nhánh quan trọng trong công nghệ này Xây dựng lên những mô hình như thực đòi hỏi có sự phân tích tỉ mỉ, chính xác đồng thời sự mô phỏng này phải được biểu diễn trong đồ hoạ máy tính ba chiều một cách trực quan sinh động Phần này của luận văn sẽ đi khảo sát sơ bộ quá trình mô hình hoá và hoạt ảnh của đối tượng mà cụ thể chúng ta sẽ tìm hiểu về mô hình hoá và hoạt ảnh khuôn mặt 3D theo trạng thái tâm lý

1.2.1 Mô hình hoá khuôn mặt

Mục đích của mô hình hoá khuôn mặt là tạo ra mô hình cái đầu bao gồm hộp sọ và những đường cong trên đó để phản ánh các trạng thái khác nhau của cái đầu người Ứng với mỗi trạng thái sẽ là các mô hình khác nhau, có một số điểm trên khuôn mặt sẽ quyết định hình dạng và cấu trúc của mô hình

1.2.1.1 Mô hình hoá khuôn mặt theo tham số

(Parametric face models)

Trong lược đồ mô hình hóa khuôn mặt theo tham số, một mô hình khuôn mặt tổng quát sẽ được phỏng theo nội dung của một hình ảnh theo màu hoặc vùng của khuôn mặt hay theo một dãy các hình ảnh khuôn mặt Các tham số cần thiết để mô phỏng khuôn mặt tổng quát có thể được rút trích từ các hình ảnh một cách tự động hoặc thủ công

1.2.1.2 Mô hình dựa trên vật lý học (Physics-based

models)

Cách tiếp cận này là mô hình hóa hình dạng của mặt bằng cách mô hình hóa các thuộc tính hành động của các mô và

cơ mặt Các phương pháp này sử dụng các nguyên tắc vật lý và sức mạnh tính toán để giả lập thực tế các xử lý vật lý phức tạp

mà sẽ khó khăn hoặc không thể mô hình hóa được nếu chỉ dùng các kỹ thuật hình học

1.2.1.3 Mô hình mặt theo thống kê (Statistical face

models)

Khả năng tưởng tượng của con người để lĩnh hội các cảnh vật từ hình ảnh 3D được cho là do tri thức trực quan tiền định của chúng ta về thế giới 3D Quá trình nhận thức của chúng ta là tích hợp thông tin từ hình ảnh 2D và tri thức tiền định được lưu trữ trong bộ não để thuận tiện cho quá trình hiểu biết Đây là một chứng minh cơ bản cho sự phát triển của các

mô hình thống kê để biểu diễn các lớp đối tượng như các khuôn mặt

1.2.2 Hoạt hoá khuôn mặt theo trạng thái tâm lý

Hoạt hoá khuôn mặt theo trạng thái tâm lý là một nhánh trong hoạt hoá khuôn mặt, mục đích của nó là biểu diễn những chuyển động cơ bản của mặt ứng với những sự thay đổi của các trạng thái tâm lý trong con người

1.2.2.1 Phương pháp nội suy

Các kỹ thuật nội suy đưa ra một cách tiếp cận theo trực giác để hoạt ảnh mặt Tiêu biểu, một hàm nội suy mô tả cử động mềm dẻo giữa hai khung hình (frame) cơ bản ở các vị trí biên, theo một khoảng thời gian thông thường

1.2.2.2 Phương pháp tham số hoá

Kỹ thuật tham số hoá để hoạt ảnh mặt đã khắc phục được các hạn chế của các phép nội suy đơn giản Các phép tham số hoá lý tưởng có thể biểu diễn được bất kỳ khuôn mặt

và nét mặt nào bằng việc kết hợp các giá trị tham số độc lập Khác với các kỹ thuật nội suy, kỹ thuật tham số cho phép điều khiển tường minh với chi phí tính toán tương đối thấp

1.2.2.3 Các kỹ thuật dựa trên cơ và cơ giả

Kỹ thuật hoạt ảnh dựa trên cơ thực hiện giả lập các hành động của cơ bằng cách sử dụng các phép toán biến đổi hình học mà không cần giả lập các hành động của mô trên da mặt

1.2.2.4 Kỹ thuật 2D và 3D morphing

Morphing1 gây tác động biến đổi giữa hai ảnh hay mô hình Một phép morphing ảnh 2D bao gồm một phép dịch chuyển (warp) giữa các các điểm tương ứng trong các ảnh đích

và một phép làm mờ chồng chéo2(cross disolve) đồng bộ Cụ thể, các điểm tương ứng được lựa chọn thủ công để phù hợp với yêu cầu của ứng dụng Phép morphing giữa các ảnh có tương quan sẽ sinh ra các hoạt ảnh rất thực tế

1.2.2.5 Hệ mã hoá hành động mặt (Facial Action

Hệ mã hoá hành động khuôn mặt (FACS) là một mô tả

của các cử động của cơ mặt và hàm/lưỡi được dẫn xuất từ việc phân tích hình thái giải phẫu học của mặt FACS bao gồm 44

đơn vị hành động (AU) cơ bản Sự kết hợp các AU này sẽ tạo ra

các biểu hiện mặt khác nhau

1.2.2.6 Hoạt ảnh với chuẩn MPEG-4

Do sự gia tăng ứng dụng trong lĩnh vực hoạt ảnh, việc hoạt ảnh mặt đã được đưa vào chuẩn MPEG-4 [12], là một chuẩn nén đa phương tiện dựa trên đối tượng do MPEG3 phát triển

Trong chuẩn MPEG-4, hình dạng, kết cấu và các biểu

hiện của mặt được điều khiển bởi các tham số định nghĩa khuôn

mặt (FDP4) và các tham số hoạt ảnh khuôn mặt (FAP5) Các FDP chứa đựng thông tin để tạo ra cấu trúc hình học cho một khuôn mặt 3D, còn các FAP sẽ mã hoá các tham số cử động cho các điểm đặc trưng trên mặt theo thời gian

1.3 Ngôn ngữ lập trình đồ hoạ Java 3D

1.3.1 Tổng quan về Java 3D

Java 3D là sự mở rộng của Java để hiển thị không gian

đồ hoạ 3 chiều, cũng do được mở rộng trên nền tảng của Java nên những ứng dụng viết bằng Java 3D có thể chạy trên nhiều kiểu máy tính khác nhau và chạy trên môi trường internet Những thư viện lớp của Java 3D cung cấp một giao diện đơn