thử nghiệm phương pháp biến đổi khuôn mặt trên ảnh hai chiều

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin HÀ NỘI - 2009 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán bộ hƣớng dẫn: TS. Bùi Thế Duy HÀ NỘI - 2009 I TÓM TẮT Khóa luận này đưa ra một phương pháp tạo chuyển động khuôn mặt trong không gian hai chiều. Sử dụng đầu vào là một bức ảnh mặt người ở trạng thái bình thường, phương pháp này sử dụng các phép biến đổi ảnh để thay đổi trạng thái cảm xúc của khuôn mặt, tạo cho khuôn mặt khả năng nói chuyện bằng tiếng Việt. Phương pháp của chúng tôi đưa ra chủ yếu dựa trên các phép bóp méo ảnh và cải tiến của nó. Mục tiêu của chúng tôi là tạo ra một khuôn mặt có những chuyển động chân thực kết hợp với việc tận dụng ưu điểm của đồ họa hai chiều trong tốc độ xử lý. Kết quả của phương pháp này là khá khả quan. Khuôn mặt đã có thể biểu lộ được những cảm xúc cơ bản và mô phỏng được các chữ cái trong tiếng Việt. II LỜI CẢM ƠN Trước hết, em xin được chân thành gửi lời cảm ơn tới thầy T.S Bùi Thế Duy vì đã chỉ bảo và hướng dẫn tận tình cho em trong suốt quá trình nghiên cứu và làm khóa luận này. Em cũng xin được cảm ơn các thầy cô của trường đại học Công Nghệ đã dạy dỗ và truyền đạt cho em những kiến thức quý báu trong suốt bốn năm học đại học. Cám ơn các bạn K50CA, K50KHMT và các bạn thuộc phòng tương tác người - máy vì những cuộc trao đổi thú vị. Cuối cùng, con xin được gửi tới bố mẹ và toàn thể gia đình những tình cảm thân thương nhất. Hà Nội 24/05/2009 Bùi Lê Hùng III MỤC LỤC TÓM TẮT I LỜI CẢM ƠN II MỤC LỤC III DANH MỤC HÌNH ẢNH VI DANH MỤC BẢNG BIỂU VIII Chƣơng 1 GIỚI THIỆU 1 Chƣơng 2 HOẠT HÌNH KHUÔN MẶT 4 2.1.Mở đầu 4 2.2.Hoạt hình khuôn mặt 3D 4 2.2.1.Giới thiệu chung 4 2.2.2.Mô hình hóa khuôn mặt 5 2.2.3.Mô hình hóa chuyển động 5 2.2.4.Mô hình cơ của Waters 7 2.3.Hoạt hình khuôn mặt 2D 8 2.3.1.Giới thiệu chung 8 2.3.2.Phương pháp ghi lại video 9 2.3.3.Phương pháp dựa trên kỹ thuật 3D 11 2.4.Kết luận 14 Chƣơng 3 CÁC KỸ THUẬT BÓP MÉO ẢNH 15 3.1.Mở đầu 15 3.2.Phân loại kỹ thuật bóp méo ảnh theo phương pháp biến đổi 16 3.2.1.Bóp méo ảnh thông qua việc sử dụng hàm số 16 3.2.2.Bóp méo ảnh bằng cách chia ảnh thành những đa giác nhỏ 23 3.2.3.Bóp méo ảnh dùng cho morphing 28 3.3.Phân loại kỹ thuật bóp méo ảnh theo cách tạo ra ảnh đích 29 IV 3.3.1.Mở đầu 29 3.3.2.Bóp méo xuôi 29 3.3.3.Bóp méo ngược 31 3.3.4.So sáng bóp méo xuôi và bóp méo ngược 32 3.4.Kết luận 32 Chƣơng 4 MÔ PHỎNG CHUYỂN ĐỘNG CỦA KHUÔN MẶT DỰA TRÊN CÁC KỸ THUẬT BÓP MÉO ẢNH 34 4.1.Mở đầu 34 4.2.Mô phỏng chuyển động xoay của xương hàm 34 4.2.1.Chuyển động của xương hàm 34 4.2.2.Mô phỏng chuyển động 35 4.3.Mô phỏng chuyển động của các cơ trên khuôn mặt 39 4.3.1.Giới thiệu về cơ mặt 39 4.3.2.Mô phỏng chuyển động 41 4.4.Xây dựng dựng hệ mô phỏng các cơ trên khuôn mặt 42 4.5.Kết luận 46 Chƣơng 5 TẠO CẢM XÚC KHUÔN MẶT 47 5.1.Mở đầu 47 5.2.Hệ mã hóa các cử động khuôn mặt (Facial Action Coding System - FACS) 47 5.3.Những cảm xúc cơ bản 53 5.4.Xây dựng hệ thống các cảm xúc cho nhân vật 54 5.5.Kết luận 61 Chƣơng 6 XÂY DỰNG KHUÔN MẶT NÓI TIẾNG VIỆT 62 6.1.Mở đầu 62 6.2.Giới thiệu về âm vị và hình vị 62 6.3.Âm vị và hình vị trong tiếng Việt 63 6.4.Xây dựng tập hợp các hình vị cho khuôn mặt 64 6.5.Tạo chuyển động liên tục cho khuôn mặt khi nói chuyện 65 V 6.6.Kết luận 65 Chƣơng 7 TỔNG KẾT 67 TÀI LIỆU THAM KHẢO 69 VI DANH MỤC HÌNH ẢNH Hình 1 : Hai vợ chồng nhà “chằn tinh” Shrek 1 Hình 2 : Mô hình CANDIDE (1987) và mô hình Greta (2001) 5 Hình 3 : Mô hình cơ vector của Waters 7 Hình 4 : Mô hình cơ mảng của Waters 8 Hình 5 : Mô hình cơ vòng của Waters 8 Hình 6 : Tổng quan của quá trình thu thập âm vị và hình vị 10 Hình 7 : Tổng quan của quá trình tổng hợp video mới 10 Hình 8 : Cách thức thực hiện 12 Hình 9 : Một số kết quả 13 Hình 10 : Ví dụ phép kéo 17 Hình 11 : Ví dụ phép biến đổi Affine 18 Hình 12 : Ví dụ phép chiếu 18 Hình 13 : Ảnh ban đầu 19 Hình 14 : Ảnh bị biến đổi bởi công thức r = sqrt (r) 20 Hình 15 : Ảnh bị biến đổi bởi công thức r = 2 arcsin(r) / p 20 Hình 16 : Ảnh bị biến đổi bởi công thức r = sin (pi. r / 2) 21 Hình 17 : Ảnh bị biến đổi bởi công thức r = r 2 21 Hình 18 : Ảnh bị biến đổi bởi công thức x = sin(pi.x / 2) và y = sin(pi.y / 2) 22 Hình 19 : Ảnh bị biến đổi bởi công thức x = 2 asin(x) / pi và y = 2 asin(y) / pi 22 Hình 20 : Ảnh gốc và ảnh bị biến đổi 23 Hình 21 : Một số kiểu biến đổi ảnh (kiểu 'mắt cá', kiểu 'xoáy', kiểu 'mưa') 23 Hình 22 : Hệ tọa độ Barycentric với tam giác 24 Hình 23 : Xác định tọa độ điểm tương ứng với P‟ trên ảnh ban đầu 25 Hình 24 : Xác định tọa độ các điểm bằng hệ tọa độ Barycentric 25 Hình 25 : Phương pháp bóp méo tứ giác 26 Hình 26 : Ảnh ban đầu với các vector để bóp méo ảnh 27 Hình 27 : Ảnh sau khi bóp méo theo các vector 27 Hình 28 : Bức ảnh morphing giữa George.W.Bush và Arnold Schwarzenegger 28 Hình 29 : Phương pháp morphing 29 Hình 30 : Bóp méo xuôi cho ảnh 30 Hình 31 : Mô tả thuật toán bóp méo xuôi 30 Hình 32 : Vấn đề của bóp méo xuôi 31 Hình 33 : Bóp méo ngược cho ảnh 31 Hình 34 : Vấn đề của bóp méo ngược 32 Hình 35 : Điểm xoay xương hàm 35 Hình 36 : Ước lượng trục quay của hàm 36 Hình 37 : Môi của nhân vật 37 VII Hình 38 : Hình ảnh của môi dưới sau phép xoay 38 Hình 39 : Ảnh trước và sau khi thực hiện kỹ thuật bóp méo môi trên 38 Hình 40 : Môi mở ra với các góc ϕ = 0, ϕ = pi / 20, ϕ = pi / 15, ϕ = pi / 10 39 Hình 41 : Trạng thái ban đầu - Trước khi sử dụng phép bóp méo cho cằm - Sau khi sử dụng phép bóp méo cho cằm 39 Hình 42 : Các cơ trên khuôn mặt (khi nhìn thẳng) 40 Hình 43 : Các cơ trên khuôn mặt (khi nhìn ngang) 40 Hình 44 : Phép bóp méo tứ giác tạo nụ cười nửa miệng với cơ khóe miệng 41 Hình 45 : Phép bóp méo tứ giác làm mắt mở rộng hơn với cơ mắt 41 Hình 46 : Một số hình dáng của môi 42 Hình 47 : Hệ các cơ được chương trình xây dựng dựa theo 42 Hình 48 : Tác động của 2 cơ nén môi trên và môi dưới 44 Hình 49 : Tác động của cơ kéo khóe miệng xuống 44 Hình 50 : Tác động của cơ kéo khóe miệng lên 44 Hình 51 : Tác động của cơ kéo cánh mũi lên 44 Hình 52 : Tác động của cơ nâng lông mày bên mắt trái 44 Hình 53 : Tác động của cơ kéo lông mày xuống 44 Hình 54: Tác động của cơ thu nhỏ mắt lại 45 Hình 55 : Tác động của cơ cằm 45 Hình 56 : Mức độ co giãn của cơ kéo khóe môi xuống từ trạng thái bình thường cho đến trạng thái giãn tối đa 45 Hình 57 : Cảm giác ngạc nhiên 50% và 100% 55 Hình 58 : Cảm giác sợ hãi 50% và 100% 56 Hình 59 : Cảm giác ghê tởm 70% và 100% 57 Hình 60 : Cảm giác tức giận 40% và 100% 58 Hình 61 : Cảm giác hạnh phúc 50% và 100% 59 Hình 62 : Cảm giác buồn bã 60% và 100% 60 Hình 63 : Hình thang nguyên âm 63 Hình 64 : Các hình vị tương ứng của a|ă|â và e|ê và o 64 Hình 65 : Các hình vị tương ứng của ô và ơ và oo 64 Hình 66 : Các hình vị tương ứng của u và ư 65 Hình 67 : Các hình vị tương ứng của b|m|p và v|ph và các phụ âm còn lại 65 VIII DANH MỤC BẢNG BIỂU Bảng 1 : Hệ Thống Các Cơ Được Sử Dụng Trong Chương Trình 43 Bảng 2 : Hệ Mã Hóa Các Cử Động Khuôn Mặt (FACS) 48 Bảng 3 : Danh Sách Các AU Tạo Nên Các Cảm Xúc Cơ Bản 53 [...]... 2.3.Hoạt hình khuôn mặt 2D 2.3.1.Giới thiệu chung Ở phần này, chúng tôi sẽ giới thiệu về hai phương pháp tạo hoạt hình khuôn mặt 2D Đó là phương pháp ghi lại video và phương pháp dựa trên kỹ thuật 3D Sau -8- khi giới thiệu về mỗi phương pháp, chúng tôi đều đưa ra những nhận xét về ưu và nhược điểm của từng phương pháp này 2.3.2.Phƣơng pháp ghi lại video 2.3.2.1.Giới thiệu phƣơng pháp Phương pháp này được... bóp méo ảnh [Bourke 2002] Hình 13 : Ảnh ban đầu - 19 - Hình 14 : Ảnh bị biến đổi bởi công thức r = sqrt (r) Hình 15 : Ảnh bị biến đổi bởi công thức r = 2 arcsin(r) / p - 20 - Hình 16 : Ảnh bị biến đổi bởi công thức r = sin (pi r / 2) Hình 17 : Ảnh bị biến đổi bởi công thức r = r2 - 21 - Hình 18 : Ảnh bị biến đổi bởi công thức x = sin(pi.x / 2) và y = sin(pi.y / 2) Hình 19 : Ảnh bị biến đổi bởi... hình khuôn mặt 2D, đó là phương pháp ghi lại video [Bregler 1997] và phương pháp dựa trên kỹ thuật 3D [Blanz 2003] Vì chương trình của chúng tôi đang phát triển là tạo chuyển động trên khuôn mặt 2D nên trong chúng tôi sẽ cố gắng giới thiệu một cách chi tiết về hai phương pháp nói trên Đó cũng là điều kiện để chúng tôi có thể so sánh các phương pháp hiện tại với phương pháp của mình 2.2.Hoạt hình khuôn. .. của phương pháp này là toàn bộ tính toán của phương pháp là trên 3D Cộng với việc phải xây dựng không gian vector cho khuôn mặt, phương pháp này đòi hỏi những tính toán phức tạp 2.4.Kết luận Ở chương này, chúng tôi đã giới thiệu tổng quan về các kỹ thuật hoạt hình khuôn mặt Chúng tôi chia hoạt hình khuôn mặt ra làm hai loại là hoạt hình khuôn mặt 3D và hoạt hình khuôn mặt 2D Để tạo được hoạt hình khuôn. .. da mặt, phương pháp này không tạo ra được những chỗ lồi lõm, các nếp nhăn trên khuôn mặt Phương pháp này cũng không chú ý lắm đến việc giải quyết các va chạm giữa các cơ  Phƣơng pháp mô hình hóa cơ mặt Dựa trên giải phẫu học, phương pháp mô hình hóa cơ mặt sử dụng mô hình đa lớp của da và cơ để điều khiển lưới khuôn mặt Phương pháp này đưa ra chuyển động -6- của các cơ với mục đích mô hình hóa biến. .. điều khiển khuôn mặt bằng một số các tham số điều khiển Các tham số này được gắn với các vùng riêng biệt để tạo ra các biến dạng khu vực [Hoch 1994] Khác với phương pháp dựa trên các hình đầu và cuối, phương pháp tham số cho phép tạo ra thay đổi trên các vùng của khuôn mặt Phương pháp này cung cấp một số lượng lớn các trạng thái khuôn mặt mà không đòi hỏi tính toán phức tạp Tuy nhiên, phương pháp này... pháp giả cơ Phương pháp này biến đổi lưới khuôn mặt bằng cách mô phỏng các chuyển động của cơ mặt nhưng không quan tâm đến các chuyển động ở dưới của khuôn mặt Kỹ thuật này bao gồm phương pháp chuyển động cơ ảo [Magnenat-Thalmann 1988], phương pháp biến dạng tự do [Kalra 1992 | Pasquariello & Pelachaud 2001] Phương pháp giả cơ không cung cấp một mô phỏng chính xác các cơ mặt và các biểu hiện trên da Do... nên khuôn mặt Đây là phương pháp hiệu quả nhất khi xét về độ chân thực của mô hình khuôn mặt 2.2.3.Mô hình hóa chuyển động -5- Như đã nói trong phần trước, khuôn mặt được chuyển động bằng cách điều khiển các đỉnh đa giác của lưới bề mặt hoặc các các điểm điều khiển Có bốn cách để điều khiển lưới bề mặt, bao gồm phương pháp dựa trên các hình đầu và cuối, phương pháp tham số, phương pháp giả cơ và phương. .. khuôn mặt 3D, có hai việc phải làm là mô hình hóa khuôn mặt và mô hình hóa chuyển động Ứng với mỗi việc này, người ta lại đề xuất ra nhiều cách làm khác nhau Mỗi cách làm đều có những ưu điểm và nhược điểm của riêng nó Để giới thiệu về hoạt hình khuôn mặt 2D, chúng tôi đưa ra hai phương pháp nổi tiếng hiện nay là phương pháp ghi lại video và phương pháp dựa trên kỹ thuật 3D Cách mà hai phương pháp này... Phép ánh xạ này có đầu vào là (một phần) ảnh gốc và kết quả trả ra là (một phần) ảnh đích đã bị biến đổi Kỹ thuật bóp méo ảnh bao gồm nhiều phép biến đổi ảnh Từ những phép biến đổi đơn giản như phép tịnh tiến, phép quay cho đến những phép biến đổi sử dụng những hàm số phức tạp Bóp méo còn bao gồm cả những phép biến đổi không sử dụng đến hàm số và những phép biến đổi là sự kết hợp của một vài kỹ thuật . ĐẠI HỌC CÔNG NGHỆ  Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY. TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH