THỬ NGHIỆM PHƯƠNG PHÁP BIẾN đổi KHUÔN mặt TRÊN ẢNH HAI CHIỀU

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHUÔN MẶT TRÊN ẢNH HAI CHIỀU KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công Nghệ Thông Tin HÀ NỘI - 2009 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  Bùi Lê Hùng THỬ NGHIỆM PHƢƠNG PHÁP BIẾN ĐỔI KHN MẶT TRÊN ẢNH HAI CHIỀU KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng Nghệ Thông Tin Cán hƣớng dẫn: TS Bùi Thế Duy HÀ NỘI - 2009 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TĨM TẮT Khóa luận đưa phương pháp tạo chuyển động khuôn mặt không gian hai chiều Sử dụng đầu vào ảnh mặt người trạng thái bình thường, phương pháp sử dụng phép biến đổi ảnh để thay đổi trạng thái cảm xúc khuôn mặt, tạo cho khuôn mặt khả nói chuyện tiếng Việt Phương pháp đưa chủ yếu dựa phép bóp méo ảnh cải tiến Mục tiêu tạo khuôn mặt có chuyển động chân thực kết hợp với việc tận dụng ưu điểm đồ họa hai chiều tốc độ xử lý Kết phương pháp khả quan Khn mặt biểu lộ cảm xúc mô chữ tiếng Việt I LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Trước hết, em xin chân thành gửi lời cảm ơn tới thầy T.S Bùi Thế Duy bảo hướng dẫn tận tình cho em suốt trình nghiên cứu làm khóa luận Em xin cảm ơn thầy cô trường đại học Công Nghệ dạy dỗ truyền đạt cho em kiến thức quý báu suốt bốn năm học đại học Cám ơn bạn K50CA, K50KHMT bạn thuộc phịng tương tác người máy trao đổi thú vị Cuối cùng, xin gửi tới bố mẹ tồn thể gia đình tình cảm thân thương Hà Nội 24/05/2009 Bùi Lê Hùng II LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC TÓM TẮT I LỜI CẢM ƠN II MỤC LỤC III DANH MỤC HÌNH ẢNH VI DANH MỤC BẢNG BIỂU VIII Chƣơng GIỚI THIỆU Chƣơng HOẠT HÌNH KHN MẶT .4 2.1.Mở đầu 2.2.Hoạt hình khn mặt 3D 2.2.1.Giới thiệu chung 2.2.2.Mơ hình hóa khn mặt 2.2.3.Mơ hình hóa chuyển động 2.2.4.Mơ hình Waters 2.3.Hoạt hình khn mặt 2D 2.3.1.Giới thiệu chung 2.3.2.Phương pháp ghi lại video 2.3.3.Phương pháp dựa kỹ thuật 3D 11 2.4.Kết luận 14 Chƣơng CÁC KỸ THUẬT BÓP MÉO ẢNH 15 3.1.Mở đầu 15 3.2.Phân loại kỹ thuật bóp méo ảnh theo phương pháp biến đổi 16 3.2.1.Bóp méo ảnh thơng qua việc sử dụng hàm số 16 3.2.2.Bóp méo ảnh cách chia ảnh thành đa giác nhỏ 23 3.2.3.Bóp méo ảnh dùng cho morphing 28 3.3.Phân loại kỹ thuật bóp méo ảnh theo cách tạo ảnh đích 29 III LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.3.1.Mở đầu 29 3.3.2.Bóp méo xi 29 3.3.3.Bóp méo ngược 31 3.3.4.So sáng bóp méo xi bóp méo ngược 32 3.4.Kết luận 32 Chƣơng MÔ PHỎNG CHUYỂN ĐỘNG CỦA KHUÔN MẶT DỰA TRÊN CÁC KỸ THUẬT BÓP MÉO ẢNH 34 4.1.Mở đầu 34 4.2.Mô chuyển động xoay xương hàm 34 4.2.1.Chuyển động xương hàm 34 4.2.2.Mô chuyển động 35 4.3.Mô chuyển động khuôn mặt 39 4.3.1.Giới thiệu mặt 39 4.3.2.Mô chuyển động 41 4.4.Xây dựng dựng hệ mô khuôn mặt 42 4.5.Kết luận 46 Chƣơng TẠO CẢM XÚC KHUÔN MẶT 47 5.1.Mở đầu 47 5.2.Hệ mã hóa cử động khuôn mặt (Facial Action Coding System - FACS) 47 5.3.Những cảm xúc 53 5.4.Xây dựng hệ thống cảm xúc cho nhân vật 54 5.5.Kết luận 61 Chƣơng XÂY DỰNG KHN MẶT NĨI TIẾNG VIỆT 62 6.1.Mở đầu 62 6.2.Giới thiệu âm vị hình vị 62 6.3.Âm vị hình vị tiếng Việt 63 6.4.Xây dựng tập hợp hình vị cho khn mặt 64 6.5.Tạo chuyển động liên tục cho khn mặt nói chuyện 65 IV LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6.6.Kết luận 65 Chƣơng TỔNG KẾT 67 TÀI LIỆU THAM KHẢO 69 V LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC HÌNH ẢNH Hình : Hai vợ chồng nhà “chằn tinh” Shrek Hình : Mơ hình CANDIDE (1987) mơ hình Greta (2001) Hình : Mơ hình vector Waters Hình : Mơ hình mảng Waters Hình : Mơ hình vịng Waters Hình : Tổng quan trình thu thập âm vị hình vị 10 Hình : Tổng quan trình tổng hợp video 10 Hình : Cách thức thực 12 Hình : Một số kết 13 Hình 10 : Ví dụ phép kéo 17 Hình 11 : Ví dụ phép biến đổi Affine 18 Hình 12 : Ví dụ phép chiếu 18 Hình 13 : Ảnh ban đầu 19 Hình 14 : Ảnh bị biến đổi cơng thức r = sqrt (r) 20 Hình 15 : Ảnh bị biến đổi cơng thức r = arcsin(r) / p 20 Hình 16 : Ảnh bị biến đổi công thức r = sin (pi r / 2) 21 Hình 17 : Ảnh bị biến đổi công thức r = r2 .21 Hình 18 : Ảnh bị biến đổi công thức x = sin(pi.x / 2) y = sin(pi.y / 2) 22 Hình 19 : Ảnh bị biến đổi cơng thức x = asin(x) / pi y = asin(y) / pi 22 Hình 20 : Ảnh gốc ảnh bị biến đổi 23 Hình 21 : Một số kiểu biến đổi ảnh (kiểu 'mắt cá', kiểu 'xoáy', kiểu 'mưa') 23 Hình 22 : Hệ tọa độ Barycentric với tam giác 24 Hình 23 : Xác định tọa độ điểm tương ứng với P‟ ảnh ban đầu 25 Hình 24 : Xác định tọa độ điểm hệ tọa độ Barycentric 25 Hình 25 : Phương pháp bóp méo tứ giác .26 Hình 26 : Ảnh ban đầu với vector để bóp méo ảnh 27 Hình 27 : Ảnh sau bóp méo theo vector 27 Hình 28 : Bức ảnh morphing George.W.Bush Arnold Schwarzenegger 28 Hình 29 : Phương pháp morphing 29 Hình 30 : Bóp méo xi cho ảnh 30 Hình 31 : Mơ tả thuật tốn bóp méo xi 30 Hình 32 : Vấn đề bóp méo xi 31 Hình 33 : Bóp méo ngược cho ảnh 31 Hình 34 : Vấn đề bóp méo ngược 32 Hình 35 : Điểm xoay xương hàm 35 Hình 36 : Ước lượng trục quay hàm .36 Hình 37 : Môi nhân vật 37 VI LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 38 : Hình ảnh mơi sau phép xoay 38 Hình 39 : Ảnh trước sau thực kỹ thuật bóp méo mơi 38 Hình 40 : Mơi mở với góc ϕ = 0, ϕ = pi / 20, ϕ = pi / 15, ϕ = pi / 10 39 Hình 41 : Trạng thái ban đầu - Trước sử dụng phép bóp méo cho cằm - Sau sử dụng phép bóp méo cho cằm 39 Hình 42 : Các khn mặt (khi nhìn thẳng) 40 Hình 43 : Các khn mặt (khi nhìn ngang) .40 Hình 44 : Phép bóp méo tứ giác tạo nụ cười nửa miệng với khóe miệng 41 Hình 45 : Phép bóp méo tứ giác làm mắt mở rộng với mắt 41 Hình 46 : Một số hình dáng môi .42 Hình 47 : Hệ chương trình xây dựng dựa theo 42 Hình 48 : Tác động nén mơi môi 44 Hình 49 : Tác động kéo khóe miệng xuống .44 Hình 50 : Tác động kéo khóe miệng lên 44 Hình 51 : Tác động kéo cánh mũi lên 44 Hình 52 : Tác động nâng lông mày bên mắt trái 44 Hình 53 : Tác động kéo lông mày xuống 44 Hình 54: Tác động thu nhỏ mắt lại 45 Hình 55 : Tác động cằm .45 Hình 56 : Mức độ co giãn kéo khóe mơi xuống từ trạng thái bình thường trạng thái giãn tối đa .45 Hình 57 : Cảm giác ngạc nhiên 50% 100% 55 Hình 58 : Cảm giác sợ hãi 50% 100% 56 Hình 59 : Cảm giác ghê tởm 70% 100% 57 Hình 60 : Cảm giác tức giận 40% 100% 58 Hình 61 : Cảm giác hạnh phúc 50% 100% .59 Hình 62 : Cảm giác buồn bã 60% 100% 60 Hình 63 : Hình thang nguyên âm 63 Hình 64 : Các hình vị tương ứng a|ă|â e|ê o 64 Hình 65 : Các hình vị tương ứng ô và oo 64 Hình 66 : Các hình vị tương ứng u 65 Hình 67 : Các hình vị tương ứng b|m|p v|ph phụ âm lại 65 VII LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH MỤC BẢNG BIỂU Bảng : Hệ Thống Các Cơ Được Sử Dụng Trong Chương Trình .43 Bảng : Hệ Mã Hóa Các Cử Động Khn Mặt (FACS) 48 Bảng : Danh Sách Các AU Tạo Nên Các Cảm Xúc Cơ Bản .53 VIII LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Cảm giác tức giận Cảm giác tức giận kết hợp chuyển động o o o o Cơ nén môi Cơ nén môi Cơ kéo lông mày xuống Cơ kéo lông mày lên, phía ngồi Kết chương trình Hình 60 : Cảm giác tức giận 40% 100% - 58 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Cảm giác hạnh phúc Cảm giác hạnh phúc kết hợp chuyển động o o o o o o Cơ kéo khóe mơi lên Cơ nâng cánh mũi Cơ kéo lơng mày lên, phía Cơ kéo lơng mày lên, phía ngồi Cơ thu hẹp mắt, phía Cơ mở mắt Kết chương trình Hình 61 : Cảm giác hạnh phúc 50% 100% - 59 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com  Cảm giác buồn bã Cảm giác buồn bã kết hợp chuyển động o Cơ kéo khóe miệng xuống o Cơ nâng cằm lên o Cơ thu hẹp mắt, phía Kết chương trình Hình 62 : Cảm giác buồn bã 60% 100% - 60 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5.5.Kết luận Trong chương này, cách giới thiệu FACS sáu cảm xúc bản, kết hợp với hệ mô xây dựng chương 4, đưa cách xây dựng hệ thống cảm xúc cho nhân vật Bằng cách đó, chúng tơi biểu diễn kết chương trình dạng ảnh mơ tả sáu cảm xúc nhân vật Chúng nhận thấy rằng, để tạo nên cảm xúc thật cho khn mặt chúng tơi phải dành thời gian để điều chỉnh kết hợp chuyển động cho xác Nếu chương trình có tay nhiều chuyển động nhiều loại phép biến đổi hợp lý áp dụng có khả việc mơ tả chuyển động cảm xúc diễn thật Điều thúc tiếp tục nghiên cứu phát triển phép biến đổi để tạo thêm chuyển động khác cho khuôn mặt nhân vật - 61 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng XÂY DỰNG KHN MẶT NĨI TIẾNG VIỆT 6.1.Mở đầu Để tạo khả nói chuyện cho khn mặt, chương trình cần có ba thứ  Một chương trình tổng hợp tiếng nói từ văn (text-to-speech) có khả đưa danh sách âm vị thời gian phát âm  Một danh sách tương ứng âm vị với hình vị  Một tập hợp hình vị cho khuôn mặt, cách tạo chuyển động hình vị Chương trình chúng tơi cố gắng thực bước bước Chúng cố gắng tìm hiểu hệ thống âm vị hình vị tiếng Việt để xây dựng nên tập hợp hình vị cho khn mặt Cùng với đưa danh sách tương ứng âm vị hình vị tiếng Việt Việc tạo chuyển động hình vị dễ dàng chuyển động chương trình thông qua tham số Hiện chúng tơi cố gắng áp dụng chương trình tổng hợp tiếng nói từ văn cho chương trình Đối với lĩnh vực tổng hợp tiếng nói từ văn bản, ngôn ngữ phổ biến giới tiếng Anh, tiếng Pháp hay tiếng Tây Ban Nha có nhiều ứng dụng cho kết tốt Hiện nay, xuất số chương trình tổng hợp tiếng nói từ văn cho tiếng Việt q trình hồn thiện Cấu trúc chương bao gồm bốn phần : hai phần đầu chúng tơi giới thiệu âm vị, hình vị hệ thống âm vị hình vị tiếng Việt Dựa vào đó, phần thứ ba chúng tơi giới thiệu hệ thống hình vị cho khn mặt Phần cuối chúng tơi giành để nói việc tạo chuyển động hình vị 6.2.Giới thiệu âm vị hình vị  Âm vị Âm vị (phoneme) đơn vị nhỏ âm Về mặt ý nghĩa âm vị hồn tồn khơng mang ý nghĩa Trong nhiều ngôn ngữ, chữ tương ứng với âm vị Trong số ngôn ngữ khác, tiếng Anh, quan hệ âm vị chữ lúc quan hệ – Ví dụ, hai chữ sh tương ứng với âm vị /ʃ/, chữ k c biểu diễn âm vị /k/  Hình vị - 62 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình vị (viseme) đơn vị nhỏ hình ảnh Một hình vị mơ tả vị trí cụ thể mặt, miệng chuyển động chúng thời gian mà âm vị tương ứng phát Âm vị hình vị khơng phải lúc có quan hệ – Thường vài âm vị chia sẻ hình vị Nói cách khác, vài âm vị phát trơng giống nhau, ví dụ /k/, /g/, /ŋ/ Tuy nhiên, tồn khác biệt thời gian âm vị 6.3.Âm vị hình vị tiếng Việt  Âm vị tiếng Việt Âm vị tiếng Việt phân làm hai loại : nguyên âm phụ âm Nếu âm phát ra, luồng khơng khí từ phổi qua khoang phát âm mà khơng bị cản vị trí nào, ngun âm Nếu âm phát âm luồng khơng khí từ phổi qua khoang mà bị cản vị trí phụ âm [Lanh & Hịa 2007]  Hình vị tiếng Việt Hình vị nguyên âm Các nguyên âm phân chia đồng thời miêu tả theo ba tiêu chí vị trí lưỡi, độ há miệng hình dáng mơi [Thảo & Tỉnh 2007] Vì chương trình chúng tơi không mô chuyển động lưỡi nên phần chúng tơi nói độ há miệng hình dáng mơi Theo độ há miệng, nguyên âm phân thành bốn loại : nguyên âm đóng (i), nguyên âm nửa đóng (ê), nguyên âm nửa mở (e) nguyên âm mở (a) Tính chất hẹp → rộng nguyên âm xác định mở rộng dần miệng Theo hình dáng môi, nguyên âm phân thành hai loại, bao gồm : ngun âm trịn mơi (o, ơ) ngun âm khơng trịn mơi (ơ) Tính chất trịn hay khơng trịn xác định theo khn mơi Hình 63 : Hình thang nguyên âm - 63 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trên hình thang 16 nguyên âm tiếng Việt Các cột ngang thể độ há miệng Hai phía cột dọc thể hình dáng mơi – phía trái thể ngun âm khơng trịn mơi, phía phải thể ngun âm trịn mơi Hình vị phụ âm Các phụ âm phân chia đồng thời miêu tả theo hai tiêu chí vị trí phát âm phương thức phát âm Khi xây dựng chương trình chúng tơi quan tâm đến tiêu chí vị trí phát âm Theo vị trí phát âm, phụ âm phân thành ba loại phụ âm môi, phụ âm lưỡi phụ âm hầu Phụ âm môi phụ âm mà phát âm có tham gia mơi (mơi – môi b, p; môi – v, ph) Phụ âm lưỡi phụ âm mà phát âm có tham gia lưỡi đầu lưỡi (đ, ch, c, k) Phụ âm hầu phụ âm mà phát âm có tham gia dây (h) 6.4.Xây dựng tập hợp hình vị cho khn mặt Hình vị ngun âm Xét hai tiêu chí để phân loại ngun âm Đó độ há miệng độ trịn mơi Cả hai tiêu chí mơ chương trình chúng tơi Độ há miệng tương ứng với góc quay hàm cịn độ trịn môi phụ thuộc vào tác động lên môi Bằng cách sử dụng góc quay hàm tác động lên mơi theo tiêu chí hình thang ngun âm, chúng tơi xây dựng hình vị cho nguyên âm sau Để cho đơn giản, chúng tơi nhóm số ngun âm giống vào nhóm Hình 64 : Các hình vị tƣơng ứng a|ă|â e|ê o Hình 65 : Các hình vị tƣơng ứng ô và oo - 64 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 66 : Các hình vị tƣơng ứng u Hình vị phụ âm Theo tiêu chí phân loại phụ âm vị trí phát âm Chúng chia phụ âm làm ba loại, loại thuộc loại phụ âm môi môi – môi môi – răng, loại phụ âm lại Hình 67 : Các hình vị tƣơng ứng b|m|p v|ph phụ âm cịn lại 6.5.Tạo chuyển động liên tục cho khn mặt nói chuyện Đầu vào chương trình văn bản, đoạn văn, câu vài từ Nói cách tổng quát đầu vào chương trình dãy ký tự Với ký tự chúng tơi xây dựng hình vị tương ứng với Bây việc chương trình làm cho việc chuyển từ hình vị sang hình vị khác liên tục Có thể dễ thấy, hình vị tạo góc quay hàm mơi Để chuyển từ hình vị sang hình vị khác, chúng tơi tạo hình vị trung gian nằm hình vị đầu cuối Vì tất hình vị cho tham số khác nhau, để tạo hình vị mới, chúng tơi tính tốn giá trị tham số nằm tham số hai hình vị đầu cuối Ví dụ góc quay hàm với ứng với ᴨ / 30, góc quay hàm với ᴨ / 15, để sinh hình vị nằm hình vị góc quay hàm hình vị (ᴨ / 30 + ᴨ / 15) / = ᴨ / 20 Tương tự, xác định hình dạng môi xác định độ lớn giá trị trung gian hai hình vị đầu cuối Bằng cách lên hình vị trung gian, chương trình chúng tơi tạo chuyển động hình vị Bằng cách đó, chương trình chúng tơi tọa chuyển động liên tục cho miệng nói chuyện 6.6.Kết luận - 65 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trong chương này, giới thiệu âm vị hình vị tiếng Việt bước khởi đầu để xây dựng khn mặt nói tiếng Việt Phương pháp chúng tơi nói cịn thơ sơ Chương trình chúng tơi nói cách trực quan văn tiếng Việt có độ dài khơng điều khiển thời điểm để nói Cái mà chúng tơi cịn thiếu chương trình tổng hợp ngơn ngữ từ văn hỗ trợ chương trình chúng tơi việc đưa danh sách hình vị thời gian hình vị đó, đồng thời phát âm vị tương ứng Hiện có số chương trình tổng hợp ngơn ngữ từ văn hỗ trợ chương trình chúng tơi Một số Mbrola, chương trình tiếng hỗ trợ tới 30 ngôn ngữ giới Nhưng tiếc khơng có tiếng Việt Hiện chúng tơi chưa tìm chương trình tiếng Việt hỗ trợ cho chương trình Trong tương lai chúng tơi dự định xây dựng hệ thống hình vị cho tiếng Anh áp dụng chương trình tổng hợp ngơn ngữ từ văn cho tiếng Anh để áp dụng cho chương trình Nhưng hết chúng tơi hi vọng có chương trình tổng hợp ngơn ngữ tiếng Việt ứng dụng cho chương trình - 66 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng TỔNG KẾT Khóa luận đưa giải pháp tạo chuyển động chân thực cho khuôn mặt không gian hai chiều Phương pháp mà sử dụng nhận đầu vào ảnh, sau phương pháp sử dụng phép biến đổi ảnh để thay đổi trạng thái cảm xúc khuôn mặt lời mà khuôn mặt nói So với phương pháp ghi lại video, phương pháp cần đầu vào ảnh khuôn mặt phương pháp ghi lại video cần đầu vào đoạn video Ngồi phương pháp chúng tơi tạo cảm xúc, hình vị cho khn mặt, phương pháp ghi lại video tạo chuyển động hình ảnh có sẵn So sánh với phương pháp dựa kỹ thuật 3D, hai phương pháp cần ảnh làm đầu vào Tuy trình để xây dựng cho chương trình phương pháp dựa kỹ thuật 3D phức tạp Tuy vậy, ưu điểm lớn phương pháp đưa so với phương pháp dựa kỹ thuật 3D phương pháp chúng tơi khơng địi hỏi độ phức tạp tính tốn Điều có nghĩa phương pháp chúng tơi khơng u cầu máy có cấu hình cao phương pháp dựa kỹ thuật 3D Để phát triển tiếp chương trình, cơng việc trước mắt chúng tơi hồn thiện khả nói chuyện cho khn mặt mà cụ thể tiếng Việt Chúng tơi hy vọng tạo khn mặt vừa biểu lộ cảm xúc vừa nói chuyện với người sử dụng Về cải tiến việc tạo chuyển động cho khuôn mặt, nghĩ đến việc tạo chuyển động cho mắt Chúng cho công việc thực việc xác định điểm nằm bất khả thi Với việc xây dựng khuôn mặt có khả biểu lộ cảm xúc nói chuyện, hướng phát triển xây dựng nhân vật ảo với tính cách riêng để dùng ứng dụng tương tác người máy phần mềm, web thiết bị di động Chúng nghĩ đến việc để chuyển giao mơ hình chuyển động khn mặt sang khuôn mặt khác Để tạo chuyển động cho khn mặt mới, chương trình phải xác định vị trí điểm đặc trưng khuôn mặt vector Đây công việc đơn giản Việc xác định điểm nằm mơi phức tạp chút thực Để xây dựng chương trình tự động tạo chuyển động cho khuôn mặt với đầu vào ảnh chúng tơi cần phải phát triển chương trình có khả nhận điểm đặc trưng khuôn mặt Một thách thức đặt đầu vào chương trình ảnh không chụp thẳng khuôn mặt không trung lập, tức bộc lộ cảm xúc - 67 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Với phương pháp dựa kỹ thuật 3D, phương pháp có đưa giải pháp với tình trả khn mặt trung lập chụp thẳng Chúng nghĩ đến giải pháp kết hợp ưu điểm phương pháp với phương pháp Với đầu vào ảnh có khn mặt vị trí khác nhau, sử dụng phương pháp dựa kỹ thuật 3D để đưa khuôn mặt trạng thái trung lập chụp thẳng, dễ dàng xác định điểm đặc trưng khuôn mặt Sau dùng phương pháp chúng tơi để biến đổi cảm xúc khn mặt Khi đó, phương pháp vừa tận dụng đầu vào ảnh tận dụng ưu điểm phương pháp tốc độ xử lý - 68 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÀI LIỆU THAM KHẢO TIẾNG ANH [1] [Ahlberg 2001] J Ahlberg CANDIDE-3 an updated parameterized face [2] [Blanz 1999] V.Blanz & T.Vetter A morphable model for the synthesis of 3D faces [3] [Blanz 2003] V.Blanz Reanimating Faces in Images and Video The Eurographics Association and Blackwell Publishers [4] [Bregler 1997] C.Bregler Video Rewrite: Driving Visual Speech with Audio [5] [Bourke 2002] P.Bourke Image warping / Distortion [6] [Choe 2001] B.Choe Performance-Driven Muscle-Based Facial Animation [7] [Chuang 2005] E.Chuang Mood Swings: Expressive Speech Animation [8] [Covell 1996] M.Covell & C.Bregler Eigenpoints [9] [Deng & Neumann 2008] Z.Deng & U.Neumann Data-Driven 3D Facial Animation [10] [Duy 2004] B.T.Duy Creating Emotions And Facial Expressions For Embodied Agents [11] [Ekman & Friesen 1969] P.Ekman & W.Friesen The repertoire of nonverbal behavior: Categories, origins, usage, and coding [12] [Ekman 1972] P.Ekman Universals and cultural differences in facial expressions of emotion University of Nebraska Press [13] [Ekman & Friesen 1978] P.Ekman & W.Friesen Facial Action Coding System: A Technique for the Measurement of Facial Movement [14] [Ezzat 1998] T.Ezzat MikeTalk: A Talking Facial Display Based on Morphing Visemes [15] [Flores 2005] V.C.Flores ARTNATOMY/ARTNATOMIA [16] [Gouraud 1971] H.Gouraud Computer display of curved surfaces PhD thesis, Dept of Electrical Engineering, University of Utah - 69 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [17] [Hoch 1994] M.Hoch, G.Fleischmann & B.Girod Modeling and animation of facial expressions based on b-splines Visual Computer [18] [Kahler 2001] K.Kahler, J.Haber & H.P.Seidel Geometry-based muscle modeling for facial animation Proceedings of Graphics Interface 2001 [19] [Kalra 1992] P.Kalra, A.Mangili, N.Magnenat-Thalmann, & D.Thalmann Simulation of facial muscle actions based on rational free form deformations Computer Graphics Forum (EURO-GRAPHICS ‟92 Proceedings) [20] [Kalberer 2001] G.Kalberer & L.Van Gool Face animation based on observed 3D speech dynamics [21] [Kirby 1990] M.Kirby & L.Sirovich Application of the Karhunen-Loeve procedure for the characterization of human faces [22] [Lee 1995] Y.Lee, D.Terzopoulos, & K.Waters Realistic face modeling for animation SIGGRAPH „95 Conference Proceedings [23] [Magnenat-Thalmann 1988] N.Magnenat-Thalmann, E.Primeau, & D.Thalmann Abstract muscle action procedures for human face animation The Visual Computer [24] [Moulines 1990] E.Moulines, P.Emerard, D.Larreur, J.L.Le Saint Milon, L.Le Faucheur, F.Marty, F.Charpentier & C Sorin A real-time French text-to-speech system generating high-quality synthetic speech [25] [Ortony & Turner 1990] A.Ortony & T.J.Turner What's basic about basic emotions? Psychological Review [26] [Parke 1972] F.I.Parke Computer generated animation of faces Master‟s thesis, Dept of Electrical Engineering, Division of Computer Science, University of Utah [27] [Parke 1974] F.I.Parke A parametric model for human faces PhD thesis, University of Utah [28] [Parke & Waters 1996] F.I.Parke & K.Waters Computer facial animation [29] [Parrot 2001] Parrot Basic Emotions [30] [Pasquariello & Pelachaud 2001] S.Pasquariello & C.Pelachaud Greta: A simple facial animation engine In 6th Online World Conference on Soft Computing in Industrial Appications, Session on Soft Computing for Intelligent 3D Agents [31] [Pighin 2002] F.Pighin & R.Szeliski & D.Salesin Modeling and animating realistic faces from images International Journal of Computer Vision - 70 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [32] [Plutchik 1980] R.Plutchik The Nature of Emotions [33] [Reveret 2001] L.Reveret & I Essa Visual coding and tracking of speech related facial motion GVU Center Tech Report [34] [Rydfalk 1987] M.Rydfalk Candide, a parameterized face Technical Report Report, Dept of Electrical Engineering, Linkping University,Sweden [35] [Smith 2006] A.P.Smith Muscle-based facial animation using blendshapes in superposition [36] [Tanguy 2005] E.Tanguy A Dynamic Emotion Representation Model Within a Facial Animation System [37] [Terzopoulos & Waters 1990] D.Terzopoulos & K.Waters Physically-based facial modelling, analysis, and animation The Journal of Visualization and Computer Animation [38] [Vetter 1998] T.Vetter & V.Blanz Estimating coloured 3D face models from single images: An example based approach [39] [Vlasic 2005] D.Vlasic Face Transfer with Multilinear Models [40] [Waters 1987] K.Waters A muscle model for animating three-dimensional facial expression SIGGRAPH ‟87 Proceedings [41] [Yang 1999] J.Yang Automatic Selection of Visemes for Image-based Visual Speech Synthesis TIẾNG VIỆT [42] [Lanh & Hòa 2007] Nguyễn Thị Lanh & Nguyễn Thái Hòa Tiếng Việt (Ngữ âm Phong cách học) Nhà xuất đại học Sư Phạm [43] [Thảo & Tỉnh 2007] Đỗ Xuân Thảo & Lê Hữu Tỉnh Giáo trình Tiếng Việt Nhà xuất đại học Sư Phạm WEBSITE [44] http://www.artnatomia.net/uk/index.html [45] http://www.icg.isy.liu.se/candide/ - 71 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [46] http://tcts.fpms.ac.be/synthesis/mbrola.html [47] http://www.mpi-inf.mpg.de/~blanz/ [48] http://www.wikipedia.org - 72 - LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... đưa phương pháp tạo chuyển động khuôn mặt không gian hai chiều Sử dụng đầu vào ảnh mặt người trạng thái bình thường, phương pháp sử dụng phép biến đổi ảnh để thay đổi trạng thái cảm xúc khuôn mặt, ... Vì lý đó, phương pháp sử dụng thực tế  Phƣơng pháp giả Phương pháp biến đổi lưới khuôn mặt cách mô chuyển động mặt không quan tâm đến chuyển động khuôn mặt Kỹ thuật bao gồm phương pháp chuyển... khn mặt 2D, chúng tơi đưa hai phương pháp tiếng phương pháp ghi lại video phương pháp dựa kỹ thuật 3D Cách mà hai phương pháp thực khác Xét cách tổng thể, phương pháp dựa kỹ thuật 3D trội phương