Biểu diễn trạng thái khuôn mặt 3D dựa vào kỹ thuật nội suy

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TẠ THỊ THẢO BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT 3D DỰA VÀO KỸ THUẬT NỘI SUY LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TẠ THỊ THẢO BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT 3D DỰA VÀO KỸ THUẬT NỘI SUY Ngành : Hệ thống thông tin Chuyên ngành : Hệ thống thông tin Mã số : 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Ngƣời hƣớng dẫn khoa học: PGS TS Đỗ Năng Toàn Hà Nội - 2016 LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết trình tìm hiểu, nghiên cứu thân dƣới hƣớng dẫn PGS.TS.Đỗ Năng Toàn với trình học tập Trƣờng Đại học Công nghệ - Đại học Quốc Gia Hà Nội.Trong luận văn có sử dụng số mã nguồn mở tài liệu tham khảo đƣợc rõ.Nếu có sai phạm xin hoàn toàn chịu trách nhiệm Ngƣời cam đoan Tạ Thị Thảo LỜI CẢM ƠN Trong trình thực luận văn, nhận đƣợc nhiều hƣớng dẫn, giúp đỡ tận tình thầy cô, gia đình, bạn bè Trƣớc tiên, xin đƣợc bày tỏ lòng biết ơn chân thành tới thầy giáo hƣớng dẫn, PGS.TS Đỗ Năng Toàn Trong suốt trình làm luận văn, nhận đƣợc giúp đỡ, động viên đặc biệt hƣớng dẫn tận tình giúp nắm rõ mục tiêu định hƣớng nghiên cứu đề tài luận văn Tôi xin đƣợc gửi lời cảm ơn đến tập thể thầy cô giáo Khoa Công nghệ thông tin – Trƣờng Đại học Công nghệ trang bị cho thêm kiến thức quý giá suốt thời gian học tập trƣờng Tôi xin đƣợc gửi lời cảm ơn đến tập thể Bộ môn Truyền thông đa phƣơng tiện – Khoa Truyền thông đa phƣơng tiện - Trƣờng Đại học CNTT&TT – Đại học Thái Nguyên tạo điều kiện giúp đỡ nhiều thời gian tham gia khóa học Cuối cùng, với tình cảm sâu sắc nhất, xin chân thành gửi tới gia đình bạn bè, ngƣời bên, động viên, chia sẻ với mặt giúp hoàn thành tốt khóa học Thái Nguyên, ngày 26 tháng 10 năm 2016 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU CHƢƠNG – TỔNG QUAN VỀ THỰC TẠI ẢO VÀ BÀI TOÁN BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT 3D Error! Bookmark not defined 1.1 Tổng quan thực ảo Error! Bookmark not defined 1.2 Đối tƣợng 3D Error! Bookmark not defined 1.2.1 Giới thiệu đối tƣợng 3D Error! Bookmark not defined 1.2.2 Mô đối tƣợng 3D Error! Bookmark not defined 1.3 Bài toán biểu diễn trạng thái khuôn mặt 3DError! Bookmark not defined 1.3.1 Giới thiệu Error! Bookmark not defined 1.3.2 Cách thức thể trạng thái biểu cảm khuôn mặt ngƣời Error! Bookmark not defined 1.3.3 Mô hình hóa khuôn mặt 3D Error! Bookmark not defined 1.3.4 Một số phƣơng pháp biểu diễn trạng thái khuôn mặt 3D Error! Bookmark not defined CHƢƠNG - MỘT SỐ KỸ THUẬT NỘI SUY TRONG BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT 3D Error! Bookmark not defined 2.1 Kỹ thuật nội suy tuyến tính Error! Bookmark not defined 2.1.1 Giới thiệu Error! Bookmark not defined 2.1.2 Sử dụng biểu diễn trạng thái khuôn mặt 3DError! Bookmark not defined 2.1.3 Nhận xét Error! Bookmark not defined 2.2 Kỹ thuật nội suy song tuyến Error! Bookmark not defined 2.2.1 Giới thiệu Error! Bookmark not defined 2.2.2 Sử dụng biểu diễn trạng thái khuôn mặt 3DError! Bookmark not defined 2.2.3 Nhận xét Error! Bookmark not defined 2.3 Kỹ thuật nội suy dựa hàm sở bán kínhError! Bookmark not defined 2.3.1 Giới thiệu Error! Bookmark not defined 2.3.2 Sử dụng biểu diễn trạng thái khuôn mặt 3DError! Bookmark not defined 2.3.3 Nhận xét Error! Bookmark not defined CHƢƠNG –THỰC NGHIỆM Error! Bookmark not defined 3.1 Giới thiệu toán Error! Bookmark not defined 3.2 Các công cụ kỹ thuật Error! Bookmark not defined 3.3 Kết thực nghiệm Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT STT Chữ viết tắt Từ cụm từ VR Virtual Reality AMA Abstract Muscle Action FACS Facial Action Coding System FFD Freeform Deformations AU Action Unit RBF Radial Basic Fuantion DANH MỤC CÁC BẢNG BIỂU Bảng 1.1 Các mô hình khuôn mặt 3D Bảng 2.1 Biểu diễn hành động đơn vị chúng DANH MỤC CÁC HÌNH VẼ Hình 1.1 Các đặc tính hệ thống thực ảo Hình 1.2 Đối tượng 3D Hình 1.3 Nhân viên tiếp tân ảo quận Brent Hình 1.4 Trạng thái vui vẻ Hình 1.5 Trạng thái buồn Hình 1.6 Trạng thái tức giận Hình 1.7 Khuôn mặt sợ hãi bé hoàn cảnh xa lạ Hình 1.8 Trạng thái ngạc nhiên Hình 1.9 Trạng thái căm ghét Hình 1.10 Mô hình khuôn mặt đề xuất Parke vào năm 1974 Hình 1.11 Mô hình mặt CANDIDE Hình 1.12 Mô hình mặt Morphable Hình 1.13 Kết cấu phẳng lưới Cartesian Hình 1.14 Mô hình phát triển Golovinskiy Hình 1.15 Mô hình khuôn mặt Ramirez Hình 1.16 Biến dạng tự Hình 1.17 Sợi mô hình Platt Badler Hình1.18 Mô hình Parke Waters, 1996 Hình1.19 Mô hình cậu bé Kahler đồng nghiệp Hình 2.1 Nội suy tuyến tính tập liệu Hình 2.2 Nội suy cosin tập liệu Hình 2.3 Phép nội suy tuyến tính thực giá trị kết hợp mặt Hình 2.4 Minh họa phép nội suy song tuyến tính Hình 2.5 Dữ liệu hình dạng hai trạng thái khuôn mặt Hình 2.6 Nội suy song tuyến tính Hình 2.7 Hàm sở bán kính (RBF) Hình 2.8 Các điểm điều khiển mô hình khuôn mặt chung Hình 2.9.Minh họa biến đổi điểm điều khiển Hình 3.1 Mô hình khuôn mặt 3D xây dựng Maya Hình 3.2 Các trạng thái biểu cảm khuôn mặt Hình 3.3 Mô hình khuôn mặt 3D dạng lưới Hình 3.4 Mô hình khuôn mặt 3D trạng thái ban đầu Hình 3.5 Các trạng thái biểu cảm khuôn mặt Hình 3.6 Quá trình hoạt hóa từ trạng thái khuôn mặt tự nhiên sang trạng thái vui vẻ Hình 3.7 Hoạt hóa từ trạng thái vui vẻ sang trạng thái tức giận MỞ ĐẦU Ngày nay, phát triển mạnh mẽ công nghệ thông tin trí tuệ nhân tạo với phần cứng máy tính, thiết bị ngoại vi nhƣ máy ảnh, máy quét 3D, v.v làm cho việc thu nhận hình ảnh, mô hình 3D, xây dựng đối tƣợng 3D ngày phát triển Chúng ta làm việc giao tiếp với máy tính nhƣ với ngƣời Trong lĩnh vực thực ảo, nghiên cứu mô ngƣời ngày đƣợc nghiên cứu chuyên sâu có nhiều ứng dụng thực tế, phải kể đến ứng dụng ngƣời ảo nhƣ giáo viên ảo, bệnh nhân ảo phục vụ cho việc thực hành, thí nghiệm sinh viên trƣờng y, phụ tá ảo đƣợc sử dụng bƣu điện Anh, hay nhân vật phim viễn tƣởng đẹp mắt nhƣ Avatar, Star Trek Ngƣời ảo thay ngƣời nhiều công việc để giảm chi phí, tăng hiệu công việc Ngƣời ảo có đặc điểm ngƣời nhƣ khả giao tiếp, cảm nhận giới, suy nghĩ, biểu cảm xúc v.v Trong hệ thống mô ngƣời này, việc biểu diễn biểu cảm khuôn mặt 3D vấn đề quan trọng Khi biểu diễn cách xác có cảm xúc trạng thái khuôn mặt 3D xây dựng đƣợc giáo viên ảo thể cảm xúc ngƣời học mắc lỗi, nói nội dung mang tính hài hƣớc, hay xây dựng bệnh nhân ảo có biểu cảm xúc bác sĩ khám bệnh cho giống nhƣ bệnh nhân thực tế, xây dựng đƣợc nhân vật mà ngƣời ta tƣởng tƣợng phim ảnh, nhân vật game có đặc tính giống nhƣ ngƣời nhƣ vẻ mặt biểu cảm, khả thể cảm xúc giao tiếp v.v Ở Việt Nam, nghiên cứu liên quan tới lĩnh vực đƣợc trọng năm gần đâytại đơn vị nhƣ Đại học Quốc Gia Hà Nội, Đại học Thái Nguyên, Viện công nghệ thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam, v.v.Đặc biệt nay, đề tài cấp có tên “Phát triển kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3D dựa kỹ thuật nội suy phục vụ cho toán xây dựng phát viên ảo” đƣợc đƣợc nghiên cứu thực Viện Hàn lâm khoa học Công nghệ Việt Nam 2 Xuất phát từ hoàn cảnh đó, luận văn lựa chọn đề tài “Biểu diễn trạng thái khuôn mặt 3D dựa vào kỹ thuật nội suy” nhằm nghiên cứu việc biểu diễn trạng thái khuôn mặt 3D thực ảo nghiên cứu kỹ thuật nội suy việc biểu diễn trạng thái khuôn mặt 3D Cấu trúc luận văn bao gồm: Chƣơng 1: Tổng quan thực ảo toán biểu diễn trạng thái khuôn mặt 3D Chƣơng 2: Một số kỹ thuật nội suy biểu diễn trạng thái khuôn mặt 3D Chƣơng 3: Thực nghiệm TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Ái Việt, Đỗ Năng Toàn, Trịnh Xuân Đàn, Phạm Bá Mấy, Hồ Xuân Nhàn (2013), “Mô hình ba chiều xây dựng mô hình phận thể ảo”, Tạp chí Y học Việt Nam - Tập 411, năm 2013 [2] Phạm Việt Bình, Đỗ Năng Toàn (2008), Xử lý ảnh, NXB Khoa học kỹ thuật, Hà Nội [3] Đặng Quang Á, “Tiếp cận dựa hàm RBF tới toán khôi phục mặt người từ hộp sọ”, Hội thảo quốc gia “Ứng dụng CNTT truyền thông hoạt động đào tạo, nghiên cứu khoa học quản lý điều hành trƣờng đại học”, Thái nguyên, 7-8/12/2007 [4] Nguyễn Thị Nguyệt, Nội suy ảnh số ứng dụng, Luận văn thạc sĩ, Khoa công nghệ thông tin, Đại học Thái Nguyên, Tr(36-42) Tiếng Anh [5] Mattos, A.B., Mena-Chalco, J.P., Cesar, R., &Velho, L (2010) 3D linear facial animation based on real data In Proceedings of the 23rd SIBGRAPI conference on graphics, patterns and images (pp 271-278) [6] M H Alkawaz, Dzulkifli Mohamad, A H Basori, T Saba (2015), Blend shape interpolation and FACS for realistic avanta In Springer [7] Shaver, Phillip, et al (1987), “Emotion knowledge: further exploration of aprototype approach”, Journal of personality and social psychology, Vol 52, No6, pp 10611086 [8] K Arai, T Kurihara, K Anjyo, Bilinear Interpolation for Facial Expression and Metamorphosis inReal-Time Animation, The Visual Computer, 1996 vol 12 pp 105–116 [9] The Duy Bui (2004), “Creating emotions and facial expressions for Agents”, the Thesis [10] Pighin, F., & Lewis, J (2006) Performance – driven facial animation In ACM SIGGRAPH 4 [11] Zhang, Q., Liu, Z., Quo, G., Terzopoulos, D., et al (2006) Geometry – driven photorealistic facial expression synthesis IEEE Transactions on Visualization and Computer Graphic, 12(1), 48-60 [12] Blinn, J.F.(1978) Simulation of wrinkled surfaces, In ACM SIGGRAPH computer graphics (pp 286-292) New York: ACM Press [13] Boissieux, L., Kiss, G., Thalmann, N M., & Kalra, P.(2000) Simulation of skin aging and wrinkles with cosmetrics insight In Proceedings of the eurographic workshop on computer animation and simulation (pp 15-27) Berlin: Springer [14] Hardy RL, “Multiquadric equations of topograpy and other irregular surfaces”, J Geophy Res 76:1905–1915, 1971 [15] Mairhuber JC, “On Haar’s theorem concerning Chebyshev approximation problems having unique solutions”, Proc Amer Math Soc 7(4):609–615, 1956 [16] Bochner S, “Monotine Functionen Stieltjes Integrale und Harmonische Analyse”, Ann Math 108:378–410, 1933 [17] Schoenberg IJ (1938), “Metric spaces and completely monotone functions”, Ann Math 39:811–841 [18] Micchelli CA, “Interpolation of scattered data: Distance matrices and conditionally positive definite functions”, Constr Approx 2:11–22, 1986 [19] Powell MJD, “The theory of radial basis function approximation”, In: Light W(ed) Advances in Numerical Analysis, Vol II: Wavelets, Subdivision Algorithms and Radial Functions, Oxford University Press, Oxford, UK, pp 105–210, 1992 [20] Madych WR, Nelson SA, “Bounds on multivariate polynomials and exponential error estimates for multiquadric interpolation”, J Approx Theory 70:94–114, 1992 [21] Yoon J, “Spectral approximation orders of radial basis function interpolation on the Sobolev space”, SIAM J Math Anal 33(4):946–958, 2001 [22] Driscoll TA, Fornberg B, “Interpolation in the limit of increasingly flat radial basis functions”,Comput Math Appl 43:413–422, 2002 [23] Fornberg B, Piret C, “A stable algorithm for flat radial basis functions on a sphere”, SIAM J Sci Comput 30:60–80, 2007 [24] V Blanz, T Vetter, “A morphable model for thesynthesis of 3d faces”, SIGGRAPH '99Proceedings of the 26th annual conference onComputer graphics and interactive techniquesPages 187-194 [25] Park, F I.“A parametric model for human faces”,1974, Universidad de Utah, USA [26] Phothisane, P., Bigorgne, E., Collot, L., Prévost, L,“a robust composite metric for head pose trackingusing an accurate face model”, 2011, AutomaticFace & Gesture Recognition and Workshops (FG2011), IEEE International Conference [27] Conde, C “verificación facial multimodal 2D y3D”, 2006 Tesis Doctoral Departamento deArquitectura y tecnologia de computadores, cienciade la computacion e inteligencia artificial [28] Bronstein, A., Bronstein, M., Kimmel, R.,“Expression invariant 3d face recognition”, Springer-Verlag Berlin Heidelberg 2003 [29] Golovinskiy, A., Wojciech Matusik, HanspeterPfister, Szymon Rusinkiewicz, ThomasFunkhouser “A statistical model for synthesis ofdetailed facial geometry”,ACMTransactions on Graphics (Proc SIGGRAPH), July2006 [30] Ramírez Valdez Leonel, Hasimoto BeltranRogelio, “3D-facial expression synthesis and itsapplication to face recognition systems”, Journal ofApplied Research and Technology 2009, Redalyc [31] Cootes, T.F., Taylor, C.J “Statistical models ofappearance for computer vision” Imaging Scienceand Biomedical Engineering, University ofManchester 2004 [32] El-Hussuna, A “Statistical variation of threedimensional face models” Master Thesis ITUniversityof Copenhagen, MultimediaTechnologies March 2003 [33] http://vi.winkipedia.org/wiki/OpenGL [34] http://glprogramming.com/red ... tài Biểu diễn trạng thái khuôn mặt 3D dựa vào kỹ thuật nội suy nhằm nghiên cứu việc biểu diễn trạng thái khuôn mặt 3D thực ảo nghiên cứu kỹ thuật nội suy việc biểu diễn trạng thái khuôn mặt 3D. .. Maya Hình 3.2 Các trạng thái biểu cảm khuôn mặt Hình 3.3 Mô hình khuôn mặt 3D dạng lưới Hình 3.4 Mô hình khuôn mặt 3D trạng thái ban đầu Hình 3.5 Các trạng thái biểu cảm khuôn mặt Hình 3.6 Quá... văn bao gồm: Chƣơng 1: Tổng quan thực ảo toán biểu diễn trạng thái khuôn mặt 3D Chƣơng 2: Một số kỹ thuật nội suy biểu diễn trạng thái khuôn mặt 3D Chƣơng 3: Thực nghiệm TÀI LIỆU THAM KHẢO Tiếng