DSpace at VNU: Trích rút đặc trưng phục vụ biểu diễn biểu cảm khuôn mặt 3D

DSpace at VNU: Trích rút đặc trưng phục vụ biểu diễn biểu cảm khuôn mặt 3D tài liệu, giáo án, bài giảng , luận văn, luận...

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ _ HÀ MẠNH TỒN TRÍCH RÚT ĐẶC TRƯNG PHỤC VỤ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ _ HÀ MẠNH TỒN TRÍCH RÚT ĐẶC TRƯNG PHỤC VỤ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D Ngành : Công nghệ thông tin Chuyên ngành : Kỹ thuật phần mềm Mã số : 60 48 01 03 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Đỗ Năng Toàn Hà Nội - 2015 LỜI CẢM ƠN Luận văn hồn thành khơng có động viên, hỗ trợ nhiều ngƣời thân quanh tơi Trƣớc hết Em xin gửi lời tri ân đến PGS.TS Đỗ Năng Toàn ngƣời thầy bảo, giúp đỡ tận tình trình học tập, làm việc, hoàn thiện luận văn Em xin gửi lời cảm ơn đến Thầy, Cô giáo trƣờng Đại học Công nghệ DHQG Hà Nội, ngƣời trang bị kiến thức sở, tảng cho việc nghiên cứu, tiếp thu tri thức mới, mà từ Em hồn thành tốt luận văn mình, xa hoàn thành tốt dự án, công việc tƣơng lai Tôi xin cảm ơn Anh, Chị, Em đồng nghiệp Viện Công nghệ Thông tin Viện HL KH&CN Việt Nam, bạn khóa cao học có hỗ trợ, đóng góp ý kiến q trình thực luận văn Cuối cùng, Tôi muốn gửi lời cảm ơn đến chân thành đến gia đình tơi, ngƣời động viên, giúp đỡ mặt sống, mà từ tơi có động lực cho trình làm việc, nghiên cứu học tập Mặc dù có cố gắng trình nghiên cứu xây dựng luận văn nhƣng khối lƣợng cơng việc lớn, thời gian trí tuệ hạn chế nên khơng thể tránh khỏi thiếu sót Tơi hi vọng đƣợc góp ý chân thành từ phía bạn bè, đồng nghiệp Thầy Cơ giáo Ngƣời thực Hà Mạnh Tồn LỜI CAM ĐOAN Luận văn thân tự tìm hiểu nghiên cứu dƣới hƣớng dẫn PGS TS Đỗ Năng Tồn nhƣ q trình học tập Đại học Công nghệ - Đại học Quốc Gia Hà Nội Trong Luận văn có sử dụng số mã nguồn mở Tôi xin cam đoan, luận văn sản phẩm chép tài liệu khoa học MỤC LỤC MỤC LỤC DANH MỤC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU MỞ ĐẦU CHƢƠNG 1: KHÁI QUÁT 1.1 Khái quát biểu cảm khuôn mặt 1.1.1 Khái niệm biểu cảm khuôn mặt 1.1.2 Vấn đề biểu diễn biểu cảm khuôn mặt 3D Error! Bookmark not defined 1.2 Bài tốn trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D Error! Bookmark not defined 1.2.1 Giới thiệu toán Error! Bookmark not defined 1.2.2 Một số vấn đề việc triển khai thực tế Error! Bookmark not defined 1.2.3 Một số ứng dụng liên quan Error! Bookmark not defined CHƢƠNG 2: TRÍCH RÚT ĐẶC TRƢNG PHỤC VỤ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D Error! Bookmark not defined 2.1 Phát khuôn mặt ảnh Error! Bookmark not defined 2.1.1 Các kỹ thuật tiền xử lý Error! Bookmark not defined 2.1.2 Kỹ thuật phát mặt người Error! Bookmark not defined 2.2 Định vị điểm đặc trƣng khuôn mặt Error! Bookmark not defined 2.2.1 Mơ hình hình dạng Error! Bookmark not defined 2.2.2 Mơ hình kết cấu hình ảnh Error! Bookmark not defined 2.2.3 Mơ hình kết hợp Error! Bookmark not defined 2.2.4 Vấn đề tìm kiếm tối ưu Error! Bookmark not defined CHƢƠNG 3: THỰC NGHIỆM Error! Bookmark not defined 3.1 Bài toán Error! Bookmark not defined 3.2 Sơ đồ hệ thống trích rút đặc trƣng biểu cảm ảnhError! defined Bookmark not 3.3 Thử nghiệm đánh giá Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined DANH MỤC CƠNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN VĂN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 PHỤ LỤC A: XÂY DỰNG MÔ HÌNH 3D KHN MẶT TỪ ẢNH Error! Bookmark not defined PHỤ LỤC B: TÍNH TỐN PCA CHO DỮ LIỆU CÓ SỐ CHIỀU LỚN Error! Bookmark not defined DANH MỤC TỪ VIẾT TẮT AAM Active Appearance Model MPE Moving Pictures Experts Group PCA Principal Component Analysis PICO Pixel Intensity Comparisons Organized in Decision Trees G DANH MỤC HÌNH VẼ Hình 1.1 Mơ tả dƣới dạng ma trận loại cảm xúc theo chiều: cƣờng độ cao hay thấp(I) đánh giá tích cực hay tiêu cực(E) Shaver Hình 1.2 trạng thái cảm xúc khuôn mặt nghiên cứu Matsumoto .9 Hình 1.3 Hệ mặt 10 Hình 1.4 Mơ hình hệ thống biểu diễn biểu cảm khn mặtError! Bookmark not defined Hình 1.5 Phát gán nhãn điểm đánh dấu cơng trình Arman Savran đồng nghiệp Error! Bookmark not defined Hình 1.6 Cơng nghệ giám sát điểm đánh dấu phim Avatar Error! Bookmark not defined Hình 1.7 Hệ thống điểm MPEG-4 Error! Bookmark not defined Hình 1.8 Tập điểm Luxand Error! Bookmark not defined Hình 2.1 Hình ảnh biểu đồ màu da tƣơng ứng Error! Bookmark not defined Hình 2.2 Đặc trƣng lồi lõm dƣới nhiều mức tỉ lệ Error! Bookmark not defined Hình 2.3 Ảnh ví dụ phép so sánh cƣờng độ Error! Bookmark not defined Hình 2.4 Phép biến đổi Similarity Error! Bookmark not defined Hình 2.5 Đối tƣợng hình dạng kết cấu hình ảnhError! defined Bookmark not Hình 3.1 Sơ đồ hệ thống Error! Bookmark not defined Hình 3.2 Mơ tả điểm Luxand Error! Bookmark not defined Hình 3.3 Các mẫu ảnh ngƣời sở liệu JAFFE Error! Bookmark not defined Hình 3.4 Một số kết định vị điểm đặc trƣng Error! Bookmark not defined Hình 3.5 Khn mặt với biểu cảm biểu diễn lại phần mềm VRFaceEmotion 1.0 Error! Bookmark not defined Hình A.1 Ảnh liệu thu thập từ ảnh chụp Error! Bookmark not defined Hình A.2 Sử dụng cơng cụ tạo mặt phẳng để gán ảnh thu thậpError! Bookmark not defined Hình A.3 Ảnh đƣợc dán vào plane 3DS MaxError! defined Bookmark not Hình A.4 Cơng cụ Line kết thu đƣợc Error! Bookmark not defined Hình A.5 Mơ hình thơ chƣa làm mịn Error! Bookmark not defined Hình A.6 Mơ hình sau làm mịn Error! Bookmark not defined Hình A.7 Mơ hình tóc Error! Bookmark not defined Hình A.8 Mơ hình mi mắt Error! Bookmark not defined Hình A.9 Mơ hình đầu chƣa gán Texture Error! Bookmark not defined Hình A.10 Trải Texture với Unwrap UVW Error! Bookmark not defined Hình A.11 Texture hồn thiện Error! Bookmark not defined Hình A.12 Mơ hình hoàn chỉnh Error! Bookmark not defined DANH MỤC BẢNG BIỂU Bảng 2.1 Một số kết ví dụ so sánh cƣờng độ ảnhError! defined Bookmark not Bảng 3.1 Bảng mô tả chi tiết định nghĩa tập điểm điều khiển Luxand Error! Bookmark not defined Bảng 3.2 Bảng đánh giá kết sai lệch định vị điểm đặc trƣng khuôn mặt Error! Bookmark not defined Bảng 3.3 Bảng tỉ lệ xác kết định vị điểm khuôn mặt Error! Bookmark not defined MỞ ĐẦU Nghiên cứu mặt ngƣời hƣớng nghiên cứu đƣợc nhiều quan tâm nhà khoa học giới nhƣ nƣớc Các nghiên cứu lĩnh vực đƣợc chia thành hai hƣớng nghiên cứu là: hƣớng liên quan đến phát nhận, dạng mặt ngƣời với trạng thái biểu cảm mặt ngƣời hƣớng liên quan đến biểu diễn mơ hình mặt ngƣời với trạng thái khác Thời gian gần đây, phát triển phổ biến nhanh chóng cơng nghệ phần cứng máy tính thiết bị liên quan tạo điều kiện thuận lợi cho phát triển hệ thống phần mềm yêu cầu khối lƣợng tính tốn cao Trong số đó, hệ thống mô ngƣời, đặc biệt việc biểu diễn biểu cảm khuôn mặt ngƣời 3D lĩnh vực thực ảo vấn đề quan trọng với nhiều ứng dụng trở nên quen thuộc sống ngƣời, đơn giản kể đến phim giả tƣởng đẹp mắt nhƣ Avatar, Van Helsing… với qi vật, ngƣời sói có biểu cảm khn mặt tinh tế Trong ứng dụng nhƣ vậy, việc nắm bắt đƣợc cách xác nhanh chóng đặc trƣng thể biểu cảm khn mặt ngƣời trở thành công đoạn quan trọng, cần thiết hệ thống mô Hiện có số đơn vị nghiên cứu nƣớc có hƣớng nghiên cứu liên quan nhƣ Đại học Quốc Gia Hà Nội, Đại học Duy Tân, Đại học Lạc Hồng, Đại học Thái Nguyên… Đây hƣớng nghiên cứu đƣợc đầu tƣ, nghiên cứu phát triển Viện Công nghệ Thông tin – Viện Hàn lâm Khoa học Công nghệ Việt Nam năm gần Xuất phát từ hồn cảnh đó, luận văn lựa chọn đề tài “Trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D” nhằm mô tả vấn đề giải pháp tƣơng ứng toán trích rút đặc trƣng phục vụ biểu diễn biểu cảm khn mặt 3D Đây vấn đề có tính chất kết nối lĩnh vực thị giác máy lĩnh vực mô phỏng, liên quan đến việc áp dụng kỹ thuật xử lý ảnh toán tái thể biểu cảm khn mặt mơ hình 3D Bố cục luận văn gồm phần mở đầu, phần kết luận ba chƣơng nội dung đƣợc bố cục nhƣ sau: Chƣơng 1: Khái quát Chƣơng nêu tổng quan biểu cảm khuôn mặt ngƣời, vấn đề biểu diễn biểu cảm khn mặt 3D tốn trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D số chi tiết liên quan nhƣ việc triển khai thực tế toán liên quan Chƣơng 2: Trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D Đây chƣơng nội dung luận văn Nó tập trung trình bày giải pháp cho vấn đề bên tốn, cụ thể vấn đề phát khn mặt ảnh trích rút, ghi nhận đặc trƣng thể cử chỉ, trạng thái biểu cảm mặt ngƣời ảnh Chƣơng 3: Thử nghiệm Kế thừa nghiên cứu đƣợc trình bày chƣơng 2, chƣơng trình bày chƣơng trình thử nghiệm nhằm thể cho kết đƣợc trình bày, tổng hợp luận văn CHƯƠNG 1: KHÁI QUÁT 1.1 Khái quát biểu cảm khuôn mặt 1.1.1 Khái niệm biểu cảm khuôn mặt Theo cách hiểu thơng thƣờng, biểu cảm khn mặt hình dung thể bên tƣơng ứng với trạng thái hệ nét mặt nằm dƣới vùng da mặt Đây khái niệm gần gũi với ngƣời sống hàng ngày ngƣời sinh hoạt, lao động, giao tiếp cần phải biểu lộ thơng tin mà muốn truyền đạt chí phản xạ, mà đó, biểu cảm khuôn mặt gắn liền với việc biểu lộ thông tin qua khuôn mặt cách thức phổ dụng ngƣời Các nhà tâm lý học nhìn nhận biểu cảm khn mặt dựa trạng thái tâm lý ngƣời Có thể hình dung, nói đến tâm trạng hay trạng thái tâm lý nói đến dạng cảm xúc có cƣờng độ định, tồn khoảng thời gian tƣơng đối Những trạng thái tâm lý có tác động mạnh vào định ngƣời nhƣ thao tác, hành vi, hoạt động Theo hƣớng này, trạng thái biểu cảm đƣợc hiểu cách thức ngƣời thể cảm xúc, dự đoán hay chia sẻ tình cảm Hình 1.1 Mơ tả dạng ma trận loại cảm xúc theo chiều: cường độ cao hay thấp(I) đánh giá tích cực hay tiêu cực(E) Shaver Có nhiều cách nhìn nhận việc phân chia trạng thái biểu cảm., chẳng hạn nhƣ chia thành mức chính: mức cao, mức trung mức thấp Trong mức cao thể khác biệt rõ rệt hài lòng khơng hài lòng Mức chung thể cảm giác nhƣ tức giận, khiếp sợ, vui mừng ngạc nhiên Mức thấp thể khác biệt nhỏ nhƣ với trạng thái tức giận ta có mức độ khác Bên cạnh đó, cách phân chia trạng thái biểu cảm khác theo tâm trạng negative (buồn), negative hay positive (ngạc nhiên) positive (vui) Chẳng hạn nhƣ nghiên cứu Shaver đồng nghiệp [11] việc phân tích liên quan đến trạng thái yêu (Love), vui mừng (Joy), Ngạc nhiên (Surprise), tức giận (Anger), buồn (Sadness) sợ hãi (Fear) Gần đây, Matsumoto [7] đồng nghiệp sử dụng cách phân chia trạng thái cảm xúc khuôn mặt chia thành nhóm thể Hình 1.2.7 trạng thái cảm xúc khuôn mặt nghiên cứu Matsumoto Hệ mặt đóng vai trò quan trọng việc tạo biểu cảm mặt, khuôn mặt trạng thái khác với trạng thái biểu cảm khác Hình 1.3 Hệ mặt Nói chung, trƣớc có phát triển lĩnh vực công nghệ thông tin, đặc biệt lĩnh vực thị giác máy, việc phân tích biểu cảm khuôn mặt vấn đề nhà nghiên cứu tâm lý bác sĩ Tuy nhiên sau có thay đổi xuất nhiều nhóm nghiên cứu, nhiều cơng ty đầu tƣ vào vấn đề phân tích biểu cảm khuôn mặt phƣơng diện xử lý ảnh đồ họa máy tính Có thể kể đến vài kết khởi đầu nhƣ: vào năm 1978, Suwa cộng [13] trình bày khảo sát sơ việc phân tích biểu cảm khn mặt tự động từ chuỗi hình ảnh; vào năm 90, vấn đề nghiên cứu biểu cảm khuôn mặt tự động đạt đƣợc nhiều quan tâm với tiên phong Mase Pentland [5], cơng trình tác giả trình bày phƣơng pháp sử dụng luồng quang học để ƣớc lƣợng cử động mặt dựa vào để nhận dạng số biểu cảm đặc trƣng, theo thí nghiệm ban đầu cho thấy độ xác khoảng 80% nhận bốn loại: hạnh phúc, giận dữ, ghê tởm, ngạc nhiên Nghiên cứu biểu cảm khuôn mặt lĩnh vực công nghệ thông tin đƣợc quan tâm đến hứa hẹn nhiều ứng dụng sống, chẳng hạn:  Các hệ thống xác thực sinh trắc học thời gian thực cho phép ngƣời dùng đăng nhập cách nhìn vào ống kính camera  Các hệ thống kiểm sốt vào có lƣu vết thời gian  Các ứng dụng nhận dạng đối tƣợng không cần ghi danh trƣớc  Hệ thống giám sát video nhận dạng khuôn mặt tự động 10 TÀI LIỆU THAM KHẢO Tiếng Anh Chai, Douglas, and King N Ngan (1999), “Face segmentation using skincolor map in videophone applications”, Circuits and Systems for Video Technology, IEEE Transactions on, Vol 9, No 4, pp 551-564 Cyganek, Boguslaw, and J Paul Siebert (2011), An introduction to 3D computer vision techniques and algorithms John Wiley & Sons Tran Le Hong Du, Duong Anh Duc, Duong Nguyen Vu (2006), “Ridge and valley based face detection”, Research, Innovation and Vision for the Future, 2006 International Conference on, IEEE, pp 237-243 Jing Xiao, Simon Baker, Iain Matthews, and Takeo Kanade (2004), “Realtime combined 2D+ 3D active appearance models”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition), pp 535-542 K Mase, A Pentland (1991), “Recognition of facial expression from optical flow”, IEICE TRANSACTIONS on Information and Systems, Vol E74-D, No10, pp.3474-3483 Markuš, M Frljak, IS Pandzic, J Ahlberg, and R Forchheimer (2014), “A Method for Object Detection Based on Pixel Intensity Comparisons Organized in Decision Trees”, arXiv preprint arXiv:1305.4537 Matsumoto, David, and Hyi Sung Hwang (2011), "Reading facial expressions of emotion", Psychological Science Agenda , Vol 25, No5, pp 10-18 Pandzic, Forchheimer (2002), MPEG-4 facial animation: The standard, implementation and applications, John Wiley & Sons, Chichester, England S.Baker and I.Matthews (2001), “Equivalence and efficiency of image alignment algorithms”, Computer Vision and Pattern Recognition, Proceedings of the 2001 IEEE Computer Society Conference on , Vol 1, pp 1090-1097 10 Savran, Arman, Levent M Arslan, and Lale Akarun (2004), “Speech Driven MPEG-4 facial animation for Turkish”, 9th Conference Speech and Computer, pp 57-64 11 Shaver, Phillip, et al (1987), “Emotion knowledge: further exploration of a prototype approach”, Journal of personality and social psychology, Vol 52, No 6, pp 1061-1086 11 12 Sobottka, Karin, and Ioannis Pitas (1998), “A novel method for automatic face segmentation, facial feature extraction and tracking”, Signal processing: Image communication, Vol 12, No 3, pp 263-281 13 Suwa, Sugie, Fujimora (1978), A preliminary note on pattern recognition of human emotional expression In International joint conference on pattern recognition, pp 408-410 14 T F Cootes, G J Edwards, and C J Taylor (2001), “Active appearance models”, IEEE Transactions on pattern analysis and machine intelligence, Vol 23, No 6, pp 681-685 15 Y Tian, T Kanade, J Cohn (2001), “Recognizing action units for facial expression analysis”, Pattern Analysis and Machine Intelligence, IEEE Transactions on, Vol 23, No 2, pp 97-115 16 Paul Viola, Michael Jones (2001), “Rapid object detection using a boosted cascade of simple features”, Computer Vision and Pattern Recognition, Proceedings of the 2001 IEEE Computer Society Conference on, Vol 1, pp 511-518 12 ... lựa chọn đề tài Trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D nhằm mô tả vấn đề giải pháp tƣơng ứng tốn trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D Đây vấn đề có... diễn biểu cảm khuôn mặt 3D tốn trích rút đặc trƣng phục vụ biểu diễn biểu cảm khuôn mặt 3D số chi tiết liên quan nhƣ việc triển khai thực tế tốn liên quan Chƣơng 2: Trích rút đặc trƣng phục vụ. .. quan Error! Bookmark not defined CHƢƠNG 2: TRÍCH RÚT ĐẶC TRƢNG PHỤC VỤ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 3D Error! Bookmark not defined 2.1 Phát khuôn mặt ảnh Error! Bookmark not defined 2.1.1