1. Trang chủ
  2. » Giáo Dục - Đào Tạo

(TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d

72 1 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Nội dung

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NHA TRANG KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC BẮT CỬ ĐỘNG KHUÔN MẶT QUA VIDEO VÀ ÁP LÊN MƠ HÌNH 3D Giảng viên hướng dẫn: NGUYỄN ĐÌNH CƯỜNG Sinh viên thực hiện: NGUYỄN HỒI NAM Lớp: 51TH-2 MSSV: 51130953 Tháng 6/2013 LỜI MỞ ĐẦU Nền công nghiệp giải trí ngày phát triển, đặc biệt lĩnh vực điện ảnh game, địi hỏi cơng nghệ đồ họa phải phát triển tương ứng để đáp ứng nhu cầu ngày cao người sử dụng Ta kiểm chứng sức mạnh cơng nghệ đồ họa qua hình ảnh chân thực phim bom năm gần Và điều tác động đến thị giác người xem khả diễn hoạt cử động uyển chuyển mơ hình nhân vật 3D phim Để làm chuyển động vậy, cơng nghệ hỗ trợ cho việc xử lí chuyển động đời, cơng nghệ MoCap (Motion Capture – bắt giữ chuyển động) Qua việc thu nhận chuyển động điểm đánh dấu cảm biến gắn người diễn viên, công nghệ MoCap giúp nhà làm phim tái chuyển động thật đến đáng kinh ngạc lên mô hình nhân vật sản phẩm Với lịch sử phát triển lâu đời, công nghệ MoCap ngày hoàn thiện để phục vụ cho nhiều mục đích khác ngồi phim ảnh Tuy nhiên, trở ngại tiếp xúc với công nghệ chi phí thực đắt đỏ cho thiết bị chuyên dụng xây dựng môi trường thực kĩ thuật Đặc biệt, việc MoCap khn mặt phức tạp điểm đánh dấu nhiều Với mong muốn cung cấp giải pháp hiệu tiết kiệm chi phí cho tổ chức vừa nhỏ, em xin thực phương pháp MoCap khuôn mặt không cần sử dụng cảm biến thiết bị chuyên dụng đắt tiền Với phương pháp này, tất ta cần webcam thông dụng đủ để thực MoCap Ý tưởng phương pháp bắt điểm đánh dấu khuôn mặt cách tự động kết hợp hai thuật toán: thuật tốn phát khn mặt Viola-Jones thuật tốn chiết xuất điểm đặc trưng ASM (Active Shape Model) Vì thời gian thực có hạn, khó khăn phát sinh trình thực hiện, nên đồ án khơng tránh khỏi thiếu sót Kính mong thầy góp ý sửa chữa để đồ án ngày hoàn thiện Chân thành cảm ơn giáo viên hướng dẫn thầy Nguyễn Đình Cường, thầy Lê Hồng Thanh, Trần Minh Văn, thầy khác khoa CNTT nhà trường tạo điều kiện giúp đỡ em trình thực đồ án MỤC LỤC Mở đầu CHƯƠNG TỔNG QUAN VỀ CÔNG NGHỆ MOCAP 1.1 Lịch Sử Ra Đời Của Công Nghệ MoCap 1.2 Các Kĩ Thuật MoCap 12 1.3 Đánh Giá 15 1.4 Định Hướng Đề Tài 16 Chương CƠ SỞ LÍ THUYẾT CỦA PHƯƠNG PHÁP MOCAP SỬ DỤNG HỆ THỐNG QUANG HỌC KHÔNG ĐÁNH DẤU 18 2.1 Thuật Tốn Phát Hiện Khn Mặt Viola-Jones 18 2.1.1 Đặc trưng Haar-Like 19 2.1.2 Máy phân lớp Adaboost 20 2.1.2 Hoạt động thuật toán Viola-Jones 21 2.2 Thuật Toán Chiết Xuất Các Điểm Đặc Trưng ASM 21 2.2.1 Một số điều cần biết 22 2.2.2 Sơ lược ASM 23 2.1.2 Profile model shape model 24 Chương KINH NGHIỆM THỰC HIỆN TRONG QUÁ TRÌNH TRIỂN KHAI PHƯƠNG PHÁP 29 3.1 Quá Trình Thực Hiện Viola-Jones 29 3.1.1 Huấn luyện 29 3.1.2 Sử dụng Viola-Jones OpenCV 37 3.2 Quá Trình Thực Hiện ASM 39 3.2.1 Vài điều cần chuẩn bị trước huấn luyện 39 3.2.2 Huấn luyện 46 3.2.2 Tìm điểm đặc trưng khuôn mặt ảnh 48 3.2.2 Xử lí liệu chuyển động áp lên mơ hình 3D 53 Chương ĐÁNH GIÁ PHƯƠNG PHÁP VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI 55 4.1 Đánh Giá Thuật Toán Viola-Jones 55 4.2 Đánh Giá Thuật Toán ASM 57 4.3 Đánh Giá Chung Về Phương Pháp MoCap Và Phương Hướng Phát Triển Trong Tương Lai 59 PHỤ LỤC 62 Phụ Lục A: Tìm Các Tham Số Của Phép Align 62 Phụ Lục B: Tạo Dữ Liệu Huấn Luyện Bằng Tay 63 TÀI LIỆU THAM KHẢO 66 DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH Bảng 2.1: Thuật toán align shape 23 Bảng 2.2: Thuật toán tạo thành shape kiểm thử 26 Bảng 4.1: Kết đánh giá thuật toán Viola-Jones 56 Bảng 4.2: Kết đánh giá thuật toán ASM 59 Hình 1.1: Animal locomotion Hình 1.2: Zoopraxiscope Hình 1.3: Chuyển động bắt máy quay tốc độ cao Stroboscope Hình 1.4: Thiết bị rotoscope cổ điển 10 Hình 1.5: Thực kĩ thuật rotoscoping 10 Hình 1.6: Chiếc mũ bắt cử động Mike the talking head 11 Hình 1.7: Dozo 11 Hình 1.8: Alive! System 12 Hình 1.9: MoCap phim “Avatar” 12 Hình 1.10: Đánh dấu điểm sáng màu lên thể diễn viên 13 Hình 1.11: Đánh dấu đèn LED 13 Hình 1.12: Các cảm biến từ 14 Hình 1.13: Bắt chuyển động cảm biến âm dùng cho máy chơi game gia đình 14 Hình 1.14: Bộ xương học 15 Hình 1.15: Sợi quang dành cho việc bắt cử động bàn tay 15 Hình 2.1: Q trình MoCap khn mặt 18 Hình 2.2: Đặc trưng Haar-Like 19 Hình 2.3: 19 Hình 2.4: 19 Hình 2.5: Bộ phân lớp AdaBoost 20 Hình 2.6: Ngun lí hoạt động thuật toán Viola-Jones 21 Hình 2.7: Các điểm landmark 22 Hình 2.8: Bên trái: Một shape với điểm Giữa: Shape biểu diễn với mảng Bên phải: Shape biểu diễn dạng vector 22 Hình 2.9: Align hình chữ nhật có kích thước khác 22 Hình 2.10: Đánh dấu điểm landmark tập huấn luyện 23 Hình 2.11: Whisker thể đường thẳng màu trắng 25 Hình 2.12: Màu vàng cạnh khuôn mặt Màu trắng whisker 25 Hình 2.13: Bên trái: shape kiểm thử Bên phải: shape sinh từ shape model dựa shape kiểm thử cho kết tốt 28 Hình 3.1: 29 Hình 3.2: Positive Image 30 Hình 3.3: Negative Image 30 Hình 3.4: Thơng tin vùng ảnh bắt 31 Hình 3.5: File info.txt 31 Hình 3.6: Quá trình huấn luyện ảnh 32 Hình 3.7: Các đặc trưng Haar-Like sử dụng 34 Hình 3.8: Result window 39 Hình 3.9: AR landmark 40 Hình 3.10: XM2VTS landmark 41 Hình 3.11: BioID landmark 41 Hình 3.12: Tạo file mô tả 43 Hình 3.13: File mô tả 43 Hình 3.14: Cạnh khuôn mặt thể đường thẳng màu đen.Whisker đường thẳng màu vàng.Các điểm landmark điểm màu đỏ 44 Hình 3.15: Bên trái: cách vẽ whisker Bên phải: cách vẽ whisker sai 44 Hình 3.16: H1 Vẽ đoạn thẳng vng góc với cạnh kề H2 Vẽ đoạn thằng qua landmark trọng tâm shape H3 Vẽ đoạn thẳng qua landmark trung điểm landmark kề bên 45 Hình 3.17: Đường thẳng vẽ phương trình tổng quát hình 46 Hình 3.18: Đường thẳng vẽ thuật toán đồ họa 46 Hình 3.19: Ma trận hiệp phương sai tất điểm landmark 48 Hình 3.20: Shape khởi tạo tệ dẫn đến kết lỗi 48 Hình 3.21: Khn mặt tổng thể 49 Hình 3.22: Xác định hình chữ nhật bao quanh shape trung bình 49 Hình 3.23: Align hình chữ nhật bao quanh shape trung bình lên khn mặt tổng thể 50 Hình 3.24: Màu đỏ khn mặt khởi tạo Màu xanh dương hình chữ nhật bao quanh khn mặt trung bình Màu vàng khn mặt trung bình 50 Hình 3.25: Chỉnh lại phép align 51 Hình 3.27: Xử lí file c3d với Autodesk Motion Builder 54 Hình 4.1: 56 Hình 4.2: Kết bị sai lệch với khn mặt đeo kính nghiêng 57 Hình 4.3: ‘s’ khoảng cách trọng tâm ‘d’ khoảng cách điểm tương ứng 58 Hình 4.4: Thuật tốn ASM khơng ổn định với nhiều kiểu khn mặt khác 59 Hình 4.5: Triển khai kĩ thuật MoCap không đánh dấu 61 Hình B.1: 63 Hình B.2: 63 Hình B.3: 64 Hình B.4: 64 Hình B.5: 64 Hình B.6: 55 KÍ HIỆU CÁC CỤM TỪ VIẾT TẮT Từ viết tắt ASM MoCap 2D 3D Giải thích Active Shape Model Motion Capture – Bắt giữ chuyển động dimension – chiều dimension – chiều CHƯƠNG 1: TỔNG QUAN VỀ CÔNG NGHỆ MOCAP MoCap (Motion Capture – bắt giữ chuyển động) kĩ thuật thu lại chuyển động thật đối tượng sử dụng lĩnh vực điện ảnh, quân đội, giải trí, thể thao, y tế, robot thị giác máy tính (computer vision) Phần xin phép giới thiệu cách tổng quát công nghệ MoCap lĩnh vực sử dụng nhiều điện ảnh MoCap kĩ thuật bắt chuyển động diễn viên, sau biểu diễn hoạt họa lại chuyển động lên diễn viên số dựng máy tính mơ hình 2D 3D Ý tưởng kĩ thuật MoCap thu lại chuyển động hay nhiều diễn viên cách lấy mẫu chuyển động nhiều lần giây Các kĩ thuật sơ khai sử dụng hình ảnh từ nhiều webcam chuyển thành liệu 3D Kĩ thuật MoCap đơn bắt lại chuyển động đối tượng mà không quan tâm tới bề ngồi đối tượng [21][23] 1.1 Lịch Sử Ra Đời Của Công Nghệ MoCap: Ta thấy rằng, MoCap kĩ thuật ứng dụng phim game bom lĩnh vực liên quan nhằm mang đến cho người trải nghiệm thị giác chân thực Và thật khó tin rằng, kĩ thuật manh nha từ sớm, trước máy tính điện tử đời Cùng điểm qua mốc thời gian bật trình hình thành phát triển MoCap: - Năm 1830, điện ảnh giới thống trị thước phim trắng đen, Eadweard Muybridge cho đời đoạn phim MoCap Ông sử dụng máy quay cổ điển để thu lại chuyển động loại động vật (animal locomotion) ghi chúng loại đĩa đặc biêt để phát lại với thiết bị gọi Zoopraxiscope Một vài năm sau đó, thước phim MoCap trình chiếu Zoopraxiscope đời Các kĩ thuật tương tự phát triển sau ứng dụng phim hoạt hình tiếng “nàng bạch tuyết bảy lùn” Walt Disney Trong phim, kĩ thuật sử dụng để thể bước chân nàng Bạch Tuyết [22][24][25] Hình 1.1 Animal locomotion [24] Hình 1.2 Zoopraxiscope [25] - Năm 1903, Harold Edgerton sử dụng máy quay tốc độ cao Stroboscope để bắt chuyển động đối tượng Nhờ sử dụng Stroboscope mà thước phim ông cho chất lượng tốt nhiều [21][22] Hình 1.3 Chuyển động bắt máy quay tốc độ cao Stroboscope [23] File có cấu trúc: - Chạy chương trình phát khn mặt, ghi kết file với dạng Sau so khớp kết với kết thực tay trước - Việc so khớp thực sau: Hình 4.1 Hình chữ nhật viền đậm hình chữ nhật có chứa khn mặt vẽ tay Hình chữ nhật viền mảnh hình chữ nhật kết chương trình vẽ Ta tính vùng giao A hình chữ nhật Sau tính tổng vùng khơng giao hai hình B + C lấy tỉ lệ A/(B+C) Tỉ lệ lớn chứng tỏ kết chương trình xác Các trạng thái kết phát khuôn mặt dựa tỉ lệ sau: Nếu tỉ lệ < kết chương trình false face Nếu tỉ lệ >= kết chương trình correct face Miss face xác định độ chệnh lệch số lượng khuôn mặt phát chương trình với số lượng khn mặt xác định tay trước - Việc đánh giá thực với cấu hình intel core i3 3.07 GHz, 4GB RAM, 1GB Graphic Card Sử dụngVisual Studio 2010 C++, OpenCV 2.4.2 Kết việc test liệu ghi lại bảng sau: Bảng 4.1 Kết đánh giá thuật toán Viola-Jones Database AT&T Bao JAFFE 56 Ta thấy thuật tốn hoạt động ổn định liệu khác Tuy nhiên, trình test, trạng thái miss face xuất tập trung khn mặt nghiêng đeo kính Dễ thấy rằng, huấn luyện ta sử dụng huấn luyện chủ yếu với ảnh khn mặt diện khơng đeo kính nên ảnh hưởng tới độ xác làm việc với khn mặt loại Để khắc phục tình trạng trên, ta tăng số ảnh huấn luyện việc thêm vào ảnh khn mặt nghiêng đeo kính Hình 4.2 Kết bị sai lệch với khn mặt đeo kính nghiêng 4.1 Đánh Giá Thuật Toán ASM: Database: - BioID: databse HumanScan AG, Switzerland gồm 100 ảnh trắng đen chứa khn mặt người chụp diện Đối tượng lấy mẫu nam, nữ người Châu Âu, độ tuổi trung niên, có người đeo kính Ảnh chụp trạng thái biểu cảm khác đối tượng môi trường sáng khác chất lượng ảnh khác với phông biến đổi - JAFE: database Psychology Department Kyushu University gồm 100 ảnh trắng đen chứa khn mặt diện người chụp Đối tượng lấy mẫu phụ nữ châu Á, độ tuổi trung niên, khơng có người đeo kính Ảnh chụp trạng thái biêu cảm khác đối tượng môi trường sáng khác nhau, với chất lượng ảnh ổn định phông tĩnh Đại lượng đánh giá Me17: 57 Hình 4.3 ‘s’ khoảng cách trọng tâm ‘d’ khoảng cách điểm tương ứng Là đại lượng dùng để đánh giá kết thực nghiệm Me17 gọi “độ đo sai lệch” (error measurement) kết chương trình Nói cách khác, me17 phản ánh mức độ sai sót kết chương trình xuất so với liệu kiểm tra xây dựng từ trước Me17 nhỏ, kết có sai sót, chương trình xác [19] Me17 tính sau [19]: - Tính trung bình khoảng cách Euclid 17 điểm search_point (thuộc shape chương trình xuất ra) với ref_point (thuộc shape người thí nghiệm đánh dấu tay) - Chia kết thu với khoảng cách Euclid mắt (2 điểm điểm đánh dấu tay) Ta tiến hành xây dựng bảng đánh giá cho thuật toán ASM với tham số: - Missing: số lượng ảnh không phát khuôn mặt - Min_me17: giá trị me17 nhỏ tập ảnh kiểm tra - Max_me17: giá trị me17 lớn tập ảnh kiểm tra - Mean_me17: giá trị me17 trung bình tập ảnh kiểm tra Giá trị tính tổng giá trị me17 ảnh tập kiểm tra chia cho tổng số lượng ảnh trừ số lượng Missing 58 Bảng 4.2 Kết đánh giá thuật toán ASM Database BioID Total: 100 JAFE Total: 100 Ta nhận thấy, số ảnh missing tập trung vào ảnh đeo kính kết ASM phụ thuộc hoàn toàn vào kết thuật tốn phát khn mặt Viola-Jones Kết thuật toán ASM phụ thuộc vào mơi trường bên ngồi nhiều Với ánh sáng khơng ổn định, kết dễ bị sai lệch thay đổi cường độ mức xám ảnh Điều làm cho điểm đánh dấu khuôn mặt không thực ổn định Kết không đồng với loại hình dạng khn mặt khác nhau, đặc biệt khuôn mặt vuông sai lệch nhiều với khuôn mặt nghiêng Để khắc phục điều này, ta tăng cường số lượng ảnh huấn luyện để thuật toán làm việc tốt với nhiều hình dạng khn mặt Trong q trình thực hiện, cần bố trí camera cố định trước khn mặt mơi trường ánh sáng ổn định để đạt kết tốt Hình 4.4 Thuật tốn ASM khơng ổn định với nhiều kiểu khuôn mặt khác 4.2 Đánh Giá Chung Về Phương Pháp MoCap Và Phương Hướng Phát Triển Trong Tương Lai : 4.2.1 Kết đạt được: a Thành tựu: Về kiến thức tổng quát kĩ thuật MoCap, luận văn thể am hiểu phương pháp MoCap, bao gồm định nghĩa, lịch sử hình thành phát triển, ngun lí hoạt động liệt kê phương pháp MoCap dùng phổ biến Về phương pháp MoCap thực đồ án, luận văn nêu nguyên lí hoạt động phương pháp hai thuật tốn chủ đạo sử dụng thuật toán phát khn mặt Viola-Jones thuật tốn phát điểm đặc trưng ASM Với thuật toán Viola-Jones, luận văn nêu cách thức phát khuôn mặt 59 dựa đặc trưng Haar-Like kết hợp với máy phân lớp AdaBoost Đồng thời thực thành cơng cài đặt thuật tốn Viola-Jones tích hợp sẵn thư viện OpenCV Với thuật toán ASM, luận văn nêu ý tưởng thuật toán dựa kết hợp model profile model shape model Việc cài đặt thuật tốn thực thành cơng dựa sở lí thuyết tìm hiểu Luận văn đánh giá hiệu suất thực hai thuật toán, nêu điểm mạnh, yếu chúng phương án khắc phục Trong nội dung trình bày trình thực hiện, luận văn chia sẻ kinh nghiệm, khó khăn hướng giải thực phương pháp b Khó khăn: Điểm mấu chốt phương pháp MoCap khả xử lí điểm đánh dấu Tuy nhiên, hạn chế kiến thức kĩ thuật lập trình, nên hiệu suất phương pháp không mong đợi Các điểm đánh dấu thu bất ổn định khả bắt cử động không cao Phương pháp phụ thuộc nhiều vào tác động mơi trường bên ngồi Khâu áp chuyển động lên mơ hình 3D chưa thực khó khăn việc tiếp cận cấu trúc file c3d 4.2.2 Hướng phát triển tương lai: Với ưu khuyết điểm trên, mục tiêu đồ án tương lai cải tiến thuật toán để việc bắt điểm đánh dấu trở nên ổn định xác Đồng thời, hướng đến việc thực online, tức bắt cử động biểu chuyển động 3D lúc xử lí thời gian thực Ngồi việc bắt khn mặt, ta cịn mở rộng cho việc thực toàn thể người phận cánh tay Ta thấy, sức hấp dẫn phương pháp MoCap sử dụng hệ thống quang học không đánh dấu (Optical Markless) lớn Loại bỏ điểm đánh dấu rắc rối; khơng cần phải có thiết bị q chun dụng đắt tiền mang lại hiệu cao Đây giải pháp cho đơn vị cá nhân nhỏ lẻ muốn ứng dụng MoCap vào sản phẩm Vì thời gian thực có hạn khó khăn gặp phải q trình thực nên kết đồ án không ý Tuy vậy, đồ án đúc kết nhiều kinh nghiệm kết quý báu trình thực để việc phát triển phương pháp sau trở nên tốt 60 Hình 4.5 Triển khai kĩ thuật MoCap không đánh dấu 61 PHỤ LỤC A TÌM CÁC THAM SỐ CỦA PHÉP ALIGN: Về việc tìm tham số phép biến đổi, ta làm sau: Cho shape x x’, nhiệm vụ ta thực phép align lên x x’ Tịnh tiến x gốc tọa độ Đặt: Với xi: giá trị tọa độ X shape x yi: giá trị tọa độ Y shape x x’i: giá trị tọa độ X shape x’ y’i: giá trị tọa độ Y shape x’ Phép biến đổi tương tự viết lại sau: Vì x nằm gốc tọa độ nên: Ta được: Suy được: Thế a, b, tx, ty vào công thức [], s, Φ, tx, ty vào công thức [] ta phép biến đổi tương tự cho điểm landmark Làm tương tự với toàn điểm landmark, ta phép align x lên x’ 62 B TẠO DỮ LIỆU HUẤN LUYỆN BẰNG TAY: Phần phụ lục giúp sử dụng công cụ tạo huấn luyện từ file ảnh sẵn có Ta làm bước sau: - Đầu tiên, mở project TestingDescrible Hình B.1 - Ấn nút Open, chọn toàn ảnh thư mục chứa ảnh: Hình B.2 63 Hình B.3 - Sau đó, ta chọn điểm đánh dấu cần huấn luyện cách nhấp chuột trực tiếp lên ảnh nhập tọa độ vào textbox X Y ấn bút MARK Lưu ý rằng, thứ tự ấn điểm đánh dấu quan trọng Nếu làm sai, ta ấn nút CLEAR để làm lại từ đầu Hình B.4 - Sau hoàn thành việc đánh dấu cho ảnh, ta ấn nút >> để chuyển sang ảnh Hình B.5 64 - Làm tương tự hết tồn ảnh cần huấn luyện Thơng tin điểm đánh dấu dành cho việc huấn luyện lưu thư mục pos Hình B.6 65 TÀI LIỆU THAM KHẢO [1] Paul Viola, Michael Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, 2001 [2] Florian Adolf, How-to build a cascade of boosted classifiers based on Haarlike features, 2003 [3] Ana Huamán, Bernát Gábor, Vsevolod Glumov, Artem Myagkov, Eduard Feicho, The OpenCV Tutorials Release 2.4.3, 2012 [4] Rhondasw, FAQ: OpenCV Haar Training, 2009, http://www.computervision-software.com/blog/2009/11/faq-opencv-haartraining/ [5] Naotoshi Seo, Tutorial: OpenCV haartraining (Rapid Object Detection With A Cascade of Boosted Classifiers Based on Haar-like Features) , http://note.sonots.com/SciSoftware/haartraining.html [6] @mit, How to make your own haar trained ".xml" files, 2011, http://nayakamitarup.blogspot.com/2011/07/how-to-make-your-own-haar-trainedxml.html [7] Object Detection, 2009, http://opencv.willowgarage.com/documentation/object_detection.html [8] Rapid Object Detection With A Cascade of Boosted Classifiers Based on Haar-like Features, ~opencv/doc/haartraining.htm http://note.sonots.com/SciSoftware/haartraining/document.html [9] Jianguo Li, Tao Wang, Yimin Zhang, Face Detection using SURF Cascade, Intel Labs China, 2011, https://sites.google.com/site/leeplus/publications/facedetectionusingsurfcascade [10] Face Detection Techniques, http://www.facedetection.com/facedetection/techniques.htm [11] Face Detection Wikipedia, http://en.wikipedia.org/wiki/Face_detection [12] Sang Tat Man, Image-Base Face Detection System, Oxford University [13] Viola–Jones object detection framework Wikipedia, http://en.wikipedia.org/wiki/Viola-Jones_object_detection_framework [14] Bioz, Adaboost - Haar Features - Face detection, http://www.ieev.org/2010/03/adaboost-haar-features-face-detection.html [15] Bao Dataset, http://www.facedetection.com/facedetection/datasets.htm [16] AT&T Dataset, http://www.facedetection.com/facedetection/datasets.htm [17] Phát mặt người dựa đặc trưng Haar-like, Ihttp://www.comvisap.com/2012/01/phat-hien-mat-nguoi-dua-tren-cac-ac.html [18] Abraham Ranardo Sumarsono, Iping Supriana Suwardi, Facial Expression Control of 3-Dimensional Face Model Using Facial Feature Extraction, Informatics Department, Bandung Institute of Technology, 2011 [19] Stephen Milborrow, Locating Facial Features with Active Shape Models, Faculty of Engineering, University of Cape Town, 2007 [20] T.F Cootes, C.J.Taylor, Statistical Models of Appearance for Computer Vision, Imaging Science and Biomedical Engineering, University of Manchester,2004 [21] Jehee Lee, Motion Capture, Seoul National University 66 [22] David J Sturman, A Brief History of Motion Capture for Computer Character Animation, MEDIALAB, 1999, http://www.siggraph.org/education/materials/HyperGraph/animation/character_ani mation/motion_capture/history1.htm [23] Motion Capture Wikipedia, https://en.wikipedia.org/wiki/Motion_capture [24] Animal Locomotion Wikipedia, [25] [26] [27] [28] Zoopraxiscope Wikipedia, http://en.wikipedia.org/wiki/Zoopraxiscope Rotoscoping Wikiedia, en.wikipedia.org/wiki/Rotoscoping Datasets, http://www.facedetection.com/facedetection/datasets.htm Group Motion Lab System, The C3D File Format User Manual, 2002 67 ... biệt bắt cử động nhỏ khuôn mặt, ứng dụng có chức áp cử động lên khn 10 mặt 3D làm “nói chuyện” Đây thực bước tiến lúc Ứng dụng giúp cho nhà làm phim hoạt hình thể cử động chân thực khuôn mặt nhân... mềm xử lí chuyển động để áp lên mơ hình 3D Cuối cùng, ta mơ hình khn mặt 3D với chuyển động giống chuyển động khuôn mặt video Vì cơng việc bắt chuyển động thực online thơng qua webcam, nên ta... chuyển động lên mơ hình 3D Ý tưởng phương pháp sử dụng webcam thu lại khn mặt người Sau đó, sử dụng thuật toán để chiết xuất điểm mốc đánh dấu khuôn mặt Thu lại chuyển động khn mặt áp lên mơ hình 3D

Ngày đăng: 06/12/2022, 06:24

HÌNH ẢNH LIÊN QUAN

Hình 1.9 MoCap trong phim “Avatar” - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 1.9 MoCap trong phim “Avatar” (Trang 13)
Hình 1.10 Đánh dấu các điểm sáng màu lên cơ thể diễn viên [22] - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 1.10 Đánh dấu các điểm sáng màu lên cơ thể diễn viên [22] (Trang 14)
Hình 1.13 Bắt chuyển động bằng cảm biến âm dùng cho máy chơi game gia đình [22] - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 1.13 Bắt chuyển động bằng cảm biến âm dùng cho máy chơi game gia đình [22] (Trang 15)
Hình 1.15 Sợi quang dành cho việc bắt cử động của bàn tay [22] - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 1.15 Sợi quang dành cho việc bắt cử động của bàn tay [22] (Trang 16)
Hình 1.14 Bộ xương cơ học [22] - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 1.14 Bộ xương cơ học [22] (Trang 16)
Để bắt giữ chuyển động khuôn mặt, hai tác giả thực hiện theo mơ hình sau: - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
b ắt giữ chuyển động khuôn mặt, hai tác giả thực hiện theo mơ hình sau: (Trang 19)
Hình 2.5 Bộ phân lớp AdaBoost - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 2.5 Bộ phân lớp AdaBoost (Trang 21)
Bảng 2.2 Thuật toán tạo thành shape kiểm thử - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Bảng 2.2 Thuật toán tạo thành shape kiểm thử (Trang 27)
Hình 3.2 Positive Image - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.2 Positive Image (Trang 32)
Hình 3.6 Quá trình huấn luyện ảnh - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.6 Quá trình huấn luyện ảnh (Trang 34)
Hình 3.8 Result window - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.8 Result window (Trang 41)
Hình 3.10 XM2VTS landmark [19] - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.10 XM2VTS landmark [19] (Trang 43)
Hình 3.11 BioID landmark [19] - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.11 BioID landmark [19] (Trang 43)
Hình 3.12 Tạo file mơ tả - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.12 Tạo file mơ tả (Trang 45)
Hình 3.19 Ma trận hiệp phương sai của tất cả các điểm landmark - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.19 Ma trận hiệp phương sai của tất cả các điểm landmark (Trang 50)
Hình 3.21 Khn mặt tổng thể - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.21 Khn mặt tổng thể (Trang 51)
- Load khn mặt trung bình và lấy tọa độ của hình chữ nhật bao quanh khuôn mặt trung bình. - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
oad khn mặt trung bình và lấy tọa độ của hình chữ nhật bao quanh khuôn mặt trung bình (Trang 51)
Hình 3.24 Màu đỏ là khuôn mặt khởi tạo - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.24 Màu đỏ là khuôn mặt khởi tạo (Trang 52)
Hình 3.23 Align hình chữ nhật bao quanh shape trung bình lên khn mặt tổng thể - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.23 Align hình chữ nhật bao quanh shape trung bình lên khn mặt tổng thể (Trang 52)
Hình 3.25 Chỉnh lại phép align - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.25 Chỉnh lại phép align (Trang 53)
Hình 3.26 Result Window - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.26 Result Window (Trang 55)
Hình 3.27 Xử lí file c3d với Autodesk Motion Builder - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 3.27 Xử lí file c3d với Autodesk Motion Builder (Trang 56)
Hình 4.2 Kết quả bị sai lệch với khn mặt đeo kính và nghiêng - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 4.2 Kết quả bị sai lệch với khn mặt đeo kính và nghiêng (Trang 60)
Hình 4.4 Thuật tốn ASM khơng ổn định với nhiều kiểu khuôn mặt khác nhau - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 4.4 Thuật tốn ASM khơng ổn định với nhiều kiểu khuôn mặt khác nhau (Trang 62)
Hình 4.5 Triển khai kĩ thuật MoCap không đánh dấu - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
Hình 4.5 Triển khai kĩ thuật MoCap không đánh dấu (Trang 65)
Hình B.2 - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
nh B.2 (Trang 67)
Hình B.1 - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
nh B.1 (Trang 67)
Hình B.4 - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
nh B.4 (Trang 68)
Hình B.3 - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
nh B.3 (Trang 68)
Hình B.6 - (TIỂU LUẬN) bắt cử ĐỘNG KHUÔN mặt QUA VIDEO và áp lên mô HÌNH 3d
nh B.6 (Trang 69)

TÀI LIỆU CÙNG NGƯỜI DÙNG

  • Đang cập nhật ...

TÀI LIỆU LIÊN QUAN

w