Nghiên cứu một số kỹ thuật biểu diễn trạng thái khuôn mặt

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI TIẾN DŨNG NGHIÊN CỨU MỘT SỐ KỸ THUẬT BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT LUẬN VĂN THẠC SỸ: KHOA HỌC MÁY TÍNH Thái Nguyên - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI TIẾN DŨNG NGHIÊN CỨU MỘT SỐ KỸ THUẬT BIỂU DIỄN TRẠNG THÁI KHN MẶT CHUN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ CHUYÊN NGÀNH: 60 48 01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH HƯỚNG DẪN KHOA HỌC: PGS.TS ĐỖ NĂNG TỒN Thái Ngun - 2011 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lời cảm ơn Trước tiên xin gửi lời cảm ơn sâu sắc đến PGS TS Đỗ Năng Toàn, người thầy trực tiếp hướng dẫn suốt thời gian nghiên cứu phát triển luận văn Thầy ln nhiệt tình, tận tâm bảo cho kiến thức bổ ích, nhận xét quý giá kịp thời Thầy người trực tiếp giúp đỡ tơi tìm hiểu hồn thành đề tài, lĩnh vực mà nghiên cứu hoàn toàn lĩnh vực Xin cảm ơn trường Đại học Công Nghệ Thông Tin Truyền Thông, Viện Công Nghệ Thông Tin mang lại cho tơi điều kiện học tập tốt Có thể nói mơi trường học tập tốt cho tơi, giúp tơi nghiên cứu tìm hiểu nhiều tri thức có giá trị cho chun mơn cơng nghệ thơng tin kỹ khác Ở mơi trường đào tạo gặp người thầy tận tâm, có tác phong làm việc khoa học chuyện nghiệp, giúp học hỏi nhiều điều quý giá Đặc biệt xin cảm ơn anh chị Viên công nghệ thông tin hỗ trợ giúp đỡ để tơi hồn thành sản phẩm đề mơ Xin chân thành cảm ơn bạn lớp, đồng nghiệp đơn vị nơi công tác tạo điều kiện cho tơi hồn thành luận văn Xin gửi lời cảm ơn tới gia đình tơi động viên tơi suốt q trình học hồn thành luận văn Thanh Hóa, tháng 10 năm 2011 Mai Tiến Dũng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Lời cam đoan Dưới hướng dẫn PGS.TS Đỗ Năng Toàn, với tinh thần làm việc nghiêm túc, sau thời gian tìm hiểu, nghiên cứu, đề tài “Nghiên cứu số kỹ thuật biểu diễn trạng thái khn mặt” hồn thành kế hoạch đăng ký làm luận văn cao học Trong trình hồn thành luận văn, tơi tìm hiểu, nghiên cứu, tổng hợp nhiều nguồn tài liệu khác nhau, với đạo, giúp đỡ giáo viên hướng dẫn, kết đề tài sản phẩm lao động cá nhân Các nguồn tài liệu sử dụng trích dẫn rõ ràng, khoa học Tơi xin cam đoan điều hoàn toàn Thanh Hóa, tháng 10 năm 2011 Mai Tiến Dũng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC MỤC LỤC i DẠNH MỤC CÁC HÌNH ii MỞ ĐẦU .1 CHƢƠNG 1: KHÁI QUÁT VỀ THỰC TẠI ẢO VÀ KỸ THUẬT XÂY DỰNG MÔ PHỎNG KHUÔN MẶT NGƢỜI 1.1 Khái quát thực ảo .4 1.1.1 Thực ảo gì? .5 1.1.2 Các ứng dụng thực ảo .11 1.2 Biểu diễn khuôn mặt thực ảo 23 1.2.1 Mơ hình hóa khn mặt 23 1.2.2 Hoạt hóa khn mặt 29 CHƢƠNG 2: MỘT SỐ KỸ THUẬT BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT NGƢỜI 31 2.1 Các trạng thái khuôn mặt 31 2.2 Biểu diễn trạng thái khuôn mặt nhờ hàm biến đổi 33 2.3 Biểu diễn trạng thái khn mặt nhờ kỹ thuật hoạt hóa 43 CHƢƠNG 3: ỨNG DỤNG THỬ NGHIỆM 50 3.1 Bài toán 50 3.2 Phân tích tốn 51 3.3 Chƣơng trình biểu diễn trạng thái khuôn mặt 52 PHẦN KẾT LUẬN: TÓM TẮT KẾT QUẢ ĐẠT ĐƢỢC, HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 59 TÀI LIỆU THAM KHẢO 61 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii DẠNH MỤC CÁC HÌNH Hình 1.1 JWARS Mơ khơng gian chiến trƣờng thực - ảo 12 Hình 1.2 Một số phần cứng hệ thống thực ảo 14 Hinh 1.3 Mô không gian nội thất phần mềm autocad 16 Hình 1.4 Mơ gƣơng mặt bệnh nhân trƣớc sau phẫu thuật 17 Hình 1.5 Mơ hình cánh tay 18 Hình 1.6 Phịng học trực tuyến topica đƣợc thiết kể giới ảo 19 Hình 1.7 Phịng thí nghiệm vẽ 3D mặt phẳng chiều 20 Hình 1.8 Huấn luyện lính tăng hệ mơ 22 Hình 1.9 Mơ hình khu thị Mỹ Đình – Từ Liêm –Hà Nội 23 Hình 1.10 Găng tay cảm xúc 25 Hình 1.11 Mơ bảo tàng Chăm 26 Hình 1.12: Đắm chìm giới ảo game 3D 27 Hình 1.13 Phòng họp hội thảo từ xa, trực tuyến 28 Hình 1.14 Các cảm xúc thể hiên nét mặt 30 Hình 1.15 Mơ khn mặt 3D từ ảnh 2D 31 Hình 1.16 Mơ hình mặt theo CANDIDE GRETA 32 Hình 1.17 Tơ bóng theo Gaurund 33 Hình 1.18 Bề mặt B-spline 35 Hình 2.1 Trạng thái vui 37 Hình 2.2 Trạng thái buồn 37 Hình 2.3: Trạng thái căm gét 38 Hình 2.4 Trạng thái sợ 38 Hình 2.5 Trạng thái ngạc nhiên 39 Hình 2.6 Trạng thái giận 39 Hình 2.7 Phép nội suy tuyến tính thực giá trị kết hợp mặt 41 Hình 2.8 Các điểm đặc trƣng MPEG-4 45 Hình 2.9 Một số FAP 46 Hinh 2.10 Các đơn vị tham số hoạt ảnh khuôn mặt 47 Hình 2.11 Lƣợc đồ hoạt ảnh theo chuẩn MPEG-4 48 Hình 2.12 Mơ hình khn mặt morphing Blanz Vetter đƣa 50 Hình 2.13 Các mặt 51 Hình 2.14 Mơ hình da ba tầng đƣợc sử dụng Terzopoulos Waters 52 Hình 2.15 Một số đơn vị hành động 54 Hình 3.1 Khung hình khn mặt 3D ban đầu 60 Hình 3.2 Khung hình khn mặt nhìn nghiêng 61 Hình 3.3 Trạng thái mỉm cƣời khuôn mặt 62 Hình 3.4 Trạng thái ngạc nhiên khuôn mặt 63 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Thế giới luôn vận động phát triển, tất nhiên công nghệ thông tin trào lƣu Trong q trình vận động, ngành cơng nghệ thơng tin có bƣớc phát triển mang tính cách mạng, từ việc lập trình ngôn ngữ bậc thấp chuyển sang ngôn ngữ bậc cao thông minh, từ việc dùng hệ điều hành MS- Dos chuyển sang dùng hệ điều hành Windows cách mạng cơng nghệ thơng tin phát triển mơi trƣờng đồ họa máy tính Đồ họa máy tính có tính ứng dụng rộng rãi công nghệ thông tin nhƣ hỗ trợ thiết kế, biểu diễn thơng tin, ứng dụng giải trí - nghệ thuật, giáo dục - đào tạo, hỗ trợ giao tiếp ngƣời máy tính… Tất ứng dụng đồ họa có giao diện giao tiếp với ngƣời dùng, giao diện đồ họa tạo nên thuận tiện thoải mái trình giao tiếp ngƣời – máy Các ứng dụng chạy hệ điều hành MS Windows minh họa mang tính thuyết phục, trực quan đóng góp đồ họa máy tính Các chức năng, thay thể qua u cầu, dịng lệnh phức tạp, ngày đƣợc thể qua biểu tƣợng đồ họa hỗ trợ, việc thực chức cần thông qua thao tác của trỏ chuột Với hỗ trợ đồ họa, việc hỗ trợ tối đa khơng gian biểu diễn hồn tồn đƣợc, giúp ngƣời dùng dễ dàng sử dụng Mô giới thực tại, đƣa định mang tính chun gia ln ln mục tiêu hệ thống thơng minh có hỗ trợ đồ họa Điều làm cho tính ứng dụng mềm mại hơn, có hiệu thực hữu ích hơn, giải triệt để hạn chế ứng dụng đồ họa Thực tế, nhiều ứng dụng với q trình tƣơng tác ngƣời máy thơng qua thiết bị hỗ trợ nhƣ chuột, bàn phím, hình, núm cầm, từ thao tác thiết bị thơng tin đầu vào định thực chức giao diện đồ họa Việc mà ngƣời dùng quan tâm tìm hiểu chức biểu tƣợng, làm để thao tác nhanh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn với thiết bị cung cấp liệu vào cho máy tính Máy tính thật phải chờ đợi liệu mang tính thao tác học ngƣời dùng, thực tế trạng thái cảm xúc chƣa có vai trị thơng tin để máy tính xử lý Tiếp nhận thông tin cảm xúc ngƣời thể thông tin cảm xúc cịn hạn chế Vấn đề biểu diễn khuôn mặt thực ảo khó khăn, ngồi phần khung xƣơng cịn có mô, phần mềm khuôn mặt Nhiều khuôn mặt, cấu trúc xƣơng giống nhau, nhƣng phần mềm khn mặt, có khác nhau, dẫn đến khn mặt có khác Điều khó q trình thể Chính thế, giải pháp sử dụng máy tính để mơ phỏng, cho phép tạo kiểu mặt khác cấu trúc, từ so sánh với mơ tả từ đời sống thực để nhận dạng Nhận dạng khn mặt có nhiều ứng dụng thực tế, khoa học hình y học Xây dựng thƣ viện khn mặt việc khó, thể trạng thái khn mặt lại khó Chúng ta xây dựng cho kết cấu khung xƣơng khuôn mặt, nhƣng việc đắp phần mềm cho khuôn mặt theo mô tả khó Từ đó, xác định trạng thái khuôn mặt, thể thông tin cảm xúc khó Tuy nhiên xác định rõ trạng thái cảm xúc khuôn mặt, giúp có kết luận xác sống để hỗ trợ nhiều vấn đề nhƣ khám chữa bệnh cho ngƣời bệnh từ xa, hay đàm phán kinh doanh, tìm hiểu tâm lý Xuất phát hồn cảnh việc nghiên cứu số kỹ thuật biểu diễn trạng thái khuôn mặt thực ảo vấn đề khơng có ý nghĩa khoa học, ý nghĩa thời mà cịn mang đậm tính thực tiễn Luận văn đƣợc tổ chức gồm chƣơng, chƣơng giới thiệu thực ảo ứng dụng thực ảo, từ khung nhìn tổng quan thực ảo, để tiếp cận nghiên cứu biểu diễn khuôn mặt thực ảo Chƣơng nghiên cứu số kỹ thuật biểu diễn khuôn mặt, tập trung miêu tả trạng thái khuôn mặt, dùng số kỹ thuật điền hình để biểu diễn trạng thái khn mặt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chƣơng cài đặt ứng dụng thử nghiệm, biểu diễn trạng thái khuôn mặt Phần kết luận tổng kết kết nghiên cứu phân tích ƣu điểm, nhƣợc điểm đề xuất hƣớng nghiên cứu cải tiến tƣơng lai cho nghiên cứu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG 1: KHÁI QUÁT VỀ THỰC TẠI ẢO VÀ KỸ THUẬT XÂY DỰNG MÔ PHỎNG KHUÔN MẶT NGƢỜI Công nghệ thông tin đời đánh dấu cách mạng lớn công nghệ Ngày công nghệ thông tin đƣợc áp dụng hầu hết lĩnh vực xã hội Mục tiên ứng dụng cơng nghệ thơng tin tự động hóa vấn đề thực tế, ứng dụng thông minh ứng dụng hỗ trợ tối đa, linh hoạt với ngƣời dùng Thực ảo lĩnh vực công nghệ thông tin, với sứ mệnh lớn lao mơ hệ thống thơng minh, có tính tƣơng tác linh hoạt, sinh động nhƣ giới thực, điều mà nhà khoa học ln mong muốn, thực đích phục vụ hiệu mà công nghệ thông tin mang lại cho ngƣời 1.1 Khái quát thực ảo Thực ảo ngành cơng nghệ có nhiều tiềm ứng dụng vô to lớn Ra đời vào năm đầu thập kỷ 90, khái niệm thực tai ảo xuất vào năm 1950, với đời hệ thống ảo nguyên sơ Morton Heilig thiết kế Mƣời năm sau, giáo sƣ Sutherland quản lý xây dựng thành công hệ thống thực ảo có tên gọi “Sword of Damocles” [15] máy vi tính “Sword of Damocles” bao gồm: hình máy tính, hệ thống máy điều chỉnh, máy tính để làm thứ Thành công hệ thống này, đƣa khái niệm làm việc hệ thống thực ảo, tƣơng tác với ngƣời xem thuyết phục ngƣời xem cảm giác thực hệ thống mơ với đầu có tính tƣơng tác Tiếp sau thành cơng đó, nhà nghiên cứu phát triển tiến hành xây dựng thiết bị hỗ trợ hệ thống, sử dụng không gian để mô phỏng, hệ thống thực ảo đƣợc thúc đẩy nghiên cứu, xây dựng áp dụng Ngày nay, việc áp dụng thực ảo đƣợc áp dụng rông rãi, đầu lĩnh vực Mỹ Châu Âu, việc áp dụng thực ảo Việt Nam đƣợc phát triển, hy vọng đƣợc áp dụng rộng rãi phát huy vai trò thực Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 48 Để mô tả thể cử động mặt hàm/lƣỡi đƣợc dẫn xuất từ việc phân tích hình thái giải phẫu học mặt ngƣời ta dùng hệ mã hoá hành động mặt (Facial Action Coding System) (FACS7) [7] FACS bao gồm 44 đơn vị hành động (AU8) Sự kết hợp đơn vị hành động tạo biểu mặt khác Quá trình hoạt hóa mặt đƣợc phân tách thành hoạt hố đơn vị hành động Ví dụ: việc kết hợp AU1, AU4, AU15 AU23 tạo nên trạng thái mặt buồn Một số đơn vị hành động AU Tên FACS Nhƣớn mày (Inner Brow Raiser) Nhƣớn mày (Outer Brow Raiser) Nheo mày (Brow Lower) Nhƣớn mi mắt (Upper Lid Raiser) Nheo mắt (Lid Tightener) Nhăn mũi (Nose Wrinkler) 10 Nhấc môi (Upper Lid Raiser) 12 Trề môi dƣới (Lid Corner Puller) 15 Hạ khoé miệng (Lip Corner Depressor) 16 Hạ môi dƣới(Lower Lip Depressor) 17 Nâng cằm (Chin Raiser) 20 Bành môi (Lip Stretcher) 23 Bặm môi (Lip Tightener) 26 Hạ hàm (Jaw Drop) Hình 2.15 Một số đơn vị hành động FACS thƣờng đƣợc dùng với tiếp cận dựa hay giả lập Các phƣơng pháp hoạt ảnh sử dụng mơ hình khắc phục đƣợc giới hạn Facial Action Coding System Action Unit Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 49 phép nội suy cung cấp nhiều nét mặt Mơ hình hố theo vật lý mơ tả thuộc tính hành vi hệ da ngƣời, xƣơng Ngƣợc lại, mơ hình giả bắt chƣớc cử động mơ với phép biến đổi hình học Tuy nhiên sử dụng FACS chƣa giải pháp tốt, tƣ tƣởng FACS phân tách thành đơn vị hành động Tập đơn vị hành động chƣa thể hết tính đa dạng phức tạp mặt, mặt khác biến đổi mặt mang tính liên kết, khơng phải cục thành đơn vị hành động riêng lẻ Bên cạnh đó, FACS khơng thể đƣợc yếu tố thời gian hoạt cảnh, mà FACS thể theo chiều không gian, miền thời gian tác động lên khớp bị hệ FACS Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 CHƢƠNG 3: ỨNG DỤNG THỬ NGHIỆM 3.1 Bài tốn Biểu diễn khn mặt có nhiều ứng dụng sống Đây toán có tính tƣơng tác ngƣời máy, tính hoạt ảnh đóng vai trị tích cực ứng dụng cài đặt Biểu diễn khuôn mặt quan trọng cần thiết cho hệ thống xử lý tƣơng tác nhƣ chƣơng trình huấn luyện, biểu thị thơng tin, chữa bệnh, giáo dục, giải trí…Nhiệm vụ hệ thống thể khn mặt nhằm biểu thị sinh động tính hoạt ảnh, từ mơ xác, sinh động giới thực, rút trích tri thức hữu ích phục vụ thực tiễn Ngay nay, công nghệ thực ảo công nghệ đại dẫn đầu để giải tốn mơ Trên giới phát triển ứng dụng thực ảo từ sớm nhiều lĩnh vực nhƣ giáo dục, quân sự, y học…và đặc biệt lĩnh vực giải trí nhƣ game, đồ họa Ở Việt Nam, cơng nghệ thực ảo có ứng dụng tích cực, nhiều tốn mơ đƣợc triển khai va ứng dụng nhƣ việc tái tạo khu di tích, đền thờ, danh lam thắng cảnh, tình giao thông, kịch quân sự…và tốn có ý nghĩa thách thức xác định, biểu diễn khuôn mặt ngƣời Yêu cầu biểu diễn khuôn mặt hệ thống quan trọng, cho phép hệ thống tƣơng tác với giới thực, tầm nâng cao hơn, hệ thống chuyên gia thông minh mang tới lợi ích lớn Biểu diễn khuôn mặt nhờ kỹ thuật hoạt ảnh có hiệu cao, ngày kỹ thuật đƣợc kết hợp để giải hiệu vấn đề khuôn mặt Trong phạm vi nghiên cứu đề tài, tiến hành thể vài trạng thái khuôn mặt, trạng thái nhất, làm tiền đề để phát triển thời gian tiếp Quá trình cài đặt thể trạng thái hoạt hóa khn mặt mơ hình 3D Khơng phủ nhận đƣợc vai trị ứng dụng lớn tốn biểu diễn khn mặt ngƣời Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 nói chung trạng thái khn mặt nói riêng, vấn đề có tính áp dụng cao thực tiễn, Việt Nam 3.2 Phân tích tốn Q trình hoạt hóa khn mặt thể cảm xúc sở khn mặt bình thƣờng Do việc phải xây dựng mơ hình thể khn mặt, mà chƣa có hoạt hóa thành phần Q trình xây dựng dựa vào công cụ đồ họa Trong mơ hình xây dựng cần xác định đối tƣợng dùng để hoạt hóa khn mặt Thực chất q trình hoạt hóa mặt, hoặt hóa thành phần mô khuôn mặt Nhƣ đề cập chƣơng tìm hiểu trên, áp dụng để xây dựng khung hình cho mặt, morphing tạo mơ 3D, q trình hoạt hóa khn mặt trình biến đổi khung hình phù hợp theo thời gian, cách làm cho phép tạo nên thể đa dạng trạng thái cảm xúc, trình quan sát biến đổi thực tế Q trình hoạt hóa mặt đƣợc biến đổi từ trạng thái tự nhiên sang trạng thái đích, đứng phƣơng diện trạng thái làm trơn coi trạng thái đích phù hợp với đa dạng nét mặt thực tế Ở quy định trạng thái đích trạng thái thể rõ cho cảm xúc mơ tả, có nghĩa hoạt hóa thành phần đặt trƣng đủ lớn Có thể nói thể trạng thái cảm xúc khuôn mặt vùng đặc trƣng khn mặt Bài tốn biểu diễn trạng thái khuôn mặt bao gồm vấn đề là: Bƣớc 1: Xây dựng mơ hình hóa khn mặt mơ hình 3D; Bƣớc 2: Hoạt hóa khuôn mặt thể trạng thái biểu cảm, cử động vùng đặc trƣng Nhƣ đầu vào tốn mơ hình khn mặt 3D chƣơng trình có nhiệm vụ tác động lên mơ hình để tạo nên hoạt ảnh 3D thể đƣợc nét mặt dựa đặt trƣng rõ cảm xúc nét mặt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52 3.3 Chƣơng trình biểu diễn trạng thái khn mặt OpenGL (Open Graphics Library) tiêu chuẩn kỹ thuật đồ họa có chức tiêu chuẩn hóa giao diện lập trình ứng dụng ( application programming interface API) đồ họa chiều [16] Về chất OpenGL thƣ viện hỗ trợ lập trình đồ họa 3D, độc lập với môi trƣờng (Windows, Linux, Apple…) OpenGL không hỗ trợ nhập, xuất hay thao tác kiện nhƣ bàn phím, chuột … OpenGL khơng có hàm xử lý đồ họa cấp cao để mơ hình đối tƣợng Giao diện lập trình OpenGL hỗ trợ chứa khoảng 250 hàm có chức xử lý đơn giản đến phức tạp OpenGL đƣợc ứng dụng rộng rãi trò chơi điện tử, ứng dụng CAD, thực tế ảo, mô khoa học, mô thông tin, phát triển trị chơi Khơng gian OpenGL đƣợc miêu tả qua hình học xạ ảnh Một điểm khơng gian đƣợc thể tọa độ cho phép xử lý điểm vô tận cách tổng quát Khi thiết kế ứng dụng không gian OpenGL, mã nguồn đƣợc đơn giản hóa nhiều [16] Trong luận văn để phát triển lập trình đồ họa Open GL, ngơn ngữ lập trình đƣợc sử dụng Microsoft Visual C++ Microsoft Visual C++ (còn đƣợc gọi MSVC) sản phẩm Mơi trƣờng phát triển tích hợp (IDE) cho ngơn ngữ lập trình C, C++, C++/CLI Microsoft Nó có cơng cụ cho phát triển gỡ lỗi mã nguồn C++, đặc biệt mã nguồn viết cho Microsoft Windows API, DirectX API, Microsoft NET Framework Mơi trƣờng phát triển tích hợp (tiếng Anh: Integrated Development Environment; viết tắt: IDE) đƣợc gọi "Môi trƣờng thiết kế hợp nhất" (tiếng Anh:Integrated Design Environment) hay "Môi trƣờng gỡ lỗi hợp nhất" (tiếng Anh: Integrated Debugging Environment) loại phần mềm máy tính có cơng dụng giúp đỡ lập trình viên việc phát triển phần mềm Các môi trƣờng phát triển hợp thƣờng bao gồm: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 53  Một trình soạn thảo mã (source code editor): dùng để viết mã  Trình biên dịch (compiler) và/hoặc trình thông dịch (interpreter)  Công cụ xây dựng tự động: sử dụng biên dịch (hoặc thông dịch) mã nguồn, thực liên kết (linking), chạy chƣơng trình cách tự động  Trình gỡ lỗi (debugger): hỗ trợ dị tìm lỗi  Ngồi ra, cịn bao gồm hệ thống quản lí phiên cơng cụ nhằm đơn giản hóa cơng việc xây dựng giao diện ngƣời dùng đồ họa (GUI) Nhiều mơi trƣờng phát triển hợp đại cịn tích hợp trình duyệt lớp (class browser), trình quản lí đối tƣợng (object inspector), lƣợc đồ phân cấp lớp (class hierarchy diagram), để sử dụng việc phát triển phần mềm theo hƣớng đối tƣợng C++ môi trƣờng phát triển đồ họa mạnh Chúng ta thiết kế mơ hình mặt, sở liệu để chúng hoạt ảnh Hƣớng giải hiệu cho kết tốt, thiết kế mơ hình đối tƣợng cơng cụ thiết kế nhƣ 3DS MAX, MAYA số công cụ khác Sau thiết kế xong mô hình, dùng ngơn ngữ lập trình nhƣ VC++ … để điều khiển tiến hành sinh ảnh mơ hình thiết kế Đầu tiên tiến hành load mơ hình đƣợc thiết kế từ 3DMAX MAYA, mơ hình thƣờng đƣa file có phần mở rộng WRML, LWO, … Thực chất trình load thể mơ hình mơi trƣờng VC++ q trình vẽ lại đối tƣợng môi trƣờng VC++ suốt trình chƣơng trình Runtime Chúng ta dùng hàm thƣ viện OpenGL để hỗ trợ trình load lấy liệu Quá trình load ảnh tự động, cho mơ hình mặt bình thƣờng, từ mơ hình 3D hoạt hóa khn ảnh phù hợp theo đặc tính mơ tả Khi chạy chƣơng trình cửa sổ ban đầu xuất với giao diện sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 54 Hình 3.1 Khung hình khn mặt 3D ban đầu Sau nạp xong liệu, cửa sổ chƣơng trình mơ hình mặt 3D đƣợc bao phủ Ở trạng thái sẵn sàng hoạt ảnh, mơ hình mặt 3D trạng thái bình thƣờng Chúng ta Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 55 nắm, giữ, xoay mơ hình để quan sát, muốn để vị trí để quan sát dừng hình Hình 3.2 Khung hình khn mặt nhìn nghiêng Để thể trạng thái cảm xúc vui vẻ, đƣa phím trƣợt dƣới sổ hình cuối, phía bên phải, vị trí đích, nơi mà tính học khn mặt thể Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56 rõ Từ trình đơn DieuKhien chọ trạng thái cƣời, hoạt ảnh mặt nhƣ sau : Hình 3.3 Trạng thái mỉm cƣời khn mặt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 57 Vẫn giữ nguyên phím trƣợt vị trí cuối trƣợt, phía bên phải hình Từ trình đơn điều khiển, lựa chọn trạng thái ngạc nhiên, khung hình hoạt ảnh thể nhƣ bên dƣới Khn mặt có miệng mở mắt mở rộng thể ngạc nhiên rõ nét Hình 3.4 Trạng thái ngạc nhiên khn mặt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 58 Các mơ hình cảm xúc đƣợc tập hợp menu Dieukhien, menu có chức hoạt hóa khn hình thể cảm xúc hạnh phúc, cƣời, tức giận…là trạng thái cảm xúc mà đề cập Q trình hoạt hóa mặt đƣợc thể tập lệnh chức Để thoát ứng dụng ta chọn chức Exit Quá trình thực lại chƣơng trình tuân thủ yêu cầu đề cập Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59 PHẦN KẾT LUẬN: TÓM TẮT KẾT QUẢ ĐẠT ĐƢỢC, HƢỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Tƣơng tác ngƣời máy tính trở thành lĩnh vực nghiên cứu quan trọng công nghệ thông tin Bằng nghiên cứu nghiêm túc kỹ thuật biểu diễn khuôn mặt, biểu diễn trạng thái khuôn mặt, mong muốn thể đƣợc khuôn mặt theo trạng thái thực tế, có tính tƣơng tác với hệ thống bên ngồi, sở liệu để xử lý tình Biểu diễn trạng thái khuôn mặt giải phần nguyện vọng mà vừa nói tới Biểu diễn q trình biến đổi hình thái khn mặt để miêu tả trạng thái cảm xúc Trong chƣơng 1, tìm hiểu thực ảo, chất thực ảo gì, khả thực ảo công nghệ thông tin, ứng dụng thực ảo, đƣa tới nhìn tổng quan thực ảo Từ nhìn tổng quan, ảnh hƣởng có tính tích cực ứng dụng thực ảo, mang tới cách tiếp cận có tính áp dụng cao tốn biểu diên khn mặt hệ thống thực ảo Trong chƣơng 2, tìm hiểu số kỹ thuật biểu diễn khuôn mặt thực ảo, phƣơng thức mơ hình hóa khn mặt, kỹ thuật hoạt hóa khn mặt Các kỹ thuật sở khoa học cho việc biêu diễn khuôn mặt, vấn đề hệ thống xây dựng tính hoạt hóa cho khn mặt Trong chƣơng 3, cài đặt thực nghiệm chƣơng trình mơ thể cảm xúc khn mặt mơ hình mặt 3D Quá trình cài đặt tập trung hoạt hóa đặc trƣng khn mặt nhƣ môi, mũi trán, mắt dạng đơn giản để thể trạng thái biểu cảm tổng quát Luận văn hƣớng để phát triển ứng dụng thực tiễn nhƣ xây dựng mô hình nhân vật, hay mơ hình robot…và tốt hệ thống Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60 thông minh, đầu vào khơng mơ hình 3D mà hoạt ảnh 3D với đầu vào 2D, trực tiếp tính hiệu ảnh từ thực tiễn Dù với hình thức nào, với vai trò ngƣời làm luận văn, mong muốn đề cập tạo nên hệ thống có tính phản hồi thơng tin, kết hợp với hệ chuyên gia trí tuệ nhân tạo để tạo nên ứng dụng tuyệt vời nhƣ khám bệnh qua internet, phân tích hoạt ảnh mặt tìm tội phạm, nhu cầu than thƣơng tạo nên giới ảo thân thiện có tính trị liệu tâm lý cho ngƣời gia đình… Để giải mong muốn trên, cần có thời gian đầu tƣ nghiên cứu Thực chất vấn đề đòi hỏi tƣ duy, tổng hợp, sáng tạo ngƣời nghiên cứu Hy vọng tƣơng lai, với vai trị ngƣời tìm hiểu, thực hóa đƣợc điều Do kiến thức nhƣ kinh nghiệm thời gian hạn chế, luận văn khơng tránh khỏi thiếu sót Kính mong nhận đƣợc đóng góp ý kiến Q thầy bạn Xin chân thành cảm ơn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Văn Huân (chủ biên), Vũ Đức Thái, Nguyễn Văn Tới, Nguyễn Thị Thanh Nhàn, Trần Thị Hồng Nhâm (2006), “Kỹ thuật lập trình mơ giới thực”, Thái Ngun [2] Đỗ Năng Toàn (2006), "Tái tạo đối tƣợng chiều từ hình ảnh chiều", Tạp chí tin học điều khiển học, Tập 22, số 4, 339-348 [3] Đỗ Năng Toàn, Trần Thanh Hiệp, Phạm Tấn Năm, Trịnh Hiền Anh (2005), Một kỹ thuật tiếp cận tạo mô hình chiều, Hội thảo Quốc gia lần thứ VIII vấn đề chọn lọc CNTT TT, Hải Phịng 25-27/8/2005 [4] Đỗ Năng Tồn, Lê Hải Khơi, Phạm Thế Anh, Trịnh Xuân Hùng (2005), Một cách tiếp cận cho hiển thị hình ảnh chiều, Hội thảo Quốc gia “Các vấn đề chọn lọc CNTT”, Hải Phịng 25-27/8/2005 [5] Đỗ Năng Tồn, Lê Hải Khơi (2005), “Đơn giản hóa bề mặt kết hợp với kỹ thuật che phủ xây dựng mơ hình 3D”, Hội thảo Quốc gia ứng dụng toán học lần 2, Hà Nội 23-25/12/2005 [6] Khoa công nghệ thông tin, trƣờng đại học cơng nghệ Huế (2003), “Giáo trình lý thuyết đồ họa” Huế -2003 Tiếng Anh [7] G Donato, M.S Bartlett, J.C Hager, P Ekman, and T.J Se-jnowski (1999), “Classifying facial actions,” IEEE Trans on Pattern Anal Mach Intell., vol 21, no 10, pp 974–989 [8] D Datcu and L.J.M Rothkrantz (2004), “Automatic recognition of facial expressions using bayesian belief networks,” in Proc IEEE Int Conf on Systems, Man, and Cybernetics, pp 2209–2214 [9] Greg Humphreys (2004), “Parametric Curves & Surfaces”, CS445: Intro Graphics University of Virginia, Fall 2004 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 62 [10] G.J Edwards, C.J Taylor, and T.F Cootes (1998), “Interpreting face images using active appearance models,” in Proc IEEE Int Conf on Automatic Face and Gesture Recog., pp 300–305 [11] A.M Tekalp and J Ostermann (1999), “Face and 2d mesh animation in mpeg4,” Tutorial Issue On The MPEG-4 Standard, Image Communication Journal, Elsevier Các trang Web [12 ] Ngƣời Lao Động (2002), Tiếp xúc ảo với đồ vật net công nghệ mới, http://vietbao.vn/Vi-tinh-Vien-thong/Tiep-xuc-ao-voi-do-vat-tren-net-bang-congnghe-moi/10762010/217/,(14/3/2002), [13 ] Nguyễn Huy Sơn Thực tế ảo, http://vi.wikipedia.org/, (01.03.2006), [14 ] Sức mạnh ngôn ngữ không lời (2011), Trạng thái cảm xúc biểu qua nét mặt, http://cuasomoi.vn/ngon-ngu-co-the/155974/11072011/trang-thai-cam-xucbieu-hien-qua-net-mat.ttn, (11/07/2011), [15 ] Sutherland's Sword of Damocles (2009), http://www.virtualworldlets.net/Resources/Hosted/Resource.php?Name=Damocles [16] http://vi.wikipedia.org/wiki/OpenGL Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ... cận nghiên cứu biểu diễn khuôn mặt thực ảo Chƣơng nghiên cứu số kỹ thuật biểu diễn khuôn mặt, tập trung miêu tả trạng thái khuôn mặt, dùng số kỹ thuật điền hình để biểu diễn trạng thái khn mặt Số. .. khn mặt 23 1.2.2 Hoạt hóa khn mặt 29 CHƢƠNG 2: MỘT SỐ KỸ THUẬT BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT NGƢỜI 31 2.1 Các trạng thái khuôn mặt 31 2.2 Biểu diễn trạng. .. 2: MỘT SỐ KỸ THUẬT BIỂU DIỄN TRẠNG THÁI KHUÔN MẶT NGƢỜI 2.1 Các trạng thái khuôn mặt Mỗi cảm xúc có dấu hiệu thể riêng Khn mặt tín hiệu cho ta biết cảm xúc đối phƣơng Sau nét mặt tiêu biểu tƣơng