Phát triển các kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3d phục vụ cho bài toán xây dựng tiếp viên ảo

ĐẠI HỌC QUỐC GIA HÀ NỘI BÁO CÁO TỔNG KẾT KẾT QUẢ THỰC HIỆN ĐỀ TÀI KH&CN CẤP ĐẠI HỌC QUỐC GIA Tên đề tài: Phát triển kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3D phục vụ cho toán xây dựng tiếp viên ảo Mã số đề tài: QG.17.43 Chủ nhiệm đề tài: TS Vũ Việt Vũ Hà Nội, tháng 01 - 2019 PHẦN I THÔNG TIN CHUNG 1.1 Tên đề tài: Phát triển kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 3D phục vụ cho toán xây dựng tiếp viên ảo 1.2 Mã số: QG.17.43 1.3 Danh sách chủ trì, thành viên tham gia thực đề tài TT Chức danh, học vị, họ tên Đơn vị công tác Vai trị thực đề tài Viện Cơng nghệ thơng tin, ĐH QG Chủ nhiệm đề tài Hà Nội TS Vũ Việt Vũ TS Lê Cường PGS.TS Đỗ Năng Tồn ThS Hà Mạnh Tồn Viện Cơng nghệ thơng tin, Viện Thành viên Hàn Lâm KH&CN Việt Nam NCS Trịnh Xuân Hùng Viện Công nghệ thơng tin, Viện Thành viên Hàn Lâm KH&CN Việt Nam ThS Phạm Bá Mấy ThS Nguyễn Thị Ngọc Hân ThS Đỗ Hồng Quân TS Phạm Thế Anh 1.4 Đơn vị chủ trì: 1.5 Thời gian thực hiện: 1.5.1 Theo hợp đồng: 1.5.2 Gia hạn (nếu có): 1.5.3 Thực thực tế: Viện Cơng nghệ thơng tin, Thư kí khoa học ĐHQG Hà Nội Viện Cơng nghệ thông tin, ĐHQG Thành viên Hà Nội Viện Công nghệ thơng tin, Thành viên Viện Hàn Lâm KH&CN Việt Nam Viện Cơng nghệ thơng tin Thành viên ĐHQG Hà Nội Viện Công nghệ thông tin, ĐHQG Thành viên Hà Nội Trường đại học Hồng Đức Thành viên từ tháng 02 năm 2017 đến tháng 02 năm 2019 đến tháng… năm… từ tháng 02 năm 2017 đến tháng 12 năm 2018 1.6 Những thay đổi so với thuyết minh ban đầu (nếu có): (Về mục tiêu, nội dung, phương pháp, kết nghiên cứu tổ chức thực hiện; Nguyên nhân; Ý kiến Cơ quan quản lý) 1.7 Tổng kinh phí phê duyệt đề tài: 300 triệu đồng PHẦN II TỔNG QUAN KẾT QUẢ NGHIÊN CỨU (Viết theo cấu trúc báo khoa học tổng quan từ 6-15 trang (báo cáo đăng tạp chí khoa học ĐHQGHN sau đề tài nghiệm thu), nội dung gồm phần: Đặt vấn đề Nghiên cứu nhận dạng mặt người vấn đề liên quan bối cảnh ngành thị giác máy tính ln nhận nhiều quan tâm từ nhà nghiên cứu ứng dụng [1-3] Các ứng dụng lĩnh vực kể đến lĩnh vực phim ảnh (avatar), lĩnh vực mô (bảo tàng ảo, trợ lý ảo, ), lĩnh vực an ninh, lĩnh vực kinh doanh dịch vụ,… Trong nội dung nghiên cứu đề tài tập trung nghiên cứu vấn đề phân loại/nhận dạng mô trạng thái biểu cảm khuôn mặt Cụ thể, biểu cảm trạng thái khuôn mặt gồm vui (happy), buồn (sad), ngạc nhiên (surprise), sợ hãi (fear), ghê tởm (disgust), cáu giận (angry) [2]; vấn đề trích chọn đặc trưng nhận dạng biểu cảm khn mặt, quy trình mơ trạng thái cử khuôn mặt biến đổi cử trạng thái khuôn mặt theo câu văn phục vụ cho toán xây dựng tiếp viên ảo tìm hiểu nghiên cứu Mục tiêu Mục tiêu cụ thể đề tài gồm nội dung sau: - Nghiên cứu tổng quan biểu cảm khuôn mặt mô biểu cảm khuôn mặt sở toán xây dựng tiếp viên ảo - Nghiên cứu kỹ thuật phục vụ quy trình mô cử chỉ, trạng thái khuôn mặt 3D - Nghiên cứu xây dựng mơ hình 3D khn mặt phục vụ yêu cầu biến đổi theo cử chỉ, trạng thái - Phát triển hệ thống phần mềm tiếp viên ảo dựa tảng mô cử chỉ, trạng thái khuôn mặt 3D Phương pháp nghiên cứu Phương pháp nghiên cứu đề tài sử dụng gồm nghiên cứu lý thuyết nghiên cứu thực nghiệm Các vấn đề cần giải liên quan đến giải thuật lý thuyết xử lý ảnh đồ họa máy tính thực phần mềm máy tính với đầu vào thông tin thu nhận từ thực tế Các kỹ thuật sử dụng gắn với nội dung để tài, cụ thể kỹ thuật thao tác với ảnh số video để trích rút tập điểm đặc trưng cho biểu cảm khn mặt người, tính tốn thơng tin 3D cho tập điểm đặc trưng phương pháp nội suy để biến đổi mơ hình ba chiều khn mặt theo đặc trưng mong muốn Tổng kết kết nghiên cứu 4.1 Nghiên cứu tổng quan biểu cảm khuôn mặt mô biểu cảm khuôn mặt sở toán xây dựng tiếp viên ảo Nghiên cứu biểu cảm khuôn mặt thể biểu cảm khuôn mặt công việc quan trọng quan tâm nhiều nhà khoa học lĩnh vực khác từ nghệ sỹ hội họa điêu khắc đến nhà khoa học nghiên cứu nhân học nhà khoa học lĩnh vực công nghệ thông tin [1-6, 15-17] Điều xuất phát từ hai lý chính: khả ứng dụng kết nghiên cứu vào thực tiễn, hai có nhiều cơng trình nghiên cứu biểu cảm thể biểu cảm khn mặt chưa có nghiên cứu thực hoàn thiện phù hợp cho nhiều lớp toán khác nhau, hướng tiếp cận chủ yếu đưa để giải vấn đề đặt Đặc biệt nghiên cứu biểu cảm khuôn mặt thể biểu cảm khn mặt người Việt cịn hạn chế khơng muốn nói khơng có Theo cách hiểu thơng thường, biểu cảm khn mặt hình dung thể bên ngồi tương ứng với trạng thái hệ nét mặt nằm vùng da mặt Đây khái niệm gần gũi với người sống hàng ngày người sinh hoạt, lao động, giao tiếp cần phải biểu lộ thơng tin mà muốn truyền đạt chí phản xạ, mà đó, biểu cảm khn mặt gắn liền với việc biểu lộ thông tin qua khuôn mặt cách thức phổ dụng người Hình Sáu dạng biểu cảm khn mặt (gồm vui (happy), buồn (sadness), ngạc nhiên (surprise), sợ hãi (fear), ghê tởm (disgust), cáu giận (anger ) Hình minh họa dạng biểu cảm khuôn mặt người Có thể thấy biểu cảm xuất thường xuyên tình hàng ngày, phim ảnh, nơi công cộng, họp, khu dịch vụ nói chung Việc nghiên cứu sâu cho lĩnh vực vấn đề thú vị [14] 4.2 Nghiên cứu kỹ thuật phục vụ quy trình mơ cử chỉ, trạng thái khn mặt 3D Để mô cử trạng thái khuôn mặt môi trường 3D cần phải nghiên cứu cách thức biểu diễn, xây dựng biến đối mơ hình 3D Chúng ta cần tìm hiểu đâu đặc trưng quan trọng ảnh khn mặt, tính chất đặc trưng Hình minh họa sơ đồ tiến hành thực mô trạng thái cử khuôn mặt Xuất phát từ liệu đầu vào (ảnh video), tiến hành phát khuôn mặt ảnh, xác định đặc trưng (shape location, feature selection,…), thực trình nhận dạng tức phân loại trạng thái theo biểu cảm – pha tiến hành thuật toán học máy (phân lớp, phân cụm, ) , bước cuối mô khuôn mặt Dựa vào kết nhận dạng xác định đặc trưng quan trọng, trình mô mô lại trạng thái khuôn mặt Một số kỹ thuật nghiên cứu gồm q trình trích chọn đặc trưng (tính tốn tập điểm điều khiển) khn mặt q trình nhận dạng biểu cảm khn Expression recognition Data set (Images) Face detection Shape location Expression simulation Hình Sơ đồ bước trình nhận dạng mơ khn mặt 4.2.1 Khái qt tính tốn thơng tin 3D tập điểm điều khiển khn mặt trích chọn đặc trưng a) Tính tốn thơng tin mơ hình khn mặt Một mơ hình 3D hiểu mặt chất tập điểm không gian chiều với mối quan hệ điểm đó, vậy, việc biến đổi mơ hình 3D khơng nằm ngồi việc biến đổi liệu Xét toán mơ khn mặt, mơ hình mặt gần khơng có thay đổi chất liệu ảnh liên kết đặc trưng điểm dẫn đến thay đổi hồn tồn mơ hình mà dịch chuyển có giới hạn ràng buộc cục điểm mơ hình Bởi kết việc mơ khn mặt hiểu thao tác thay đổi tọa độ tập điểm mơ hình mặt 3D với số giới hạn với ràng buộc xác định trước Để thực việc này, người ta thường chọn tập điểm điều khiển sở cần người ta thực biến đổi trực tiếp tập điểm Tập điểm chọn sau biến đổi định hướng điều khiển thay đổi cho điểm khác Thông thường tập điểm điều khiển chọn chuyên gia, người có chuyên môn ứng dụng cần triển khai công trình cần nghiên cứu, người chuyên gia tâm lý, bác sĩ pháp y người làm nhân chủng học… nói chung người có kiến thức chuyên biệt theo yêu cầu toán Do với ứng dụng khác nhau, số lượng điểm điều khiển khác, dao động từ vài điểm đến vài trăm điểm Để mơ cách hiệu giống thật cho biểu cảm khuôn mặt người 3D, toán cần xử lý thu nhận đặc trưng biểu cảm từ liệu đầu vào ảnh số, ảnh tĩnh luồng video chứa diễn cảm tương ứng người thật Trong trường hợp này, để xác định biến đổi tập điểm điều khiển mơ hình khn mặt 3D, tập điểm 2D ảnh xác định Tập điểm 2D hiểu hình chiếu tập điểm điều khiển 3D ảnh Trên sở đó, tọa độ tập điểm 3D ước lượng dựa vào phân bố tập điểm điều khiển 2D Một toán nội suy mơ hình mặt 3D từ tập điểm điều khiển ước lượng để nhận mơ hình mặt 3D mong muốn Tùy hệ thống mà có thao tác riêng liệu điểm 3D khuôn mặt, chẳng hạn sử dụng trực tiếp để mơ cần bước xử lý, gán nhãn tương ứng với số trạng thái biểu cảm xác định trước Tính tốn 3D tập điểm điều khiển thao tác ước lượng thông tin chiều đối tượng từ tập điểm chiều xác định trước đối tượng Trong tốn mơ khn mặt 3D, thường tập điểm điều khiển đặc trưng cho biểu cảm xác định trước ngữ nghĩa mặt người, thao thác chuyển đổi 3D đóng vai trị chuyển đổi tọa độ từ 2D lên 3D tập điểm Trong vài hệ thống, bước coi lẫn vào q trình trích đặc trưng từ ảnh q trình nội suy mơ hình 3D Việc tính tốn thơng tin 3D bước quan trọng trước q trình trích chọn đặc trưng thực hiện, định chất lượng bước Có số phương pháp sử dụng ICP, FFD, AAM, ASM,…[2] Trong [4], mơ hình cải tiến phương pháp AAM (Active Appearance Model) giới thiệu Ý tưởng sử dụng ảnh khuôn mặt cần kết hợp thêm mơ hình tốn học khn mặt Trên liệu khn mặt, đặc trưng cho ràng buộc hình học khn mặt xuất phát tập trung khai thác nhiều nghiên cứu Iain Matthews and Simon Baker đưa thông tin 3D vào cải tiến phương pháp AAM [4], tọa độ 3D ước lượng trực tiếp q trình tính tốn tối ưu để trích rút đặc trưng khn mặt ảnh Trong trường hợp này, công đoạn chuyển đổi không đứng riêng mà tích hợp ln vào bước trích rút đặc trưng từ ảnh (Hình 3) Hình Ví dụ mơ hình AAM cải tiến Với cách nhìn giản lược hơn, cụ thể thực ước lượng trước hướng khuôn mặt ảnh làm phần thông tin 3D để tiếp tục tính tốn, nhiều nhà khoa học sâu giải vấn đề b) Biểu diễn khuôn mặt qua điểm điều khiển Biểu diễn biểu cảm khn mặt hiểu thao tác thay đổi tọa độ tập điểm mơ hình mặt 3D với số giới hạn với ràng buộc xác định trước [2, 4, 5, 17] Để thực việc này, người ta thường chọn tập điểm điều khiển sở cần người ta thực biến đổi trực tiếp tập điểm Tập điểm chọn sau biến đổi định hướng điều khiển thay đổi cho điểm khác Thông thường tập điểm điều khiển chọn chuyên gia, người có chun mơn ứng dụng cần triển khai cơng trình cần nghiên cứu, người chuyên gia tâm lý, bác sĩ pháp y người làm nhân chủng học… nói chung người có kiến thức chuyên biệt theo yêu cầu toán Do với ứng dụng khác nhau, số lượng điểm điều khiển khác, dao động từ vài điểm đến vài trăm điểm (70 điểm [5], hay 83 điểm [2]) Hình Ví dụ việc lựa chọn điểm điều khiển (70 điểm – trái; 83 điểm –phải) c) Trích chọn đặc trưng Đây bước trích đặc trưng quan trọng ảnh khuôn mặt để thực cho việc nhận dạng trợ giúp trình mơ Một số phương pháp nghiên cứu đề xuất sử dụng phương pháp dựa khoảng cách, phương pháp dựa vùng nhỏ địa phương, phương pháp sử dụng mơ hình biến đổi, phương pháp ánh xạ từ 3D sang 2D sau sử dụng phương pháp trích chọn đặc trưng 2D SIFT, LBP, Gabor, [2] Cùng với kỹ thuật này, phương pháp lựa chọn đặc trưng giảm số chiều PCA, LDA áp dụng để làm tối ưu thuộc tính thu Hình minh họa số phương pháp trích chọn đặc trưng cho ảnh 3D Đối với phương pháp trích chọn đặc trưng dựa khoảng cách, khoảng cách điểm đánh dấu khuôn mặt tính tốn, khoảng cách thay đổi khuôn mặt bị biến đổi Tập liệu BU-3DFE cung cấp sẵn tọa độ 83 điểm định danh sẵn khuôn mặt Một số cách sử dụng phương pháp chẳng hạn tính khoảng cách để xác định mặt mở, độ cao mí mắt, vị trí miệng,…, góc số tư thế, hình dạng mắt, miệng,…tính tốn histogram hình tam giác hình thành điểm đánh dấu sẵn phương pháp áp dụng để trích chọn đặc trưng Đối với phương pháp dựa vùng địa phương, thơng tin hình dáng mặt vùng nhỏ cục xung quanh điểm lưới, hay xung quanh đường ranh giới điểm đặc trưng thu thập để sử dụng Đối với phương pháp trích chọn thơng tin dựa mơ hình biến đổi nhằm mục đích tổng hợp mơ hình từ liệu đầu vào Mơ hình tham số hóa nắn vào mơ hình cụ thể cho phù hợp Các tham số mơ hình dùng để trích chọn đặc trưng ảnh Hình Ví dụ số phương pháp trích chọn đặc trưng (a: dựa khoảng cách, b: dựa khoảng cách độ cong, c: dựa vùng nhỏ địa phương) 4.2.2 Phát triển phương pháp nhận dạng trạng thái khuôn mặt Trong phần chúng tơi phát triển thuật tốn nhận dạng khn mặt kỹ thuật phân cụm Vấn đề phân cụm (clustering) phát biểu sau: cho tập liệu X gồm n phần tử, phân tách tập X thành k (k < n) cụm (cluster) rời cho phần tử cụm tương tự phần tử cụm khác khơng tương tự theo tiêu chuẩn đánh giá lĩnh vực toán cần giải Bài toán phân cụm nằm lớp tốn học máy khơng giám sát [7] Các thuật toán phân cụm nghiên cứu phát triển từ năm 50 kỷ 20 thuật toán K-Means (1956), thuật toán phân cụm thứ bậc (1967), thuật toán phân cụm dựa đồ thị (1973), thuật toán phân cụm dựa lý thuyết mờ (1980), thuật toán phân cụm dựa mật độ (1996) [7,8] Mặc dù nghiên cứu từ lâu, nhiên chủ đề phân cụm liệu quan tâm lĩnh vực học máy Từ năm 2000 trở lại đây, phương pháp phân cụm nửa giám sát nhận quan tâm nhiều nhà nghiên cứu Đây hướng tiếp cận sử dụng thêm số thông tin bổ trợ để tăng chất lượng trình phân cụm [10-13] a) Phương pháp phân cụm nửa giám sát Từ năm 2000 trở lại đây, phương pháp phân cụm nửa giám sát bắt đầu phát triển mạnh mẽ Thuật tốn semi-supervised clustering tích hợp thơng tin có từ ban đầu lượng nhỏ liệu gán nhãn hay gọi hạt giống (seeds) và/hoặc số lượng nhỏ thông tin cặp liệu must-link, cannot-link: Cho tập liệu X với n phần tử, must-link(u,v) cho biết u v nên phân vào cụm cannot-link(u,v) cho biết u v nên thuộc hai cụm khác Sau gần 20 năm kể từ thuật toán phân cụm nửa giám sát giới thiệu, đến có nhiều thuật tốn cho dạng phân cụm Chúng ta kể tới thuật toán phân cụm nửa giám sát như: SSK-Means, SSDBSCAN, CDBSCAN, SSGC, MCSSGC, SSFuzzy C-Means, …[9-12] Phương pháp phân cụm nửa giám sát SSDBSCAN Thuật toán SSDBSCAN giới thiệu năm 2009 phiên cải tiến thuật toán DBSCAN năm 1996 [8,9] Ý tưởng thuật tốn DBSCAN sử dụng tính chất mật độ liệu: Các cụm xây dựng từ điểm liệu cách thêm vào nhóm có mật vượt qua ngưỡng Hình Dữ liệu với cluster A, B, C Tuy nhiên khơng có giá trị phù hợp MinPts  để DBSCAN phát ba cluster Thuật toán DBSCAN sử dụng hai tham số MinPts  Trong trình xây dựng cụm, điểm xếp liên tiếp vào ngăn xếp thỏa mãn có MinPts hàng xóm nằm bán kính  Hạn chế lớn thuật toán DBSCAN khả làm việc với tập liệu có mật độ khác cụm Hình hạn chế thuật toán Thuật toán SSDBSCAN giới thiệu năm 2009 semi-supervised DBSCAN nhằm cải tiến DBSCAN để làm việc với tập dự liệu có cụm với mật độ khác Bằng cách sử dụng số seed (labeled data), với giả thiết cung cấp cụm seed, SSDBSCAN cần tham số MinPts Dữ liệu đầu vào biểu diễn đồ thị vơ hướng có trọng số đỉnh tương ứng cho điểm liệu, cạnh hai đỉnh p q đồ thị xác định giá trị rDist() sau: rDist() biểu thị cho giá trị nhỏ  cho với hai đỉnh p q p q có MinPts điểm nằm siêu cầu bán kính , p q kết nối trực tiếp với – tức p nằm siêu cầu bán kính  q ngược lại, rDist() biểu diễn sau:  p, q  X: rDist(p,q) = max{cDist(p),cDist(q) d(p,q)} (1) d(p,q) khoảng cách p q theo độ đo Ơcơlit, cDist(o) khoảng cách nhỏ tính từ o mà o chứa đủ MinPts điểm liệu Sử dụng rDist(), xây dựng cụm C sau: sử dụng seed p, tiếp cluster C thêm điểm thỏa mãn rDist(), trình tiếp tục đến gặp điểm q có nhãn khác với nhãn p Khi thuật tốn tiến hành tìm kiếm ngược lại đến điểm o cho giá trị rDist(o) lớn Quá trình xây dựng cụm C hồn thành Nếu cịn seed chưa xét lại tiếp tục tiến hành xây dựng cụm Phương pháp phân cụm nửa giám sát MCSSDBS Trong phần chúng tơi trình bày thuật toán MCSSDBS – thuật toán mở rộng SSDBSCAN, thuật tốn tích hợp hai loại ràng buộc seed constraint vào trình tìm kiếm cụm Các ràng buộc nhúng vào pha tính tốn khoảng cách rDist(); xác định điểm cut-poit để phân tách cụm xây dựng cụm pha cuối Các thuật toán trình bày Algorithm Algorithm [14] Hình minh họa trình tìm điểm cut_point để phân tách cụm Nếu trình quay lui có xuất cannot-link dùng không ta sử dụng phương pháp hỏi người sử dụng, trường hợp khơng có câu trả lời từ người sử dụng chọn nhát cắt có khoảng cách lớn Hình Minh họa trình tìm điểm cut_point Kết thực nghiệm Bảng Dữ liệu từ UCI dùng thực nghiệm Bảng Phân bố liệu tập CK+ (trái) [18] ITI (phải) Để đánh giá chất lượng phân cụm sử dụng liệu từ UCI tập liệu trạng thái cảm xúc khuôn mặt Tập CK+ tập liệu truyền thống nhiều nghiên cứu sử dụng tập ITI thu thập ảnh khuôn mặt tựi Việt nam Chi tiết liệu cho bảng bảng Để đánh giá kết q trình phân cụm chúng tơi sử dụng số Rand Index Chỉ số Rand Index dung để so sánh kết hai phân cụm P1 P2 có n điểm liệu Giả sử a tổng số cặp xi xj thuộc cụm P1 P2, b tổng số cặp xi xj thuộc hai cụm khác P1 P2, số RI tính cơng thức sau: RI  a  b n ( n  1) RI có giá trí từ đến 1, RI lớn độ xác q trình phân cụm lớn Kết thực nghiệm trình bày hình hình Từ kết thấy chất lượng thuật toán MCSSDBS tốt thuật toán SSDBSCAN Thuật toán MCSSDBS thuật toán kết hợp hai loại thơng tin ràng buộc seed vào trình phân cụm Chúng tơi có thực nghiệm để đánh giá đóng góp loại ràng buộc việc tìm kiếm cụm 4.3 Nghiên cứu xây dựng mơ hình 3D khn mặt phục vụ u cầu biến đổi theo cử chỉ, trạng thái Trong hệ thống thực ảo, kỹ thuật xây dựng mơ hình ba chiều đóng góp phần khơng nhỏ phát triển hệ thống Mơ hình ba chiều có chân thực làm tăng tính sống động, tính thực hệ thống Trong phạm vi tốn, vấn đề đề cập việc mơ hình hóa khuôn mặt 3D cho phù hợp với yêu cầu thể đặc trưng biểu cảm Với vật thể đơn giản, có hình dạng tương đồng với cấu trúc hình học bản, sử dụng trực tiếp phần mềm hỗ trợ để tạo nên mơ hình ba chiều Đối với vật thể, hình khối có cấu trúc hình học phức tạp ta sử dụng phối hợp kỹ thuật như: sử dụng hình ảnh 2D vật thể, sử dụng máy quét…Tuy nhiên, với phương pháp trình tinh chỉnh mơ hình bước quan trọng làm tăng tính chân thực đối tượng xây dựng Chỉnh sửa hình khối Lựa chọn hình khối tương đồng với đối tượng Ví dụ, tạo mơ hình ống nước từ khối hộp bản, ta bổ sung thông số chiều dài , chiều rộng chiều cao, sau chuyển đổi đối tượng dạng khối đa giác 10 Hình Kết thực nghiệm với tập liệu UCI Hình Kết thực nghiệm cho tập CK+ (trái) ITI (phải) 11 Xây dựng mơ hình 3D từ ảnh DICOM Tư tưởng phương pháp là: Từ ảnh chụp cắt lớp CT quan – phận thể người thu thông qua thiết bị chụp cắt lớp, tiến hành xây dựng lưới 3D cách với ảnh tiến hành xác định biên ảnh Tiếp theo đó, từ tập biên lấy từ tập ảnh (chính tập điểm), xây dựng mơ hình 3D phương pháp đa giác hóa tập điểm thu Dựng mơ hình mặt người 3D từ ảnh thơng thường Từ ảnh mơ tả góc độ khác quan – phận thể người (thường ảnh, mô tả mặt đối tượng: trên, dưới, trái, phải) kết hợp với thông tin mô tả giải phẫu quan – phận này, dựng lại mơ hình 3D chúng Với mơ hình mặt người áp dụng phương pháp để dựng lại mơ hình 3D Quy trình dựng mơ hình 3D từ ảnh thể qua bước sau: Tại bước này, tiến hành chụp ảnh đối tượng cần mơ ngồi thực tiễn góc độ khác nhau, trường hợp đầu người chụp góc độ,chính giữa,mặt trái mặt phải, mặt người có tính chất đối xứng nên trường hợp cần hai ảnh chụp góc độ khác nhau: chụp diện mặt chụp ảnh từ phía trái phải Hình 10 Ảnh liệu thu thập từ ảnh chụp Sau đưa ảnh làm liệu cho việc dựng mơ hình phần mềm 3ds max Với phần mềm 3ds max ta dựng hai mặt plane gán ảnh chụp Sau ta gán ảnh đối tượng cần mơ hình hóa vào mặt phẳng ta hình sau: Hình 11 Ảnh dán vào plane 3dsmax Từ đường vẽ phác thảo này, sử dụng phương pháp dựng hình như: Polygon Subdivision Surface hay mơ hình đường cong NURBS Sau đựng mơ hình với cơng cụ ta có mơ hình thô kết sau làm mịn Sử dụng số công cụ line để kéo đường khuôn mặt 12 Hình 12 Cơng cụ Line kết thu Sau bước sử dụng đường line số công cụ Editable Poly tạo mơ hình thơ mặt người: Hình 13 Mơ hình thơ chưa làm mịn (trái), mơ hình đầu chưa gán Texture (giữa) mơ hình hồn chỉnh (phải) Sau qua số bước làm mịn mơ hình cơng cụ Smooth Optimize Sau hồn tất phận đầu người ta có kết mơ sau: Từ liệu hình ảnh chụp cần phải trải qua bước làm Texture cho đối tượng mơ hình hóa cho sau phủ Texture cho đối tượng,yêu cầu cần phải có độ xác cần thiết mà nhận mơ hình giống với ngồi đời thực 4.4 Phát triển hệ thống phần mềm tiếp viên ảo dựa tảng mô cử chỉ, trạng thái khuôn mặt 3D Trong khuôn khổ đề tài, xây dựng modul phần mềm phần cung cấp cho người sử dụng công cụ hỗ trợ đọc hiển thị mơ hình mặt người 3D máy tính Cụ thể xây dựng mô đun sau đây: - Mô đun nhận dạng mặt người - Đọc mơ hình mặt người 3D theo cấu trúc VRML - Cho phép hiển thị mơ hình theo số vị trí góc nhìn cụ thể, sở số thao tác mơ hình xoay, phóng to, thu nhỏ, dịch chuyển - Đầu vào hệ thống tệp mơ hình khn mặt 3D lưu trữ mà mô tả theo cấu trúc VRML - Trích chọn đặc trưng từ ảnh khn mặt - Modul biểu diễn trạng thái biểu cảm khuôn mặt 3D Về chức phần mềm tiếp viên ảo 3D dựa kỹ thuật biểu diễn cử chỉ, trạng thái khuôn mặt 13 Xử lý liệu ảnh 2D, từ trích rút tập điểm điều khiển khn mặt Thực biến đổi mơ hình mặt 3D định trước dựa sở tập điểm điều khiển có Phần mềm biểu diễn số cử trạng thái đặc trưng khuôn mặt tiếp viên ảo 3D phù hợp với lời thoại Mơ hình mẫu đầu mặt người 3D - Mơ hình 3D thể đầu mặt người theo chuẩn VRML - Một mục thiết lập tương ứng - Tài liệu tham khảo [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] M Piotraschke, V Blanz, Automated 3D Face Reconstruction From Multiple Images Using Quality Measures, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 3418-3427, 2016 Georgia Sandbach, Stefanos Zafeiriou, Maja Pantic, Lijun Yin: Static and dynamic 3D facial expression recognition: A comprehensive survey Image Vision Comput 30(10): 683-697, 2012 Andre Teixeira Lopes, Edilson de Aguiar, Alberto F De Souza, Thiago Oliveira-Santos: Facial expression recognition with Convolutional Neural Networks: Coping with few data and the training sample order Pattern Recognition 61: 610-628, 2017 T F Cootes, G J Edwards, and C J Taylor, “Active appearance models”, IEEE Transactions on pattern analysis and machine intelligence, Vol 23, No 6, pp 681-685, 2001 Ahmed Maalej, Boulbaba Ben Amor, Mohamed Daoudi, Anuj Srivastava, Stefano Berretti: Shape analysis of local facial patches for 3D facial expression recognition Pattern Recognition 44(8): 1581-1589, 2011 Enrico Vezzetti, Federica Marcolin: 3D human face description: landmarks measures and geometrical features Image Vision Comput 30(10): 698-712, 2012 Rui Xu, Donald C Wunsch II: Survey of clustering algorithms IEEE Trans Neural Networks 16(3): 645-678 (2005) Martin Ester, Hans-Peter Kriegel, Jörg Sander, Xiaowei Xu: A Density-Based Algorithm for Discovering Clusters in Large Spatial Databases with Noise KDD 1996: 226-231 Levi Lelis, Jörg Sander: Semi-supervised Density-Based Clustering ICDM 2009: 842-847 S Basu, I Davidson, and K L Wagstaff, Constrained Clustering: Advances in Algorithms, Theory, and Applications, Chapman and Hall/CRC Data Mining and Knowledge Discovery Series, 1st edn., 2008 COBRA: A Fast and Simple Method for Active Clustering with Pairwise Constraints IJCAI 2017: 2871-2877 Ahmad Ali Abin, Hamid Beigy: Active constrained fuzzy clustering: A multiple kernels learning approach Pattern Recognition 48(3): 953-967, 2015 Vũ Việt Vũ, Nicolas Labroche, Active seed selection for constrained clustering Intelligent Data Analysis, 21(3), pp 537-552, 2017 Vũ Việt Vũ, Đỗ Hồng Quân, Đỗ Năng Toàn, Đặng Vũ Tuấn, 2019, An Efficient Densitybased Clustering with Side Information and Active Learning: A Case Study for Facial Expression Recognition Task Intelligent Data Analysis, 23(1), pp 227-240, 2019 Huỳnh Cao Tuấn, Đỗ Năng Toàn, Hà Mạnh Toàn, Một kỹ thuật xác định tập điểm điều khiển phục vụ nắn chỉnh biến dạng mơ hình, Kỷ yếu hội thảo toàn quốc FAIR, 2018 14 [16] Đỗ Năng Toàn, Phạm Tấn Năm, Trần Thanh Hiệp, Trịnh Hiền Anh (2005), “Một kỹ thuật tiếp cận tạo mơ hình chiều”, Báo cáo khoa học Hội thảo Quốc gia “Một số vấn đề chọn lọc CNTT”, Hải Phòng 25-27/08/2005 [17] Nguyễn Văn Huân , Trịnh Xuân Hùng, Phạm Bá Mấy, “Cải tiến kỹ thuật biểu diễn bề mặt NURBS” ”, Báo cáo khoa học Hội thảo Quốc gia “Một số vấn đề chọn lọc CNTT”, Biên Hòa – Đồng Nai 05-06/08/2009 [18] http://www.face-rec.org/databases/ Đánh giá kết đạt kết luận Kết đề tài 02 báo đăng tạp chí thuộc danh mục ISI, 01 báo đăng hội nghị quốc gia 02 mô đun phần mềm phục vụ cho tốn mơ cử trạng thái mặt người 3-D Về số lượng báo đăng ký vượt tiêu, chất lượng phầm mềm đáp ứng yêu cầu đặt đề tài Mặc dù lĩnh vực nghiên cứu mô 3D nhận dạng trạng thái cảm xúc ứng dụng vào thực tiễn cần tiếp tục đầu tư nghiên cứu triển khai Tóm tắt kết (tiếng Việt tiếng Anh) Tóm tắt: Nghiên cứu tập trung vào vấn đề nhận dạng trạng thái cảm xúc khuôn mặt mô khuôn mặt Trước tiên nghiên cứu tìm hiểu cơng cụ cho tốn trích chọn đặc trưng mơ hình biến đổi 2D 3D Tiếp theo đề xuất số thuật toán học máy cho toán nhận dạng trạng thái cảm xúc khuôn mặt Cuối xây dựng số mô đun cho việc mô cử trạng thái khuôn mặt Các kết đạt đề tài sau: - Công bố 02 báo ISI, 01 báo hội thảo quốc gia - Hỗ trợ 02 nghiên cứu sinh - Xây dựng 02 mô đun phần mềm phục vụ cho việc mô Abstract: This research focuses on the problem of facial expression recongitions and facial simullations Firstly, we study tools for extracting features and transforming in 2D and 3D facial images Secondly, we propose some machine learning methods for facial expression recognition data set Finally, we develop some modules for facial gestures 3-D simulation The results of project are as follows: - Publish 02 ISI papers and 01 national proceeding paper - Support 02 PhD students - Develop 02 software modules for facial simulations 15 PHẦN III SẢN PHẨM, CÔNG BỐ VÀ KẾT QUẢ ĐÀO TẠO CỦA ĐỀ TÀI 3.1 Kết nghiên cứu TT Yêu cầu khoa học hoặc/và tiêu kinh tế - kỹ thuật Tên sản phẩm Đăng ký Đạt Các phương pháp xử lý ảnh để - 01 ISI, mô phục vụ thể - 01 báo tập san Đại học cử chỉ, trạng thái khuôn Quốc gia Hà Nội mặt người 3D cụ thể: đề xuất kỹ thuật biểu diễn , biến đổi , nhận dạng cử trạng thái khuôn mặt 02 báo ISI, 01 báo hội nghị quốc gia FAIR’2018 - Xử lý liệu ảnh 2D, từ trích rút tập điểm điều khiển khuôn mặt - Xử lý liệu ảnh 2D, từ trích rút tập điểm điều khiển khuôn mặt Phần mềm tiếp viên ảo 3D dựa kỹ thuật biểu diễn - Thực biến đổi mơ hình cử chỉ, trạng thái khn mặt mặt 3D định trước dựa Mơ hình mẫu đầu mặt người 3D - Thực biến đổi mơ hình mặt 3D định trước dựa sở tập điểm điều khiển có sở tập điểm điều khiển có - Mơ hình 3D thể đầu mặt người theo chuẩn - Mơ hình 3D thể đầu mặt người theo chuẩn VRML VRML - Một mục thiết lập tương ứng - Một mục thiết lập tương ứng 3.2 Hình thức, cấp độ cơng bố kết Ghi địa Tình trạng cảm ơn (Đã in/ chấp nhận in/ nộp tài trợ đơn/ chấp nhận đơn Sản phẩm TT hợp lệ/ cấp giấy xác ĐHQGHN nhận SHTT/ xác nhận sử dụng quy sản phẩm) định Cơng trình cơng bớ tạp chí khoa học quốc tế theo hệ thống ISI/Scopus 1.1 Vũ Việt Vũ, Nicolas Labroche, Đã in  Đánh giá chung (Đạt, không đạt) Đạt Active seed selection for constrained clustering Intelligent Data Analysis, 21(3), pp 537-552, 2017, [ISI] 1.2 Vũ Việt Vũ, Đỗ Hồng Quân, Đỗ Đã in Năng Toàn, Đặng Vũ Tuấn, 2019, An Efficient Density-based Clustering with Side Information  Đạt 16 and Active Learning: A Case Study for Facial Expression Recognition Task Intelligent Data Analysis, 23(1), pp 227-240, 2019 [ISI] 2.1 2.2 3.1 3.1 4.1 4.2 Sách chuyên khảo xuất ký hợp đồng xuất Đăng ký sở hữu trí tuệ Bài báo quốc tế không thuộc hệ thống ISI/Scopus Bài báo tạp chí khoa học ĐHQGHN, tạp chí khoa học chuyên ngành quốc gia báo cáo khoa học đăng kỷ yếu hội nghị quốc tế 5.1 5.2 Báo cáo khoa học kiến nghị, tư vấn sách theo đặt hàng đơn vị sử dụng 6.1 6.2 Kết dự kiến ứng dụng quan hoạch định sách sở ứng dụng KH&CN - Xử lý liệu ảnh 2D, từ Phần mềm tiếp viên ảo 3D dựa kỹ thuật biểu diễn cử chỉ, 7.1 trạng thái khn mặt trích rút tập điểm điều khiển khn mặt Đã có - Thực biến đổi mơ hình mặt 3D định trước dựa sở tập điểm điều khiển có - Mơ hình 3D thể đầu mặt người theo chuẩn 7.2 Mô hình mẫu đầu mặt người 3D Đạt Đã có Đạt VRML - Một mục thiết lập tương ứng Ghi chú: - Cột sản phẩm khoa học công nghệ: Liệt kê thông tin sản phẩm KHCN theo thứ tự - Các ấn phẩm khoa học (bài báo, báo cáo KH, sách chuyên khảo…) chấp nhận có ghi nhận địa cảm ơn tài trợ ĐHQGHN theo quy định 17 - Bản phơ tơ tồn văn ấn phẩm phải đưa vào phụ lục minh chứng báo cáo Riêng sách chuyên khảo cần có phơ tơ bìa, trang đầu trang cuối có ghi thông tin mã số xuất 3.3 Kết đào tạo Thời gian kinh phí TT Họ tên tham gia đề tài (số tháng/số tiền) Nghiên cứu sinh Trịnh Xuân Hùng Đặng Vũ Tuấn Học viên cao học Dương Văn Cường Bùi Quang Vinh Cơng trình cơng bố liên quan (Sản phẩm KHCN, luận án, luận văn) Đã bảo vệ 01 đăng kỷ yếu hội nghị FAIR 2018 Đồng tác giả 01 báo ISI Nghiên cứu số phương pháp trích chọn đặc trưng cho ảnh ứng dụng tốn phân loại trạng thái cảm xúc khn mặt, Luận văn Thạc sĩ trường Đại học CNTT&TT-Đại học Thái Nguyên, 2018, GVHD: Vũ Việt Vũ Nghiên cứu phương pháp học đa tầng (deep learning) ứng dụng cho toán phân loại trạng thái cảm xúc khuôn mặt, Luận văn Thạc sĩ Trường Đại học Hồng Đức, 2018, GVHD: Vũ Việt Vũ Đã bảo vệ Đã bảo vệ Ghi chú: - Gửi kèm photo trang bìa luận án/ luận văn/ khóa luận giấy chứng nhận nghiên cứu sinh/thạc sỹ học viên bảo vệ thành cơng luận án/ luận văn; - Cột cơng trình cơng bố ghi mục III.1 PHẦN IV TỔNG HỢP KẾT QỦA CÁC SẢN PHẨM KH&CN VÀ ĐÀO TẠO CỦA ĐỀ TÀI TT Sản phẩm Số lượng Số lượng đăng ký hồn thành Bài báo cơng bớ tạp chí khoa học quốc tế theo hệ thống 01 01 ISI ISI/Scopus Sách chuyên khảo xuất ký hợp đồng xuất Đăng ký sở hữu trí tuệ Bài báo quốc tế khơng thuộc hệ thống ISI/Scopus Số lượng báo tạp chí khoa học ĐHQGHN, 01 01 ISI tạp chí khoa học chuyên ngành quốc gia báo cáo khoa học đăng kỷ yếu hội nghị quốc tế Báo cáo khoa học kiến nghị, tư vấn sách theo đặt hàng đơn vị sử dụng Kết dự kiến ứng dụng quan hoạch định sách sở ứng dụng KH&CN Đào tạo/hỗ trợ đào tạo NCS 01 02 Đào tạo thạc sĩ 02 02 18 PHẦN V TÌNH HÌNH SỬ DỤNG KINH PHÍ Nội dung chi TT Chi phí trực tiếp Th khốn chun mơn Ngun, nhiên vật liệu, Thiết bị, dụng cụ Công tác phí Dịch vụ th ngồi Hội nghị, Hội thảo, kiểm tra tiến độ, nghiệm thu In ấn, Văn phòng phẩm Chi phí khác Chi phí gián tiếp Quản lý phí Chi phí điện, nước Tổng số A B Kinh phí duyệt (triệu đồng) 285 270.783 Kinh phí thực (triệu đồng) 285 270.783 10 10 4.217 4.217 15 15 15 15 300 300 Ghi PHẦN V KIẾN NGHỊ (về phát triển kết nghiên cứu đề tài; quản lý, tổ chức thực cấp) PHẦN VI PHỤ LỤC (minh chứng sản phẩm nêu Phần III) - 02 báo ISI, 01 đăng kỷ yếu hội nghị FAIR - 02 mô đun phần mềm - 02 minh chứng đào tạo Thạc sĩ Hà Nội, ngày tháng …… năm 2019 Đơn vị chủ trì đề tài (Thủ trưởng đơn vị ký tên, đóng dấu) Chủ nhiệm đề tài (Họ tên, chữ ký) 19 ... quan biểu cảm khuôn mặt mô biểu cảm khn mặt sở tốn xây dựng tiếp viên ảo - Nghiên cứu kỹ thuật phục vụ quy trình mơ cử chỉ, trạng thái khn mặt 3D - Nghiên cứu xây dựng mơ hình 3D khn mặt phục vụ. .. Nghiên cứu kỹ thuật phục vụ quy trình mơ cử chỉ, trạng thái khuôn mặt 3D Để mô cử trạng thái khuôn mặt môi trường 3D cần phải nghiên cứu cách thức biểu diễn, xây dựng biến đối mơ hình 3D Chúng... CHUNG 1.1 Tên đề tài: Phát triển kỹ thuật biểu diễn cử chỉ, trạng thái khn mặt 3D phục vụ cho tốn xây dựng tiếp viên ảo 1.2 Mã số: QG.17.43 1.3 Danh sách chủ trì, thành viên tham gia thực đề