TNU Journal of Science and Technology 227(16): 20 - 27 3D CHARACTER EXPRESSION ANIMATION ACCORDING TO VIETNAMESE SENTENCE SEMANTICS Do Thi Chi*, Le Son Thai TNU - University of Information and Communication Technology ARTICLE INFO Received: 13/8/2022 Revised: 07/10/2022 Published: 07/10/2022 KEYWORDS Facial expression Emotion Lipsync Animation Virtual reality ABSTRACT Facial expressions are the main means of communicating social information between people, being a form of nonverbal communication In a virtual reality program or game, a compelling 3D character needs to be able to act and express emotions clearly and coherently Animation studies show that character need to represent at least six basic emotions: happy, sad, fear, disgust, anger, surprise However, generating expression animations for virtual characters is time-consuming and requires a lot of creativity The main objective of the article is to generate expression animations combined with lipsynchronization of 3D characters according to the semantics of Vietnamese sentences Our method is based on the blendshape weights of the 3D face model The input text after emotion prediction will be passed to lip sync and emotion generator to perform 3D face animation Experimental results with 200 Vietnamese sentences are automatically classified according to six different emotions Then, conduct a survey that predicts the emotion shown in the video Survey participants were asked to recognize the emotions of 3D virtual faces according to each sentence of input text Survey results show that anger is the most recognizable emotion, happiness and excitement are easily confused DIỄN HOẠT BIỂU CẢM NHÂN VẬT 3D THEO NGỮ NGHĨA CÂU TIẾNG VIỆT Đỗ Thị Chi*, Lê Sơn Thái Trường Đại học Công nghệ Thông tin Truyền thơng – ĐH Thái Ngun THƠNG TIN BÀI BÁO TĨM TẮT Biểu cảm khn mặt hình thức giao tiếp phi ngơn ngữ, phương tiện để truyền đạt thông tin người Trong Ngày hồn thiện: 07/10/2022 chương trình thực ảo trị chơi, nhân vật 3D hấp dẫn cần có Ngày đăng: 07/10/2022 khả diễn xuất thể biểu cảm cách rõ ràng, mạch lạc Các nghiên cứu diễn hoạt nhân vật cần biểu diễn tối thiểu sáu cảm xúc bản: hạnh phúc, buồn, sợ hãi, chán ghét, tức giận, TỪ KHÓA ngạc nhiên Tuy nhiên, việc tạo diễn hoạt biểu cảm cho nhân vật ảo tốn Biểu cảm mặt nhiều thời gian đòi hỏi sáng tạo cao Với mục tiêu tạo diễn hoạt biểu cảm kết hợp với đồng môi cách tự động cho nhân vật 3D Cảm xúc theo ngữ nghĩa câu tiếng Việt, báo dựa trọng số blendshape Đồng môi mơ hình mặt 3D Văn đầu vào sau dự đoán cảm xúc Diễn hoạt chuyển đến đồng môi tạo cảm xúc để thực diễn hoạt Thực ảo mặt 3D Kết thực nghiệm với 200 câu tiếng Việt phân loại quan điểm tự động theo sáu cảm xúc khác Sau đó, tiến hành khảo sát để dự đốn biểu cảm mặt nhân vật 3D Người tham gia khảo sát yêu cầu nhận biết cảm xúc khuôn mặt ảo 3D tạo theo câu văn đầu vào Kết khảo sát cho thấy, tức giận cảm xúc dễ nhận biết nhất, hạnh phúc vui mừng dễ bị nhầm lẫn DOI: https://doi.org/10.34238/tnu-jst.6361 Ngày nhận bài: * 13/8/2022 Corresponding author Email: dtchi@ictu.edu.vn http://jst.tnu.edu.vn 20 Email: jst@tnu.edu.vn 227(16): 20 - 27 TNU Journal of Science and Technology Giới thiệu 1.1 Đặt vấn đề Ngày nay, nhân vật ảo 3D đóng vai trị quan trọng ứng dụng tương tác người với máy tính, trị chơi giải trí Hình ảnh kết xuất từ nhân vật 3D giống người thật giúp nhận thức thơng tin cách tự nhiên, tín hiệu cảm xúc khác truyền đạt thông tin khác Biểu cảm khuôn mặt sử dụng để truyền đạt nhiều ý nghĩa khác ngữ cảnh khác nhau, phạm vi ý nghĩa thể từ cảm xúc đến phức tạp Cảm xúc khuôn mặt để truyền đạt thông tin qua phận khác chuyển động mắt, lông mày, môi, mũi v.v Đồng thời, biểu cảm kết hợp với hình nói tạo thành thơng điệp hồn chỉnh giao tiếp Năm 1992, Ekman [1] phân loại cảm xúc thành bảy loại khác nhau: tức giận, hạnh phúc, sợ hãi, ngạc nhiên, buồn bã, ghê tởm, khinh bỉ Sau đó, Ekman thêm cảm xúc khác: thích thú, mãn nguyện, xấu hổ, tội lỗi, bối rối v.v… vào danh sách biểu cảm ông Tuy nhiên, nghiên cứu tiếp theo, Ekman nhận định sáu loại cảm xúc bản: tức giận, hạnh phúc, ngạc nhiên, buồn bã, sợ hãi, ghê tởm sở cho biểu cảm khuôn mặt người Những kết nghiên cứu Ekman xoay quanh việc phát sáu cảm xúc dường cơng nhận tồn cầu, văn hóa mà người khơng thể học biểu cảm khuôn mặt thông qua phương tiện truyền thông Tuy nhiên, nghiên cứu có nhiều cảm xúc Năm 2017, Alan S.Cowen Dacher Keltner [2] xác định 27 loại cảm xúc khác người Nhóm nghiên cứu rằng, người trải nghiệm cảm xúc theo phổ có pha trộn định không cảm nhận riêng biệt loại Dựa cơng trình nghiên cứu biểu cảm người, nội dung báo sử dụng sáu cảm xúc để áp dụng phân loại lớp cảm xúc cho câu văn tiếng Việt Thực tế, câu nói truyền tải kèm với cảm xúc định, thể cảm xúc tồn với người loài động vật Để máy tính hiểu cảm xúc ẩn ý sau câu nói, báo sử dụng thơng tin ngữ nghĩa câu văn đầu vào để phân loại cảm xúc [3] Với câu văn đầu vào, phân tích ngữ nghĩa tìm kiếm từ khố có cường độ cảm xúc cao đánh giá trọng số từ khoá để dự đoán cảm xúc cho văn [4] Hiện nay, có nhiều cơng cụ phân tích cảm xúc người Nghiên cứu sử dụng phân tích cảm xúc ParallelDots [5] phát xác cảm xúc văn đầu vào; xử lý trả kết thời gian ngắn; đảm bảo yếu tố bảo mật liệu Dựa ưu điểm phân tích cảm xúc ParallelDots, báo lựa chọn sử dụng cơng cụ phân tích cảm xúc Trong đó, cảm xúc chán nản thay cho ghê tởm, vui mừng thay cho ngạc nhiên Hình thể sáu loại cảm xúc báo sử dụng tương ứng với thang đo lực cảm xúc ParallelDots gồm: tức giận, hạnh phúc, vui mừng, buồn, sợ hãi, chán nản Tức giận Hạnh phúc Vui mừng Buồn Sợ hãi Chán nản Hình Sáu cảm xúc khuôn mặt chọn để diễn hoạt Cho đến nay, có nhiều cách tiếp cận khác để tạo biểu cảm mặt người Phần lớn nghiên cứu tiếp cận theo hướng điều khiển mơ hình dựa nhận thức văn hoá chủ quan người [6] – [7] Tuy nhiên, khả nhận biết xác biểu cảm khn mặt nói chung cịn thấp Do đó, báo đề xuất mơ hình tạo biểu cảm mặt người tự động sở phân tích ngữ nghĩa tiếng Việt Phần báo trình bày tổng quan số kỹ thuật tạo biểu cảm mặt cho mơ hình nhân vật 3D Tiếp theo, trình bày chi tiết kỹ thuật tạo biểu cảm khuôn mặt đồng môi nhân vật 3D theo ngữ nghĩa tiếng Việt Cuối kết thực nghiệm http://jst.tnu.edu.vn 21 Email: jst@tnu.edu.vn 227(16): 20 - 27 TNU Journal of Science and Technology 1.2 Các nghiên cứu liên quan Một số nghiên cứu gần [8], [9], [10], [11] rõ số phương pháp tạo biểu cảm mặt với cảm xúc Nicolas [12] đưa nghiên cứu đột phá lĩnh vực tạo biểu cảm khn mặt Nhóm nghiên cứu giới thiệu phương pháp tạo biểu cảm để tương tác người máy tính dựa tham số định nghĩa khuôn mặt MPEG-4 (FDPs) tham số diễn hoạt mặt (FAPs) Ưu điểm phương pháp khả phân tích tổng hợp biểu cảm linh hoạt Tang [10] tạo nhân vật ảo nói có cảm xúc (EAVA) cách chuyển văn thành giọng nói cảm xúc thơng qua kỹ thuật đồng giọng nói cảm xúc Nghiên cứu tập trung vào dựng mơ hình mặt 3D, diễn hoạt biểu cảm mặt, đồng giọng nói cảm xúc, kết hợp chuyển động môi biểu cảm khuôn mặt Để tìm khác trạng thái cảm xúc, nhóm nghiên cứu sử dụng quy tắc để xác định thông số cảm xúc ngữ điệu trung lập Với kết đánh giá chủ quan, cảm xúc tiêu cực (buồn, sợ hãi, tức giận) đồng tốt cảm xúc tích cực (hạnh phúc) Dahmani [8] sử dụng mã hoá tự động biến thể (VAE) để đồng biểu cảm với âm giọng nói Kết thực nghiệm cho thấy tỷ lệ nhận dạng tốt với hầu hết cảm xúc Tuy nhiên, khó phân biệt cảm xúc buồn sợ hãi Liu [13] xây dựng mơ hình tạo biểu cảm theo phương pháp tiếp cận tâm sinh lý [14], [15] dựa nhận thức người Quá trình tạo biểu cảm gồm hai bước chính: Định nghĩa chuyển động khuôn mặt dạng đơn vị hành động (Aus) [16] để xây dựng không gian liệu; Tạo loạt biểu cảm mặt tương ứng với sáu cảm xúc cảm xúc phức tạp thông qua tương quan chéo Tận dụng khả dự đoán tập lớn biểu cảm số 25 cảm xúc phức tạp vào khơng gian liệu, nhóm nghiên cứu chứng minh khả tạo biểu cảm cho nhân vật ảo Phần lớn nghiên cứu diễn hoạt biểu cảm khn mặt thực theo mơ hình điều khiển liệu dựa nhận thức văn hoá chủ quan người Kết nghiên cứu phương pháp cho thấy khả nhận biết biểu cảm khuôn mặt tạo chưa đồng hồn tồn Hai mơ hình tiếp cận gần VAE [8] DBLSTM [17], nhiên kỹ thuật tính tốn phức tạp có nhiều thách thức trình thực Ngược lại, phương pháp chúng tơi dễ thực quy trình thiết lập cấu hình blendshape để tổng hợp biểu cảm khn mặt thực cách tự động, trình thực diễn hoạt cảm xúc khn mặt nhân vật ảo tính tốn loại bỏ yếu tố tác nhân chủ quan người Phương pháp nghiên cứu Văn Ghi âm văn Dịch API Google Phân tích cảm xúc Đồng mơi Diễn hoạt mặt Hình Quy trình tạo diễn hoạt biểu cảm khuôn mặt với liệu đầu vào, bước trung gian kết đầu Phần trình bày chi tiết phương pháp tạo diễn hoạt biểu cảm nhân vật ảo dựa phân tích ngữ nghĩa câu tiếng Việt thể Hình Đầu vào văn tiếng Việt Bài báo sử dụng phân tích ngữ nghĩa tự động văn để dự đốn cảm xúc cho khn mặt Đầu tiên, http://jst.tnu.edu.vn 22 Email: jst@tnu.edu.vn 227(16): 20 - 27 TNU Journal of Science and Technology câu văn tiếng Việt chuyển sang âm thanh, đồng thời dịch sang tiếng Anh thơng qua dịch thuật API Google Sau đó, văn dịch chuyển đến phân tích ngữ nghĩa API ParallelDots để xác định cảm xúc văn Tiến hành tạo diễn hoạt môi cho nhân vật dựa âm ghi trước Cuối cùng, kết hợp diễn hoạt môi với cảm xúc dự đốn để tạo diễn hoạt cho khn mặt 2.1 Phân tích ngữ nghĩa Văn tiếng Việt ban đầu sau dịch sang tiếng Anh qua dịch API Google chuyển sang phân tích ngữ nghĩa Bảng kết số mẫu câu tiếng Việt sau dịch sang tiếng Anh sử dụng API Google Bảng Một số mẫu câu văn đầu vào tiếng Việt Câu văn Nội dung A Ai làm hỏng xe tôi? B Thật vui gặp lại bạn C Xin lỗi, không cố ý D Tôi mong chờ lễ hội chè tới E Bạn có cầu an toàn F Kỳ nghỉ lễ lần thật dài tẻ nhạt Văn dịch Who damaged my car? Good to see you again Sorry, I didn’t mean to I’m looking forward to the upcoming tea festival Are you sure this bridge is safe? This holiday season is long and boring Bài báo sử dụng phân tích cảm xúc API ParallelDots [5] để dự đoán cảm xúc cho văn Mỗi câu văn đầu vào phân thành lớp cảm xúc khác Mỗi lớp cảm xúc thu kết phân tích gồm hai thành phần: Nhãn cảm xúc tỷ lệ phần trăm trọng số cảm xúc Với trọng số cảm xúc thu được, báo chọn lớp cảm xúc có giá trị phần trăm cao làm cảm xúc cho câu văn bản, giá trị phần trăm chọn sử dụng làm hệ số tỷ lệ cho blendshape nhân vật ảo tạo biểu cảm Ví dụ, với câu văn “Ai làm hỏng xe tôi?” Câu văn thu sau sử dụng dịch Google: “Who damaged my car?” Tiếp theo, sử dụng API ParallelDots để phân tích cảm xúc câu văn dịch Kết phân tích gồm: Hạnh phúc: 0,31%; Tức giận: 72,67%; Vui mừng: 0,78%; Buồn: 18,12%; Sợ hãi: 6,21%; Chán nản: 1,91% Với kết dự đoán trên, báo chọn lọc tức giận làm cảm xúc đầu vào cho câu văn Bảng thể kết dự đốn cảm xúc có trọng số cao số câu tiếng Việt sau phân tích API ParallelDots Bảng Tỷ lệ phần trăm trọng số cảm xúc cao câu văn đầu vào Câu văn A B C D E F Cảm xúc Tức giận Hạnh phúc Buồn Vui mừng Sợ hãi Chán nản Tỷ lệ % cao 72,67 45,05 41,06 34,11 49,56 82,07 Bài báo sử dụng thư viện ứng dụng khách SDK để tích hợp API Komprehend chương trình ứng dụng Kết nối API ParallelDots với chương trình thiết lập cách sử dụng thư viện Komprehend Để sử dụng liệu Unity, báo tạo kết nối TCP ứng dụng máy chủ khách ngôn ngữ C# 2.2 Đồng mơi với giọng nói Q trình diễn hoạt mơi dựa tệp âm ghi lại từ văn đầu vào Các hình dáng mơi xây dựng dựa chuyên gia diễn hoạt Với khác biệt tiếng Việt so với ngôn ngữ khác, xây dựng dịch hoạt tiếng Việt gồm: 12 nguyên âm đơn, 139 http://jst.tnu.edu.vn 23 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(16): 20 - 27 nguyên âm ghép, 17 phụ âm đơn 11 phụ âm ghép Trong 28 phụ âm, diễn hoạt phụ âm b/m/p/ph/v có phụ âm có tác động nhiều mơi Với mục tiêu tối ưu dịch hoạt, điệu sử dụng tiếng Việt loại bỏ diễn hoạt Điều có ảnh hưởng tới hình ảnh diễn hoạt môi, ảnh hưởng không lớn Bên cạnh đó, cố gắng xây dựng dịch hoạt tiếng Việt với đầy đủ dấu phát sinh bùng nổ tổ hợp Với âm vị có hình dáng chuyển động mơi giống gộp thành nhóm Hình thể hình dáng mơi âm vị tiếng Việt đại diện cho nhóm Hình Hình đại diện cho nhóm âm vị tiếng Việt Q trình diễn hoạt câu kết hợp diễn hoạt từ đơn câu Q trình diễn hoạt từ kết hợp việc chuyển trạng thái từ tiền âm vị tới hậu âm vị Bài báo sử dụng kỹ thuật nội suy để tính tốn q trình chuyển đổi âm vị trạng thái theo thời gian Các âm vị xếp dòng thời gian, trạng thái diễn hoạt nhân vật thời gian t nội suy âm vị gần nhất, trước sau thời gian t Giả sử, thứ tự âm vị p0, p1,…, pn diễn thời điểm t0, t1,…, tn Ta xác định vị trí t dịng thời gian với điều kiện: ti ≤ t ≤ ti+1 Trạng thái pt mơ tả hình dáng miệng thời gian t xác định dựa hàm nội suy tuyến tính (1) pt t ti t t pi 1 i 1 pi ti 1 ti ti 1 ti (1) Tổng hợp bước thu hình ảnh nhân vật 3D diễn hoạt nói tiếng Việt với đầu vào tệp âm gán nhãn Với câu văn đầu vào thu tệp diễn hoạt môi, tệp tương ứng với cảm xúc phân lớp sáu cảm xúc Tiếp tục tạo biểu cảm cho tệp với cảm xúc có trọng số cao 2.3 Tạo diễn hoạt biểu cảm khuôn mặt sử dụng blendshape Sử dụng tham số cấu hình blendshape để tạo sáu biểu cảm khuôn mặt Mỗi biểu cảm kiểm soát phận định khuôn mặt mắt, lông mày, miệng Các phận xác định thơng số blendshape có giá trị từ đến 1, thay đổi giá trị thông số blendshape tạo cảm xúc khác khn mặt Ví dụ, tức giận lơng mày nhíu lại, hạnh phúc miệng cười rộng Bằng cách kết hợp cấu hình blendshape khn mặt tạo nhóm gồm sáu cảm xúc thể Hình Mơ hình blendshape xác định cơng thức sau: ∑ Trong đó: - V: đỉnh mơ hình - : trọng số cảm xúc dự đốn theo ParallelDots, - : vị trí đỉnh hình dạng mặt i http://jst.tnu.edu.vn 24 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(16): 20 - 27 Kết tạo diễn hoạt biểu cảm kết hợp với đồng môi sáu câu tiếng Việt (Bảng 1) thể Hình Mỗi câu thể đồ thị dao động âm hình ảnh khn mặt trích xuất tương ứng với vị trí âm vị tệp âm Đường thẳng màu đỏ sóng âm đại diện cho vị trí âm vị từ tệp âm A B C D E F Hình Diễn hoạt biểu cảm sáu câu văn Bảng tương ứng với A, B, C, D, E, F Kết bàn luận Để đánh giá độ xác khn mặt tạo ra, tiến hành thực nghiệm tập liệu gồm 200 câu văn tiếng Việt với cảm xúc khác Quá trình khảo sát thực với đối tượng 20 người dùng 20 chuyên gia diễn hoạt, người nhận dạng cảm xúc khuôn mặt nhân vật 3D diễn hoạt tập liệu trên, cách dự đoán cảm xúc câu văn tương ứng với cảm xúc sáu cảm xúc bản: Hạnh phúc, tức giận, vui mừng, buồn, sợ hãi, chán nản Hình kết khảo sát sáu câu văn minh hoạ Bảng Kết khảo sát nhận dạng cho thấy, số lượng người nhận dạng cảm xúc đạt giá trị nhiều văn trùng với kết dự đoán API ParallelDots Trong đó, hai cảm xúc Hạnh phúc Tức giận nhận biết dễ dàng xác Trong đó, người dùng hay nhầm lẫn Vui mừng với Hạnh phúc, Buồn với Sợ Sự nhầm lẫn yếu tố tương đồng đặc điểm nhân trắc học khuôn mặt Kết khảo sát cho thấy, hệ số cảm xúc theo ParallelDots cao kết nhận dạng cảm xúc người tham gia khảo sát xác http://jst.tnu.edu.vn 25 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(16): 20 - 27 Hình Kết khảo sát nhận dạng cảm xúc với kỹ thuật đề xuất Trong đó, biểu đồ cột hệ số cảm xúc dự đoán theo API ParallelDots, biểu đồ đường số lượng người nhận dạng cảm xúc nhân vật ảo Kết luận Bài báo trình bày kỹ thuật tạo diễn hoạt biểu cảm khuôn mặt kết hợp với đồng môi cách tự động cho nhân vật 3D theo ngữ nghĩa câu tiếng Việt Bằng cách khai thác phân tích ngữ nghĩa câu văn để xác định lớp cảm xúc trọng số cảm xúc Các trọng số kết hợp với cấu hình blendshape dự đốn trước để tạo biểu cảm khn mặt cho câu văn Sau đó, tiến hành khảo sát với 40 người tham gia để nhận biết cảm xúc tạo tập câu văn đầu vào thuộc cảm xúc sáu cảm xúc: hạnh phúc, tức giận, vui mừng, buồn, sợ, chán nản Kết khảo sát cho thấy việc tạo diễn hoạt mặt không ảnh hưởng đáng kể đến việc nhận biết cảm xúc Điều cho thấy, kỹ thuật đề xuất báo đáng tin cậy Bài báo sử dụng dịch API Google, câu văn đầu vào cịn bị phụ thuộc vào q trình chuyển đổi ngơn ngữ dịch Đồng thời, q trình diễn hoạt tự động bị phụ thuộc vào phân tích cảm xúc API ParallelDots Bên cạnh đó, trình sinh biểu cảm tự động bị ảnh hưởng thiết kế khuôn mặt đầu vào nhân vật dẫn đến biểu cảm sinh chưa phong phú Hướng phát triển cho nghiên cứu áp dụng với tập liệu đầu vào lớn đa dạng cảm xúc thay giới hạn sáu cảm xúc Lời cám ơn Bài báo hoàn thành với trợ giúp đề tài nghiên cứu với mã số: ĐH2022-TN07-01 TÀI LIỆU THAM KHẢO/ REFERENCES [1] P Ekman, “Are there basic emotions?” Psychological Review, vol 99, no 3, pp 550-553, 1992 http://jst.tnu.edu.vn 26 Email: jst@tnu.edu.vn TNU Journal of Science and Technology 227(16): 20 - 27 [2] A S Cowen and D Keltner, “Self – report captures 27 distinct categories of emotion bridged by continuous gradients,” Psychological and Cognitive sciences, vol 114, no 38, pp E7900-E7909, 2017 [3] T Gungor and K Celik, “A comprehensive analysis of using semantic information in text categorization,” in 2013 IEEE INISTA, 2013, pp 1–5 [4] C Goddard, Semantic analysis: A practical introduction Oxford University Press, 1998 [5] ParallelDots, “Emotion analysis API,” 2020 [Online] Available: https://www.paralleldots.com/ emotion-analysis [Accessed March 30, 2021] [6] C Chen, C Crivelli, O G B Garrod, P G Schyns, J -M Fernandez-Dols, and R E Jack, “Distinct facial expressions represent pain and pleasure across cultures,” Proceedings of the National Academy of Sciences, vol 115, no 43, pp E10013–E10021, 2018 [7] H Yu, O G B Garrod, and P G Schyns, “Perception-driven facial expression synthesis,” Computers & Graphics, vol 36, no 3, pp 152–162, 2012 [8] S Dahmani, V Colotte, V Girard, and S Ouni, “Conditional variational auto-encoder for text-driven expressive audio visual speech synthesis,” in INTERSPEECH 2019-20th Annual Conference of the International Speech Communication Association, Graz, Austria, 2019 [9] T Karras, T Aila, S Laine, A Herva, and J Lehtinen, “Audio-driven facial animation by joint end-toend learning of pose and emotion,” ACM Transactions on Graphics (TOG), vol 36, no 4, pp 1– 12, 2017 [10] H Tang, Y Fu, J Tu, T S Huang, and M Hasegawa-Johnson, “Eava: a 3d emotive audio-visual avatar,” in 2008 IEEE Workshop on Applications of Computer Vision, 2008, pp 1–6 [11] C Chen, L B Hensel, Y Duan, R A A Ince, O G B Garrod, J Beskow, R E Jack, and P G Schyns, “Equipping social robots with culturally sensitive facial expressions of emotion using datadriven methods,” in 14th IEEE International Conference on Automatic Face & Gesture Recognition, 2019, pp 1–8 [12] N Tsapatsoulis, A Raouzaiou, S D Kollias, R I D Cowie, and E Douglas-Cowie, Emotion recognition and synthesis based on mpeg-4 faps, John Wiley and Sons, 2002 [13] M Liu, Y Duan, R A A Ince, C Chen, O G B Garrod, P G Schyns, and R E Jack, “Building a generative space of facial expressions of emotions using psychological data driven methods,” in Proceedings of the 20th ACM International Conference on Intelligent Virtual Agents, 2020, pp 1–3 [14] R E Jack and P G Schyns, “Toward a social psychophysics of face communication,” Annual Review of Psychology, vol 68, pp 269–297, 2017 [15] A A Jr and J Lovell, “Stimulus features in signal detection,” The Journal of the Acoustical Society of America, vol 49, no 6B, pp 1751–1756, 1971 [16] P Ekman, “Measuring facial movement,” Environmental Psychology and Nonverbal Behavior, vol pp 56–75, 1976 [17] X Li, Z Wu, H M Meng, J Jia, X Lou, and L Cai, “Expressive speech driven talking avatar synthesis with dblstm using limited amount of emotional bimodal data,” in Interspeech, San Francisco, USA, September 8–12, 2016, pp 1477–1481 http://jst.tnu.edu.vn 27 Email: jst@tnu.edu.vn ... diễn hoạt biểu cảm khuôn mặt kết hợp với đồng môi cách tự động cho nhân vật 3D theo ngữ nghĩa câu tiếng Việt Bằng cách khai thác phân tích ngữ nghĩa câu văn để xác định lớp cảm xúc trọng số cảm. .. ảnh nhân vật 3D diễn hoạt nói tiếng Việt với đầu vào tệp âm gán nhãn Với câu văn đầu vào thu tệp diễn hoạt môi, tệp tương ứng với cảm xúc phân lớp sáu cảm xúc Tiếp tục tạo biểu cảm cho tệp với cảm. .. tạo diễn hoạt môi cho nhân vật dựa âm ghi trước Cuối cùng, kết hợp diễn hoạt mơi với cảm xúc dự đốn để tạo diễn hoạt cho khuôn mặt 2.1 Phân tích ngữ nghĩa Văn tiếng Việt ban đầu sau dịch sang tiếng