Mô hình đánh giá cảm xúc của người học dựa trên đa dữ liệu

r Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯ ỜNG ĐẠI HỌC sư PHẠM THÀNH PHĨ HĨ CHÍ MINH ••• Huỳnh Thi Yen Phuong MƠ HÌNH ĐÁNH GIÁ CÃM xúc CỦA NGƯỜI HỌC DỤ A TRÊN DA DŨ LIỆU Chuyên ngành : Khoa học máy tính Mã SỐ : 8480101 LUẬN VÀN THẠC sĩ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DÁN KHOA HỌC: TS NGƯYẺN VIẾT HƯNG Thành phố Hồ Chí Minh - 2022 LỜI CAM ĐOAN Tôi tên Huỳnh Thị Yen Phương, học viên cao học khóa 30 chuyên ngành Khoa học máy tinh, trường Đại học Sư phạm Thành phố Hồ Chí Minh Mã số học viên KHMT-19-002 Tỏi xin cam đoan luận vãn '‘Mô hĩnh đánh giá cảm câm xúc cùa người học dựa da liệu" tim hiểu, nghiên cứu thực hướng dẫn cùa TS Nguyền Viết Hưng Luận khơng có chép từ tài liệu, cơng trình nghiên cứu khác mà khơng ghi rõ nguồn (ải liệu tham kháo Tôi xin chịu trách nhiệm VC kết qua thực lời cam đoan Tp Hồ Chí Minh, ngày 26 tháng 04 năm 2022 LỜI CẮM ON Đầu tiên, lôi xin gưi lời cảm ơn sâu sắc đến Thầy TS Nguyền Viết Hưng, người đà định hướng, giúp đừ tận tình chi báo tơi suốt q trình nghiên cứu đề tơi có thê hồn thành luận vân Tỏi xin gừi lời cảm ơn chân thành đến quý Thầy tận tình giảng dạy cung cấp kiến thức quý báu cho tơi suốt khóa học Đồng thời, xin dược càm ơn I1Ỗ trợ cùa Khoa Công nghệ thơng tin Phịng Sau đại học trường Dại học Sư phạm TP.1ICM đả tạo điều kiện thuận lợi cho tơi q trình học tập trường Cuối cùng, xin gửi lởi cám oil đen gia đinh bạn bè cũa Những người bên cạnh, động viên ủng hộ tơi q trình học tập nghiên cứu Tp Hồ Chí Minh, ngày 26 tháng 04 năm 2022 MỤC LỤC Trang phụ bìa Lời cam đoan Lởi cam ơn Mục lục Danh mục chữ viết tất Danh mục bang Danh mục hỉnh vỗ đồ thị MỞ ĐẦU Chương TĨNG QUAN TÌNH HÌNH NGHIÊN cứu 1.1 Một số cơng trình nghiên cứu liên quan .6 1.2 Kh ó khăn thách thức .13 1.3 Cơ sờ liệu câm xúc khuôn mặt 14 1.3.1 Cơ sờ dừ liệu anh thường .14 1.3.2 Cơ sớ liệu ảnh nhiệt 15 Chuông Cơ SỠ LÝ THUYẾT 17 2.1 Câm xúc khuôn mật 17 2.1.1 Căm xúc cừ động khuôn mặt 17 2.1.2 Cảm xúc nhiệt dộ 23 2.2 Phương pháp rút trích dặc trưng 26 2.2.1 Principal Component Analysis (PCA) 26 2.2.2 Histogram of Oriented Gradient (HOG) 26 2.2.3 Rút trích đặc trưng ánh nhiệt vái t-ROI 28 2.3 Phương pháp phân loại 29 2.3.1 Má y học vectơ hỗ trợ (SVM) .29 2.3.2 Học sừ dụng thông tin dặc quyền 33 2.4 Mạng nơ-ron tích chập .34 2.4.1 Kiến trúc ban mạng nơ-ron tích chập 34 2.4.2 Một số kiến trúc CNN 37 2.5 Phương pháp đánh giá mô hình phân lớp 39 Chng MƠ HÌNH ĐỀ XUẤT ĐÁNH GIÁ CẤM xúc 42 3.1 Yêu cầu toán 42 3.2 Mị hình đề xuất .42 3.3 Cơ sở liệu 43 3.3.1 Cơ sờ liệu Kotani Thermal Facial Emotion .43 3.3.2 Dừ liệu người học 49 Chuông THựC NGHIỆM VÀ ĐÁNH GIÁ 51 4.1 Môi trường thực nghiệm 51 4.2 Dừ liệu thực nghiệm 51 4.3 Phàn tích đánh giá 51 4.3.1 Thiết kế thực nghiệm 51 4.3.2 Kct thực nghiệm 52 Chuvng KẾT LUẬN .63 5.1 Kết quà đạt 63 5.2 Hướng mớ rộng tương lai 63 TÀI LIỆU THAM KHẢO 64 Chữ viết tắt DANH MỤC CÁC CHỦ VIẾT TÁT Nguyen mẫu Diễn giãi AAM Active Appearance Model Mơ hình diện mạo tích cực ASM Active Shape Model Mơ hình hình dạng tích cực Đơn vị hành động, xác định dộ AU Action Units co cùa mặt Canonical Correlation CCA Analysis Phàn tích tương quan chuẩn Convolutional Neural CNN Network Mạng nơ-ron tích chập Mơ hình máy Boltz man học DBM FACS FTFP HMM HOG Deep Boltzmann Machine sâu Facial Action Coding Hệ thống mã hóa cư dộng khn System mặt Facial Thermal Feature Điểm đặc trưng nhiệt khuôn Points mặt Hidden Markov Models Mơ hình Markov án Histogram of Oriented Biếu đổ cua gradient định Gradients hướng Kotam Thermal Facial KTFE LBP Emotion Local Binary Pattern Cơ sơ dừ liệu anh nhiệt Mầu nhị phân cục Linear Discriminant EDA LDP LUPI Analysis Phân tích phân biệt tuyến lính Local Directional Pattern Mơ hình định hướng cục Learning Using Privileged Học sử dụng thông tin dặc quyền Information Natural Visible and NVIE Infrared facial Expression Cơ sở dừ liệu ãnh nhiệt Principal Component PCA ROI SVM ?\nalysis Phân tích thành phân Region of Interest Vùng quan tâm Support Vector Machines Máy vectơ hồ trợ DANH MỤC CÁC BÁNG Báng 1.1 Một sổ AU [191 Bàng 2.1 Định nghĩa giá trị cho vice đánh giá mị hình 39 Bàng 2.2 Ma trận nhầm lần với phân lớp |611 40 Bàng 3.1 Số lượng video cùa càm xúc thu .49 Bàng 4.1 Sổ lượng dổi tượng cùa câm xúc sờ liệu KTFE 52 Bàng 4.2 Thống kê số lượng anh cùa lừng cám xúc tập liệu 52 Báng 4.3 Thống kê số lượng đối tượng câm xúc 53 Báng 4.4 Kết quà thực nghiệm với mơ hình CNN 55 Bàng 4.5 Ket q thực nghiệm với mơ hình RcsNct 50 56 Bàng 4.6 So sánh kct q mơ hình CNN với RcsNct 50 56 Bàng 4.7 Kết quà thực nghiệm với mơ hình CNN 57 Bàng 4.8 Kết q thực nghiệm với mơ hình ResNet 50 57 Báng 4.9 So sánh kết q cùa mơ hình CNN với RcsNct 50 58 Báng 4.10 Kết thực nghiệm với ánh nhiệt 59 Báng 4.11 Kct quà thực nghiệm với anh thưởng 59 Báng 4.12 Kct quà thực nghiệm với mơ hình kết hợp 60 Bàng 4.13 So sánh kết thực nghiệm với ánh thường ãnh nhiệt 60 Bàng 4.14 Kct quà nhận diện với liệu người học 61 DANH MỤC CẤC HÌNH VẼ, ĐƠ THỊ Hình 1.1 ROI (rong phương pháp 10 Hình 1.2 Mó hình đề xuất tác giả .11 Hinh 1.3 Mô hĩnh đề xuất tác gia 11 Hĩnh 1.4 Mơ hình đề xuất nhận diện câm xúc .13 Hình 1.5 Ảnh mẫu sờ dử liệu CK+ 14 Hình 1.6 Ánh mầu sờ liệu JAFFE .15 Hình 1.7 .Xlẫu ánh thường anh nhiệt bày cám xúc sờ dừ liệu KTFE 16 Hình 2.1 Các vũng mặt nhìn trước 18 Hình 2.2 Bicu cámxúc hạnh phúc 19 Hình 2.3 Biểu cùa câmxúc ngạc nhiên 19 Hình 2.4.Biều cùa cảm xúc giận dừ 20 Hình 2.5 Biểu cùa camxúc buồn rầu .21 Hình 2.6 Biêu cámxúc sợ hãi 21 Hình 2.7 Biêu cúa cámxúc ghê tởm 22 Hình 2.8 Bicu cámxúc khinh thường 23 Hình 2.9 Các mạch máu khuôn mặt người 24 Hình 2.10 Các dài hồng ngoại phổ diện từ 24 Hình 2.11 Biểu diễn nhiệt dể trích xuất ROI 25 Hình 2.12 Độ lớn gradient phương gradient 27 Hình 2.13 Histogram cùa 28 Hình 2.14 Siêu phảng với lề cực đại 30 Hình 2.15 Dữ liệu khơng the phân tách tuyển tính với biền slack (ỉ) xác định đề giâm thiều lỗi phân loại sai .31 Hình 2.16 Kiền trúc mạng nơ-ron tích chập 34 Hình 2.17 Bộ lọc tích chập dược sứ dụng ma trận diêm ành 35 Hình 2.18 Các loại pooling 36 Hình 2.19 Lớp kết đầy đú 36 Hình 2.20 Kiến trúc LeNet 37 Hình 2.21 Kiền trúc mạng VGG 16 37 Hình 2.22 Residual block .38 Hình 2.23 Báng chi tiết kiến trúc mạng ResNet 39 Hình 3.1 Mơ hình dề xuất .43 Hình 3.2 Mầu ành thường ảnh nhiệt cùa bày câm xúc 44 Hình 3.3 Thư mục lưu trừ dừ liệu thơ KTFE 45 Hình 3.4 Tập tin dừ liệu nlnệl thô hiển thị giao diện phần mềm NS9500PRO 45 Hình 3.5 Tập tin ánh thường sau tách 46 Hình 3.6 Hình ành khn mặt trước sau thựchiện cân bàng sáng .46 Hình 3.7 Tập tin anh nhiệt sau dược tách .47 Hình 3.8 Tập tin *.csv lưu nhiệt độ 48 Hình 3.9 Tập tin *.csv lưu nhiệt độ sau xư lý 49 Hình 3.10 Khung hình từ video thu .50 MỜ ĐÀU Trong thực nghiệm này, chia dừ liệu theo căm xúc huấn luyện với mạng CNN ResNet 50 Kổt quà thực nghiệm với liệu dầu vào: ánh thường, ảnh nhiệt, ma trận nhiệt: - Mơ hình CNN Báng 4.7 Kết qua thực nghiệm với mơ hình CNN Đơ đo • Mơ hình VÍ-CNN Ther.CNN CSV.CNN Cãm xúc An Dis Fe Ha Ne Sa Su Precision 76% 62% 83% 87% 90% 89% 83% Recall 85% 97% 51% 89% 71' > 85% 68% Fl-score 80% 76% 63% 88% 80% 87% 75% Precision 90% 93% 86% 93% 97% 89% 88% Recall 97% 83% 91% 87% 91% 97% 83% Fl-score 93% 87% 88% 90% 94% 93% 85% Precision 96% 91% 93% 95% 98% 93% 90% Recall 97% 93% 85% 89% 96% 97% 90% Fl-score 97% 92% 89% 92% 97% 95% 90% Sa Su ■ Mơ hình ResNet 50 Báng 4.8 Kết q thực nghiệm với mơ hình RcsNct 50 Cảm XÚC Mơ hình Vi.ResNet Ther_ResNet Độđo An Dis Fe Ha Ne Precision 67% 98% 81% 90% 99% 83% 98% Recall 99% 96% 55% 92% 55% 84% 78% Fl-score 80% 97% 66% 91% 71% 88% 83% Precision 93% 96% 96% 97% 97% 91% 84% Recall 97% 78% 88% 93% 94% 99% 97% Fl-score 95% 86% 92% 95% 95% 95% 90% CSV.ResNet Precision 87% 98% 100% 94% 98% 96% 96% Recall 98% 96% 88% 96% 97% 99% 81% Fl-score 92% 97% 94% 95% 97% 98% 88% Báng 4.9 So sánh ket q cùa mơ hình CNN vói ResNet 50 Dữ liệu CNN RcsNct 50 Anh thường 79.60% 82.87% Anh nhiệt 90.58% 93.23% Ma trận nhiệt 94.01% 94.96% Ket qua cùa mơ hình CNN ResNet 50 dừ liệu anh nhiệt nhiệt độ có độ xác tăng so với anh thường hâu hết lớp cám xúc đêu tâng, đoi với dừ liệu ảnh nhiệt có hai cám xúc giám so với ành thường giận dừ ghê tờm Đối với liệu nhiệt huấn luyện ánh nhiệt bao gồm phần nên làm ành hường den kết quà nhận diện Dữ liệu ma trận nhiệt dã dược xừ lý để giảm ảnh hương cùa nhiệt độ môi trường ncn kết quà thiện so VỚI ánh nhiệt Các kết thực nghiệm đà cho thay nhiệt độ cám xúc có hên hệ với Đây nguồn thơng tin giúp cho việc nhận diện câm xúc xác Khi càm xúc thay đổi nhiệt độ tập trung vùng trán, xung quanh mắt gị má thay dồi dáng kể Với mơ hình CNN ResNet 50 liệu đầu vào hình ánh hình ành bao gồm cà vùng nhiệt độ tăng giám đáng kê cam xúc thay đồi vùng thay đối nhiệt độ nên làm tàng thời gian huân luyện làm thay đôi hiệu quà nhận diện Kết quà thực nghiệm với mơ hình RcsNct 50 mang lại độ xác cao mơ hình CNN đề xuất Mặc dù mang lại kết cao kiến trúc phức tạp nên thời gian huấn luyện cua mạng ResNet 50 lâu ❖ Rút trích đậc trưng t-ROI Từ kết quã cùa thực nghiệm trên, tiếp tục thực nghiệm sử dụng phương pháp t-ROI [31] để rút trích đặc trưng cho liệu nhiệt Sau chúng tơi sử dụng mơ hình SVM de phân loại Dữ liệu huấn luyện kiểm tra dược chia theo cám xúc Báng 4.10 Kết quà thực nghiệm vói anh nhiệt Cảm xúc Mơ hình TherjSVM Độ đo An Dis Fe Ha Ne Sa Su Precision 100% 100% 100% 76% 100% 100% 100% Recall 86% 91% 87% 100% 93% 100% 92% Fl-score 92% 95% 99% 88% 96% 100% 96% Mỏ hình đạt tỳ lệ xác 94.9% Chúng tơi tièp tục thực nghiệm VỚI dừ liệu ánh thường dùng mô hình SVM ❖ Rút trích đặc trưng ành thường Phương pháp HOG sừ dụng đe rút trích đặc trimg phân loại bàng mơ hình SVM Bang 4.11 Kết q thực nghiệm vói anh thường Dơ đo • Mơ hình Vi_SVM Càm xúc An Dis Fe Ha Ne Sa Su Precision 62% 59% 77% 95% 85% 82% 63% Recall 71% 61% 73% 84% 92% 76% 69% Fl-score 67% 60% 75% 89% 89% 79% 66% •r I Kct thực nghiêm VỚI dừ liệu anh thường dạt tỳ lệ xác 77.2% Từ hai kết quã thục nghiệm này, chúng tơi có thê kết luận ràng nhiệt độ cam xúc có mối liên hệ với nhau, nhiệt độ thông tin quan trọng giúp cho nhận diện càm xúc xác Tuy nhiên, thực tế, việc sừ dụng máy ânh nhiệt chưa phô hiển giá thành cao Ví chúng tơi thực kết hợp thông tin nhiệt độ ánh thường đẽ xây dựng mơ hình nhận diện cám xúc Nhiệt độ đóng vai trị thơng tin bơ sung, chi có q trình hn luyện ❖ Mơ hình kết họp Chúng tơi sừ dụng mơ hình SVM+ để xây dựng mơ hình nhận diện càm xúc khn mặt Thơng tin nhiệt dộ thông tin dặc quycn chi sử dụng q trình huấn luyện mơ hình Báng 4.12 Kết q thực nghiệm vói mơ hình kết họp Câm xúc Mơ hình SVM+ Độ đo An Dis Fe Ha No Sa Su Precision 92% 85% 98% 95% 94% 87% 68% Recall 83% 70% 78% 90% 97% 92% 87% Fl-score 88% 77% 87% 93% 95% • X 90% 76% Kèt qua thực nghiệm với độ xác 86.8% Hau hêl cam xúc đêu đạt tỷ lệ cao so với ãnh thường Bâng 4.13 So sánh kết quà thực nghiệm vói ành thường ảnh nhiệt Dừ liêu Kết • Anh thường 77.2% Anh nhiệt 94.9% Ảnh thường + Ảnh nhiệt 86.8% Mặc dù tỳ lệ xác nhận diện mơ hình dê xt khơng cao so VỚI nhận diện với ánh nhiệt, lại cao so với nhận diện ánh thường Điều đà chứng minh nhiệt độ cảm xúc có mối liên hệ chặt chẻ Sư dụng ãnh nhiệt giúp cài thiện kết qua nhận diện ánh thường ❖ Nhận diện vói liệu người học Chúng tơi sừ dụng mơ hình kết hợp để nhận diện câm xúc người học Dữ liệu đầu vào video càm xúc cùa người học Kcl the Báng 4.14 Báng 4.14 Kết nhận diện vói liệu người học Kết quà nhận diện (số video) Cám xúc Đúng Sai Tỷ lệ cảm xúc (%) Đúng Sai Giận dử 0% 100% Hạnh phúc II 78.6% 21.4% Binh thường 33.3% 66.7% Buồn rầu 60% 40% Ngạc nhiên 14.3% 85.7% Một số kết nhận diện nhận diện sai: Nhận diện đúng: Neutral - Bình thường Happy - Hạnh phúc