ỨNG DỤNG học máy vào NHẬN DIỆN BIỂU cảm của SINH VIÊN đại học THỦ dầu một SAU BUỔI học

TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT – CÔNG NGHỆ BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CẤP ĐƠN VỊ NĂM HỌC 2021-2022 ỨNG DỤNG HỌC MÁY VÀO NHẬN DIỆN BIỂU CẢM CỦA SINH VIÊN ĐẠI HỌC THỦ DẦU MỘT SAU BUỔI HỌC Thuộc nhóm ngành khoa học: Trí tuệ nhân tạo khoa học liệu Bình Dương, tháng 04 năm 2022 TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT – CÔNG NGHỆ BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CẤP ĐƠN VỊ NĂM HỌC 2021-2022 ỨNG DỤNG HỌC MÁY VÀO NHẬN DIỆN BIỂU CẢM CỦA SINH VIÊN ĐẠI HỌC THỦ DẦU MỘT SAU BUỔI HỌC Thuộc nhóm ngành khoa học: Trí tuệ nhân tạo khoa học liệu ST T Họ tên Phạm Thái Bảo MSSV 202480205000 Mai Đặng Sơn 202480103005 Tùng Phan Thúy Thanh Lục Tấn Khoa 212480205002 212480205002 Lớp Khoa D20TTNT01 KT-CN D20KTPM02 KT-CN D21TTNT01 KT-CN D21TTNT01 KT-CN Người hướng dẫn: ThS Hồ Ngọc Trung Kiên Ghi Bình Dương, tháng 04 năm 2022 UBND TỈNH BÌNH DƯƠNG CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Độc lập – Tự – Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Ứng dụng máy học vào nhận diện biểu cảm sinh viên đại học thủ dầu sau buổi học - Sinh viên/ nhóm sinh viên thực hiện: ST T Năm thứ/ Họ tên MSSV Lớp Khoa Số năm đào tạo Phạm Thái Bảo 2024802050007 D20TTNT01 KT-CN 2/4 Mai Đặng Sơn Tùng 2024801030059 D20KTPM02 KT-CN 2/4 Phan Thúy Thanh 2124802050020 D21TTNT01 KT-CN 1/4 Lục Tấn Khoa 2124802050022 D21TTNT01 KT-CN 1/4 - Người hướng dẫn: ThS Hồ Ngọc Trung Kiên Mục tiêu đề tài: Xây dựng hệ thống nhận diện biểu cảm sinh viên thông qua giúp cho giảng viên đánh giá buổi học, dễ dàng điều chỉnh lựa chọn phương pháp giảng dạy phù hợp, khoa học Tính sáng tạo: Thêm lọc hệ thần kinh nhằm cải thiện độ nhạy nhận diện biểu cảm tức giận Kết nghiên cứu: Xây dựng mơ hình huấn luyện thử nghiệm nhận diện biểu cảm khuôn mặt Nhận diện biểu cảm khuôn mặt hạnh phúc, đau buồn, sợ hãi, tức giận, ngạc nhiên, bình thường Đóng góp mặt kinh tế - xã hội, giáo dục đào tạo, an ninh, quốc phòng khả áp dụng đề tài: Giáo dục: hỗ trợ giảng viên cải thiện phương pháp giảng dạy cho sinh thấy nhiều cách tiếp cận nâng cao chủ động sinh viên việc nghiên cứu học tập Công bố khoa học sinh viên từ kết nghiên cứu đề tài (ghi rõ họ tên tác giả, nhan đề yếu tố xuất có) nhận xét, đánh giá sở áp dụng kết nghiên cứu (nếu có): Ngày tháng năm 2022 Sinh viên chịu trách nhiệm thực đề tài (ký, họ tên) Nhận xét người hướng dẫn đóng góp khoa học sinh viên thực đề tài (phần người hướng dẫn ghi): Ngày tháng năm Xác nhận lãnh đạo khoa Người hướng dẫn (ký, họ tên) (ký, họ tên) UBND TỈNH BÌNH DƯƠNG CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Độc lập – Tự – Hạnh phúc THÔNG TIN VỀ SINH VIÊN CHỊU TRÁCH NHIỆM CHÍNH THỰC HIỆN ĐỀ TÀI I SƠ LƯỢC VỀ SINH VIÊN: Ảnh 4x6 Họ tên: Phạm Thái Bảo Sinh ngày: 19 tháng 03 năm 2002 Nơi sinh: Ninh Thuận Lớp: D20TTNT01 Khóa: 2020-2025 Khoa: Viện kĩ thuật – công nghệ Địa liên hệ: 424/39/8 tổ 4, khu phố 4, Phường Phú Hoà, Thủ Dầu Một, tỉnh Bình Dương Điện thoại: 0369430009 Email: baophth@gmail.com II Q TRÌNH HỌC TẬP (kê khai thành tích sinh viên từ năm thứ đến năm học): * Năm thứ 1: Ngành học: Trí tuệ nhân tạo khoa học liệu Khoa: Viện kĩ thuật – công nghệ Kết xếp loại học tập: giỏi Sơ lược thành tích: Ngày Xác nhận lãnh đạo khoa tháng năm 2022 Sinh viên chịu trách nhiệm (ký, họ tên) thực đề tài (ký, họ tên) MỤC LỤC MỤC LỤC vii DANH MỤC NHỮNG TỪ VIẾT TẮT ix DANH MỤC BẢNG BIỂU x DANH MỤC HÌNH xi A PHẦN MỞ ĐẦU 1 Lí chọn đề tài Mục tiêu nghiên cứu Đối tượng nghiên cứu Phạm vi nghiên cứu .1 Phương pháp nghiên cứu .1 Ý nghĩa đề tài B PHẦN NỘI DUNG CHƯƠNG CƠ SỞ LÍ THUYẾT 1.1 Tổng quan tình hình nghiên cứu 1.2 Một số khái niệm .5 1.2.1 Machine learning 1.2.2 Deep learning .8 1.2.3 Training set .10 1.2.4 Validation 10 1.2.5 Testing set 12 CHƯƠNG MƠ HÌNH BÀI TỐN .14 2.1 Quy trình thực 14 2.2 Mơ hình tốn 15 2.2.1 Train model .15 2.2.2 Thuật toán sử dụng 16 2.2.3 Test model 19 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ 22 3.1 Chuẩn bị 22 3.1.1 Cấu hình máy 22 3.1.2 Phần mềm 22 3.1.3 Ngơn ngữ lập trình 23 3.1.4 Các thư viện sử dụng .25 3.1.5 Mô tả liệu 29 3.2 Tiến hành 30 3.2.1 Train model .30 3.2.2 Test model 33 3.3 Kết 36 3.4 Đánh giá 37 C PHẦN KẾT LUẬN 38 Kết đạt .38 Khuyến nghị 38 TÀI LIỆU THAM KHẢO .40 Chương Thực nghiệm đánh giá CHƯƠNG 147 Hình 147.1.1.1: OpenCV(website) CHƯƠNG 148 Pillow fork từ thư viện PIL Python sử dụng để xử lý hình ảnh So với PIL Pillow cập nhật thường xuyên đánh giá cao CHƯƠNG 149 Hình 149.1.1.1: Pillow(website) CHƯƠNG 150 Matplotlib thư viện vẽ đồ thị mạnh mẽ hữu ích cho người làm việc với Python NumPy Module sử dụng nhiều Matplotib Pyplot cung cấp giao diện MATLAB thay vào đó, sử dụng Python nguồn mở CHƯƠNG 151 Một Matplotlib figure phân loại thành nhiều phần đây: CHƯƠNG 152 CHƯƠNG 153 - Figure: Như cửa sổ chứa tất bạn vẽ CHƯƠNG 154 - Axes: Thành phần figure axes (những khung nhỏ để vẽ hình lên đó) Một figure chứa 35 Chương Thực nghiệm đánh giá nhiều axes Nói cách khác, figure khung chứa, axes thật nơi hình vẽ vẽ lên CHƯƠNG 155 - Axis: Chúng dòng số giống đối tượng đảm nhiệm việc tạo giới hạn biểu đồ CHƯƠNG 156 - Artist: Mọi thứ mà bạn nhìn thấy figure artist Text objects, Line2D objects, collection objects Hầu hết Artists gắn với Axes CHƯƠNG 157 Hình 157.1.1.1: Matplotlib(website) CHƯƠNG 158 Tkinter gói Python có chứa module Tk hỗ trợ cho việc lập trình GUI Tk ban đầu viết cho ngôn ngữ Tcl Sau Tkinter viết để sử dụng Tk trình thơng dịch Tcl Python Ngồi Tkinter cịn có số cơng cụ khác giúp tạo ứng dụng GUI viết Python wxPython, PyQt, PyGTK CHƯƠNG 159 Hình 159.1.1.1: Tkinter(website) 159.1.2 Mơ tả liệu CHƯƠNG 160 Dự án sử dụng Tập liệu FER2013 từ trang web Kaggle có chứa 35.887 (48 pixel * 48 pixel) hình ảnh xám mơ tả biểu cảm khn mặt Tất hình ảnh có khn mặt 36 Chương Thực nghiệm đánh giá gần chiếm lượng khơng gian tương tự Tập liệu có bảy lớp khác hình ảnh thuộc lớp cụ thể biểu cảm khn mặt Ví dụ, Hình cho thấy bảy biểu cảm khác khn mặt CHƯƠNG 161 Hình 161.1.1.1: Mơ tả biểu cảm có tập liệu FER2013s CHƯƠNG 162 Các ảnh từ (a) đến (g) mô tả số lớp hình ảnh biểu cảm khn mặt tức giận, chán ghét, sợ hãi, vui vẻ, bình thường, buồn bã ngạc nhiên Kích thước tập dữliệu (35887, 48, 48, 1) Mô tả phân loại tập liệu (số lượng hình ảnh biểu cảm khuôn mặt tương ứng Tập liệu chia thành tập riêng biệt, tập huấn luyện (để huấn luyện mơ hình) gồm 28709 ảnh tập thử nghiệm (để kiểm tra mơ hình) gồm 7178 ảnh Các hình ảnh biểu cảm khn mặt có số lượng chia sau sở liệu: Bảng 162.1.1.1.1: Phân chia tập liệu CHƯƠNG 163 CHƯƠNG 164 FOLDE CHƯƠNG 165 FOLDE R TRAIN R TEST CHƯƠNG 166 Angry(tức CHƯƠNG 167 3995 giận) 37 CHƯƠNG 168 958 Chương Thực nghiệm đánh giá CHƯƠNG 169 Disgust(c CHƯƠNG 170 436 CHƯƠNG 171 111 CHƯƠNG 173 4097 CHƯƠNG 174 1024 CHƯƠNG 176 7215 CHƯƠNG 177 1774 CHƯƠNG 178 Neutral(bì CHƯƠNG 179 4965 CHƯƠNG 180 1233 hán ghét) CHƯƠNG 172 Fear(sợ hãi) CHƯƠNG 175 Happy(vu i vẻ) nh thường) CHƯƠNG 181 Sad(buồn CHƯƠNG 182 4830 CHƯƠNG 183 1247 bã) CHƯƠNG 184 Surprise(n CHƯƠNG 185 3171 CHƯƠNG 186 831 gạc nhiên) CHƯƠNG 187 Nhóm sử dụng liệu cho mơ hình thử nghiệm liệu có số mẫu lớn, phù hợp với việc huấn luyện với mạng học sâu, vốn đòi hỏi nhiều mẫu phương pháp học máy thơng thường Ngồi ra, liệu cấu trúc dễ dàng xử lý thư viện Keras/TensorFlow có nhiều kết đối chứng thực so sánh mơ hình chúng tơi với kết nhóm nghiên cứu khác 187.1 Tiến hành 187.1.1 Train model CHƯƠNG 188 Chèn lớp thư viên numpy, cv2 vào Từ cá thư viện keras.model dùng Sequential Từ keras.layers chèn Dense, Dropout, Flatten, Conv2D, MaxPooling2d Xử lí hình ảnh với tensorflow.keras.optimizers chèn Adam Cuối keras.preprocessing.image chèn ImageDataGenerator CHƯƠNG 189 Code: CHƯƠNG 190 import numpy as np CHƯƠNG 191 import cv2 CHƯƠNG 192 from keras.models import Sequential CHƯƠNG 193 from keras.layers import Dense, Dropout, Flatten 38 Chương Thực nghiệm đánh giá CHƯƠNG 194 from keras.layers import Conv2D CHƯƠNG 195 from tensorflow.keras.optimizers import Adam CHƯƠNG 196 from keras.layers import MaxPooling2D CHƯƠNG 197 from keras.preprocessing.image import ImageDataGenerator CHƯƠNG 198 Thêm liệu hình ảnh từ tập FER2013 đưa qua hệ thống xử lí để chia tỉ lệ, tăng cường liệu để thực trình huấn luyện CHƯƠNG 199 Code: CHƯƠNG 200 train_dir = 'train' CHƯƠNG 201 val_dir = 'test' CHƯƠNG 202 train_datagen = ImageDataGenerator(rescale=1./255) CHƯƠNG 203 val_datagen = ImageDataGenerator(rescale=1./255) CHƯƠNG 204 train_generator = train_datagen.flow_from_directory( CHƯƠNG 205 train_dir, CHƯƠNG 206 target_size=(48,48), CHƯƠNG 207 batch_size=64, CHƯƠNG 208 color_mode="grayscale", CHƯƠNG 209 class_mode='categorical' CHƯƠNG 210 ) CHƯƠNG 211 validation_generator = val_datagen.flow_from_directory( CHƯƠNG 212 val_dir, CHƯƠNG 213 target_size=(48,48), 39 Chương Thực nghiệm đánh giá CHƯƠNG 214 batch_size=64, CHƯƠNG 215 color_mode="grayscale", CHƯƠNG 216 class_mode='categorical' CHƯƠNG 217 ) CHƯƠNG 218 Tạo danh sách Sequentail thêm lọc liệu 3x3 với số lượng 32, 64, 128, 256, 512 Sau ta đưa lọc thành danh sách chiều Kế đến thêm mạng thần kinh hỗ trợ cho việc huấn luyện Ngồi cịn chưa MaxPooling2D để giảm kích cỡ hình xuống giữ đặc trưng, Dropout để chặn số lọc mạng thần kinh để tranh tình trạng học tủ liệu Sau chuẩn bị xong ta chuyên đổi lại mã liệu CHƯƠNG 219 Code: CHƯƠNG 220 emotion_model = Sequential() CHƯƠNG 221 emotion_model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(48,48,1))) CHƯƠNG 222 emotion_model.add(Conv2D(64, kernel_size=(3, 3), activation='relu')) CHƯƠNG 223 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) CHƯƠNG 224 emotion_model.add(Dropout(0.25)) CHƯƠNG 225 emotion_model.add(Conv2D(128, kernel_size=(3, 3), activation='relu')) CHƯƠNG 226 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) CHƯƠNG 227 emotion_model.add(Conv2D(256, kernel_size=(3, 3), activation='relu')) CHƯƠNG 228 emotion_model.add(MaxPooling2D(pool_size=(2, 40 Chương Thực nghiệm đánh giá 2))) CHƯƠNG 229 emotion_model.add(Conv2D(512, kernel_size=(3, 3), activation='relu')) CHƯƠNG 230 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) CHƯƠNG 231 emotion_model.add(Dropout(0.25)) CHƯƠNG 232 emotion_model.add(Flatten()) CHƯƠNG 233 emotion_model.add(Dense(1024, activation='relu')) CHƯƠNG 234 emotion_model.add(Dropout(0.5)) CHƯƠNG 235 emotion_model.add(Dense(1024, activation='relu')) CHƯƠNG 236 emotion_model.add(Dropout(0.5)) CHƯƠNG 237 emotion_model.add(Dense(7, activation='softmax')) CHƯƠNG 238 emotion_model.compile(loss='categorical_crossent ropy',optimizer=Adam(lr=0.0001, decay=1e6),metrics=['accuracy']) CHƯƠNG 239 Cuối ta huấn luyện liệu xử lí trước với chu kì 50 số bước chạy liệu train 28709/64 số bước chạy liệu test 7178/64 Sau lưu lại model thành file “model.h5” CHƯƠNG 240 Code: CHƯƠNG 241 emotion_model_info = emotion_model.fit( CHƯƠNG 242 train_generator, CHƯƠNG 243 steps_per_epoch=28709 // 64, CHƯƠNG 244 epochs=50, CHƯƠNG 245 validation_data=validation_generator, 41 Chương Thực nghiệm đánh giá CHƯƠNG 246 validation_steps=7178 // 64 CHƯƠNG 247 ) CHƯƠNG 248 emotion_model.save_weights('model.h5') 248.1.1 Test model CHƯƠNG 249 Chèn lớp thư viên numpy, cv2 vào Từ cá thư viện keras.model dùng Sequential Từ keras.layers chèn Dense, Dropout, Flatten, Conv2D, MaxPooling2d tensorflow.keras.optimizers chèn Xử lí Adam hình Cuối ảnh với keras.preprocessing.image chèn ImageDataGenerator Chèn thêm tkinter, polliw, os matplotlib.pyplot CHƯƠNG 250 Code: CHƯƠNG 251 import tkinter as tk CHƯƠNG 252 from tkinter import * CHƯƠNG 253 import cv2 CHƯƠNG 254 from PIL import Image, ImageTk CHƯƠNG 255 import os CHƯƠNG 256 import numpy as np CHƯƠNG 257 import cv2 CHƯƠNG 258 from keras.models import Sequential CHƯƠNG 259 from keras.layers import Dense, Dropout, Flatten CHƯƠNG 260 from keras.layers import Conv2D CHƯƠNG 261 from tensorflow.keras.optimizers import Adam CHƯƠNG 262 from keras.layers import MaxPooling2D CHƯƠNG 263 from keras.preprocessing.image import ImageDataGenerator CHƯƠNG 264 import matplotlib.pyplot as plt 42 Chương Thực nghiệm đánh giá CHƯƠNG 265 Tạo danh sách Sequentail thêm lọc liệu 3x3 với số lượng 32, 64, 128, 256, 512 Sau ta đưa lọc thành danh sách chiều Kế đến thêm mạng thần kinh hỗ trợ cho việc huấn luyện Ngoài cịn chưa MaxPooling2D để giảm kích cỡ hình xuống giữ đặc trưng, Dropout để chặn số lọc mạng thần kinh để tranh tình trạng học tủ liệu Chuyên file “model.h5” train vào CHƯƠNG 266 Code: CHƯƠNG 267 emotion_model = Sequential() CHƯƠNG 268 emotion_model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(48, 48, 1))) CHƯƠNG 269 emotion_model.add(Conv2D(64, kernel_size=(3, 3), activation='relu')) CHƯƠNG 270 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) CHƯƠNG 271 emotion_model.add(Dropout(0.25)) CHƯƠNG 272 emotion_model.add(Conv2D(128, kernel_size=(3, 3), activation='relu')) CHƯƠNG 273 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) CHƯƠNG 274 emotion_model.add(Conv2D(256, kernel_size=(3, 3), activation='relu')) CHƯƠNG 275 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) CHƯƠNG 276 emotion_model.add(Conv2D(512, kernel_size=(3, 3), activation='relu')) CHƯƠNG 277 emotion_model.add(MaxPooling2D(pool_size=(2, 2))) 43 Chương Thực nghiệm đánh giá CHƯƠNG 278 emotion_model.add(Dropout(0.25)) CHƯƠNG 279 emotion_model.add(Flatten()) CHƯƠNG 280 emotion_model.add(Dense(1024, activation='relu')) CHƯƠNG 281 emotion_model.add(Dropout(0.5)) CHƯƠNG 282 emotion_model.add(Dense(1024, activation='relu')) CHƯƠNG 283 emotion_model.add(Dropout(0.5)) CHƯƠNG 284 emotion_model.add(Dense(7, activation='softmax')) CHƯƠNG 285 emotion_model.load_weights('model.h5') CHƯƠNG 286 Đọc hình ảnh webcam gán vào biến chương trình để xử lí Đầu tiên nhận diện khn mặt vẽ ô vuông bao quanh nhận dạng Sau đưa biến chưa hình ảnh vào model để phân tích đưa tỉ lệ biểu cảm khuôn mặt cao Sau xác định biểu cảm ghi đoạn chữ tương ứng lên khung nhận diện khn mặt kết Vì chạy theo thời gian thực nên chương trình lặp lại nhiều lần bấm kí tự ‘q’ CHƯƠNG 287 Code: CHƯƠNG 288 emotion_dict = {0: "Angry", 1: "Disgusted", 2: "Fearful", 3: "Happy", 4: "Neutral", 5: "Sad", 6: "Surprised"} CHƯƠNG 289 cap = cv2.VideoCapture(0) CHƯƠNG 290 while True: CHƯƠNG 291 ret, frame = cap.read() CHƯƠNG 292 if not ret: CHƯƠNG 293 break CHƯƠNG 294 bounding_box = cv2.CascadeClassifier('haarcascade_frontalface_default.xml') CHƯƠNG 295 gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) 44 Chương Thực nghiệm đánh giá CHƯƠNG 296 num_faces = bounding_box.detectMultiScale(gray_frame,scaleFactor=1.3, minNeighbors=5) CHƯƠNG 297 CHƯƠNG 298 for (x, y, w, h) in num_faces: cv2.rectangle(frame, (x, y-50), (x+w, y+h+10), (255, 0, 0), 2) CHƯƠNG 299 roi_gray_frame = gray_frame[y:y + h, x:x + w] CHƯƠNG 300 cropped_img = np.expand_dims(np.expand_dims(cv2.resize(roi_gray_frame, (48, 48)), -1), 0) CHƯƠNG 301 emotion_prediction = emotion_model.predict(cropped_img) CHƯƠNG 302 maxindex = int(np.argmax(emotion_prediction)) CHƯƠNG 303 cv2.putText( CHƯƠNG 304 frame, emotion_dict[maxindex], CHƯƠNG 305 (x+20, y-60), cv2.FONT_HERSHEY_SIMPLEX, CHƯƠNG 306 CHƯƠNG 307 CHƯƠNG 308 1, (255, 255, 255), 2, cv2.LINE_AA ) cv2.imshow('Video', cv2.resize(frame, (1200,860),interpolation = cv2.INTER_CUBIC)) CHƯƠNG 309 CHƯƠNG 310 if cv2.waitKey(1) & 0xFF == ord('q'): exit(0) CHƯƠNG 311 cap.release() 45 Chương Thực nghiệm đánh giá CHƯƠNG 312 cv2.destroyAllWindows() 312.1 Kết CHƯƠNG 313 Thơng mơ hình huấn luyện triển khai viết chương trình sau chạy thu tập tin “model.h5” chứa đặc trưng biểu cảm CHƯƠNG 314 Sử dụng tập tin “model.h5” chạy mẫu chương trình thử nghiệm thực tế cho thấy chương trình nhận dạng hầu hết biểu cảm Trong mơ hình nhạy nhận biết biểu cảm hạnh phúc (happy) CHƯƠNG 315 Hình 315.1.1.1: Nhận diện biểu cảm 315.2 Đánh giá CHƯƠNG 316 Kết thử nghiệm thực tế cho thấy mơ hình nhạy nhận biết biểu cảm vui vẻ(happy), với biểu cảm ghê tởm(disgust) Việc hầu hết mơ hình cơng bố với tập liệu FER-2013 có accuracy(độ xác) 0.9725 loss(độ sai) 0.0839 điều cho thấy khả nhận diện biểu cảm dự đoạn xác nhiều Ngồi sau cải thiện chương trình nhạy việc nhận diện biểu cảm tức giận(angry) 46 C PHẦN KẾT LUẬN Kết đạt CHƯƠNG 317 Đã xây dựng mơ hình huấn luyện nhận diện biểu cảm khn mặt sử dụng thuật tốn CNN Chương trình thêm số lọc mạng thần kinh để cải thiện độ xác nhận diện biểu cảm tức giấn dễ dàng so với ban đầu Đây kiến trúc mơ hình CNN ứng dụng vào việc phát biểu cảm khuôn mặt người đề xuất, tập ảnh 48x48 điểm ảnh đa cấp xám sử dụng thực nghiệm để đánh giá mơ hình Đây tốn có tính ứng dụng cao áp dụng nhiều vấn đề thực tế, đặc biệt liên quan đến việc cảm nhận phản hồi sinh viên phương pháp giảng dạy CHƯƠNG 318 Nhận diện biểu cảm khuôn mặt hạnh phúc, đau buồn, sợ hãi, tức giận, ngạc nhiên, bình thường Tuy biểu cảm ghê tởm chưa nhận diện hồn tồn cịn hạn chế liệu chất lượng phân loại biểu cảm khuôn mặt người chưa cao Tuy nhiên lợi mô hình khơng q lớn(dưới MB) nên tiếp tục tối ưu để triển khai thiết bị, mơ hình cài đặt thiết bị nhúng vốn yêu cầu chặt chẽ nhớ Khuyến nghị CHƯƠNG 319 Đây báo cáo nghiên cứu khoa học nhóm sinh viên Đại học Thủ Dầu Một Do hạn chế mặt thời gian nhóm nghiên cứu việc nhận diện biểu cảm khuôn mặt tập tin “model.h5” huấn luyện với độ xác tương đối phát số biểu cảm Những vấn đề nhóm chưa làm như: CHƯƠNG 320 - Cải thiện độ xác cách tăng số lượng liệu, ứng dụng nhiều thuật toán kết hợp chúng lại với Ngồi ứng dụng nhiều công nghệ tiên tiến để nhận diện nhiều biểu cảm kinh hoàng, căm ghét, Kính sợ, 47 sợ hãi cách buồn khổ, tức giận cách buồn bã, tức giận cách sợ hãi, ngạc nhiên cách vui vẻ, ngạc nhiên cách buồn bã, ngạc nhiên cách sợ hãi, ngạc nhiên cách tức giận, ngạc nhiên cách ghê tởm, ghê tởm cách vui vẻ, ghê tởm cách buồn bã, ghê tởm cách sợ hãi, ghê tởm cách giận CHƯƠNG 321 - Từ ứng dụng thiết kế lên hệ thống thành chương trình hồn thiện để nhận diện biểu cảm khn mặt sinh viên Thủ Dầu Một sau buổi học Và có chức điểm danh, gửi biểu cảm sinh viên, hỗ trợ đề xuất phương pháp giảng dạy thơng báo cho giảng viên tình hình biểu cảm lớp tổng quan, … CHƯƠNG 322 Những đề nêu phần nhóm muốn thực Ngồi thực tế nhiều mặt cần nghiên cứu CHƯƠNG 323 48 TÀI LIỆU THAM KHẢO CHƯƠNG 324 Tiếng Việt [1] ThS.Nguyễn Thị Ngọc An, giáo trình quản trị hành văn phòng, giáo dục đào tạo [2] Tổng quan ước lượng mức độ biểu cảm người qua biểu cảm khuôn mặt hướng tiếp cận dựa ảnh nhiệt - Nguyễn Phương Nam, Nguyễn Viết Hưng [3] Mơ hình khai phá ý kiến phân tích biểu cảm khách hàng trực tuyến ngành thực phẩm - Nguyễn Đặng Lập Bằng, Nguyễn Văn Hồ, Hồ Trung Thành [4] sử dụng phương pháp support vector machine convolutional neural network để phân loại biểu cảm khuôn mặt – Lê Thu Trang, Nguyễn Thu Hương CHƯƠNG 325 Tiếng Anh [5] Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition - Liam Schonevelda, Alice Othmanib, Hazem Abdelkawyb [6] Multimodal Emotion Recognition using Deep Learning Architectures - Hiranmayi Ranganathan, Shayok Chakraborty and Sethuraman Panchanathan [7] A Robust Method for Face Recognition and Face Emotion Detection System using Support Vector Machines - Rajesh K M, Rajesh K M CHƯƠNG 326 Website [8] https://hongtin.net/ai/nhan-dien-cam-xuc-khuon-mat-real-time-voi-pythonkeras-va-opencv/ 49 ...TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT VIỆN KỸ THUẬT – CÔNG NGHỆ BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN CẤP ĐƠN VỊ NĂM HỌC 2021-2022 ỨNG DỤNG HỌC MÁY VÀO NHẬN DIỆN BIỂU CẢM CỦA SINH VIÊN ĐẠI... TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT Độc lập – Tự – Hạnh phúc THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung: - Tên đề tài: Ứng dụng máy học vào nhận diện biểu cảm sinh viên đại học thủ dầu sau buổi. .. nhận biết biểu cảm sinh viên sau buổi học giúp cho giảng viên đưa phương pháp giảng dạy phù hợp Đó lý nhóm nghiên cứu sinh chọn đề tài ? ?ứng dụng máy học vào nhận diện biểu cảm sinh viên đại học