Hình ảnh thực tế của mô hình:
Hình 4.4: Camera kết nối với kit raspberry Pi 4
Sau quá trình huấn luyện và kiểm tra mô hình, cá nhân thực hiện lấy kết quả đạt được xây dựng một ứng dụng trên kit Raspberry Pi 4 với sự hỗ trợ thiết kế giao diện của bộ công
cụ GUI Tkinter.
Hình 4.5: Giao diện của ứng dụng nhận dạng cảm xúc Giao diện của của ứng dụng gồm 4 nút nhấn tương ứng với 4 chức năng như sau:
- Nút nhấn “Chọn file” dùng để chọn file cần được nhận dạng, file được chọn với hai định dạng chính. Nếu là hình ảnh thì file đó có đuôi “.jpg” hoặc “.png”, nếu là video offline thì file có đuôi “.mp4”. Khi đã chọn được file, ứng dụng sẽ thông báo đến người dùng tin nhắn “Đã chọn file!!!”.
- Nút nhấn “Nhận dạng” dùng để nhận dạng cảm xúc cho file đã chọn ở nút nhấn
“Chọn file”. Đối với hình ảnh sau khi nhận dạng được biểu diễn bằng cửa sổ và kết quả sẽ được lưu vào folder có tên “result”.
- Nút nhấn “Trực tuyến” dùng để nhận dạng cảm xúc đối với luồng video trực tuyến.
- Nút nhấn “Thoát” dùng để đóng ứng dụng.
Hình 4.6: Thông báo khi đã chọn được file.
Nhận dạng cảm xúc của 7 loại cảm xúc được nghiên cứu trong để tài này với những hình ảnh từ hình 4.7 đến hình 4.14.
Hình 4.7: Nhận dạng cảm xúc “ bình thường ”
Hình 4.8: Nhận dạng cảm xúc “ bình thường ”từ một ảnh bất kỳ được tải lên hệ thống
Hình 4.7 và 4.8 miêu tả nhận dạng cảm xúc bình thường với độ chính xác khá cao lên đến 77.95% và 88.45% do các chi tiết biểu cảm cảm xúc bình thường trên khuôn mặt khá
rõ ràng.
Hình 4.9: Nhận dạng cảm xúc “ vui vẻ ”
Hình 4.9 miêu tả nhận dạng cảm xúc vui vẻ với độ chính xác lên đến 93.98% do các chi tiết biểu cảm cảm xúc vui vẻ trên khuôn mặt khá chi tiết như miệng và các hàm răng được mở ra và giãn rộng, các chi tiết trên vùng má và lông mày cũng có sự thay đổi như cong hơn nên hệ thống nhận dạng có độ chính xác tương đối tốt.
Hình 4.10: Nhận dạng cảm xúc “ ngạc nhiên ”
Hình 4.10 miêu tả nhận dạng cảm xúc ngạc nhiên với độ chính xác lên đến 67.6% do các chi tiết biểu cảm cảm xúc ngạc nhiên trên khuôn mặt khá cụ thể như lông mày nâng lên, mắt mở to, há miệng nên hệ thống nhận dạng có độ chính xác tương đối tốt so với tập mẫu đã huấn luyện.
1Hình 4.11: Nhận dạng cảm xúc “ buồn ”
Hình 4.11 miêu tả nhận dạng cảm xúc buồn với độ chính xác lên đến 63.47% do các chi tiết biểu cảm cảm xúc buồn trên khuôn mặt khá chi tiết như đuôi mí mắt trên sụp xuống, mắt mất tập trung,và diện tích bên trong mắt bị thu hẹp, ngoài ra gì má nâng cao lên. Các chi biểu cảm trên khuôn mặt cụ thể như đã huấn luyện nên hệ thống nhận dạng tương đối tốt.
Hình 4.12: Nhận dạng cảm xúc “ giận dữ ”
Hình 4.12 miêu tả nhận dạng cảm xúc giận dữ với độ chính xác lên đến 83.27% do các chi tiết biểu cảm cảm xúc giận dữ trên khuôn mặt khá rõ ràng như lông mày nhướng lên và kéo gần lại nhau và cong cao hơn, mí mắt trên kéo lên, mí mắt dưới căng, miệng hơi kéo sang hai bên và há rộng để hở một phần răng. Các cho tiết biểu cảm trong môi trường tốt
và biểu cảm rõ ràng nên hệ thống nhận dạng có độ chính xác tương đối tốt.
Hình 4.13: Nhận dạng cảm xúc “ khó chịu ”
Hình 4.13 miêu tả nhận dạng cảm xúc khó chịu với độ chính xác lên đến 85.79% do các chi tiết biểu cảm cảm xúc khó chịu trên khuôn mặt khá rõ ràng như nhăn sống mũi và môi trên và môi dưới được thu hẹp, hai mắt nhíu lại , vùng diện tích đôi mắt và miệng được thu hẹp khá lớn, bên cạnh đó lông mày cũng có sự thay đổi như cong ở mức độ trung bình. Các chi tiết trên làm hệ thống nhận dạng có độ chính xác tương đối tốt.
Hình 4.14: Nhận dạng cảm xúc “ sợ hãi ”
Hình 4.14 miêu tả nhận dạng cảm xúc sợ hãi với độ chính xác chỉ 45.82% do đây là cảm xúc biểu cảm khó, dễ nhầm lẫn với nhiều cảm xúc khác. Ngoài ra các chi tiết biểu cảm gần có sự tương đồng với cảm xúc buồn.
Nhận dạng cảm xúc sai đối với một số hình ảnh từ hình 4.15 đến hình 4.19.
Hình 4.15: Nhận dạng cảm xúc “ bình thường ” thành cảm xúc “ buồn ” do biểu cảm
không rõ ràng
Hình 4.16: Nhận dạng cảm xúc “ bình thường ” thành cảm xúc “ sợ hãi ” do cường độ
sáng quá cao và ảnh được nhận dạng bị ngược sáng.
Hình 4.17: Không nhận dạng được khuôn mặt do góc nghiêng và các đặc trưng trên
khuôn mặt bị mất.
Hình 4.18: Nhận dạng cảm xúc “ bình thường ” thành cảm xúc “ sợ hãi ” do cường độ
ánh sáng trên khuôn mặt yếu.
Hình 4.19: Nhận dạng cảm xúc “ bình thường ” thành cảm xúc “ buồn ” do khuôn mặt bị thay đổi góc nghiêng đồng thời khuôn mặt không ngang tầm và chính diện với camera
Nhận xét: Trong quá trình nhận dạng cảm xúc , các cảm xúc có thể bị nhận dạng sai do
các ảnh hưởng sau:
- Điều kiện cường độ sáng quá thấp hoặc quá cao
- Sự nhẫm lẫn giữa các cảm xúc có đặc điểm tương đối giống nhau.
- Biểu cảm không rõ ràng.
- Khuôn mặt không nằm ngang tầm và chính diện với webcam.