7. Cấu trúc luận văn
4.3.1. Kết quả thực nghiệm
Bảng 4.2 trình bày kết quả thí nghiệm trên dữ liệu kiểm thử của 07 lớp cảm xúc. Chúng tôi so sánh các thông số về độ chính xác (precision), độ đo tính toàn vẹn (recall) và trung bình điều hòa (F1-score) để đánh giá các phương pháp phân loại. Trong hầu hết các trường hợp, phương pháp của chúng tôi luôn cho recall cao hơn precision, đồng nghĩa với tỉ lệ bỏ sót các điểm thực sự positive là thấp.
Bảng 4.2. Kết quả thí nghiệm mô hình. Từ trái sang phải: giận dữ (An), ghê tởm (Di), sợ hãi (Fe), hạnh phúc (Ha), bình thường (Ne),
buồn rầu (Sa) và ngạc nhiên (Su)
Mô hình Độ đo 7 loại cảm xúc cơ bản
An Di Fe Ha Ne Sa Su Vi- Resnet-50 Precision 77.96% 84.38% 80.30% 84.29% 80.63% 83.47% 87.95% Recall 87.14% 88.41% 90.80% 92.25% 86.88% 93.13% 88.46% F1-score 82.29% 86.35% 85.23% 88.09% 83.63% 88.04% 88.21% Ther- Precision 86.32% 86.51% 85.15% 89.70% 86.79% 88.12% 90.65%
Mô hình Độ đo 7 loại cảm xúc cơ bản An Di Fe Ha Ne Sa Su F1-score 88.72% 90.46% 87.78% 91.77% 88.55% 90.36% 91.94% Fu- Resnet-50 Precision 85.34% 89.28% 86.79% 94.96% 89.81% 88.61% 91.26% Recall 93.57% 92.73% 94.09% 95.17% 93.63% 94.79% 94.42% F1-score 89.27% 90.97% 90.29% 95.06% 91.68% 91.60% 92.82%
Hình 4.1. Kết quả dự đoán của mô hình
Hình 4.2 cho thấy mô hình Vi-Resnet-50 thu được tỷ lệ phân lớp chính xác là 89.58%. Trong đó một số cảm xúc nhận dạng đạt độ chính cao như hạnh phúc đạt 92.25%, buồn rầu đạt 93.13% và sợ hãi đạt 90.80%. Tuy nhiên, có một số cảm xúc đạt tỉ lệ chưa cao như giận dữ đạt 87.14%, ghê tởm đạt 88.41%, bình thường đạt 86,87%. Từ kết quả này cho thấy, nếu chỉ sử dụng ảnh có thể nhìn thấy để nhận dạng cảm xúc sẽ làm giảm độ chính xác. Bởi vì, ảnh có thể nhìn thấy còn nhiều hạn chế như nhạy cảm với điều kiện ánh sáng
và một số người thường không biểu hiện cảm xúc thật. Mặc dù kết quả nhận dạng chưa cao nhưng nó phù hợp với những phân tích ban đầu của chúng tôi. Do vậy, chúng tôi tiếp tục tiến hành thực nghiệm với ảnh nhiệt.
Hình 4.2. Kết quả nhận dạng trên ảnh thường Vi-Resnet-50
Hình 4.3 trình bày kết quả của mô hình Ther-Resnet-50 chạy trên bộ dữ liệu ảnh nhiệt thu được tỷ lệ phân lớp chính xác là 92.41%, tăng 2.83% so với ảnh thường và hầu hết các lớp cảm xúc đều tăng, mặc dù có hai cảm xúc giảm nhưng tỷ lệ giảm rất thấp. Kết quả nhận dạng cảm xúc cho thấy hạnh phúc đạt 93.93%, cao hơn 1.68% so với Vi-Resnet-50, ghê tởm 94.77%, trong khi Vi-Resnet-50 chỉ đạt 88.41%, tăng 6.36%, ngạc nhiên đạt 93.27%, tăng 4.81% và tự nhiên đạt 90.38%, tăng 3.5% so với Vi-Resnet-50. Bên cạnh đó cảm xúc sợ hãi đạt 90.57%, giảm 0.23% và buồn rầu đạt 92.71%, giảm 0.42% so với Vi-Resnet-50. Từ đó cho thấy, nhiệt độ và cảm xúc của con người có
bổ sung quan trọng để hỗ trợ nhận dạng cảm xúc người chính xác hơn. Do vậy, chúng tôi tiếp tục thực nghiệm với phương pháp đề xuất là kết hợp ảnh thường và ảnh nhiệt.
Hình 4.3. Kết quả nhận dạng trên ảnh nhiệt Ther-Resnet-50
Hình 4.4 thể hiện kết quả của mô hình kết hợp ảnh thường và ảnh nhiệt Fu-Resnet-50. Kết quả cho thấy tỷ lệ phân lớp chính xác là 94.06%. Hầu hết các cảm xúc đều đạt tỷ lệ cao so với mô hình phân lớp trên ảnh thường hoặc ảnh nhiệt. Trong đó, hạnh phúc đạt 95.17%, buồn rầu đạt 94.79 %, ngạc nhiên đạt 94,42%, sợ hãi đạt 94.09%, giận dữ đạt 93.57%, ghê tởm đạt 92.73%
Hình 4.4. Kết quả ước lượng cảm xúc kết hợp ảnh thường và ảnh nhiệt Fu-Resnet-50
Hình 4.5. So sánh giữa Vi-Resnet-50, Ther- Resnet-50 và Fu-Resnet-50
Như vậy, từ kết quả thu được trong bảng 4.2 và biểu đồ so sánh ở hình 4.5, cho thấy kết quả khi nhận dạng trên phương pháp kết hợp đề xuất cao hơn so với nhận dạng trên ảnh thường hoặc ảnh nhiệt. Điều đó chứng tỏ vai trò của từng bộ phân lớp khi kết hợp giúp cho quá trình nhận dạng đạt kết quả tốt hơn.