Hệ thống nhận dạng cảm xúc trên khuôn mặt người thông qua camera quan sát

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA CÔNG NGHỆ PHẦN MỀM NGƠ HỒNG PHÚC - 16520948 KHĨA LUẬN TỐT NGHIỆP HỆ THỐNG NHẬN DẠNG CẢM XÚC TRÊN KHUÔN MẶT THÔNG QUA CAMERA QUAN SÁT Facial emotion recognition system using camera KỸ SƯ NGÀNH KỸ THUẬT PHẦN MỀM GIÁO VIÊN HƯỚNG DẪN THS ĐỖ VĂN TIẾN TP.HỒ CHÍ MINH, 2022 Acknowledgement Firstly, I would like to show my appreciation and thank M.S Do Van Tien so much for instructing, helping and making pieces of useful advice for us The conscientious instructors have taught us a lot of knowledge, along with various skills to complete our undergraduate thesis Lastly, we thank our family and friends of the KTPM2016 class for always inspiring us through the time we studied at University of Information Technology Ho Chi Minh City, - 2022 Ngo Hoang Phuc THƠNG TIN HỘI ĐỒNG CHẤM KHĨA LUẬN TỐT NGHIỆP Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số …………………… ngày ………………… Hiệu trưởng Trường Đại học Công nghệ Thông tin ………………………………………… – Chủ tịch ………………………………………… – Thư ký ………………………………………… – Ủy viên ………………………………………… – Ủy viên ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày… tháng… năm…… NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ HƯỚNG DẪN) Tên khóa luận: HỆ THỐNG NHẬN DẠNG CẢM XÚC TRÊN KHUÔN MẶT THÔNG QUA CAMERA QUAN SÁT Nhóm SV thực hiện: Cán hướng dẫn: Ngơ Hồng Phúc 16520948 ThS Đỗ Văn Tiến Đánh giá Khóa luận Về báo cáo: Số trang Số bảng số liệu Số tài liệu tham khảo _ _ _ Số chương Số hình vẽ Sản phẩm _ _ _ Một số nhận xét hình thức báo cáo: _ _ _ _ _ Về nội dung nghiên cứu: _ _ _ _ _ _ _ Về chương trình ứng dụng: _ _ _ _ Về thái độ làm việc sinh viên: _ _ _ _ Đánh giá chung:Khóa luận đạt/khơng đạt u cầu khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Ngơ Hồng Phúc :……… /10 Người nhận xét Đỗ Văn Tiến ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày… tháng… năm…… NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ HƯỚNG DẪN) Tên khóa luận: HỆ THỐNG NHẬN DẠNG CẢM XÚC TRÊN KHUÔN MẶT THÔNG QUA CAMERA QUAN SÁT Nhóm SV thực hiện: Cán hướng dẫn: Ngơ Hồng Phúc 16520948 ThS Đỗ Văn Tiến Đánh giá Khóa luận Về báo cáo: Số trang Số bảng số liệu Số tài liệu tham khảo _ _ _ Số chương Số hình vẽ Sản phẩm _ _ _ Một số nhận xét hình thức báo cáo: _ _ _ _ _ Về nội dung nghiên cứu: _ _ _ _ _ _ _ Về chương trình ứng dụng: _ _ _ _ Về thái độ làm việc sinh viên: _ _ _ _ Đánh giá chung:Khóa luận đạt/khơng đạt u cầu khóa luận tốt nghiệp kỹ sư/ cử nhân, xếp loại Giỏi/ Khá/ Trung bình Điểm sinh viên: Ngơ Hồng Phúc :……… /10 Người nhận xét ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do - Hạnh Phúc CÔNG NGHỆ THÔNG TIN ĐỀ CƯƠNG CHI TIẾT TÊN ĐỀ TÀI: HỆ THỐNG NHẬN DẠNG CẢM XÚC TRÊN KHUÔN MẶT NGƯỜI THÔNG QUA CAMERA QUAN SÁT (Facial emotion recognition system using camera) Cán hướng dẫn: ThS Đỗ Văn Tiến Thời gian thực hiện: Từ ngày 06/09/2021 đến ngày 26/12/2021 Sinh viên thực hiện: Ngơ Hồng Phúc - 16520948 Tổng quan - - - Từ lâu, việc giải mã biểu mặt người nhận quan tâm từ nhiều nhà nghiên cứu thuộc lĩnh vực tâm lý, giao tiếp người máy Việc nhận diện thơng tin hỗ trợ nhiều vào phát triển khoa học, giúp nhà doanh nghiệp thấu hiểu trải nghiệm khách hàng, cải thiện dịch vụ Facial Emotion Recognition (FER) toán sử dụng thuật tốn thơng minh giúp phân tích xác định trạng thái cảm xúc dựa gương mặt người Bài tốn áp dụng với nhiều nguồn thơng tin khác (hình ảnh, video, audio …) Kết đầu nhãn dán cho cảm xúc gương mặt Thông thường với liệu hình ảnh đoạn video khơng có audio, phương pháp giúp phân tích cảm xúc người (như trung lập, vui, sợ hãi, lo lắng,…) Hình 1: Biểu gương mặt tương ứng với cảm xúc người Tuy nhiên, phương pháp phức tạp đưa thông tin người trải nghiệm lúc nhiều cảm giác (như vừa lo lắng vừa sợ hãi) nhiều mức độ (lo lắng, căng thẳng, hoang mang, …) [4] Hình 2: Biểu gương mặt có nhiều cảm xúc khác - Một phương pháp truyền thống FER thường có ba giai đoạn xử lý nối tiếp [1][2][3]: + Xác định, cân chỉnh khn mặt + Trích xuất thơng tin đặc điểm khuôn mặt + Phân loại biểu với cảm xúc Hình 3: Các giai đoạn xử lý toán FER sử dụng phương pháp truyền thống [1] Mỗi giai đoạn sử dụng kỹ thuật khác xem độc lập với phần Tuy nhiên, việc kết hợp kỹ thuật giai đoạn cho độ xác hiệu suất khác Ngồi ra, tính phụ thuộc kỹ thuật đến từ chất chúng (thuật toán đơn giản, thuật toán máy học, mạng neuron) Click to direct to the Update page of a selected salary updateBtn Button entity Display and select what type of filter is used on the Id idDpb Dropbox field idFilter Input typeDpb Dropbox A string used with the Id filter Display and select what type of filter is used on the Type field typeFilter Input fromDateDpb Dropbox A string used with the Type filter Display and select what type of filter is used on the FromDate field fromDateInput A string used with the FromDate filter Filter Display and select what type of filter is used on the toDateDpb Dropbox ToDate field toDateFilter Input reasonDpb Dropbox A string used with the ToDate filter Display and select what type of filter is used on the Reason field reasonFilter Input statusDpb Dropbox A string used with the Reason filter Display and select what type of filter is used on the Status field statusFilter Input A string used with the Status filter Table 5.59: Leave form administration page 123 Leave form viewing page Figure 5.41: Leave-form-viewing interface Name Type hideBtn Button Description Click to hide the side bar and expand the dash board area Click to log out of the system and direct to the Login logoutBtn Button page informationButton Click to direct the Personal Information page leaveFormBtn Button Click to direct the Leave Form viewing page FERBtn Button Click to direct the FER tracking page formTbl Table Show all of leave forms registered to the system addBtn Button Click to move to the Leave form creating page nextBtn Button Click to move to the next page of the table Btn 124 previousBtn Button idDpb Dropbox Click to move to the previous page of the table Display and select what type of filter is used on the Id field idFilter Input A string used with the Id filter typeDpb Dropbox Display and select what type of filter is used on the Type field typeFilter Input A string used with the Type filter fromDateDpb Dropbox Display and select what type of filter is used on the FromDate field fromDateInput A string used with the FromDate filter Filter Display and select what type of filter is used on the toDateDpb Dropbox ToDate field toDateFilter Input A string used with the ToDate filter reasonDpb Dropbox Display and select what type of filter is used on the Reason field reasonFilter Input A string used with the Reason filter statusDpb Dropbox Display and select what type of filter is used on the Status field statusFilter Input A string used with the Status filter Table 5.60: Leave form viewing page 125 Leave-form-creating page Figure 5.42: Leave-form-creating interface Name Type hideBtn Button Description Click to hide the side bar and expand the dash board area Click to log out of the system and direct to the Login logoutBtn Button page employeeBtn Button Click to direct the Employee administration page salaryBtn Button Click to direct the Salary administration page leaveFormBtn Button Click to direct the Leave Form administration page FERBtn Button Click to direct the FER administration page submitBtn Button Click to submit the form to create a leave form cancleBtn Button Click to direct the Leave Form administration page typeDpb Dropbox Contain type of leave form to be created 126 fromDateInp DatePicker Select the start day of the leave form to be created toDateInp DatePicker Select the end day of the leave form to be created reasonInp Input The reason of the leave form to be created Table 5.61: Leave-form-creating page Leave-form-approving page Figure 5.43: Leave-form-approving interface Name Type hideBtn Button Description Click to hide the side bar and expand the dash board area Click to log out of the system and direct to the Login logoutBtn Button page employeeBtn Button Click to direct the Employee administration page salaryBtn Button Click to direct the Salary administration page 127 leaveFormBtn Button Click to direct the Leave Form administration page FERBtn Button Click to direct the FER administration page submitBtn Button Click to submit the form to update the leave form cancleBtn Button Click to direct the Leave form administration page approvalDpb Dropbox Contains types of approval for the leave form Table 5.62: Leave-form-updating page FER administration page Figure 5.44: FER administration interface Name Type hideBtn Button Description Click to hide the side bar and expand the dash board area Click to log out of the system and direct to the Login logoutBtn Button page 128 employeeBtn Button Click to direct the Employee administration page salaryBtn Button Click to direct the Salary administration page leaveFormBtn Button Click to direct the Leave Form administration page FERBtn Button Click to direct the FER administration page emotionTbl Table Show all of customer emotions saved to the system nextBtn Button Click to move to the next page of the table previousBtn Button Click to move to the previous page of the table idDpb Dropbox Display and select what type of filter is used on the Id field idFilter Input A string used with the Id filter dateDpb Dropbox Display and select what type of filter is used on the Date field dateFilter Input A string used with the Date filter rstpInp Input A string used for updating or displaying RSTP changeBtn Button Click to change RSTP of system Table 5.63: FER administration page 129 Personal Information page Figure 5.45: Personal Information interface Name Type hideBtn Button Description Click to hide the side bar and expand the dash board area Click to log out of the system and direct to the Login logoutBtn Button page informationButton Click to direct the Information page leaveFormBtn Button Click to direct the Leave Form Viewing page FERBtn Button Click to direct the FER tracking page Btn Table 5.64: Personal Information page 130 FER tracking page Figure 5.46: FER tracking interface Name Type hideBtn Button Description Click to hide the side bar and expand the dash board area Click to log out of the system and direct to the Login logoutBtn Button page informationButton Click to direct the Information page leaveFormBtn Button Click to direct the Leave Form Viewing page FERBtn Button Click to direct the FER tracking page cameraBtn Button Click to open/close camera of the system icon Image Show the predicted emotion of customer Btn 131 Describe how confident the system is about the pretext Text diction result Table 5.65: Personal Information page 132 Chapter 6: Conclusion and development 6.1 Conclusion Through out this work, fundamental background knowledge about deep learning has been previewed Further, models that gained state-of-the-art performance are trained with the new augmented FER-2013, which is proved to delivers more even label distribution and better discriminative capability The idea that applying these models on larger would create better performance is refused However, they can be further improved by using modified building blocks which lead to either reduction in model size or gain in accuracy or both In general, deep learning approach in facial expression recognition is applicable in real-time scenarios Usually, models with highest accuracy is no the one processing fastest Therefore, when considering which one is better for an application, the compromise between accuracy and speed (also storage space) need to be made 6.2 Development In future, i want to further complete this thesis with the following issues: 133 • Improve model accuracy • Improve processing speed of applicable models • Implement models that take both temporal and spatial information to recognition emotions • Examine models that combine both machine learning and deep learning techniques 134 Bibliography [1] Plutchik Robert (2001) ”The nature of emotions”, Research Triangle Park Vol 89, Iss 4, (Jul/Aug 2001): 344-350 [2] Klaus R Scherer (2005) ”What are emotions? And how can they be measured?”, Social Science Information Vol 44 - no [3] Kevin Mulligan and Klaus R Scherer (2012) ”Toward a Working Definition of Emotion”, Emotion Review Vol 4, No (October 2012) 345–357 [4] Ekman, P., Friesen, W V (1971) ”Constants across cultures in the face and emotion” Journal of Personality and Social Psychology, 17(2), 124–129 [5] Ali Mollahosseini (2017), ”AffectNet: A Database for Facial Expression, Valence, and Arousal Computing in the Wild” IEEE transactions on affective computing [6] Ann M Kring ”The Facial Expression Coding System (FACES): A Users Guide” [7] W V Friesen and P Ekman (1983), “Emfacs-7: Emotional facial action coding system,” Unpublished manuscript, University of California at San Francisco, vol 2, p 36 [8] I J Goodfellow, D Erhan, P L Carrier, A Courville, M Mirza, B Hamner, W Cukierski, Y Tang, D Thaler, D.-H Lee et al., “Challenges in representation learning: A report on three machine learning contests,” Neural Networks, vol 64, pp 59–63, 2015 135 [9] M Lyons, S Akamatsu, M Kamachi, and J Gyoba, “Coding facial expressions with gabor wavelets,” Automatic Face and Gesture Recognition, 1998 Proceedings Third IEEE International Conference on IEEE, 1998, pp 200–205 [10] Y.-I Tian, T Kanade, and J F Cohn, “Recognizing action units for facial expression analysis,” IEEE Trans Pattern Anal Mach Intell., vol 23, no 2, pp 97–115, 2001 [11] M S Bartlett, G Littlewort, I Fasel and J R Movellan, ”Real Time Face Detection and Facial Expression Recognition: Development and Applications to Human Computer Interaction.,” 2003 Conference on Computer Vision and Pattern Recognition Workshop, 2003, pp 53-53 [12] Ashraf Abbas M Al-modwahi, Onkemetse Sebetela, Lefoko Nehemiah Batleng, Behrang Parhizkar, Arash Habibi Lashkari, ”Facial Expression Recognition intelligent security system for real-time surveillance.,” Conference: World Congress in Computer Science, Computer Engineering, and Applied Computing (WORLDCOMP’12)World Congress in Computer Science, Computer Engineering, and Applied Computing (WORLDCOMP’12) [13] Niyati Rawal, Ruth Maria Stock-Homburg, ”Facial emotion expressions in humanrobot interaction: A survey.,” [14] Yingli Tian, Takeo Kanade, and Jeffrey F Cohn, ”Chapter 19: Facial Expression Recognition.,” Handbook of Face Recognition [15] Nazeerah A Sheth, Mahesh M Goyani, ”A Comprehensive study of Geometric and Appearance based Facial Expression Recognition Methods.,” 2018 International Journal of Scientific Research in Science, Engineering and Technology, Volume 4, Issue [16] Byoung Chul Ko, ”A Brief Review of Facial Emotion Recognition Based on Visual Information.,” Sensors 2018, 18, 401 136 [17] Josh Patterson, Adam Gibson, ”Deep learning.,” [18] Karen Simonyan and Andrew Zisserman, ”Very deep convolutional networks for largescale image recognition.,”,ICLR 2015 [19] Yousif Khaireddin1 and Zhuofa Chen1, ”Facial Emotion Recognition: State of the Art Performance on FER2013.” [20] Kaiming He, ”Deep Residual Learning for Image Recognition.,” Microsoft Research [21] Christopher Pramerdorfer, Martin Kampel, ”Facial Expression Recognition using Convolutional Neural Networks: State of the Art.” [22] Kaiming He, Xiangyu Zhang, ”Identity Mappings in Deep Residual Networks.,” Microsoft Research [23] Christian Szegedy, ”Rethinking the Inception Architecture for Computer Vision.” [24] Christian Szegedy, ”Going deeper with convolutions.” [25] Paul Viola and Micheal J.Jones, ”Robust Real-Time Face Detection.,” International Journal of Computer Vision 57(2), 137–154, 2004 [type=article,title=Articles only] 137 ... Phúc CÔNG NGHỆ THÔNG TIN TP HCM, ngày… tháng… năm…… NHẬN XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ HƯỚNG DẪN) Tên khóa luận: HỆ THỐNG NHẬN DẠNG CẢM XÚC TRÊN KHUÔN MẶT THÔNG QUA CAMERA QUAN SÁT Nhóm SV... XÉT KHÓA LUẬN TỐT NGHIỆP (CỦA CÁN BỘ HƯỚNG DẪN) Tên khóa luận: HỆ THỐNG NHẬN DẠNG CẢM XÚC TRÊN KHUÔN MẶT THÔNG QUA CAMERA QUAN SÁT Nhóm SV thực hiện: Cán hướng dẫn: Ngơ Hồng Phúc 16520948 ThS... ảnh, cách biểu diễn cảm xúc hệ thống Chuẩn bị kiến thức giúp đánh giá hệ thống nhận dạng cảm xúc gương mặt Thiết kế trang web cho phép quay hình trực tiếp hiển thị thông tin cảm xúc Nghiên cứu, đánh