Nhận dạng cảm xúc con người bằng phương pháp pca kết hợp với mạng nơron

- UYỄ Ậ D BẰ Á Ả Ơ A XÚ O Á A KẾ VỚ Ơ O UẬ V Ệ Ố Ô - ăm 2019 Ợ TR - UYỄ Ậ D Á Ả BẰ Ơ A XÚ O Á A KẾ VỚ Ơ O Chuyên ngành: ệ thố thô ã số: 848.04.01 UẬ V ười hướ UYỄ dẫ khoa học: Ị - ăm 2019 A ti Ợ iii A ê đề t i: Ậ D Ô Ả KẾ UẬ V XÚ O Ợ VỚ BẰ Ơ O Ơ Á A Ngành: Hệ thống thông tin Họ tên học viên: Nguyễn Thái Minh Anh Người hướng dẫn khoa học: TS Nguyễn Thị Ngọc Anh Cơ sở đào tạo: Trường Đại học Sư phạm - ĐHĐN Tóm tắt: Luận văn tập trung nghiên cứu thuật tốn trích chọn đặc trưng – Principal Component Analisis (PCA) trình nhận dạng cảm xúc mạng Nơron Bài toán đặt làm để nhận dạng cảm xúc khuôn mặt người Với hai liệu JAFEE FEI, cảm xúc vui, buồn, ngạc nhiên biểu cảm khơng có cảm xúc gọi trung tính Hệ thống có khả nhận dạng dạng cảm xúc Luận văn giới thiệu bước thực việc trích chọn đặc trưng từ thuật tốn PCA thể qua mơ hình bài; luận văn giới thiệu mạng Nơron, mơ hình mạng Nơron, cách huấn luyện mạng thuật toán lan truyền ngược, mơ hình thể q trình học nhận dạng mạng Trên sở đó, em tiến hành cài đặt chương trình Matlab Bài tốn áp dụng nhằm minh họa kiến thức nghiên cứu trình bày chương đầu Qua việc thực hiện, luận văn góp phần giúp em vận dụng củng cố lại kiến thức phần lớn khai phá liệu phần trí tuệ nhân tạo học trường, mở rộng thêm kiến thức liên quan đến đề tài xử lí, chuẩn hóa hình ảnh, ; rèn luyện kỹ xử lí liệu liệu khác nhau, kỹ huấn luyện mạng Nơron test ảnh nhìn thấy hình ảnh nhận dạng hình ảnh bị nhận dạng nhầm tập test mình, học cách khắc phục giải số vấn đề trục trặc trình thực luận văn Những hạn chế đề tài: thuật toán xây dựng có quy mơ cịn đơn giản, liệu JAFEE, nhận dạng cảm xúc: vui, buồn ngạc nhiên, liệu FEI số lượng đầu vào nhiều nhận đạng cảm xúc vui vẻ trung tính thơi; kiểm thử thực tế cho kết ổn chưa thể đánh giá kết cao số hình ảnh liệu cịn q ít; chưa phong phú cảm xúc khuôn mặt người Về ý nghĩa khoa học: luận văn đưa hệ thống nhận dạng Nghiên cứu nhận dạng cảm xúc mạng Nơron phục vụ cho việc phát triển hệ thống nhận dạng Về ý nghĩa thực tiễn: Luận văn góp phần xây dựng thêm cho hệ thống nhận dạng cảm xúc phục vụ cho đời sống người Hướng phát triển đê tài: phát triển thêm việc xây dựng thuật tốn với quy mơ lớn nhận diện loại cảm xúc trở lên: vui, buồn, giận dữ, ngạc nhiên, sợ hãi, kinh tởm, lo lắng, trung lập, Hoặc nhận dạng loại cảm xúc hỗn hợp biểu cảm vừa hạnh phúc vừa ngạc nhiên vừa tức giận vừa buồn vừa sợ hãi vừa lo lắng,… Phát triển hệ thống kết hợp vừa nhận dạng khuôn mặt người nhận dạng cảm xúc thể mặt họ Ví dụ bắt cảnh quay video có nhiều người nhận dạng họ cảm xúc thể họ lúc v INFORMATION PAGE OF MASTER THESIS Name of thesis: IDENTIFY HUMAN EMOTIONS BY PCA METHOD WITH COMBINATION OF THE NEURAL NETWORK Major: Information systems Full name of Master student: Nguyen Thai Minh Anh Supervisors: PhD Nguyen Thi Ngoc Anh Training institution: University of Science And Education - The University Of Da Nang Abstract: The thesis focuses on researching the algorithm of extracting characteristics - Principal Component Analisis (PCA) and the process of emotional identification by Neural network The problem is how to identify emotions on people's faces With two sets of JAFEE and FEI data, the same emotions as happy, sad, surprised and expressive without emotion are called neutral This system is capable of identifying such basic emotions The thesis has introduced the implementation steps of extracting characteristic from the PCA algorithm shown in the models in the lesson; The thesis also introduced neural network, neural network model, how to train the network by reverse propagation algorithm, the model shows the learning process and identification of the network On that basis, I proceed to install Put the program on Matlab The problem applies to illustrate the research knowledge presented in the first two chapters Through implementation, the thesis also helps me to apply and reinforce the knowledge of a large part of data mining and a part of artificial intelligence learned in the school, expanding knowledge related to the topic such as processing, standardizing images, ; train data processing skills for each different data set, neural network training skills and image tests see which images are correctly identified and which images are mistakenly identified in their test set, learned how to overcome some problems during the dissertation process Limitations of the topic: the scale of the algorithm is quite simple, for JAFEE data set, only three emotions are identified: happy, sad and surprised, while for FEI data set though the number of inputs is higher but only the two emotions are fun and neutral; when the actual test results are quite good, we still cannot judge that the result is high because the number of images in the data set is too small; not yet many in emotions on the human face Regarding the scientific meaning: the thesis has introduced the identification system Emotional identification research by Neural network will serve for the development of identification system Regarding practical meaning: The thesis will contribute to building more for the emotional identification system to serve human life The direction of the development of the genius: developing more algorithms to build on a larger scale such as identifying or more emotions: happy, sad, angry, surprised, scared, disgusting, worried, neutral, Or identify mixed emotions like expressions that are both happy and surprising or both angry and sad or fearful and anxious, Develop a combined system that identifies the human face and identifies the emotions that are being expressed on their faces For example, capturing a scene in a video with a lot of people, we can identify who they are and how their feelings are at the time vii MỤC LỤC Ụ DA DA DA Ả Ơ i A OA ii Ụ vii Ụ Á ỮV Ế Ắ ix Ụ Ụ Á BẢ Á Ì x xi Ở ẦU 1 Lí chọn đề tài Mục tiêu nhiệm vụ Đối tượng phạm vi nghiên cứu Mục đích ý nghĩa đề tài Phương pháp nghiên cứu Bố cục luận văn .3 Ơ Ổ QUA VỀ Ậ D Ả XÚ O 1.1 Mơ tả tốn nhận dạng cảm xúc 1.2 Hệ thống nhận dạng cảm xúc 1.3 Một số phương pháp nhận dạng cảm xúc khuôn mặt .7 1.3.1 Phương pháp sử dụng Action Units 1.3.2 Phương pháp dùng mơ hình AAM kết hợp tương quan điểm 1.3.3 Phương pháp Support Vecto Machine (SVM) 1.3.4 Nhận dạng phương pháp PCA truyền thống Tổng kết Chương 11 Ơ Ơ Ở Ý UYẾ 12 2.1 Phân tích thành phần Principal Component Analysis (PCA) .12 2.1.1 Ý tưởng 12 2.1.2 Tính tốn Eigenfaces 13 2.1.3 Biểu diễn khuôn mặt có sẵn (tập huấn luyện) vào khơng gian vecto 16 2.1.4 Nhận dạng khuôn mặt EIGENFACES 19 2.1.5 Vai trị PCA xử lí tín hiệu nhiều chiều 20 2.3 Phương pháp nhận diện sử dụng Artipicial Neural Network (ANN) .21 2.3.1 Cấu trúc ANN 21 2.3.2 Phân loại mạng Nơron 24 2.3.3 Thuật toán lan truyền ngược 25 viii 2.3.4 Huấn luyện Neural Network 25 2.3.5 Sử dụng Neural Network 27 Tổng kết Chương 29 Ơ XÂY DỰ UẬ OÁ Ậ D ẢM XÚC VÀ KẾ QUẢ .30 3.1 Cơ sở liệu 30 3.1.1 Bộ liệu JAFEE (Japanese Fermale Facial Expression) 30 3.1.2 Bộ liệu FEI .31 3.2 Mơ hình tổng qt 32 3.3 Kết lựa chọn Eigenvectos 34 3.4 Kết nhận dạng đánh giá .35 3.4.1 Kết liệu JAFEE .35 3.4.2 Kết liệu FEI 37 3.5 Kết thực nghiệm mơ hình khác 39 3.6 Công cụ thử nghiệm Matlab 41 3.7 Xây dựng demo 42 Tổng kết Chương 46 KẾ UẬ 47 ỆU QUYẾ A Ị K ẢO 49 AO Ề TÀI LUẬ V (bản sao) ... Tổng quan nhận dạng cảm xúc người Chương 2: Cơ sở lý thuyết Chương 3: Nhận dạng cảm xúc phương pháp PCA kết hợp ANN Ơ TỔNG QUAN VỀ NHẬN D NG CẢ 1.1 Mơ tả b i tố hậ XÚ O I cảm xúc Cảm xúc mặt quy... hình tốn nhận dạng cảm xúc mặt người Hệ thống nhận dạng cảm xúc Q trình trích chọn đặc trưng Phương pháp AU Phương pháp AAM kết hợp tương quan điểm Hình ảnh minh họa cho PCA Phương pháp phân... Analisis (PCA) trình nhận dạng cảm xúc mạng Nơron Bài toán đặt làm để nhận dạng cảm xúc khuôn mặt người Với hai liệu JAFEE FEI, cảm xúc vui, buồn, ngạc nhiên biểu cảm khơng có cảm xúc gọi trung