Nhận dạng cảm xúc mặt người

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG - LUẬN VĂN THẠC SĨ NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI MSHV: 01506737 GVHD: TS TRƯƠNG ĐÌNH CHÂU TP Hồ Chí Minh, 01 / 2009 NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI TÓM TẮT NỘI DUNG Cùng với phát triển khoa học kỹ thuật giới, thị giác máy tính ngày phát triển , dần trở thành lĩnh vực nhiều nhà nghiên cứu quan tâm Cùng với phát triển đó, thị giác máy tính cho robot trở thành đề tài nóng bỏng gây ý nhiều cho nhà khoa học lớn giới Trong khứ, thường nghĩ robot máy, lập trình hoạt động cứng nhắc theo chương trình sẵn có, giao tiếp với người qua bàn phím, chuột, hình Tuy nhiên, ngày nay, với sức mạnh vi xử lý ngày cải thiện, cho phép robot giao tiếp với người theo cách mới, hình ảnh (thị giác) âm Có thể, tương lai xa, robot “nhìn thấy” người xung quanh giao tiếp lại cách “người” thể cảm xúc, điệu Trong luận văn này, tác giả trình bày kết nghiên cứu nhằm điều khiển robot có tính cách người (humanoid robot), nghĩa robot hiểu cảm xúc cử người Để thực ý tưởng đó, địi hỏi tạo cho robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Hệ thống tự động nhận dạng mặt người dòng video thực phương pháp tăng cường thích nghi (Adaboost) tiếp tục trích đặc trưng cảm xúc mặt người phương pháp eigenface, dựa đặc trưng vị trí hình học lông mày, để phân loại cảm xúc tác giả dùng phương pháp mạng neural BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI ABSTRACT Along with the development of science and technology in the world, computer vision developed increasingly, gradually became a field for many researchers interested in Along its development, computer vision for the robot becomes hot topic cause of much attention to the famous scientists in the world In the past, we thought about of robots were just machines, ‘re programmed and worked hard promptly by the available programs They only communicate to people through keyboard, mouse, screen However, nowadays, thanks to power of the high-speed computer, allowing robot has been communicating to people in a new way, it is the images (vision) and sound Maybe, in new future, robots can "see" people around them and communicate to us in a “very like-people" robots named “Expressed Emotions, Gestures” To discover this problems, the author presented the results of researching in order to control the robot as more like-people (humanoid) robots, means that robots can understand the emotions and gestures of humans To make the ideas concerning that, requires us to create a robot for “Facial Emotion Recognition System” The system can identify automatically facial in a video stream on the Strengthening Adapted (Adaboost) algorithms and continue extrating the emotional features of the people on the eigenfaces, based on the specific locations that contain features as eyebrow, mouth, nose, … to classify emotions, author uses the Neural Network method BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI MỤC LỤC CHƯƠNG .7 GIỚI THIỆU ĐẶT VẤN ĐỀ NHỮNG CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.1 Luận văn phương pháp nhận dạng mặt người 2.2 Nhận dạng mặt người dùng gabor wavelets 2.3 Mạng neural nhận dạng mặt người .10 2.4 Hệ thống chuyên gia cho phân tích tự động cảm xúc .11 2.5 Hệ thống trích đặc trưng cảm xúc tự động 12 2.6 Hệ thống nhận diện cảm xúc dựa fed (facial expression dictionary) 12 2.7 Hệ thống mã hoá cảm xúc (facial action coding system-facs) 13 KẾT LUẬN 14 CHƯƠNG .16 MỤC TIÊU CỦA LUẬN VĂN .16 CHƯƠNG .17 CƠ SỞ LÝ THUYẾT VỀ THUẬT TOÁN NHẬN DẠNG 17 LÝ THUYẾT VỀ ẢNH SỐ .17 1.1 Khái niệm 17 1.2 Khái niệm phần tử ảnh 19 1.3 Cấu trúc file ảnh 19 1.4 Ảnh xám 20 1.5 Ảnh trắng đen hay ảnh nhị phân 20 1.6 Ảnh màu mơ hình màu RGB 20 1.7 Hệ toạ độ pixel mặt người 21 1.8 Mục đích việc xử lý ảnh số 22 CÁC PHƯƠNG PHÁP PHÁT HIỆN HÌNH ẢNH MẶT NGƯỜI 23 2.1 Phát dựa ảnh .24 2.2 Phát dựa dạng hình học 24 2.3 Phương pháp đặc trưng Haar-like tăng tốc thích nghi nhanh AdaBoost – phương pháp sử dụng luận văn .26 TRÍCH ĐẶT TRƯNG BẰNG PHƯƠNG PHÁP EIGENFACES PCA – PHƯƠNG PHÁP SỬ DỤNG TRONG LUẬN VĂN 35 3.1 Phương pháp Eigenfaces PCA 35 3.2 Xây dựng Eigenfaces với PCA 38 3.3 Biến đổi ảnh mặt thành vector 39 3.4 Không gian ảnh 40 3.5 Xây dựng Eigenfaces 41 BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI 3.6 Xây dựng ảnh từ Eigenfaces .46 3.7 Xây dựng lại trạng mặt với PCA 47 MẠNG NEURON CHO NHẬN DẠNG TRẠNG THÁI MẶT 48 4.2 Mạng truyền thẳng lớp (mạng perceptron đơn giản) 49 4.3 Mạng perceptron nhiều lớp thuật toán lan truyền ngược – thuật toán huấn luyện dùng luận văn 57 CHƯƠNG .67 GIẢI THUẬT & KẾT QUẢ 67 XÂY DỰNG GIẢI THUẬT CHƯƠNG TRÌNH: 67 CHƯƠNG TRÌNH MATLAB: 68 KẾT QUẢ CHƯƠNG TRÌNH 73 CHƯƠNG .92 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 92 KẾT LUẬN 92 HẠN CHẾ CHƯƠNG TRÌNH 92 HƯỚNG PHÁT TRIỂN: 92 TÀI LIỆU THAM KHẢO 93 LÝ LỊCH TRÍCH NGANG 96 BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI DANH SÁCH HÌNH SỬ DỤNG TRONG LUẬN VĂN Hình Các cảm xúc gương mặt người Hình Sơ đồ khối nhận dạng mặt người DCT Hình Sơ Đồ Trích Đặc Trưng Bằng Gabor Wavelets Hình Thuật tốn neural nhận dạng mặt người Hình Mơ Hình Mặt Người Của Kobayashi Và Hara Hình Giao Diện Của FED (Facial Expression Dictionary) Hình Hệ Thống Mã Hố Cảm Xúc (FACS) Hình Hệ thống nhận dạng cảm xúc tự động theo thời gian thực Hình Mảng hai chiều file ảnh Hình 10 Mơ hình màu RGB Hình 11 Hệ toạ độ pixel Hình 12: Các đặc trưng cạnh Hình 13: Các đặc trưng đường Hình 14: Các đặc trưng bao quanh tâm Hình 15: Đặc trưng đường chéo Hình 16: Tổng giá trị pixel nằm vùng A Hình 17: Ảnh chia nhỏ tọa độ (x,y) Hình 18: Lược đồ AdaBoost Hình 19: Thuật tốn học AdaBoost Hình 20: Dùng chuỗi cascade huấn luyện để phát cửa sổ phù hợp Hình 21: Cấu trúc chuỗi cascade song song Hình 22: Mơ hình tác vụ phát vật thể dùng chuỗi cascade Hình 23: Ảnh dùng cho việc huấn luyện Hình 24: Bảy eigenface tính tốn từ ảnh ngõ vào Hình 25: Ảnh minh họa khơng gian mặt Hình 26: ảnh trung bình Hình 27: Sơ đồ thuật khối phân loại cảm xúc mạng neural BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Hình 28: Trình trự phân loại trạng thái mặt với PCA Hình 29: Mạng neural nhân tạo Hình 30: Mạng lớp neural ngõ hay perceptron Hình 31: Mặt phẳng định perceptron Hình 32: Sai số với trọng số khác Hình 33: Hàm ngưỡng Sigmoid Hình 34: Sơ đồ giải thuật chương trình BỘ MƠN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI CHƯƠNG GIỚI THIỆU ĐẶT VẤN ĐỀ - Trong khứ, thường nghĩ robot máy, lập trình hoạt động cứng nhắc theo chương trình sẵn có, giao tiếp với người qua bàn phím, chuột, hình Tuy nhiên, ngày nay, với sức mạnh vi xử lý ngày cải thiện, cho phép robot giao tiếp với người theo cách mới, hình ảnh (thị giác) âm Có thể, tương lai xa, robot “nhìn thấy” người xung quanh giao tiếp lại cách “người” thể cảm xúc, điệu bộ, ….vv Vì thế, nhiều dự án nước ngồi nghiên cứu nhằm điều khiển robot có tính cách người (humanoid robot), nghĩa robot hiểu cảm xúc cử người Để thực ý tưởng đó, địi hỏi tạo cho Robot Hệ Thống Tự Động Nhận Biết Cảm Xúc Mặt Người Song song với điều việc ứng dụng nhận dạng trạng thái người điều tra tội phạm vấn đề đáng quan tâm nhiều Hệ thống tự động nhận dạng mặt người dòng video thực tiếp tục nhận dạng cảm xúc mặt người thời gian thực Nói cách khác, hệ thống tự động kiểm tra mặt người nhận dạng cảm xúc mặt người: vui mừng (Joy), buồn (sadness), bất ngờ (suprise), giận (angry), sợ sệt (fear), bình thường (neural),…v.v Hình Các cảm xúc gương mặt người 1.Giận dữ, 2.Kinh tởm, 3.Sợ hải, 4.Hạnh phúc, 5.Buồn, 6.Ngạc nhiên BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI - SVTH: VÕ LÊ TRƯỜNG PHI Ứng dụng: Nếu robot có khả nhận biết cảm xúc người, có ích lĩnh vực y tế nói chung, ví dụ như: chế tạo robot chăm sóc người bệnh, người già,…vv [1] NHỮNG CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN - Phần trình bày báo luận văn mà tác giả tham khảo, để có nhìn tổng quan cơng trình nghiên cứu liên quan nước nước lĩnh vực nhận dạng mặt người cảm xúc gương mặt 2.1 Luận văn phương pháp nhận dạng mặt người Các nghiên cứu nước nước phương pháp nhận dạng mặt người tiến hành phổ biến năm gần Dưới tổng quan số đặc điểm nghiên cứu - Theo [2], tác giả giới thiệu phương pháp nhận dạng mặt người truyền thống: Nhận Dạng Mặt Người Dùng Mạng Neural Bằng Biến Đổi DCT (Discrete Cosine Transform) - DCT, kỹ thuật nén ảnh sử dụng rộng rãi, cho phép diện tất thành phần quan trọng khn mặt (tóc, mắt, miệng, mũi) với số lượng nhỏ thành phần tần số thấp Sau DCT áp dụng cho hình ảnh, hệ số lựa chọn đưa đến mạng nơron nhân tạo nhiều lớp (ANN) Bởi dùng lượng nhỏ hệ số nên tốc độ huấn luyện nhận dạng cao - Tác giả dùng sở liệu ảnh gồm 400 ảnh khác nhau, cho 40 người khác nhau, kích thước ảnh 112-92 pixel mặt người, với 256 mức xám cho pixel mặt người - Một hệ thống nhận dạng mặt người bao gồm cơng đoạn hình BỘ MƠN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI ảnh Tiền xử lý SVTH: VÕ LÊ TRƯỜNG PHI Phát đặc trưng Nhận dạng mặt (DCT) Kết nhận dạng (Mạng Neural) Hình Sơ đồ khối nhận dạng mặt người DCT - Nhận mặt người luận văn này, chủ yếu tác giả nhận dạng mặt người sở liệu ảnh có sẵn (ảnh gray, kích thước 112x92), ảnh tĩnh chưa tập trung vào nhận dạng mặt người theo thời gian thực, ví dụ: ảnh động từ video hay webcam, phương pháp nhận dạng tốc độ chậm 2.2 Nhận dạng mặt người dùng gabor wavelets - Theo [3], tác giả đề cập phương pháp gabor wavelets sử dụng để xây dựng vector đặc trưng có khả miêu tả tốt cách xử lý lĩnh vực dễ tiếp thu hệ thống trực quan người Phương pháp chọn đỉnh (các điểm lượng cao) đáp ứng Gabor làm điểm đặc trưng BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI KẾT QUẢ TRUNG BÌNH NHẬN DẠNG CẢM XÚC MẶT 38% SAI ĐÚNG 62% % Với số mẫu huấn luyện 200 hình thời gian nhận dạng 15s, số mẫu giảm 20 hình thời gian nhận dạng 2s Biểu đồ thời gian nhận dạng theo số mẫu BIỂU ĐỒ THỜI GIAN THEO SỐ MẪU HUẤN LUYỆN 250 Số mẫu huấn luyện n 200 150 Series1 t Series2 n 100 50 Thời gian t BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 82 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Kết nhận dạng với ảnh từ file: Nhận dạng với thông số: sai số đặt: e = 0.005, T = 1000 - Trạng thái sợ hải lấy mẫu với lần: Hình kết trạng thái sợ hải: Nhận xét: Sau kết lần mẫu ta thấy kết đạt 100% - Trạng thái hạnh phúc lấy mẫu với lần: Hình kết trạng thái hạnh phúc: BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 83 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Nhận xét: Sau kết lần mẫu ta thấy kết đạt 84% - Trạng thái buồn lấy mẫu với lần: Hình kết trạng thái buồn: BỘ MƠN ĐIỀU KHIỂN TỰ ĐỘNG 84 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Nhận xét: Sau kết lần mẫu ta thấy kết đạt 84% - Trạng thái ngạc nhiên lấy mẫu với lần: Hình kết trạng thái ngạc nhiên: BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 85 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Nhận xét: Sau kết lần mẫu ta thấy kết đạt 100% - Trạng thái kinh tỏm lấy mẫu với lần: Hình kết trạng thái kinh tỏm: BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 86 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Nhận xét: Sau kết lần mẫu ta thấy kết đạt 100% - Trạng thái giận lấy mẫu với lần: Hình kết trạng thái giận dữ: BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 87 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Nhận xét: Sau kết lần mẫu ta thấy kết đạt 84% - Trạng thái suy nghĩ lấy mẫu với lần: Hình kết trạng thái suy nghĩ: BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 88 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Nhận xét: Sau kết lần mẫu ta thấy kết đạt 100% Nhận xét chung: Ta thấy kết nhận dạng từ file cho kết tốt khoảng 93% kết cao ảnh đầu vào chất lượng, nên có nhiều đặc trưng để đưa vào huấn luyện nhận dạng Bảng thống kê kết nhận dạng từ File TỶ STT CẢM XÚC SỐ HÌNH NHẬN DẠNG LỆ NHẬN DẠNG TỔNG CỘNG ĐÚNG SAI ĐÚNG SAI HẠNH PHÚC 84% 16% BUỒN 84% 16% BÌNH THƯỜNG 6 100% 0% KINH TỞM 6 100% 0% NGẠC NHIÊN 6 100% 0% SỢ HÃI 6 100% 0% GIẬN DỮ 84% 16% 93% 7% TRUNG BÌNH BỘ MƠN ĐIỀU KHIỂN TỰ ĐỘNG 89 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI BIỂU ĐỒ KẾT QUẢ NHẬN DẠNG CẢM XÚC TỪ FILE 0.9 16% 16% 84% 84% VUI BUỒN 16% 0.8 0.7 100% 0.6 0.5 0.4 100% 100% 100% 100% 84% NGẠC NHIÊN SỢ HÃI 0.3 0.2 0.1 SAI ĐÚNG KINH BÌNH TỞM THƯỜNG LOẠI CẢM XÚC GIẬN DỮ KẾT QUẢ TRUNG BÌNH NHẬN DẠNG CẢM XÚC MẶT 7% ĐÚNG 93% BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 90 SAI % GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI Với số mẫu huấn luyện 200 hình thời gian nhận dạng 15s, số mẫu giảm 20 hình thời gian nhận dạng 2s Biểu đồ thời gian nhận dạng theo số mẫu BIỂU ĐỒ THỜI GIAN THEO SỐ MẪU HUẤN LUYỆN 250 Số mẫu huấn luyện n 200 150 Series1 t Series2 n 100 50 Thời gian t BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 91 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN KẾT LUẬN - Luận văn chương trình “Nhận Dạng Cảm Xúc” đạt mục tiêu nhận dạng mặt người nhận cảm xúc thơng qua hình ảnh tĩnh nhập từ file ảnh động webcam, cố gắng vẽ hình mặt robot để thể cảm xúc nhận dạng HẠN CHẾ CHƯƠNG TRÌNH - Tuy nhiên, chương trình cịn số vấn đề cần phải phát triển thêm như: Nhận dạng ảnh động cịn sai số lớn, mức độ xác chưa cao Tập sở liệu chưa nhiều, huấn luyện tập sở liệu lớn tốc độ nhận dạng chậm Mặt khác việc huấn luyện online làm tốc độ nhận dạng tương đối chậm Chất lượng ảnh thấp nên dẫn đến chất lượng nhận dạng thấp Điều làm kết nhận dạng xác HƯỚNG PHÁT TRIỂN: Từ hạn chế trên, chương trình cần phát triển nữa: Cải thiện tốc độ nhận dạng cách thực nhận dạng offline Cải thiện việc nhận dạng cảm xúc cách tăng độ xác nhận diện cách biểu cảm xúc phức tạp người ví dụ: người thể gương mặt khác cảm xúc giận dữ, chương trình phải nhận diện Cải tiến chất lượng hình ảnh cách cải thiện chất lượng webcam hay tạo điều kiện lấy mẫu điều kiện ánh sáng góc nhìn tốt Webcam nhận diện mặt người với vị trí đứng yên, nên cần cải thiện để webcam quay bám theo đối tượng, giống người Hiện giờ, robot thể cảm xúc qua hình gương mặt robot Vì cần nghiên cứu tạo mặt robot, để việc điều khiển thực tế BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 92 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI TÀI LIỆU THAM KHẢO [1] G.Littlewort, M.S Bartlett, I.Fasel, J.Chesu, T.Kanda, H.Ishiguro, and Movellan, Toward social robots: Automatic Evaluation Of Human-Robot Interaction By Face Detection And Expression Classification, Institude for Neural Computation, University of california, San Diego 2003 [2] Trương Như Hoàng, Trần Quang Vinh, Luận văn “Các Phương Pháp Nhận Dạng mặt Người” Đại học Bách khoa TP.HCM 2005 [3] Đoàn Thị Thu Thuỷ, Luận văn:”Nhận dạng mặt người dùng gabor wavelets” Đại học Bách khoa TP.HCM 2004 [4] Aitor Azcarate, Felix Hageloh, Koen van de Sande, Roberto Valenti Automatic facial emotion recognition, University van Amsterdam 2005 [5] Rothkrantz, Expert System For Automatic Analysis Of Facial Expression, Elsevier, Image and Computing, Vol.18 2000 [6] Kobayashi, F.Hara, Facial Interaction between animated 3D face Robot and human beings, IEEE Computer Society press 1997 [7] Jde Jongh, FED an online facial expression dictionary as a first step in the creation of a complete nonverbal dictionary, TU Delft 2002 [8] P.Ekman, W.Friesen, Facial Action Coding System, Consulting Psychologists Press, Inc., Palo Ato California 2000 [9] Luigi Rosa, URL: http://www.advancedsourcecodecom/facialexpression.asp [10] Piyanuch Silapachote, Deepak R Karuppiah, and Allen R Hanson Feature selection using adaboost for face expression recognition 2003 [11] Ira Cohen , Nicu Sebe , Fabio G Cozman , Marcelo C Cirelo , Thomas S Huang Learning Bayesian Network Classifiers for Facial Expression Recognition using both Labeled and Unlabeled Data CVPR03 2002 BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 93 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI [12] Y Zhu, L.C.De Silva, C.C.Ko Using moment invariants and HMM in facial expression recognition 2001 [13] Maja Pantic, Leon J M Rothkrantz Facial action recognition for facial expression analysis from static face images 2003 [14] Montse Pardas, Antonio Bonafonte Facial animation parameters extraction and expression recognition using Hidden Markov Models 2004 [15] Facial expression features extraction based on Gabor wavelet transformation 2005 [16] Yongsheng Gao, Maylor K H Leung, Siu Cheung Hui, and Mario W Tananda Facial expression recognition from line-based caricatures 2000 [17] Ira Cohen1, Nicu Sebe, Ashutosh Garg1, Michael S Lew, Thomas S Huang FACIAL EXPRESSION RECOGNITION FROM VIDEO SEQUENCES ICME 2003 [18] Ira Cohen, Nicu Sebe, Ashutosh Garg, Lawrence S Chen, Thomas S Huang Facial expression recognition from video sequences temporal and static modeling 2003 [19] Chung-Lin Huang and Yu-Ming Huang Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification 2001 [20] H.Rowley, S.Baluja, and T.Kanade, Neural Network-base face detection, IEEE Transactions On Pattern Analysis and Machine itelligence 1998 [21] Bob Mottram, Face Location in Unstructured Images and Human Body project, Sluggish Sofware Company 7th Jan 2001 [22] C Papageorgious, M Oren, and Tpoggio A General Framework For Object Detection, in International Conference on Computer Vision, 1998 [23] Paul Viola and Michael J.Jones Rapid Object Detection Using A Boosted Cascade Of Simple Feature, IEEE CVPR, 2001 [24] Rainer Lienhart, Jochen Maydt An Extended Set Of Haar Like Feature For Rapid Object Detection, IEEE ICIP, vol 1, pp 900-903, 2005 BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 94 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI [25] Y.Freund and R.Schapire A Decision – Theoretic Generation Of Online Learning And An Application To Boosting Journal of Computer and System Sciences, no 55, vol 1, pp 119-139, 1997 [26] Vadim Pisarevsky, Opencv Object detection: Theory and Practice, Intel Corporation, Software and solution group 2001 [27] Đinh Bá Thắng – Đặng Bác Vân, Tìm Hiểu Các Kỹ Thuật Ap Dụng Cho Bài Tốn Nhận Dạng Của Người Câm, Khoa Cơng nghệ Thông Tin, trường ĐH KHTN TP.HCM, 2005 [28] WILLIAM K PRATT, Digital Image Processing Book, PixelSoft, Inc Los Altos, California 2001 BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG 95 GVHD: TS TRƯƠNG ĐÌNH CHÂU NHẬN DẠNG CẢM XÚC MẶT NGƯỜI SVTH: VÕ LÊ TRƯỜNG PHI LÝ LỊCH TRÍCH NGANG Họ tên: VÕ LÊ TRƯỜNG PHI Phái: Ngày tháng năm sinh: Nơi sinh:PHÚ YÊN Chuyên ngành: 12/08/1983 TỰ ĐỘNG HOÁ Nam Mã số: 01506737 Địa liên lạc: ĐẤT THÁNH, P6, Q.TÂN BÌNH– Tp.HCM QUÁ TRÌNH ĐÀO TẠO: 2001 - 2006: Học Đại học Bách Khoa Tp.HCM - chuyên ngành Tự Động Hóa 2006 - 2008: Học Sau Đại học Đại học Bách Khoa Tp.HCM - chuyên ngành Tự Động Hố Q TRÌNH CƠNG TÁC: 2006 - nay: Kỹ sư điện tự động, công ty Cổ phần Thiết kế Cơng nghiệp Hóa Chất BỘ MƠN ĐIỀU KHIỂN TỰ ĐỘNG 96 GVHD: TS TRƯƠNG ĐÌNH CHÂU ... việc nhận dạng cảm xúc gương mặt người, đề tài tập trung nghiên cứu Hệ Thống Tự Động Nhận Dạng Cảm Xúc Mặt Người Trong Thời Gian Thực Nhận Dạng Ảnh Tĩnh theo sơ đồ sau: Webcam Nhận dạng mặt người. .. nghiên cứu nhận dạng cảm xúc mặt người hướng nghiên cứu sâu nhận dạng mặt người • Ngồi nước: Các đề tài nghiên cứu nước ngoài, tác giả phát triển hệ thống tự động nhận dạng cảm xúc mặt người khác... liên quan nước nước lĩnh vực nhận dạng mặt người cảm xúc gương mặt 2.1 Luận văn phương pháp nhận dạng mặt người Các nghiên cứu nước nước phương pháp nhận dạng mặt người tiến hành phổ biến năm