Xây dựng thuật toán nhận dạng cảm xúc

Người thuyết trình: Nguyễn Hữu Tân http://groups.google.com/group/dd04kstn 06/01/2009 Giới thiệu đề tài  Yêu cầu:  Xây dựng thuật toán nhận dạng cảm xúc    Cải tiến thuật toán nhận dạng cảm xúc dựa PCA có Xây dựng thuật tốn nhận dạng cảm xúc dựa theo mơ hình AAM &tương quan điểm Xây dựng thuật tốn nhận dạng cảm xúc dựa theo mơ hình AAM mạng neural lớp  Tích hợp nhận dạng cảm xúc để điều khiển robot đa hướng (phần mở rộng) Tổng quan nhận dạng cảm xúc Vai trị cảm xúc     Đóng vai trị quan trọng việc thể thơng tin, tính cách… Góp phần xây dựng mối quan hệ người Là thành phần quan trọng việc xây dựng hệ thống người-máy Thể tình cảm người …  Ứng dụng nhận dạng cảm xúc     Xây dựng hệ thống điều khiển thiết bị cho người tàn tật Kiểm tra tính chân thật thơng tin Kết hợp với nhận dạng góc quay mặt để thêm tín hiệu điều khiển Điều khiển robot v… v Phân loại phương pháp nhận diện cảm xúc  Theo thuật toán nhận dạng  Gabor Wavelets  SVD (Support Vector Machine)  PCA (Principle Component Analysis)  Face Modelling (AAM, WASM, ASM, RANSAC)…  Xét tương quan điểm (Points Correlation)  Sử dụng ảnh nhiệt  Kết hợp  Phân loại theo lớp nhận dạng  Theo đơn vị vận động AU (action units ) - FACs Mặt người => 46 Aus cảm xúc = kết hợp nhiều AUs  Theo mơ hình (prototype) (AAM, ASM, RANSAC) I.Nhận diện cảm xúc dựa PCA truyền thống Cơng trình liên quan: “Nhận diện cảm xúc mặt người” – LV.ThS- Trịnh Minh Khôi -2007  Xây dựng tập trị riêng (S1, S2,…Sk)cho hình huấn luyện Mỗi trị riêng: mang số điểm điểm đặc trưng khuôn mặt  Mã hóa hình ảnh: ảnh  tổ hợp hệ số b1 = I b2 + 5.7* Hình trung bình bk + …+ 04* S1 Sk  cảm xúc  nhóm hình ảnh tập huấn luyện I.Nhận diện cảm xúc dựa PCA truyền thống I ⇔ (b , b , , b ) I ⇔ (b , b , , b , , b ) , , b I ⇔ (b , b I ⇔ (b , b bth _ bth _ _ bth _ bth _ _ bth _ _ bth _ _ bth _ _ k bth _ _ k I I I vui _ _ vui _ vui _ _ vui _ _ vui _ _ vui _ _ k ) vui _ _ k ) bth _ 40 ⇔ (bbth _ 40 _1 , bbth _ 40 _ , , bbth _ 40 _ k ) I nnhi _ ⇔ (bnnhi _1_1 , bnnhi _1_ , , bnnhi _1_ k ) nnhi _ ⇔ (bnnhi _ _1 , bnnhi _ _ , , bnnhi _ _ k ) I I I vui _ vui _ 40 ⇔ (bvui _ 40 _1 , bvui _ 40 _ , , bvui _ 40 _ k ) gian _ ⇔ (b gian _1_1 , b gian _1_ , , b gian _1_ k ) gian _ ⇔ (bgian _ _1 , b gian _ _ , , b gian _ _ k ) nnhi _ 40 ⇔ (bnnhi _ 40 _1 , bnnhi _ 40 _ , , bnnhi _ 40 _ k ) I gian _ 40 ⇔ (b gian _ 40 _1 , b gian _ 40 _ , , b gian _ 40 _ k ) 2 = ( − ) + ( − ) + + ( − ) S bth _1 bbth _1_1 a1 bbth _1_ a2 bbth _1_ k ak S bth _ I S bth _ nhan _ dang S bth _ 40 S vui _ ⇔ (a1 , a2 , , ak ) ? S vui _ S vui _ 40 Lấy S S nnhi _ 40 nnhi _ S gian _ 40 I.Nhận diện cảm xúc dựa PCA truyền thống  Kết nhận diện:  Điều kiện chiếu sáng tốt: Vui: 92%  Giận dữ: 86%  Bình thường: 84%  Ngạc nhiên: 78% (Kết thực việc nhận dạng 200 hình ảnh đầu vào tác giả)   Thời gian trung bình cho mẫu nhận diện: khoảng 250 ms  Nhược điểm:  Độ xác phụ thuộc nhiều vào điều kiện ánh sáng  Khi mặt nghiêng hay người xa webcam, kết nhận dạng bị sai lệch nhiều  Để đạt độ xác cao, ta phải huấn luyện nhiều hình Tốc độ xử lí chậm => Khơng thích hợp để điều khiển robot II Nhận diện cảm xúc theo phương pháp mơ hìnhAAM AAM xét tương quan điểm = Active Appearance Model Với giúp đỡ Ý tưởng: Tiến sĩ Nguyễn Đức Thành, chủ nhiệm BM điều khiển Tự động, ĐHBK HCM cóProfessor, thể xác định độ điểm Urbana khuôn “Nếu Assoc Nguyễn Minh Đỗ xác fromtọa University of Illinois, mặt có thểUSA dựa vào tương quan điểm để nhận dạng cảm Champaign, xúc.”  Assoc Professor, Lê Tiến Thường, BM Viễn Thơng, ĐHBK TPHCM Ưu điểm: •Ít bị ảnh hưởng yếu tố khuôn mặt lên kết nhận dạng •Tốc độ nhận dạng nhanh •Việc nhận dạng tiến hành điều kiện mặt chịu ảnh hưởng phép biến hình (quay, tịnh tiến, tỉ lệ)… Có thể dùng điều khiển robot II Nhận diện cảm xúc theo phương pháp mơ hình AAM xét tương quan điểm Chiều cao mắt Chiều cao mũi Khoảng cách lm R= chieu _ cao _ mat = R2 chieu _ cao _ mui R= be _ rong _ mieng be _ rong _ mat khoang _ cach _ lm khoang _ cach _ mat Khoảng cách mắt R1 R2 R3 Tăng BT Tăng BT Tăng BT Bề rộng Giận miệng Tăng BT Giảm Bình thường BT BT Cảm xúc\Tỉ số Bề rộng mặt Vui vẻ Ngạc nhiên BT Cảm xúc\Tỉ số Lưu đồ Vui vẻ Tính R1, R2, R3 Ngạc nhiên Giận R1>R1_ Thresh Bình thường R1 R2 R3 Tăng x Tăng BT Tăng x Tăng x Giảm BT BT BT No Yes R3>R3_ Thresh Yes Vui vẻ No Giận R2>R2_ Thresh No Yes Ngạc nhiên Tải FULL (20 trang): https://bit.ly/2Rsj9iD Dự phòng: fb.com/TaiHo123doc.net Bình thườn g II Nhận diện cảm xúc theo phương pháp mơ hình AAM xét tương quan điểm  Kết nhận dạng (tiến hành 200 hình) Cảm xúc Phần trăm Cảm xúc Phần trăm Vui 95% Vui 92% Ngạc nhiên 81% Ngạc nhiên 78% Giận 83% Giận 86% Bình thường 80% Bình 84% thường  Nhược điểm: Tương quan điểm  Kết nhận (687ms/frame) dạng phụ thuộc vào việc chọn ngưỡng cho R1, R2, R3 PCA truyền thống  Cần cải tiến thuật tốn xác định điểm của(238ms/frame) khn mặt để tăng tốc độ nhận dạng & độ xác 3131711 ...  Xây dựng thuật toán nhận dạng cảm xúc    Cải tiến thuật toán nhận dạng cảm xúc dựa PCA có Xây dựng thuật tốn nhận dạng cảm xúc dựa theo mơ hình AAM &tương quan điểm Xây dựng thuật toán nhận. .. thuật toán nhận dạng cảm xúc dựa theo mơ hình AAM mạng neural lớp  Tích hợp nhận dạng cảm xúc để điều khiển robot đa hướng (phần mở rộng) Tổng quan nhận dạng cảm xúc Vai trò cảm xúc     Đóng... tin, tính cách… Góp phần xây dựng mối quan hệ người Là thành phần quan trọng việc xây dựng hệ thống người-máy Thể tình cảm người …  Ứng dụng nhận dạng cảm xúc     Xây dựng hệ thống điều khiển