Xây Dựng Thuật Toán Nhận Dạng Cảm Xúc

 Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình AAM &tương quan điểm.. Xét tương quan điểm Points Correlation Sử dụng ảnh nhiệt Kết hợp  Phân loại theo lớp nhận dạng Th

Người thuyết trình:

Nguyễn Hữu Tân http://groups.google.com/group/dd04kstn

06/01/2009

Giới thiệu về đề tài

 Yêu cầu:

 Xây dựng thuật toán nhận dạng cảm xúc

 Cải tiến thuật toán nhận dạng cảm xúc dựa trên PCA hiện có.

 Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình AAM &tương quan điểm.

 Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình AAM và mạng neural 3 lớp.

 Tích hợp nhận dạng cảm xúc để điều khiển robot đa hướng (phần mở rộng)

Tổng quan về nhận dạng cảm xúc

Vai trò của cảm xúc

 Đóng vai trò quan trọng trong việc thể hiện thông tin, tính cách…

 Góp phần xây dựng các mối quan hệ của con người.

 Là thành phần quan trọng trong việc xây dựng các hệ thống người-máy.

 Thể hiện tình cảm của con người …

 Ứng dụng của nhận dạng cảm xúc

 Xây dựng hệ thống điều khiển thiết bị cho người tàn tật.

 Kiểm tra tính chân thật của thông tin

 Kết hợp với nhận dạng góc quay của mặt để thêm tín hiệu điều khiển.

 Điều khiển robot v… v

Phân loại các phương pháp nhận diện cảm xúc

 Theo thuật toán nhận dạng

Gabor Wavelets

SVD (Support Vector Machine)

PCA (Principle Component Analysis)

Face Modelling (AAM, WASM, ASM, RANSAC)….

Xét tương quan điểm (Points Correlation)

Sử dụng ảnh nhiệt

Kết hợp

 Phân loại theo lớp nhận dạng

Theo đơn vị vận động AU (action units ) - FACs

Mặt người => 46 Aus

1 cảm xúc = sự kết hợp nhiều AUs

Theo mô hình (prototype) (AAM, ASM, RANSAC)

I.Nhận diện cảm xúc dựa trên PCA truyền

thống

Xây dựng một tập các trị riêng (S1, S2,…Sk)cho các hình huấn luyện Mỗi trị riêng: mang 1 số điểm điểm đặc trưng của khuôn mặt

Mã hóa hình ảnh: 1 ảnh  1 tổ hợp hệ số

1 cảm xúc  1 nhóm các hình ảnh trong tập huấn luyện

Hình trung

k

1

b1 b2 bk

Công trình liên quan: “Nhận diện cảm xúc mặt người” – LV.ThS- Trịnh Minh Khôi -2007

I.Nhận diện cảm xúc dựa trên PCA truyền thống

) , ,

, (

) , ,

, (

) , ,

, (

_ 40 _ 2

_ 40 _ 1

40 _ 40

_

_ 2 _ 2

_ 2 _ 1

2 _ 2

_

_ _ 2

_ _ 1

1 1

b b

b I

b b

b I

b b

b I

k bth bth

bth bth

k bth bth

bth bth

k bth bth

bth bth







) , ,

, (

) , ,

, (

) , ,

, (

_ 40 _ 2

_ 40 _ 1

40 _ 40

_

_ 2 _ 2

_ 2 _ 1

2 _ 2

_

_ _ 2

_ _ 1

1 1

b b

b I

b b

b I

b b

b I

k vui vui

vui vui

k vui vui

vui vui

k vui vui

vui vui







) , ,

, (

) , ,

, (

) , ,

, (

_ 40 _ 2

_ 40 _ 1

40 _ 40

_

_ 2 _ 2

_ 2 _ 1

2 _ 2

_

_ _ 2

_ _ 1

1 1

b b

b I

b b

b I

b b

b I

k nnhi nnhi

nnhi nnhi

k nnhi nnhi

nnhi nnhi

k nnhi nnhi

nnhi nnhi







) , ,

, (

) , ,

, (

) , ,

, (

_ 40 _ 2

_ 40 _ 1

40 _ 40

_

_ 2 _ 2

_ 2 _ 1

2 _ 2

_ _ 2

_ _ 1

1 1

b b

b I

b b

b I

b b

b I

k gian gian

gian gian

k gian gian

gian gian

k gian gian

gian gian







? ) , ,

,

_ a a a

Inhan dang  k

2 _

1 _

2 2 2

_ 1 _

2 1 1

_ 1 _ 1

_ ( b a ) ( b a ) ( b a )

Sbth  bth   bth    bth k  k

Sbth 1_ Sbth 2_ Sbth 40_ Svui 1_ Svui 2_ Svui 40_ Snnhi 1_ Snnhi 40_ Sgian 40_

Lấy min

I.Nhận diện cảm xúc dựa trên PCA truyền thống

Kết quả nhận diện:

Điều kiện chiếu sáng tốt:

 Vui: 92%

 Giận dữ: 86%

 Bình thường: 84%

 Ngạc nhiên: 78%

(Kết quả được thực hiện bằng việc nhận dạng 200 hình ảnh đầu vào của tác giả)

Thời gian trung bình cho một mẫu nhận diện: khoảng 250 ms

Nhược điểm:

Độ chính xác phụ thuộc nhiều vào điều kiện ánh sáng

Khi mặt nghiêng hay người ra xa webcam, kết quả nhận dạng bị sai lệch nhiều

Để đạt được độ chính xác cao, ta phải huấn luyện nhiều hình Tốc độ xử lí chậm

=> Không thích hợp để điều khiển robot

II Nhận diện cảm xúc theo phương pháp

mô hình AAM và xét tương quan điểm

AAM = Active Appearance Model

Với sự giúp đỡ của

 Tiến sĩ Nguyễn Đức Thành, chủ nhiệm BM

điều khiển Tự động, ĐHBK HCM

 Assoc Professor, Nguyễn Minh Đỗ from

University of Illinois, Urbana Champaign,

USA

 Assoc Professor, Lê Tiến Thường, BM Viễn

Thông, ĐHBK TPHCM.

Ý tưởng:

“ Nếu có thể xác định được chính xác tọa độ các điểm

trên khuôn mặt thì có thể dựa vào tương quan các điểm

đó để nhận dạng cảm xúc ”

Ưu điểm:

•Ít bị ảnh hưởng của yếu tố nền khuôn

mặt lên kết quả nhận dạng.

•Tốc độ nhận dạng sẽ khá nhanh.

•Việc nhận dạng có thể tiến hành trong

điều kiện mặt chịu ảnh hưởng của các

phép biến hình (quay, tịnh tiến, tỉ lệ)…

Có thể dùng điều khiển robot

II Nhận diện cảm xúc theo phương pháp

mô hình AAM và xét tương quan điểm

Bề rộng miệng

Bề rộng mặt

mat rong

be

mieng rong

be

R _ _

_ _

Chiều cao mắt

Chiều cao mũi

mui cao

chieu

mat cao

chieu

_ _

2 

Khoảng cách lm

Khoảng cách mắt

mat cach

khoang

lm cach khoang

_ _

3 

Cảm xúc\Tỉ

Vui vẻ Tăng BT Tăng Ngạc nhiên BT Tăng BT Giận dữ Tăng BT Giảm Bình thường BT BT BT

Lưu đồ Cảm xúc\Tỉ số R 1 R 2 R 3

Ngạc nhiên BT Tăng x Giận dữ Tăng x Giảm Bình thường BT BT BT

Tính R1, R2,

R3

R1>R1 _ Thresh

R3>R3_

Thresh

Yes

R2>R 2_Thr esh Giận

Vui vẻ

No No

Yes

Ngạc nhiên

No thườnBình

g

Yes

II Nhận diện cảm xúc theo phương pháp

mô hình AAM và xét tương quan điểm

 Kết quả nhận dạng (tiến hành trên 200 hình)

 Nhược điểm:

Kết quả nhận dạng phụ thuộc vào việc chọn ngưỡng cho R1, R2, R3.

Cần cải tiến thuật toán xác định từng điểm của

khuôn mặt để tăng tốc độ nhận dạng & độ chính xác.

Cảm xúc Phần

trăm

Ngạc

Giận dữ 83%

Bình thường

80%

Tương quan điểm (687ms/frame)

Cảm xúc Phần

trăm

Ngạc nhiên 78%

Giận dữ 86%

Bình thường

84%

PCA truyền thống (238ms/frame)

III Nhận diện cảm xúc dựa trên mô hình AAM và mạng nơron

 Bài toán đặt ra:

PP PCA truyền thống:

 Nhận dạng tốt cho mặt trực diện

Sai nhiều khi mặt bị quay, tịnh tiến v…v

 Mặt nhận diện không được chuẩn hóa về kích thước

 Phần nền xung quanh khuôn mặt có ảnh hưởng lớn Cần loại bỏ phần nền này

 Việc nhận dạng bằng tính khoảng cách Euclide tốn thời gian nếu số hình huấn luyện lớn

Mặt nghiêng phải Nền phức tạp

Không chuẩn hóa kích thước mặt

Cần phải có 1 phương pháp loại bỏ các ảnh hưởng này?

III Nhận diện cảm xúc dựa trên mô hình AAM và mạng nơron

Ý tưởng:

“Dùng một lưới ốp (fitting) vào khuôn mặt người Khi lưới đã ốp vừa, dựa vào

tương quan giữa các điểm để đưa ảnh khuôn mặt về 1 khuôn mặt chuẩn Việc

nhận dạng sẽ tiến hành trên khuôn mặt chuẩn này”

Ưu điểm:

 Các hình ảnh đưa vào nhận diện được chuẩn hóa về kích thước

 Loại bỏ ảnh hưởng của sự biến dạng khuôn mặt do mặt bị quay,

tịnh tiến, tỉ lệ v…v.

 Loại bỏ ảnh hưởng của phần nền xung quanh đến kết quả nhận

diện.

 Việc nhận dạng bằng thực hiện mạng neural để giảm thời gian

nhận diện.

Sơ đồ khối nhận dạng theo mô hình AAM &MLP

Detection

Fit mô hình AAM với mặt

Vị trí, kích

thước , tỉ lệ

mặt

Trích xuất vị trí và tương quan các điểm trên mô hình đã Fit

Nhận dạng bằng mạng neural

Phát hiện

mặt

Đưa về khuôn mặt chuẩn

=

+ 1.7 8

+

… + 1.8 6

PCA

Cảm

B.thường Y1 N.Nhiên Y2 Vui vẻ Y3 Giận giữ Y4

Tìm max

Ma x

III Nhận diện cảm xúc dựa trên mô hình AAM và mạng nơron

 Kết quả nhận dạng (mặt nghiêng ~150) (150 frame)

 Nhược điểm:

 AAM&MLP còn chịu ảnh hưởng của góc chiếu sáng, cường độ sáng nhiều.

 Tốc độ nhận dạng vẫn còn chậm so với PCA truyền thống & tương quan điểm.

Cảm xúc Phần

trăm

Ngạc

Giận dữ 80%

Bình thường

82%

AAM& MLP (~750ms/frame)

Cảm xúc Phần

trăm

Ngạc nhiên 65%

Giận dữ 68%

Bình thường

61%

PCA truyền thống (~240ms/frame)

IV Tích hợp nhận dạng cảm xúc điều khiển robot omni

Thông số kĩ thuật

•Đường kính thân: 0.6m

•Chiều cao: 1.6 m

•Trọng lượng: 38.5 kg

•Động cơ:

•Harmonic Servo x 3

•RC servo x 4

•DNguồn ATX: 450 Watts

•DC có giảm tốc x 1

•Webcam x 2

•Vận tốc cực đại: 5 m/s

•Laptop x 1

•Máy tính nhúng x 1 (dự định)

Thuật toán điều khiển robot omni

Ước lượng vị

trí của người

điều khiển

Người lệch trái

Người

lệch

phải

Quay trái

Ye s No

Ye s

Quay phải

No

Rất gần người Yes

Lùi ra xa

No

1

•Bề rộng mặt=>Khoảng cách đến người (d)

Độ lệch tâm (ce_d)

ce_d<-center_thres

ce_d>+center_thres

d<stable_dist - thres

Thuật toán điều khiển robot omni

Còn xa

người

Ye s

Tiến lại gần

D>stable_dist + thre

1

Xác định cảm

xúc người

điều khiển

No

Happy? Yes

No Stable_dist

+=50 Surpris

s

Stable_dist =

80

No Stable_dist

-=20

Video

Tổng kết & Hướng phát triển

 Kết quả đạt được

 Phát triển được mô hình AAM thay thế cho mô hình AAM thương mại và hệ thống tái tạo cơ mặt FACs.

 Nhận dạng cảm xúc với độ chính xác khá cao (khoảng 80%) trong điều kiện ánh sáng tốt và mặt bị biến dạng, nghiêng.

 Tích hợp nhận diện cảm xúc cho môi trường

thay đổi để điều khiển robot.

 Hướng phát triển

 Tích hợp mô hình AAM để phục vụ các mục đích khác như