cùa cám xúc ngạc nhiên [46 Ị.
2. Mi trên nàng lén
Giận dữ (Angry): là một trong bày loại cam xúc phố biến phát sinh khi một
người bị ngản cán theo đuôi mục tiêu hoặc bị đổi xử bất cơng, ơ mức độ cao nhát, tức giận có thê là một trong nhùng cám xúc nguy liiêm vì nó có mối liên hệ tiềm ân với bạo lực, do đỏ. đây là căm xúc phò biến càn được giúp đờ để giãi quyết. Trong cơn tức giận, khn mặt sẽ có những biếu hiện như lơng mày hạ xuống, mắt trừng, khóe mơi nhíu lại.
1.
í.ơng mày kéo sát lại
gần nhau vã hạ thấp
2. Mở to mẳt. nhìn chain chăm
Hình 2.4. Biếu hiện cùa câm xúc giận dừ 146].
Buồn rầu (Sad): là một trong bày loại cam xúc phô biến mà tầt cá mọi người
đều phai trai qua khi mất đi một ai dó hoặc một điểu gi đó quan trọng. Mặc dù buồn rau thường được xem là một cam xúc liêu cực nhưng nó lại đóng một vai trị quan trọng trong việc báo hiệu nhu cầu nhận sự giúp đờ hoặc an ùi từ người khác. Góc
trong cùa lơng mày nâng lên. mắt mất tập trung, mơi bị kéo xuống và mí mát trên hạ xuống là những biểu hiện cùa càm xúc buồn rầu.
1. Các góc trong cùa lỏng mày kéo lên và vùng trán nhãn lại
2. Mi trùn sụp xuống và mắt nhìn xuống.
3. Khóe mỏi hạ xuống
Hình 2.5. Biểu hiện cùa cam xúc buồn rầu [46].
Sợ hãi (Fear): xuất hiện khi một người đang trong bầu không khi đáng sợ. Sợ
hài là một cám xúc liêu cực nhưng đông vai trò quan trọng trong việc giừ cho chúng ta an tồn vì nó thúc đây chúng ta đối phó với nhìmg nguy hicm tiềm ấn. Sợ hãi và ngạc nhiên là hai căm xúc thường bị nhầm lần nhất vì chúng có các dặc điếm chính thê hiện giống nhau như lơng mày. mắt và miệng. Trong sợ hãi. lông mày (hãng và ngang hơn trong khi ngạc nhiên lại lông mày nhướng lên nhưng lạt lộ ra nhiều đường cong hơn. Mí mắt trên cũng được nâng lên cao hơn. đơi mơi cáng ra vì sợ hải.
1. Lơng mày nhướng lên và kéo vào nhau
2. Nàng mí mắt trên
3. Mi mắt dưới cáng
4. Hàm mơ ra và môi kéo dài theo chiều ngang về phía sau
Hình 2.6. Biểu hiện cua căm xúc sợ hãi [46].
Ghê tịììì (Disgust): là cám xúc phát sinh như một càm giác chán ghét đối với
điều gi đó gây khó chịu. Chúng ta có thê cam thấy ghê tởm điều gi đỏ mà chúng ta cám nhận được bằng các giác quan vật lý (thị giác, khứu giác, xúc giác, âm thanh, vị giác), hành động hoặc vè ngoài cua con người. Dầu hiệu dề nhận biết và rõ ràng nhất chính là nhãn mùi.
Hình 2.7. Biểu hiện cúa cám xúc ghê tỡm [46].
Khinh thường (Contempt): là cam xúc ít được nghiên cứu nhất trong bày cam
xúc phô biến. Dày là cám giác khơng thích một người, một nhóm người hoặc hành động cùa họ. Khinh thường là cám xúc duy nhai có biêu hiện đơn trên khuôn mật - biểu hiện khơng đoi xứng. Bièu hiện cùa sự khinh thường có thế xây ra cùng với một nụ cười hoặc biểu hiện giận dừ. Trong danh sách những câm xúc phố biến của Ekman vào những nãm 1960 khơng có cảm xúc này. nhưng sau đó ơng đâ bơ sung nó sau khi nghiên cứu về đa văn hóa.
Khóe mịi mim chặt vã nâng lên ờ một bên cùa khn mật.
Hình 2.8. Biểu hiện cùa càni xúc khinh thường [46].
2.1.2. Cám xúc và nhiệt dộ
Cam xúc cua con người có thê dược nhận biết dựa vào sự thay dối nhiệt độ cùa da. Khi một cảm xúc xày ra. các cơ trcn khuôn mặt thay đối. các cơ này sê co lại hoặc giãn ra tạo ra nhiệt giúp duy trì nhiệt độ cơ thê. cỏ đen khoáng 85% nhiệt lượng cơ thê là do sự co cơ. Ngoài ra, các cư trên khuôn mật khi co lại hoặc giàn ra cùng lãm thay đoi lưu lượng máu đi qua các mạch mâu dưới da dẫn đến sự thay đồi nhiệt độ trên khuôn mặt. nhiệt độ giâm khi lưu lượng máu giảm [47]. Do đó, khi một căm xúc xảy ra thì sự thay đơi nhiệt độ trên khn mặt xuất hiện [25].
Trong cam xúc vui vẽ. khi một đối tượng đang cười, nhiệt dộ cùa mũi và trán giam |47]; căng thăng, sợ hãi lãm giâm nhiệt độ tống thê trên khn mặt và kích thích làm táng trong nhiệt độ cùa trán, mơi và mũi [471. Các mạch máu dưới da trên khn mặt được thể hiện ớ Hình 2.9.
Hình 2.9. Các mạch máu trên khn mặt ngưịi [48].
Những thay dối về nhiệt dộ trên khuôn mặt không thê ghi lại bâng máy ánh (hông thưởng mà phái sư dụng máy ánh nhiệt. Máy ánh nhiệt bao gồm một cám biến nhiệt phát hiện được bức xạ trong dái hồng ngoại dài cua phô diện từ
Ánh nhiột được tạo ra dựa trên định luật Stefan-Boltzmann: w = Eơĩ"4, với E là độ phát xạ (kha năng phát ra bức xạ hồng ngoại cua vật thế), ơ là hăng số Stefan- Boltzmann và T là nhiệt độ màu (K) [50]. Độ phát xạ cua da người ước tính khoảng từ 0.98 đến 0.99. Giá trị E cùa hầu hết các chất đều thấp hơn giá trị cua da người [51|. do đó la có the de dâng thu được hình ánh nhiệt the hiện khn mặt.
Hình ảnh nhiệt có thang độ xám với màu trang đại diện cho nhiệt, màu đen đại diện cho các vùng lạnh hơn và các sắc thái khác nhau của màu xám biểu thị độ dốc cùa nhiệt độ giữa hai màu. Các máy ảnh nhiệt hiện nay đã bồ sung thêm các màu như màu cam. xanh lam. vàng, đo và tím cho hình anh nhiệt nhằm giúp người dùng xác định các đối tượng rở ràng hơn.
Dê trích xuất thông un thè hiện cám xúc, vùng quan tủm (KOI) được sư dụng. Các khu vực thê hiện rị nét sự thay đơi nhiệt độ khi cam xúc xây ra là vùng mũi hoặc đầu mùi, vùng quanh hốc mắt, trán, hàm trên (quanh mùi) [47].
Trân
VKible Infrared
Cầm Má
Hình 2.11. Biểu diễn nhiệt để trích xuất ROI [47].
2.2. Phuong pháp rút trích đặc trưng
2.2.1. Principal Component Analysis (PCA)
Phân tích thành phân chính (Principal Component Analysis-PCA) được đẽ xuất bời Karl Pearson vào năm 1901 là một phương pháp thưởng được sử dụng để giâm sổ chiều của dữ liệu nhtmg vẫn giữ lại những thông tin quan trọng bàng cách chiểu dữ liệu lên không gian con.
Gọi X là tập dử liệu với N ảnh. mồi anh dược biếu diễn dưới dạng vectơ một chiều x>. X = A'
Thuật tốn PCA được thực hiện như sau:
Bước 1. Tính giá trị trung bình cùa anh:
JV >4
Bước 2. Tính sai lệch cua (lữ liệu đầu vào so với trung bình
X, = Xi - X (2.2)
C=-ị-XXr (2.3)
N
Bước 4. Tính vectơ riềng Ví vờ giá trị riêng Ảị cùa ma trận hiệp phương sai.
Bước 5. Chọn các thành phần chính và lùnh thành hệ tọa (ỉộ mới. Bước 6: Biêu diên dừ liệu vào khơng gian con tìm dược.
2.2.2. Histogram of Oriented Gradient (HOG)
HOG là một bộ mô tá đặc trưng được đề xuẩt đầu tiên cho bài toán phát hiện người và mang lại hiệu quã cao [52]. Đặc trưng HOG được biêu diễn thông qua hai thông sổ: mức dộ thay dổi cường dộ màu sắc và hướng thay dồi ctrờng dộ màu sắc.
Thuật toán HOG được thực hiện như sau:
Dx = Ị-l.O. 1] là bộ lọc theo chiều A Dy = ỉ-1. 0. 1/r là bộ lọc theo chiểu V
Với 1 là ma trận ánh đầu vào. ta tính được hai đạo hàm Gx và Gy:
Gx = /*DA (2.4)
Gy = ĩ*Dy (2.5)
Giá trị độ lớn gradient: G = yị(ỉx! +Ợv' (2.6)
Hướng gradient: 0 = arctanl ^-1 (2.7)
Bước 2. Tính biêu dồ cúc gradient trong các ó 8x8
Chia hình ánh thành các ơ (cell) cỏ kích thước 8x8 pixel. Trên mồi ơ sỗ tính hai tham số là độ lớn gradient vả phương gradient. Mồi ơ có 64 pixel, do dó giá trị can tính SC là 64 giá trị độ lớn gradient và 64 giá trị phương gradient (mồi pixel sè tinh độ lớn gradient vã phương gradient).
Hình 2.12. Độ lớn gradient và phương gradient [53].
Sau khi tính xong gradient tại các pixel, ta sõ sắp xếp các giá trị phương gradient theo thứ tự lừ nho đến lớn và chia chúng vào các bin. Giá trị cua phương gradient sc nam trong khoáng [0, 180], được chia thành 9 bin được gán nhãn tử 0-8. mồi bin sè có độ dài là 20.
Sau đó biếu đồ (histogram) của các ơ sẽ được tính dựa trên sổ lần xưảt hiện cùa các nhãn dược gán.
» tl tr w r • > 4
• •• •• M (• «■ BI n a »• n a p • IB
IU 00 n
ST 0 9 in 79 97 1» too
120 TO
Hình 2.13. Histogram của các ơ |53|.
Bườc 3. Chuẩn hóa khối 16x16
Đê giám độ ánh hưởng cùa yểu tố ánh sáng lén gradient, ta can chuẩn hóa gradient bàng cách sư dụng các hàm chuẩn hóa thơng dụng như I.l-norm, L2- norm.
Trong bước này. ta sẽ chuẩn hóa cho tửng khối 16x16, mỗi khối sẽ có 4 ơ 8x8. Một ơ 8x8 sỗ có vector histogram có kích thước 9x I. do dó một khối 16x16 sẻ có 4 vectơ histogram kích thước 9x I. Nối các vector này sẻ thu được vector histogram tong họp có kích thước 36x 1 và sau đó chn hóa theo norm trên vcctơ này.
Bước 4. Tính vectơ đặc trưng HOC
Sau khi chuẩn hóa các vcctơ histogram, la sè gộp các vcctơ36xl này thành một vcctơ lớn. Đây chinh lã vector HOG đại diện cho lồn bộ hình ảnh.
2.2.3. Rút trích đặc trung ãnh nhiệt vói t-ROI
Trong 1311. tác giá đã đề xuất phương pháp tim vùng quan tâm ROI và mang lại hiệu quá cao. Từ ma trận nhiệt ban đầu. ROI được xác định như sau:
Gọi h, g, f là các hàm ánh xạ dược xác định [311:
/::/■-> g : T -> Gr f.Gr^lc
Trong đó F là khơng gian mặt; Te là không gian nhiệt độ: Gr là không gian mặt trong thang đo xám: lc là cường độ cùa pixel trong thang đo xám 1311.
9* 1&5 133 «36 ’44 152 9R 1QẠ Tfi 36 26 «1 ITT f ’« 159 22 12$ 143 14 150 145 144 145 143 110 96 100 101 1» 113 I at 00 00 97 71 85 43 136 » 05 15/ .’5 n »06 145 1/4 /1 13 34 a 1» 2/ 46 110 Gradient Magnitude 1« ITO 91 4 110 17 mjxT Gradient Qrectioff fV 23 27 22 1/ < / iỹ 1«6 135 66 32 26 zf z z I Histogram of Gradients (2.8)
àTf=T^-TZ (2.9) ờ'rf=àTt./TZ (2.1 0) (2.1 1) 1[ ={(ij)€ F\rí *jỉTf -Sĩt «<ĩ(ij)} 2) (2.1 keũĩ
là nhiệt độ lớn nhất và nhô nhất trong frame k; T^., lã cường độ cao nhất trong thang đo xám, K lã số frame (31 ].
2.3. Phuong pháp phân loại
2.3.1. Máy học vccto hỗ trợ (SVM)
Máy học vectơ hồ trợ (Support Vector Machine-SVM) là một thuật tốn học máy có giám sát được sử dụng rẳt phơ biến trong các bài toán phân lớp được để xuất bới V. N. Vapnik. SVM nhận dừ liệu vào và phân loại chúng vào hai lóp khác nhau.
Ý tường của SVM lã cho trước một tập mầu huấn luyện đà được biêu dicn trong không gian vectơ, trong đó mồi dừ liệu là một diêm. SVM sè tìm ra một siêu phảng tốt nhất có the chia các dicm dó thành hai lớp riêng biệt. Chat lượng cua siêu phăng này sẽ dược quyết định bời khoảng cách, gọi là lề (margin), cua điểm dừ liệu gần nhất cùa mỏi lớp đến mặt phăng này. Khi đó. khoang cách lề càng lớn thì mặt phăng quyết định càng tốt. đồng thời việc phân loại càng chính xác [54]. Ý tướng này dựa trên dừ liệu có the phân tách tuyền tính.
Xét tập dừ liệu n = ã>ô)ằ vi.v, e/T* the hin u vo cùa một điếm dữ liệu và y, 6 {-1.1} là nhãn của điểm dữ liệu. Mục tiêu cùa SVM là tìm một siêu phang phân cách sao cho khống cách biên giừa hai lớp là lớn nhất.
Hình 2.14. Siêu phăng vói lề cực dại [55].
Siêu phăng được định nghĩa như sau:
w'x + b-i) (2.13)
trong đó w là vcctơ n chiều và b độ lệch so VỚI gốc tọa độ.
Siêu phăng tối ưu phân tập dừ liệu thành hai lớp là siêu phăng có thê tách rời dừ liệu thành hai lớp riêng biệt với lè lớn nhất. Trong trưởng hợp này. dừ liệu cùa mồi lóp chi có thể ờ bên trái (y = 1) hoặc bên phai (y = -1) cùa siêu phảng. Do đó. hai lề có thể được xác định đế kiểm sốt khà năng phân tách cùa dữ liệu:
Khống cách giữa các lề:
H 1**11
Ta cần tìm siêu phăng tối ưu, tức là giãi bài toán tối ưu:
Min. . =
■ ■ _s.__ y.|tv\v + />)> 1 với ràng buộc ' Đê giái bài toán tối ưu trên, nhân tứ Lagrange dc s dng: L.. (kô) -1 Mr z a {ã* [ ■’ •*. + Z,1 “11
(2.14)
(2.15)
(2.16)
ƠH'
“O^y^.v “0 &> Ế*
Thay (2.18), (2.19) vào (2.17) ta được phương trinh tống quát cũa trường hợp phân tách luyến tính như sau:
Max /.» = £«,
1-1 ^CI-I
a,ỉO = 0
Trong trường hợp dừ liệu không phàn tách tuycn tinh, SVM sỗ giai quyct bảng cách su dụng một hàm phạt giam thiêu lỏi phân loại sai.
Hình 2.15. Dử liệu khơng thể phân tách tuyến tính với các biến slack (ệ)
được xác định đế giãni thiểu lỗi phân loại sai [55].
Hàm phạt được định nghía như sau:
r(í)=i« (2.21)
1*1
£là khoang cách giừa diểm phân loại sai cua mồi lớp với lề. Khi đó. bài tốn tối ưu cần giải quyết là:
(2.22) 2 >-1
(2.18)
(2.19) (2.20)
I...- V.Gv*-t + ^lìì 1 — í; với ràng buộc • • ' ĩ
Tham số c trong phương trinh trên được gọi là tham số “trade-off* được thèm vào đê tối đa hóa lồ và giâm thiêu sai số phân loại.
Đe giãi bài toán tối ưu trên, nhân tứ Lagrange (a(aí -°)) được sir dụng: = + ■ Ẻư'lV'íM’r-v. 1 T>]-l+ £,}-£/?,£ * i-1 J-1 /-1 (2.2 3) Với: ẽL A V 77 *-0 =>% 2jw. 4) (2.2 — =0=> Va,y. =0 5) (2.2 — = 0=> «,+/?,= c ẽệ i (2.2 6)
Thay (2.24), (2.25) vào (2.23) ta được phương trinh tổng quát cùa tnrờng hợp khơng phân tách tuyến tính như sau:
(2.27) í-l ^ế.ị-l
'1^=0
*■1
Trong trường hợp dữ liệu khơng tuyền tính, SVM sẽ sừ dụng một hàm nhân K (kernel) 0<A,.y,)= ^(A..A,) để biến đồi dừ liệu ban đầu sang một không gian mới nhiều chiều, ờ không gian mới nãy. dừ liệu trơ nên phân tách tuyển tính. Một sỗ hãm nhân thường dũng:
Polynomial kernel (hàm nhân da thức) có dạng: K(A,.A J=(x’\ + 11’ (2.29) Radial Basis Function Kernel (hàm nhân RBF) có dạng:
(2.30)
2.3.2. Học sứ dụng thơng tin đặc quyền
Con người học nhanh hon máy do có sự hướng dần từ người dạy (teacher) [56]. Vapnik và cộng sự đà đưa ra ý tướng kết hợp sự hướng dần cũa người dạy vào học máy. dược gọi Là học sử dụng thông tin dặc quyền (Learning using privileged information-LUPI). Trong mơ hình LUPI, một sổ thông tin đặc quyền sẻ được sứ dụng ờ giai đoạn huấn luyện và không được sir dụng ớ giai đoạn kiểm tra.
Vapnik và cộng sự đưa ra 2 chiến lược đế học sư dụng thông tin đặc quyển: kiềm tra sự tương đồng (similarity control) và chuyến giao kiến thức (knowledge transfer).
Trong dề xuất cùa các tác già. dữ liệu huấn luyện là một bộ ba: (xl.xl\yj.... (x4,.x;.yj . Xị e X , xjeX', y, e{-1,1}.Trong đó: (x,.yỆ) là một cặp đặc trưng - nhãn và Xxlà thông tin dặc quyền dược bồ sung vào dê hỗ trợ quá trình học.
Ỷ lường cua kiểm tra sự lương đồng xuất phát từ việc phân loại SVM được phân tách sau khi thay đôi các giá trị (đo lường mức độ phân loại sai cua các diem dừ liệu huấn luyện Xi). Việc phân loại riêng biệt có thời gian học nhanh, vì vậy, sẽ lý tường hơn nếu các giá trị được ước tính từ những thơng tin hữu ích từ người dạy (thơng tin dặc quyền). Kiềm tra sự tương dồng cịn dược gọi là SV.V1+.
Với bộ dừ liệu huấn luyện (X. X*. y) các vectơx được ánh xạ vào không gian z và các vectơ X* vào khơng gian z*. Khi đó bộ ba dừ liệu: