mô hình chiếu sáng cho nhận diện khuôn mặt

Chúng ta sử dụng PCA lên những bức hình của một khuôn mặt thu được trong các điều kiện sáng khác nhau cho thấy rằng tập hình ảnh cũng tương đương như là một không gian tuyến tính thấp ch

GVHD : TS Lê Hoàng Thái Sinh viên thực hiện :

• Huỳnh Cao Thế Cường

• Đặng Thanh Minh

• Phạm Thiện Niên Trị

• Trần Thanh Tâm

Hàm điều hòa cầu.

Giới thiệu : (cont)

 Một cách để đánh giá những khó khăn do ánh sáng, hoặc biến đổi bất kỳ, là số bậc tư do cần thiết để

đánh giá nó Chúng ta phải mô tả cường độ sáng tác động lên mỗi điểm trên khuôn mặt

 Hỗ trợ cho mô hình cấp thấp cả thực nghiệm và lý

thuyết Chúng ta sử dụng PCA lên những bức hình

của một khuôn mặt thu được trong các điều kiện sáng khác nhau cho thấy rằng tập hình ảnh cũng tương

đương như là một không gian tuyến tính thấp chiều của không gian các hình ảnh

 Một hướng khác dựa trên việc bù sáng cho các hiệu ứng ánh sáng mà không sử dụng các mô hình khuôn mặt 3D Công việc này phù hợp với việc sử dụng trực tiếp hình ảnh 2D của các hình đại diện mà không

nhạy cảm với sự thay đổi ánh sáng

Hàm điều hòa cầu.

Nền tảng về phản xạ và

chiếu sáng :

 Chúng ta chỉ xét những nguồn sáng xa

 Xét 2 điều kiện ánh sáng Một nguồn điểm được mô

tả bằng một hướng duy nhất, đại diện là vector đơn vị

u l , và cường độ là l Những yếu tố này kết hợp thành

một vector với 3 thành phần,

 Ánh sáng có thể tới từ nhiều nguồn, bao gồm các

nguồn khuyếch tán (như bầu trời) Trong trường hợp

đó chúng ta mô tả cường độ của ánh sáng như là một hàm chỉ phương hướng, , mà không phụ thuộc

l =

) (u l l

Nền tảng về phản xạ và

chiếu sáng : (cont)

 Để xây dựng mô hình thực sự chính xác của việc

phản xạ ánh sáng trên gương mặt là một việc phức tạp

 Trong chương này chúng ta sẽ thảo luận về phân tích

nguồn gốc đại diện của hình ảnh dựa vào một lồi, đối

tượng Lambertian được chiếu sáng bởi một nguồn

sáng xa Giả định là bề mặt của đối tượng phản xạ

theo luật Lambert – trong đó nêu rằng các vật liệu

hấp thụ ánh sáng và phản xạ nó thống nhất trong tất

cả các hướng

 Cụ thể, nếu một tia sáng có cường độ là l đến từ các hướng u l đạt đến một điểm trên bề mặt với phản xạ

bề mặt (albedo) p và hướng bình thường v r , cường

độ phản xạ i bởi các điểm do ánh sáng này được định

bởi

) 0 , max(

) ( ul p ul vrl

với biểu thị tích hợp trên bề mặt của hình cầu

∫

=

2

) (

)

( )

(

S

l l

r l

r k u v l u du v

r

) , ( r r

r θ φ

) (v r r

) 0 , max(

) (u v u v

∫2

S

) 2 (

Hàm điều hòa cầu.

Sử dụng PCA cho mô hình chiếu sáng tuyến tính :

 Principal component analysis (PCA) :

◦ PCA là một phương pháp thống kê làm giảm chiều, trong đó tạo

ra sự phân tích những ô tuyến tính tối ưu trong tập mẫu

◦ Trong một thuật toán nhận diện khuôn mặt dựa trên PCA, đầu vào là một tập học t1 ,…,tn của N hình ảnh khuôn mặt, mỗi hình ảnh được xem như là một điểm trong không gian R (nxm) , mỗi ảnh

Sử dụng PCA cho mô hình

chiếu sáng tuyến tính: (cont)

 PCA lần đầu tiên được Sirovitch và Kirby (1990) áp dụng để biểu diễn khuôn mặt Turk và Pentland

(1991) mở rộng PCA nhận diện khuôn mặt

 Hallinan sử dụng PCA cho tập các hình ảnh có khuôn mặt duy nhất trong một tư thế được chiếu sáng bởi một đèn pha đặt ở các vị trí khác nhau

 Epstein et al và Yuille et al mô tả một loạt các đối tượng cho thấy các hình ảnh của đối tượng

Lambertain tương đương với một không gian con

tuyến tính từ 3 tới 7 chiều

 Đại diện tuyến tính dựa trên PCA có thể được sử dụng

để bù đắp cho sự biến đổi ánh sáng

Hàm điều hòa cầu.

Mô hình chiếu sáng tuyến

tính : Không có bóng.

 Xem xét một đối tượng Lambertian được chiếu sáng

bởi một điểm nguồn được mô tả bởi vector , p i là

một điểm của đối tượng, n i là một vector đơn vị mô tả

bề mặt thông thường tại p i , phản xạ bề mặt tại p i

được định nghĩa là

 Trong trường hợp không có bóng, phản xạ

Lambertian được biểu diễn bởi

 Nếu chúng ta kết hợp tất cả các tuyến bề mặt của

một đối tượng vào một ma trận đơn N, cột thứ I của

N là n i thì toàn bộ hình ảnh được mô tả bởi

Điều này cho thấy hình ảnh bất kỳ là một sự kết hợp tuyến tính ba hàng của N Đây là 3 vector x,y,z và

các thành phần của tuyến bề mặt của đối tượng

l

i i

N l

I = T

N l N

l

I

i

i i

( ∑

=

Hàm điều hòa cầu.

Thêm bóng : Mô hình phi

tuyến.

 Belhumeur và Kriegman đã tiến hành phân tích các hình ảnh của một đối tượng khi có bóng Họ gọi là tập hợp các hình ảnh chiếu sáng hình nón

 Sau đó, họ cho rằng với một lồi, đối tượng

Lambertian có kèm theo bóng nhưng không có chiều của bóng diễn viên của hình nón chiếu sáng là , trong đó n là số tuyến bề mặt khác biệt nhìn thấy

trên đối tượng Điều này chứng minh rằng hình ảnh của một đối tượng đơn giản, thậm chí không nằm

trong một không gian con tuyến tính thấp chiều Họ tiếp tục cho thấy làm thế nào để xây dựng hình nón bằng cách sử dụng các đại diện của Shashua

) (n2O

Thêm bóng : Mô hình phi

tuyến (cont)

 Georghiades và đồng nghiệp trình bày một số thuật toán sử dụng các hình nón chiếu sáng để nhận diện khuôn mặt, điều này tương ứng với việc vẽ mặt theo một số lượng lớn các nguồn sáng điểm

 Cũng quan tâm vấn đề này là cách tiếp cận của

Blicher và Roy, với một số lượng lớn các bề mặt gần thông thường và nêu ra một mô hình dựa trên cường

độ trung bình của các điểm ảnh đã được xuất hiện với một số lượng lớn các pháp tuyến Phương pháp này giả định các pháp tuyến tương tự thì có cường độ

tương tự, vì vậy nó phù hợp cho sử lý bóng kèm theo,

và nhanh

Hàm điều hòa cầu.

Mô hình chiếu sáng tuyến

tính : Hàm điều hòa cầu.

 Các bằng chứng thực nghiệm cho thấy các đối tượng chiếu sáng hình non chung là “mỏng”, ngay cả trong

sự hiện diện của bóng vẫn không giải thích đươ cho tới ngày nay

 Khi Basri và Jacobs, và Ramamoorthi và Hanrahan, phân tích chiếu sáng hình nón trong giới hạn các hàm điều hòa cầu Phân tích này cho thấy, khi thêm bóng, các hình ảnh của một đối tượng Lambertian lồi có thể

có độ chính xác cao bằng cách sử dụng 9 (hay thậm chí ít hơn) hình ảnh cơ sở

Hàm điều hòa cầu và định lý Funk-Hecke :

 Với mỗi bề mặt, sự phản chiếu v r được xác định bởi sự hợp thành của ánh sáng tới từ mọi hướng và được đo lường bởi

kernel với mỗi v r là một hoán vị của

hàm, trong đó có sự tham gia của hàm cosin k(u l ) (là hàm

mà trong đó v r được xác định tại cực bắc) và xem đó là

hàm bán cosin.

 Các hàm điều hòa cầu là 1 tập hợp của các hàm mà tạo

thành một tiên đề trực chuẩn cho tập hợp các hàm trên bề mặt cầu Tập hợp các hàm này là Ynm với n =0, 1, 2, và

−n ≤ m ≤ n

 Trong đó Pnm là các liên kết hàm Legendre, được định

nghĩa :

) 0 , max(

) (u l v r u l v r

φθ

π

φ

m n

m n

m n

n

|)!

| (

|)!

|

( 4

) 1 2 ( )

,

+

− +

=

n m

n

m n n

m

dz

d n

z z

! 2

) 1

( ) ( = − 2 2 ++ 2 −

) 3 (

) 4 (

Hàm điều hòa cầu và định lý Funk-Hecke : (cont)

 Y nm là một hàm điều hòa mệnh lệnh cấp n

 Đôi khi Y nm thích hợp là 1 hàm của không gian các tọa độ (x,

y, z) hơn là các góc Các hàm điều hòa cầu, được viết là

Y nm (x, y, z) là đa thức bậc n trong (x, y, z) 9 hàm điều hòa

đầu tiên như sau:

 Các ký hiệu e và o dùng để chỉ hàm điều hòa chẵn lẻ Vì

vậy , trong thực tế các hàm điều hòa chẳn và

lẽ được sử dụng thuận tiện hơn vì chức năng phản xạ là có thật

( 4

5 2

12

5 5

22 =

xy e

e m n

Y = | | ± | |

) 5 (

Hàm điều hòa cầu và định lý Funk-Hecke : (cont)

 Bởi vì các hàm điều hòa cầu tạo thành cơ sở các sợi xoắn

không đều, bất kỳ hàm thành phần liên lục, f, trên bề mặt khối cầu có thể được viết như là sự kết hợp tuyến tính của một dãy vô hạn các hàm điều hòa.

 Với fnm là một giá trị vô hướng, được định bởi công thức

Và là lượng liên hợp của

 Việc quay một hàm f dẫn đến việc đổi pha Với mỗi n, biên

độ bậc thứ n của hàm f được định nghĩa

(

n

n n m

nm

nm Y u f

u f

∫

= 2 ( ) * ( )

nm f u Y u du f

) (

) 6 (

) 7 (

) 8 (

Hàm điều hòa cầu và định lý Funk-Hecke : (cont)

 Cả hàm ánh sáng l , và hạt nhân Lambertian, k, có thể

được viết như là tổng của các hàm điều hòa cầu

Là sự triển khai hàm điều hòa của l, và công thức :

 Lưu ý rằng, bởi vì k(u) là tính đối xứng tròn về cực bắc, chỉ các hàm điều hòa có tính đối xứng như vậy mới tham dự

vào sự khai triển

 Theo định lý Funk-Hecke, sự triển khai hàm điều hòa của

hàm phản chiếu, r, có thể được viết lại :

nm

nm Y l l

2

4 (

*

n

nm nm n n

n m

Y l k n

l k

) 9 (

) 10 (

) 11 (

) 12 (

Các tính chất của

Convolution Kernel :

 Chúng ta sử dụng định lý Funk-Hecke để suy ra theo phép

giải tích giá trị tần số vượt trội r Để đạt được điều này, ta xem l như là 1 ký hiệu và k như là 1 bộ lọc, và tìm hiểu

biên độ thay đổi như thế nào qua bộ lọc

 Triển khai hàm điều hòa của Lambertian kernel có thể chia thành các trường hợp sau :

1 ( 2

) 1 2 ( )

1 (

3 2

2

1 2

n n

n

n

n n

n n

k

π π

Các tính chất của

Convolution Kernel : (cont)

 Với k 3 = k 5 = k 7 =0, |k n| đạt tới ngưỡng , đồ thị trong hình 5.2 mô tả các hệ số :

 Tổng năng lượng vuông trong hàm bán cosine được tính như công thức

) (n− 2

O

∫ ∫2π π θ θ θ φ = π∫π θ θ θ = π

0 0

2 0

2 2

3

2 sin

cos 2

sin )

Hàm phản xạ xấp xỉ:

 Chúng ta có hàm xấp xỉ theo chiều thấp từ hàm phản xạ bỏ bớt tổng trong công thức (12), theo đó ta có công thức :

 Trong trường hợp này, ánh sáng chỉ là một hàm delta đơn giản mà đỉnh cao nhất là cực bắc .

 Xấp xỉ tốt hơn khi ánh sáng bao gồm thành phần tăng

cường độ khuyết tán của tần số thấp, ngược lại sẽ xấu đi

 Cận dưới về tính chính xác của sự xấp xỉ đối với bất kỳ hàm ánh sáng nào cũng được cho bởi công thức :

n m

Y l k n

l k

r

0

) 1

2

4 (

) 0 (θ=φ=

)(

*)

π

) 19 (

Phát sinh điều hòa phản xạ:

 Theo định lý Funk-Heck, r nm được tính theo công thức

 Kết hợp với công thức (17) ta có

 Dưới đây là một vài giá trị của hàm điều hòa

Trong đó (và )

nm n nm

n Y

k r

nm

nm r l l

n≤ ≤

Từ phản xạ đến hình

ảnh:

 Mỗi điểm của đối tượng kế thừa cường độ của nó từ các

điểm trên bề mặt cầu bình thường là như nhau, cường độ này tiếp tục thu nhỏ bởi suất phản xạ của nó

 Đặt p i là đối tượng điểm thứ i, đặt n i là pháp tuyến tại p i và

đặt là suất phản xạ của p i Sự chiếu sáng phải được mở

rộng với hệ số l nm (công thức 9) Sau đó hình ảnh, I i của p i là Trong đó

 Sau đó hình ảnh bất kỳ là sự kết hợp tuyến tính của các

(

n

n

n m

i nm nm

n r

) 25 ( )

( )

( i i nm i

) 26 (

i nm

nm

I