mô hình chiếu sáng cho nhận diện khuôn mặt

GVHD : TS. Lê Hoàng Thái Sinh viên thực hiện : • Huỳnh Cao Thế Cường • Đặng Thanh Minh • Phạm Thiện Niên Trị • Trần Thanh Tâm Nội dung : Nội dung :  Giới thiệu.  Nền tảng về phản xạ và chiếu sáng.  Sử dụng PCA cho mô hình chiếu sáng tuyến tính.  Mô hình chiếu sáng tuyến tính : Không có bóng.  Thêm bóng : Mô hình phi tuyến.  Mô hình chiếu sáng tuyến tính : Hàm điều hòa cầu.  Ứng dụng.  Kết luận. Giới thiệu : Giới thiệu :  Trong chương này, chúng ta sẽ thảo luận về các giải pháp cho các vấn đề : ◦ Mô tả 3 chiều của gương mặt, tư thế của nó. ◦ Tính phản xạ ◦ Và truy vấn hình ảnh 2D Giới thiệu : (cont) Giới thiệu : (cont)  Một cách để đánh giá những khó khăn do ánh sáng, hoặc biến đổi bất kỳ, là số bậc tư do cần thiết để đánh giá nó. Chúng ta phải mô tả cường độ sáng tác động lên mỗi điểm trên khuôn mặt .  Hỗ trợ cho mô hình cấp thấp cả thực nghiệm và lý thuyết. Chúng ta sử dụng PCA lên những bức hình của một khuôn mặt thu được trong các điều kiện sáng khác nhau cho thấy rằng tập hình ảnh cũng tương đương như là một không gian tuyến tính thấp chiều của không gian các hình ảnh .  Một hướng khác dựa trên việc bù sáng cho các hiệu ứng ánh sáng mà không sử dụng các mô hình khuôn mặt 3D. Công việc này phù hợp với việc sử dụng trực tiếp hình ảnh 2D của các hình đại diện mà không nhạy cảm với sự thay đổi ánh sáng. Nội dung : Nội dung :  Giới thiệu.  Nền tảng về phản xạ và chiếu sáng.  Sử dụng PCA cho mô hình chiếu sáng tuyến tính.  Mô hình chiếu sáng tuyến tính : Không có bóng.  Thêm bóng : Mô hình phi tuyến.  Mô hình chiếu sáng tuyến tính : Hàm điều hòa cầu.  Ứng dụng.  Kết luận. Nền tảng về phản xạ và Nền tảng về phản xạ và chiếu sáng : chiếu sáng :  Chúng ta chỉ xét những nguồn sáng xa.  Xét 2 điều kiện ánh sáng. Một nguồn điểm được mô tả bằng một hướng duy nhất, đại diện là vector đơn vị u l , và cường độ là l. Những yếu tố này kết hợp thành một vector với 3 thành phần, .  Ánh sáng có thể tới từ nhiều nguồn, bao gồm các nguồn khuyếch tán (như bầu trời). Trong trường hợp đó chúng ta mô tả cường độ của ánh sáng như là một hàm chỉ phương hướng, , mà không phụ thuộc vào các vị trí trong cảnh.  Hầu hết phân tích trong chương này cho việc sử lý đổ bóng. Nếu một điểm có hướng bề mặt bình thường là v r và nguồn sáng tới là u l khi v r . u l <0 có nghĩa là không có áng sáng tới bề mặt l lul = )( l ul Nền tảng về phản xạ và Nền tảng về phản xạ và chiếu sáng : (cont) chiếu sáng : (cont)  Để xây dựng mô hình thực sự chính xác của việc phản xạ ánh sáng trên gương mặt là một việc phức tạp.  Trong chương này chúng ta sẽ thảo luận về phân tích nguồn gốc đại diện của hình ảnh dựa vào một lồi, đối tượng Lambertian được chiếu sáng bởi một nguồn sáng xa. Giả định là bề mặt của đối tượng phản xạ theo luật Lambert – trong đó nêu rằng các vật liệu hấp thụ ánh sáng và phản xạ nó thống nhất trong tất cả các hướng.  Cụ thể, nếu một tia sáng có cường độ là l đến từ các hướng u l đạt đến một điểm trên bề mặt với phản xạ bề mặt (albedo) p và hướng bình thường v r , cường độ phản xạ i bởi các điểm do ánh sáng này được định bởi )0,.max()( rll vupuli = )1( Nền tảng về phản xạ và Nền tảng về phản xạ và chiếu sáng : (cont) chiếu sáng : (cont)  Nếu giải quyết được chiếu sáng và bỏ qua phản xạ bề mặt p , phản xạ ánh sáng cũng chỉ là một hàm xử lý bề mặt thông thường, và hàm này được viết là hay là .  Nếu ánh sáng đi tới một điểm từ vô số các hướng, thì ánh sáng phản xạ của điểm này sẽ là tích phân của các hướng tới. Nếu thì : với biểu thị tích hợp trên bề mặt của hình cầu . ∫ = 2 )().()( S llrlr duulvukvr ),( rr r φθ )( r vr )0,.max().( vuvuk = ∫ 2 S )2( Nội dung : Nội dung :  Giới thiệu.  Nền tảng về phản xạ và chiếu sáng.  Sử dụng PCA cho mô hình chiếu sáng tuyến tính.  Mô hình chiếu sáng tuyến tính : Không có bóng.  Thêm bóng : Mô hình phi tuyến.  Mô hình chiếu sáng tuyến tính : Hàm điều hòa cầu.  Ứng dụng.  Kết luận. Sử dụng PCA cho mô hình Sử dụng PCA cho mô hình chiếu sáng tuyến tính : chiếu sáng tuyến tính :  Principal component analysis (PCA) : ◦ PCA là một phương pháp thống kê làm giảm chiều, trong đó tạo ra sự phân tích những ô tuyến tính tối ưu trong tập mẫu . ◦ Trong một thuật toán nhận diện khuôn mặt dựa trên PCA, đầu vào là một tập học t 1 ,…,t n của N hình ảnh khuôn mặt, mỗi hình ảnh được xem như là một điểm trong không gian R (nxm) , mỗi ảnh có kích thước là nxm pixel . ◦ PCA tìm những ô tuyến tính tối ưu nhất trong không gian (n-1) chiều . ◦ Các đại diện PCA được đặt trưng bởi một tập hợp của n-1 các vector riêng và giá trị riêng ◦ Trong nhận diện khuôn mặt, các vector riêng có thể được gọi là các đặc trưng khuôn mặt riêng. Các vector riêng được sắp xếp để ), ,( 1 n ee ), ,( 1 n λλ 1 + > ii λλ [...]... từ 3 tới 7 chiều Đại diện tuyến tính dựa trên PCA có thể được sử dụng để bù đắp cho sự biến đổi ánh sáng Nội dung : Giới thiệu Nền tảng về phản xạ và chiếu sáng Sử dụng PCA cho mô hình chiếu sáng tuyến tính  Mô hình chiếu sáng tuyến tính : Không có bóng  Thêm bóng : Mô hình phi tuyến  Mô hình chiếu sáng tuyến tính : Hàm điều hòa cầu  Ứng dụng  Kết luận    Mô hình chiếu sáng tuyến tính : Không... được mô tả bởi I = l N Điều này cho thấy hình ảnh bất kỳ là một sự kết hợp tuyến tính ba hàng của N Đây là 3 vector x,y,z và các thành phần của tuyến bề mặt của đối tượng I = ∑ (l i N ) = (∑ l i ) N i i Nội dung : Giới thiệu Nền tảng về phản xạ và chiếu sáng Sử dụng PCA cho mô hình chiếu sáng tuyến tính  Mô hình chiếu sáng tuyến tính : Không có bóng  Thêm bóng : Mô hình phi tuyến  Mô hình chiếu sáng. .. PCA cho mô hình chiếu sáng tuyến tính: (cont)     PCA lần đầu tiên được Sirovitch và Kirby (1990) áp dụng để biểu diễn khuôn mặt Turk và Pentland (1991) mở rộng PCA nhận diện khuôn mặt Hallinan sử dụng PCA cho tập các hình ảnh có khuôn mặt duy nhất trong một tư thế được chiếu sáng bởi một đèn pha đặt ở các vị trí khác nhau Epstein et al và Yuille et al mô tả một loạt các đối tượng cho thấy các hình. .. Thêm bóng : Mô hình phi tuyến  Mô hình chiếu sáng tuyến tính : Hàm điều hòa cầu  Ứng dụng  Kết luận    Mô hình chiếu sáng tuyến tính : Hàm điều hòa cầu   Các bằng chứng thực nghiệm cho thấy các đối tượng chiếu sáng hình non chung là “mỏng”, ngay cả trong sự hiện diện của bóng vẫn không giải thích đươ cho tới ngày nay Khi Basri và Jacobs, và Ramamoorthi và Hanrahan, phân tích chiếu sáng hình nón... các bề mặt gần thông thường và nêu ra một mô hình dựa trên cường độ trung bình của các điểm ảnh đã được xuất hiện với một số lượng lớn các pháp tuyến Phương pháp này giả định các pháp tuyến tương tự thì có cường độ tương tự, vì vậy nó phù hợp cho sử lý bóng kèm theo, và nhanh Nội dung : Giới thiệu Nền tảng về phản xạ và chiếu sáng Sử dụng PCA cho mô hình chiếu sáng tuyến tính  Mô hình chiếu sáng tuyến... không gian con tuyến tính thấp chiều Họ tiếp tục cho thấy làm thế nào để xây dựng hình nón bằng cách sử dụng các đại diện của Shashua Thêm bóng : Mô hình phi tuyến (cont)   Georghiades và đồng nghiệp trình bày một số thuật toán sử dụng các hình nón chiếu sáng để nhận diện khuôn mặt, điều này tương ứng với việc vẽ mặt theo một số lượng lớn các nguồn sáng điểm Cũng quan tâm vấn đề này là cách tiếp cận... Mô hình phi tuyến   Belhumeur và Kriegman đã tiến hành phân tích các hình ảnh của một đối tượng khi có bóng Họ gọi là tập hợp các hình ảnh chiếu sáng hình nón Sau đó, họ cho rằng với một lồi, đối tượng Lambertian có kèm theo bóng nhưng không có chiều 2 O( sáng là của bóng diễn viên của hình nón chiếu n ) , trong đó n là số tuyến bề mặt khác biệt nhìn thấy trên đối tượng Điều này chứng minh rằng hình. .. được chiếu sáng bởi một điểm nguồn được mô tả bởi vector l , pi là một điểm của đối tượng, ni là một vector đơn vị mô tả bề mặt thông thường tại pi , phản xạ bề mặt tại pi n = pi ni được định nghĩa là i Trong trường hợp không có bóng, phản xạ T l ni Lambertian được biểu diễn bởi Nếu chúng ta kết hợp tất cả các tuyến bề mặt của một đối tượng vào một ma trận đơn N, cột thứ TI của N là ni thì toàn bộ hình. .. chiếu sáng hình nón trong giới hạn các hàm điều hòa cầu Phân tích này cho thấy, khi thêm bóng, các hình ảnh của một đối tượng Lambertian lồi có thể có độ chính xác cao bằng cách sử dụng 9 (hay thậm chí ít hơn) hình ảnh cơ sở Hàm điều hòa cầu và định lý Funk-Hecke :  Với mỗi bề mặt, sự phản chiếu vr được xác định bởi sự hợp thành của ánh sáng tới từ mọi hướng và được đo lường bởi kernel k (ul vr ) = max(ul... m = r7 m = 0 ) ( 22) Từ phản xạ đến hình ảnh:  Mỗi điểm của đối tượng kế thừa cường độ của nó từ các điểm trên bề mặt cầu bình thường là như nhau, cường độ này tiếp tục thu nhỏ bởi suất phản xạ của nó  Đặt pi là đối tượng điểm thứ i, đặt ni là pháp tuyến tại pi và đặt ρ là suất phản xạ của pi Sự chiếu sáng phải được mở i rộng với hệ số lnm (công thức 9) Sau đó hình ảnh, Ii của pi là Trong đó I i . tảng về phản xạ và chiếu sáng.  Sử dụng PCA cho mô hình chiếu sáng tuyến tính.  Mô hình chiếu sáng tuyến tính : Không có bóng.  Thêm bóng : Mô hình phi tuyến.  Mô hình chiếu sáng tuyến tính. tảng về phản xạ và chiếu sáng.  Sử dụng PCA cho mô hình chiếu sáng tuyến tính.  Mô hình chiếu sáng tuyến tính : Không có bóng.  Thêm bóng : Mô hình phi tuyến.  Mô hình chiếu sáng tuyến tính. chiếu sáng.  Sử dụng PCA cho mô hình chiếu sáng tuyến tính.  Mô hình chiếu sáng tuyến tính : Không có bóng.  Thêm bóng : Mô hình phi tuyến.  Mô hình chiếu sáng tuyến tính : Hàm điều hòa