Một kỹ thuật trích chọn đặc trưng biểu cảm khuôn mặt dựa vào mô hình xuất hiện tích cực

Bài viết này đề xuất một kỹ thuật trích chọn đặc trưng biểu cảm khuôn mặt dựa trên phương pháp mô hình xuất hiện tích cực (Active Appearance Model - AAM) để nội suy hình dạng của khuôn mặt từ đó trích chọn được các đặc trưng biểu cảm của khuôn mặt một cách hiệu quả.

Tạp chí Khoa học - Trường ĐH Quy Nhơn, ISSN: 1859-0357, Tập 10, SốTập 4, 2016, 10, SốTr.4,27-38 2016 MỘT KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG BIỂU CẢM KHN MẶT DỰA VÀO MƠ HÌNH XUẤT HIỆN TÍCH CỰC LÊ THỊ KIM NGA1*, PHẠM THỊ THANH TUYỀN2, PHẠM TRẦN THIỆN1, NGUYỄN THỊ ANH THI1, TRẦN THỊ LIÊN1, PHÙNG VĂN MINH1 Khoa CNTT- Trường Đại học Quy Nhơn Trường Trung cấp Kinh tế - Kỹ thuật Bình Định TĨM TẮT Trong năm gần đây, phân tích biểu cảm khn mặt cách tự động vấn đề quan tâm thu hút nhiều nhóm nghiên cứu thị giác máy ngồi nước Phân tích biểu cảm khn mặt có nhiều ứng dụng từ khoa học đến thực tiễn nhận dạng khuôn mặt, nhận dạng trạng thái khuôn mặt giám sát an ninh, mơ hình hóa biểu cảm khn mặt thực ảo, tương tác người máy thông qua trạng thái cảm xúc khuôn mặt, … Một bước quan trọng nhận dạng biểu cảm khn mặt trích chọn đặc trưng mô tả trạng thái cảm xúc khuôn mặt Bài báo đề xuất kỹ thuật trích chọn đặc trưng biểu cảm khn mặt dựa phương pháp mơ hình xuất tích cực (Active Appearance Model - AAM) để nội suy hình dạng khn mặt từ trích chọn đặc trưng biểu cảm khuôn mặt cách hiệu Kết thực nghiệm kỹ thuật đề xuất tập liệu bao gồm liệu thu thập Trường Trung cấp Kinh tế - Kỹ thuật Bình Định liệu khn mặt Markus Weber cho thấy độ xác trung bình 80%, ngay cả trong điều kiện ánh sáng phức tạp Từ khóa: Mơ hình xuất hoạt động, nhận dạng cảm xúc, nhận dạng biểu cảm khn mặt, phân tích khn mặt ABSTRACT A method for extracting facial expression features based on the active appearance model In recent years, analyzing facial expressions automatically has been one of the issues attracting attention by many computer vision research groups Facial expression analysis has been in application research and practice such as for face recognition, face emotion recognition in surveillance, modeling facial expression in virtual reality, computer-human interaction through face emotions, and so on An important step in identifying facial expressions is to extract emotion features on a face This paper proposes a specific technique extracting facial expressions based on the Active Appearance Model (AAM) to interpolate the shape of the face ennabling effective extraction facial expressions Experimental results show that the proposed technology significantly enhances the accuracy of extracting facial expression features, even in low-light conditions and complicated background Keywords: Active appearance model, emotion recognition, face analysis, facial expression recognition Giới thiệu Với phát triển mạnh mẽ khoa học điện tử kéo theo nhiều lĩnh vực khoa học máy tính phát triển có xử lý ảnh Một tốn quan trọng xử lý ảnh nhận dạng khn mặt có nhiều ứng dụng thiết thực vào đời sống người Bài toán Email: kimnle@qnu.edu.vn Ngày nhận bài: 21/4/2016; ngày nhận đăng: 20/6/2016 * 27 Lê Thị Kim Nga, Phạm Thị Thanh Tuyền, Phạm Trần Thiện, Nguyễn Thị Anh Thi, Trần Thị Liên, Phùng Văn Minh nghiên cứu từ lâu thu hút nhiều cộng đồng nghiên cứu ngồi nước, mơi trường thu nhận đa dạng, khuôn mặt loại đối tượng mà ln bị thay đổi (non-rigid object) khuôn mặt chứa trạng thái biểu cảm Gần đây, phân tích biểu cảm khn mặt quan tâm nhiều khả ứng dụng chúng ngày rộng rãi Hình minh họa số trạng thái biểu cảm khuôn mặt Một bước quan trọng tốn phân tích trạng thái cảm xúc khn mặt trích chọn đặc trưng mô tả trạng thái cảm xúc khuôn mặt hay nói khác đặc trưng thể nét mặt khn mặt Đã có nhiều nghiên cứu liên quan đến việc phân tích đặc trưng cảm xúc khn mặt người ảnh Tuy nhiên, toán mở phức tạp trường hợp ứng dụng chất lượng liệu đầu vào Hơn nữa, nghiên cứu cảm xúc khuôn mặt thể cảm xúc khuôn mặt người Việt hạn chế Cười Buồn Sợ hãi Giận Ngạc nhiên Căm ghét Hình Mơ tả số trạng thái cảm xúc khuôn mặt Những phân tích chứng tỏ tốn phân tích trạng thái cảm xúc khn mặt nói chung trích chọn đặc trưng mô tả trạng thái cảm xúc khuôn mặt nói riêng thời cần thiết xử lý ảnh thị giác máy Điều đặc biệt có ý nghĩa Việt Nam, mà hệ thống loại chưa xuất nhiều, sản phẩm chun dụng nước ngồi cịn đắt đỏ Trên giới, có nhiều cơng trình khoa học nghiên cứu việc thu nhận đặc trưng thể biểu cảm khuôn mặt tập trung theo hướng nghiên cứu sau: Trích chọn đặc trưng biểu cảm khuôn mặt dựa điểm đánh dấu Với hướng người ta chia thành nhiều hướng khác tùy vào cách lựa chọn loại điểm đánh dấu, hay số lượng camera quan sát nhiều camera Hướng nghiên cứu thứ hai tập trung nghiên cứu nhiều thời gian gần hướng nghiên cứu để trích chọn đặc trưng mà không sử dụng điểm đánh dấu Với hướng nghiên cứu có số cách tiếp cận sử dụng học để đoán nhận biểu cảm khn mặt ảnh từ tính đặc trưng biểu cảm, sử dụng mơ hình AAM (Active Appearance Model) [5] để nội suy hình dạng khn mặt từ trích chọn đặc trưng biểu cảm khuôn mặt [3][6][8].  Việc mô lại biểu cảm khuôn mặt dựa vào đặc trưng thực chất việc nội suy nhằm tính lại bề mặt 3D khuôn mặt dựa theo đặc trưng biểu cảm Hiện có nhiều phương pháp nội suy khác NURBS, RBF, Affine, nội suy dựa vào mạng Neural v.v Tuy nhiên, việc lựa chọn phương pháp nội suy cho phù hợp với tốn mơ biểu 28 Tập 10, Số 4, 2016 cảm khuôn mặt vấn đề cần nghiên cứu [2][7][4] Hiện nay, có số đơn vị nghiên cứu nước có hướng nghiên cứu tương tự [1][2] Phần đề cập ngắn gọn phương pháp mơ hình xuất tích cực (AAM) việc mơ hình hóa đối tượng thường bị thay đổi trạng thái tự nhiên Phần trình bày kỹ thuật trích chọn đặc trưng mơ tả trạng thái cảm xúc khn mặt dựa vào phương pháp mơ hình xuất tích cực AAM Cài đặt thực nghiệm đánh giá kết phân tích phần 4, cuối phần kết luận hướng phát triển kỹ thuật đề xuất Phương pháp mơ hình xuất tích cực (AAM) AAM thuật tốn tối ưu lĩnh vực thị giác máy Thuật toán dùng để tối ưu mơ hình thống kê hình ảnh đối tượng vào ảnh đầu vào Kết trình tối ưu điểm điều khiển thể cấu trúc đối tượng học với tọa độ tương ứng với thể ảnh đầu vào đối tượng Cùng với điểm điều khiển tham số mơ hình thống kê ước lượng mà từ dễ dàng tái cấu trúc hình dạng kết cấu hình ảnh đối tượng tương ứng cách tương thể ảnh thử nghiệm Mơ hình thuật toán đề xuất Edwars, Cootes Taylor [11] Mơ hình AAM [9][11] đưa [8], có khả sinh mơ hình tham số tượng thị giác định Hầu hết ứng dụng AAM có liên quan tới mơ hình mặt [8] Tuy nhiên, AAM cịn hữu ích cho nhiều ứng dụng khác [9] Đặc biệt, AAM thuật toán so khớp tới ảnh khn mặt, ví dụ mơ hình tham số tìm thấy để tối đa việc so khớp mơ hình thể ảnh đầu vào Mơ hình tham số sau dùng ứng dụng Ví dụ, tham số đưa tới phân loại để nhận dạng khn mặt Sự phân loại thực nhiều nhiệm vụ khác Trong [8], ví dụ mơ hình tương tự sử dụng cho nhận dạng mặt, ước lượng hướng đầu nhận dạng biểu cảm mặt AAM lược đồ mã hóa hình ảnh với mục đích tổng qt, phân tích thành phần phi tuyến tính Trích chọn đặc trưng mơ tả trạng thái cảm xúc khn mặt dựa vào AAM Ý tưởng thuật tốn mơ hình hóa đối tượng mơ hình hình dạng mơ hình kết cấu bề mặt ảnh bao quanh tập điểm mơ hình hình dạng tương ứng Các tham số mơ hình dùng để xây dựng lại đối tượng Đối tượng tổng hợp sử dụng để đánh giá so khớp với đối tượng đầu vào cách giống nhằm tìm cấu trúc hình dạng cho đối tượng đầu vào Do đó, nghiên cứu thuật tốn trích chọn đặc trưng biểu cảm khuôn mặt, luận văn áp dụng thuật tốn AAM để trích chọn đặc trưng mơ tả trạng thái cảm xúc khn mặt Thuật tốn AAM đặc tả trạng thái biểu cảm khuôn mặt trạng thái tự nhiên, vui, buồn, giận dữ, sợ hãi, ngạc nhiên, Để trích chọn đặc trưng biểu cảm khuôn mặt vào mới, thuật tốn cho phép thực tìm đối sánh tốt khuôn mặt với khuôn mặt xây dựng từ mơ hình Điều quan trọng mơ hình AAM huấn luyện từ tập khn mặt mẫu có đánh dấu tập điểm điều khiển Theo phân tích trên, thuật toán gồm hai giai đoạn Giai đoạn thứ xây dựng mơ hình thống kê cho đối tượng bao gồm mơ hình thống kê hình dạng đối tượng khuôn mặt 29 Lê Thị Kim Nga, Phạm Thị Thanh Tuyền, Phạm Trần Thiện, Nguyễn Thị Anh Thi, Trần Thị Liên, Phùng Văn Minh mơ hình thống kê kết cấu bề mặt tương ứng khuôn mặt Giai đoạn thứ hai thiết kế thuật toán tối ưu nhằm tìm mơ hình thể hình dạng tốt cho ảnh khuôn mặt đầu vào dựa mơ hình xây dựng Giai đoạn bao gồm hai pha pha huấn luyện mơ hình từ tập liệu huấn luyện (dữ liệu huấn luyện bao gồm ảnh khuôn mặt mẫu tập điểm điều khiển tương ứng) Pha thứ hai tìm kiếm tập điểm điều khiển mơ tả hình dạng cho ảnh đầu vào dựa việc thực bước lặp để tối ưu hóa cách khớp ảnh khn mặt với ảnh tổng hợp từ mơ hình cách giống 3.1 Xây dựng mơ hình khn mặt Để xây dựng mơ hình hình dạng khn mặt Bài báo trình bày xây dựng mơ hình hình dạng khn mặt mơ hình kết cấu bề mặt khn mặt Từ đưa mơ hình kết hợp chúng v Xây dựng mơ hình hình dạng khuôn mặt Phần mô tả để xây dựng mơ hình thống kê tốn học hình dạng cho đối tượng Mơ hình cần có đặc điểm bất biến với phép biến đổi hình học sử dụng phép biến đổi Similarity bao gồm phép dịch chuyển, phép quay phép thay đổi tỉ lệ kích thước Khi xây dựng tập liệu huấn luyện, tập liệu bao gồm tập ảnh đối tượng quan tâm tương ứng ảnh, chuyên gia sử dụng công cụ tin học để thực đánh dấu chuỗi ảnh ảnh cần để xây dựng sở liệu Trong thực tế, cách làm thủ cơng hồn tồn này, cịn có hướng tiếp cận khác, tự động bán tự động Nếu đối tượng hình học tập hợp có đánh thứ tự điểm điều khiển mô tả hình dạng đối tượng ảnh quan tâm, biểu diễn n điểm không gian d chiều, ta thể vector nd chiều với giá trị vector giá trị tọa độ cụ thể trục không gian điểm Ví dụ, ảnh hai chiều, ta mơ tả n điểm điều khiển,{(xi, yi)},thành vector 2n thành phần sau: x = (x1, x2, , xn, y1, y2, ,yn)T Sau thể lại đối tượng hình dạng thành vector tương ứng, ta thực mô hình hóa liệu tập vector Bước đầu cần chuẩn hóa đối tượng hình dạng vào chung không gian tọa độ, tác giả sử dụng phương pháp Procrustes Analysis Phương pháp thực chuẩn hóa đối tượng với hình dạng để tổng khoảng cách đối tượng hình dạng ∑ tới kỳ vọng chúng (D = xi − x ) đạt cực tiểu Quá trình tiến hành thực theo bước sau: l Bước Dịch chuyển mẫu tọa độ tâm; l Bước Lấy kỳ vọng làm ước lượng khởi đầu thay đổi tỉ lệ để có độ dài 1; l Bước Ghi nhận ước lượng x0 ; l Bước Thực chuẩn hóa tất mẫu ước lượng kỳ vọng; l Bước Tính lại kỳ vọng tại; l Bước Thực thi ràng buộc ước lượng kỳ vọng cách chuẩn hóa theo x0 thay đổi tỉ lệ để có độ dài 1; l Bước Nếu ước lượng không thay đổi so với trạng thái trước, thuật toán kết thúc Nếu không quay lại bước 30 Tập 10, Số 4, 2016 Để chuẩn hóa đối tượng hình dạng theo đối tượng hình dạng khác: l Cho hai đối tượng hình dạng x x’, đối tượng chuẩn hóa tọa độ tâm, cần thực việc chọn tỉ lệ co giãn s góc quay θ để cực tiểu tổng khoảng cách điểm x sau biến đổi tương ứng với điểm x’, cụ thể trường hợp dùng phép biến đổi Similarity, cần cực tiểu giá trị biểu thức sAx − x , Phép biến đổi có dạng sau:  x   a − b  x   t x    +   T   =  (3.1) y   b a  y   t y   (3.2) a = x.x , / x ( )  (3.3) ' ' n b = ∑xi yi − yi xi  / x   i=1 Trong s2 = a2 + b2 θ = tan-1(b/a) l Sau bước chuẩn hóa, thực tiếp q trình mơ hình hóa biến dạng hình dạng Phương pháp lựa chọn phân tích thành phần (Principal Component Analysis – PCA) , cơng cụ tốn học tuyến tính mạnh cho phép thực việc chiếu mẫu khơi phục mẫu từ hình chiếu Giả sử ta có tập mẫu hình dạng chuẩn hóa {x}, i = s, bước thực hiện: • Bước Tính kỳ vọng liệu s x = ∑ xi s i=1 • Bước Tính ma trận hiệp phương sai liệu s S= (xi − x)(xi − x)T ∑ s −1 i=1 (3.4)   • Bước Tính vector riêng giá trị riêng tương ứng, thực xếp theo thứ tự giảm dần giá trị riêng Vậy sau bước hình dạng x khn mặt xấp xỉ bằng: x = x + psbs (3.5) Trong x hình dạng trung bình, Ps tập vector không gian xây dựng từ PCA, bs tập tham số hình dạng mơ hình v Xây dựng mơ hình kết cấu hình ảnh khn mặt Sau mơ hình hóa đối tượng hình dạng, ta thực tiếp q trình mơ hình hóa kết cấu hình ảnh đối tượng quan tâm ảnh Ở đây, kết cấu hình ảnh đối tượng hiểu giá trị cường độ ảnh giới hạn vùng ảnh bao đối tượng hình dạng tương ứng 31 Lê Thị Kim Nga, Phạm Thị Thanh Tuyền, Phạm Trần Thiện, Nguyễn Thị Anh Thi, Trần Thị Liên, Phùng Văn Minh Vết hình dạng độc lập Hình Đối tượng hình dạng kết cấu hình ảnh Quá trình lấy liệu kết cấu hình ảnh thực qua hai bước Đầu tiên thực trình tam giác hóa tập điểm điều khiển để lấy tập vùng ảnh bước thực trình biến đổi hình học phần ảnh tương ứng với tam giác tính tốn ghi lại đối tượng hình học tiêu chuẩn chọn trước cụ thể theo phép biến đổi affine Phép biến đổi gọi Piece-wise Affine Hình Tam giác hóa tập điểm điều khiển Mỗi kết cấu hình ảnh lấy có chứa nhiều biến dạng gây chiếu sáng thu nhận ảnh Để cực tiểu biến đổi gây chiếu sáng tồn cục, ta thực chuẩn hóa mẫu kết cấu hình ảnh cách áp dụng hai tham số: tham số biến đổi tỉ lệ α tham số dịch chuyển β chọn để chuẩn hóa gim tính tốn sau: α = gim g , β = (gim.1)/n (3.6) Trong n độ dài vector kết cấu hình ảnh Q trình tính tốn kỳ vọng chuẩn hóa q trình lặp Tương tự việc chuẩn hóa đối tượng hình dạng nêu trên, qua bước giá trị kỳ vọng tính lại thuật tốn dừng giá trị kỳ vọng không thay đổi Tương tự sau ta thực mơ hình hóa liệu kết cấu hình ảnh chuẩn hóa phương pháp phân tích thành phần PCA Bằng cách này, mẫu kết cấu hình ảnh biểu diễn mơ hình tuyến tính sau: g = g + Pgbg (3.7) Trong g vector kỳ vọng chuẩn hóa mẫu kết cấu hình ảnh, Pg sở khơng gian xây dựng bg hình chiếu tương ứng mẫu kết cấu biểu diễn Một cách tổng quát, kết cấu hình ảnh đối tượng ảnh tái tạo tham số mơ hình bg, hình chiếu mẫu kết cấu, tham số chuẩn hóa α β sau: g im = Tu ( g + Pg bg ) = (1 + u1 )( g + Pg bg ) + u (3.8) 32 Tập 10, Số 4, 2016 u = (α - 1, β)T (3.9) v Xây dựng mơ hình kết hợp Phần mơ tả làm để ta tìm phương thức kết hợp liệu hình dạng liệu kết cấu hình ảnh để thành mơ hình thống kê tốn học kết hợp cho đối tượng quan tâm Mặt người thể phương thức kết hợp, vector đơn tham số điều khiển xuất hình ảnh kết cấu Mơ hình AAM cho phép sinh mặt từ tập huấn luyện mặt Dữ liệu hình dạng kết cấu hình ảnh đối tượng quan tâm mẫu biểu diễn tóm tắt qua hai tham số bs bg Vấn đề thực mô hình hóa tổng qt cho liệu phương pháp lựa chọn phân tích thành phần Vì tồn mối tương quan biến thể hình dạng kết cấu hình ảnh đối tượng quan tâm nên mẫu dùng làm đầu vào cho trình học PCA biểu diễn sau: WS bs  Ws PsT ( x − x )   = T b =    P (g − g )  b g g     (3.10) Trong đó: Ws ma trận đường chéo thể trọng số tham số hình dạng tương ứng; bs mơ tả thơng tin cho hình dạng đối tượng tọa độ điểm điều khiển; bg thể thông tin kết cấu hình ảnh đối tượng cường độ vùng ảnh đối tượng; Nói chung, kết việc tổng hợp mẫu kết giải thuật tìm kiếm dựa mơ hình tương đối nhạy cảm với việc lựa chọn Ws Thực tính tốn dựa PCA, ta có mơ sau: l b = Pc c, với Pc vector riêng c vector tham số biểu diễn hình ảnh, thể hai thơng tin hình dạng kết cấu hình ảnh Do tính chất tuyến tính cơng thức cho phép ta biểu diễn trực tiếp từ c: g = g + Pg Pcgc x = x + PsWs−1Pcsc , (3.11)  Pcs   Trong Pc =   P  , c vector điều khiển xuất hình dạng kết cấu hình cg   ảnh Biểu thức sau cho phép khôi phục lại tham số xuất c từ mẫu cho c = PT b c (3.12) Hoặc ta biểu diễn ngắn gọn: x = x + Qsc Trong g = g + Qgc Qs = PsWs−1 Pcs Qg = Pg Pcg (3.13) (3.14) Như vậy, với q trình trên, ảnh mẫu tổng hợp vector đặc trưng c trình sau: 33 Lê Thị Kim Nga, Phạm Thị Thanh Tuyền, Phạm Trần Thiện, Nguyễn Thị Anh Thi, Trần Thị Liên, Phùng Văn Minh • Từ c sinh mẫu đối tượng hình dạng mẫu kết cấu hình ảnh khn mặt; • Thực q trình biến đổi hình học để dán liệu cường độ ảnh mẫu kết cấu hình ảnh lên vùng ảnh tạo vector hình dạng tương ứng 3.2 Xây dựng thuật tốn tối ưu AAM cho trích chọn đặc trưng biểu cảm khn mặt Giải thuật tìm kiếm tối ưu sử dụng AAM thiết kế cho phép tự động ước lượng tham số mơ hình, mà tổng hợp ảnh mẫu gần với ảnh mục tiêu đầu vào Về mặt lý thuyết, q trình tối ưu nhằm mục đích cực tiểu sai lệch ảnh mẫu đầu vào ảnh tổng hợp theo mơ hình đề cập Vector độ lệch định nghĩa sau: (3.15) δI = I − I i m Trong đó: Ii vector biểu diễn cường độ ảnh đối tượng ảnh đầu vào; Im vector biểu diễn cường độ ảnh ảnh tổng hợp từ mô hình Để xác định tham số tối ưu cho mơ hình,ta cần cực tiểu độ lớn vector độ lệch ∆ = δI Như nói trên, vector tham số mơ hình c sử dụng để tái tạo lại đối tượng hình dạng kết cấu hình ảnh theo cơng thức sau: x = x + Qs c g = g +Q c g (3.16) Trên sở đó, ta xây dựng thuật tốn dựa độ đo: E(p) = rT r (3.17) Trong đó: r(p) = gs - gm (3.18) độ lệch kết cấu hình ảnh sinh từ mơ hình kết cấu hình ảnh lấy từ ảnh đầu pT = (cT | t T | uT ) vào; p tham số cần ước lượng với c tham số mơ hình kết hợp, t = (sx, sy,tx,ty )T tham số dịch chuyển biểu diễn vị trí tập điểm điều khiển khung hình, tham số biến đổi kết cấu hình ảnh; gim = Tu(g) = (u1 + 1)gim + u21 (3.19) Thực khai triển Taylor lần cho biểu thức độ lệch (3.17) ta ∂r ∂r dr r ( p + δp) = r ( p) + δp với phần tử thứ ij ma trận i ∂p dpi ∂p Giả sử trình so khớp phần dơi r, cần chọn δp cho tối r ( p + δp) ta nhận thiểu hóa đại lượng ,   ∂r T ∂r  −1 ∂r T    ∂p ∂p  ∂p  δp = Rr ( p ) = −   r ( p ) (3.20)   [4][5][9] ∂r ước lượng trước từ tập mẫu Các thành phần ma trận ∂p ước lượng cách tính tốn lượng lớn độ lệch hàm số tương ứng với độ lệch đối số truyền vào Các độ lệch đối số lấy ngẫu nhiên khoảng cho trước tương ứng Ma trận Jacobi 34 Tập 10, Số 4, 2016 Có thể hình dung tóm tắt bước thuật tốn tối ưu sau: n Tính trước: l Bước Tính ma trận R l Bước Khởi tạo giá trị ban đầu cho x l Bước Khởi tạo mảng tham số K = {1,0.5,0.25,0.125,0.0625} n Các bước lặp: l Bước Tính vector độ lệch r T l Bước Tính E = r r l Bước Tính ∂p = Rr ( p) l Bước Với k ∈ K, cập nhật p' = p + k * ∂p l Bước Tính r ' T l Bước Tính E ' = r ' r ' l Bước Nếu E ' < E , cập nhật p = p ' , cập nhật độ thay đổi giá trị lỗi sang bước lặp tiếp, không, tiếp tục thử với k khác Nhận xét Phương pháp AAM trích chọn đặc trưng biểu cảm khuôn mặt lược đồ lặp nhằm so khớp mơ hình mặt huấn luyện từ mơ hình với khn mặt chứa trạng thái biểu cảm Phương pháp học tương quan độ điều chỉnh vị trí hình dạng thơng qua tham số mơ hình với độ sai khác ảnh khuôn ảnh khuôn mặt tạo từ mơ hình Thuật tốn AAM bất biến với phép biến đổi tương tự phép quay, phép dịch chuyển phép biến đổi tỉ lệ Nó thể biến thể hình dạng khuôn mặt Khi khuôn mặt bị thay đổi phép biến đổi tuyến tính tương tự đặc trưng trích chọn khơng thay đổi Cho trước mẫu hình dạng ban đầu, thuật tốn trích chọn đặc trưng hội tụ nhanh Trong trường hợp khn mặt bị che khuất có ảnh hưởng nhiễu lớn thuật tốn chưa thực hiệu Cài đặt thử nghiệm đánh giá kết Trích chọn đặc trưng mơ tả trạng thái cảm xúc khn mặt có nhiều ứng dụng khoa học thực tiễn Trong phần trình bày số phương pháp trích chọn đặc trưng mô tả trạng thái cảm xúc khuôn mặt ảnh Ở đây, tiến hành cài đặt thử nghiệm phương pháp trích chọn đặc trưng mơ tả trạng thái cảm xúc khn mặt sử dụng thuật tốn AAM đánh giá kết đạt Nhiệm vụ hệ thống trích chọn điểm đặc trưng mô tả trạng thái cảm xúc khuôn mặt từ ảnh đầu vào Các điểm đặc trưng thể cấu trúc đối tượng với tọa độ tương ứng với thể ảnh đầu vào Ngoài ra, hệ thống cịn có chức tổng hợp thể tương ứng với mẫu hình dạng đầu vào từ mơ hình xây dựng Đầu vào: Ảnh mặt người tập điểm điều khiển tương ứng Đầu ra: Tập điểm đặc trưng mô tả trạng thái cảm xúc khuôn mặt tương ứng với mặt ảnh đầu vào Phân tích tốn Mơi trường thu nhận khuôn mặt đa dạng thay đổi ánh sáng, biến đổi tỉ lệ, góc quay, … Hơn khn mặt đối tượng mà ln bị thay đổi thay đổi 35 Lê Thị Kim Nga, Phạm Thị Thanh Tuyền, Phạm Trần Thiện, Nguyễn Thị Anh Thi, Trần Thị Liên, Phùng Văn Minh biểu cảm khác khuôn mặt phụ kiện thường xuất khuôn mặt Do vậy, để trích chọn đặc trưng đạt hiệu ảnh thu nhận phải đảm bảo đủ ánh sáng, rõ nét, không bị ảnh hưởng phụ kiện tóc, râu, Từ đó, hệ thống tiến hành qua bước sau: v Bước 1: Xây dựng chương trình trích chọn tập điểm điều khiển mô tả trạng thái cảm xúc khuôn mặt ảnh theo thuật toán AAM v Bước 2: Đưa ảnh khn mặt vào tiến hành trích chọn điểm đặc trưng dựa chương trình xây dựng Kết trình ta thu tập hợp điểm đặc trưng mô tả trạng thái cảm xúc khuôn mặt quan tâm Như vậy, đầu vào toán ảnh mặt người, qua trình xử lý, chương trình cho đầu tập hợp điểu điều khiển thể đặc trưng mô tả trạng thái cảm xúc mặt Chúng tơi cài đặt thử nghiệm ngơn ngữ lập trình C++, môi trường phát triển Visual Studio 2008 với hỗ trợ thư viện mã nguồn mở OpenCV Tôi tiến hành thử nghiệm thuật toán hai tập liệu khác Trước tiên sở liệu ảnh mặt thu thập Markus Weber viện Công nghệ California Cơ sở liệu bao gồm 450 ảnh với kích thước 896 × 592 thu thập điều kiện khác ánh sáng, biểu khn mặt khác nhau, có ảnh với nhiều điều kiện ánh sáng phức tạp ánh sáng trời, chụp ngược sáng Cơ sở liệu tải từ địa http://www.vision.caltech.edu/Image_ Datasets/faces/faces.tar Kỹ thuật đề xuất thử nghiệm sở liệu thu kết trích chọn đặc trưng mơ tả trạng thái cảm xúc khn mặt 300/450 ảnh, xấp xỉ 66.67% Hình Một số ảnh mẫu (phía trái) ảnh trích chọn đặc trưng (phía phải) tương ứng, với sở liệu Markus Weber Kết thực nghiệm liệu Markus Weber không cao nguyên nhân sau: v Ảnh khn mặt có kích thước lớn (896 × 592) so với mẫu học chương trình có kích thước nhỏ (444 × 364) v Bị ảnh hưởng xấu râu quai nón, tóc chiếu sáng Ngồi ra, chúng tơi cịn tiến hành thực nghiệm với liệu tự thu thập trường Trung cấp Kinh tế - Kỹ thuật Bình Định Tập liệu thu thập nhiều điều kiện thu nhận khác ánh sáng, kiểu, hướng Tập liệu bao gồm 1.641 ảnh mặt người Trong có 1.000 khn mặt nam 641 khn mặt nữ, kích thước ảnh (640 × 480) Thuật tốn thực xác 1.581/1.641 ảnh, xấp xỉ 96% Những hình ảnh sau thể minh họa cho thực nghiệm với liệu tự thu thập nhóm tác giả Hình Một số ảnh mẫu (phía trái) ảnh trích chọn đặc trưng (phía phải) tương ứng, với liệu thu thập Trường Trung cấp Kinh tế - Kỹ thuật Bình Định 36 Tập 10, Số 4, 2016 Nhận xét: v Ảnh có kích thước tương ứng với ảnh huấn luyện chương trình cho kết xác v Ảnh rõ nét, khơng bị ảnh hưởng râu, tóc ảnh người châu Á thường cho kết xác v Kỹ thuật trích chọn đặc trưng biểu cảm cho trạng thái khác xác Hình số kết minh họa trích chọn đặc trưng biểu cảm cho trạng thái biểu cảm khuôn mặt Ảnh mẫu Ảnh trích chọn đặc trưng biểu cảm Ảnh mẫu Ảnh trích chọn đặc trưng biểu cảm Hình Trích chọn đặc trưng ảnh trạng thái cảm xúc khác 37 Lê Thị Kim Nga, Phạm Thị Thanh Tuyền, Phạm Trần Thiện, Nguyễn Thị Anh Thi, Trần Thị Liên, Phùng Văn Minh Kết luận Trích chọn đặc trưng mô tả trạng thái cảm xúc khuôn mặt vấn đề có nhiều ý nghĩa khoa học thực tiễn Kỹ thuật trích chọn đặc trưng biểu cảm khuôn mặt dựa vào mô hình hóa mơ hình xuất tích cực cho kết xác điều kiện thu nhận thay đổi tỉ lệ, ánh sáng phép biến đổi quay (rotation), đặc biệt với liệu khn mặt người Việt Kỹ thuật ứng dụng vào tốn phân tích trạng thái mô tả cảm xúc khuôn mặt, nhận dạng khuôn mặt, nhận dạng biểu cảm khuôn mặt, đánh giá độ hài lịng khách hàng thơng qua nét mặt, ứng dụng tương tác người máy, … TÀI LIỆU THAM KHẢO 10 11 12 13 14 15 16 17 18 38 A Samal and P.A Iyengar (1992), Automatic Recognition and Analysis of Human Faces and Facial Expressions: A Survey, Pattern Recognition, vol 25, no 1, pp 65-77 B Fasel and J Luttin (2003), Automatic Facial Expression Analysis: A survey, Pattern Recognition, vol 36, no 1, pp 259-275 G Tzimiropoulos, J Alabort i medina, S Zafeiriou, and M Pantic (2012), Generic active appearance models revisited, in ACCV G Tzimiropoulos, and M Pantic (2013), Optimization problems for fast AAM fitting in-the-wild, ICCV J Peyras, Adrien Bartoli, and Samir Khoualed (2008), “Pools of AAMs: Towards Automatically Fitting any Face Image”, BMVC, British Machine Vision Association Jon Shlens (2003), A tutorial on principal component analysis,Version IEEE Xplore  2003; 2952-2957 M Zhou, L Liang, J Sun, Y Wang, (2010), AAM based face tracking with temporal matching and face segmentation, Comput Vis Pattern Recognit, pp 701–708 S Yan, C Liu, S Z Li, H Zhang, H.-Y Shum, and Q Cheng (2002), Texture-constrained active shape models, in Proceedings of the International Workshop on Generative Model Based Vision T.F Cootes, G.J.Edwards, and C.J.Taylor (1998), Active appearance model, In Proc.5th European Conference on Computer Vision, Freiburg, Germany T.F Cootes, G.J Edwards, C.J Taylor (2001), Active Appearance Models, in: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 6, pp 681-685 X Gao, Y Su, X Li, and D Tao (2010), A review of active appearance models, IEEE Transactions on Systems, Man and Cybernetics C: Applications and Reviews, vol 40, no 2, pp 145–158 Y.L.Tian, T.Kanade, J.Cohn (2001), Recognizing action units for facial expression analysis, IEEE Transactions on Pattern Analysis and machine Intelligence PGS TS Mỵ Vinh Quang (2006), Bài 16 Vectơ riêng - Giá trị riêng ma trận phép biến đổi tuyến tính - Chéo hóa, địa chỉ: http://hocdethi.blogspot.com/ 2012/10/dai-so-co-ban-thi-thac-sitoan-hoc-bai-16.html, [ truy cập ngày 24/5/2015] Sức mạnh ngôn ngữ không lời (2011), Trạng thái cảm xúc biểu qua nét mặt, địa chỉ: http://cuasomoi.vn/ngon-ngu-co-the/1555974/11072001/ trang-thai-cam-xuc-bieu-hien-qua-net-mat.ttn, [truy cập ngày 20/4/2015] Emmanuel Goossaert (2010), Active Appearance Models in C++ (Paamela), address: http://codecapsule.com/2010/08/12/active-appearance-models-in-c-plus-plus/, [accessed: 2015 June 15] Iphvu::iLearn (2011), PCA- Principal Component Analysis, address: http://phvu.net/2011/10/05/ pca-principal-component-analysis/, [accessed: 2015 May 26] ... xác v Kỹ thuật trích chọn đặc trưng biểu cảm cho trạng thái khác xác Hình số kết minh họa trích chọn đặc trưng biểu cảm cho trạng thái biểu cảm khn mặt Ảnh mẫu Ảnh trích chọn đặc trưng biểu cảm. .. suy hình dạng khn mặt từ trích chọn đặc trưng biểu cảm khn mặt [3][6][8].  Việc mô lại biểu cảm khuôn mặt dựa vào đặc trưng thực chất việc nội suy nhằm tính lại bề mặt 3D khn mặt dựa theo đặc trưng. .. luận Trích chọn đặc trưng mơ tả trạng thái cảm xúc khuôn mặt vấn đề có nhiều ý nghĩa khoa học thực tiễn Kỹ thuật trích chọn đặc trưng biểu cảm khn mặt dựa vào mơ hình hóa mơ hình xuất tích cực