Một kỹ thuật nhận dạng biểu cảm khuôn mặt dựa trên mô hình chất liệu

Kỹ thuật nhận dạng khuôn mặt phát hiện cảm xúc của người dựa trên các biểu hiện trên khuôn mặt của họ (vui, buồn, ghê tởm, bất ngờ, tức giận, biểu cảm sợ hãi) là kỹ thuật phát hiện đối tượng nâng cao. Bài viết này trình bày một kỹ thuật phát hiện khuôn mặt dựa trên mô hình chất liệu và nhận dạng cảm xúc.

Huỳnh Cao Tuấn, Đỗ Năng Tồn, Nguyễn Thanh Bình MỘT KỸ THUẬT NHẬN DẠNG BIỂU CẢM KHUÔN MẶT DỰA TRÊN MƠ HÌNH CHẤT LIỆU Huỳnh Cao Tuấn*, Đỗ Năng Tồn+, Nguyễn Thanh Bình#, Lâm Thành Hiển* + Viện Cơng Nghệ Thông Tin – Đại Học Quốc Gia Hà Nội # Học viện Cơng Nghệ Bưu Viễn thơng * Trường Đại học Lạc Hồng Tóm tắt: Kỹ thuật nhận dạng khuôn mặt phát cảm xúc người dựa biểu khuôn mặt họ (vui, buồn, ghê tởm, bất ngờ, tức giận, biểu cảm sợ hãi) kỹ thuật phát đối tượng nâng cao Điều tìm thấy ứng dụng lĩnh vực kỹ thuật Human-computerInteraction (HCI) giám sát an ninh Nó thường yêu cầu xử lý định nhanh Bài báo trình bày kỹ thuật phát khn mặt dựa mơ hình chất liệu nhận dạng cảm xúc Từ khóa: facical expression recognition, biometric recognition, emotion recognition I GIỚI THIỆU Việc nhận biết biểu khuôn mặt để phát cảm xúc người dựa biểu Biểu cảm khuôn mặt nghiên cứu ứng dụng nhiều lĩnh vực khác như: hệ thống xác lái xe an toàn với mục tiêu tự động phát tình trạng mệt mỏi người lái xe làm giảm khả đề phòng rủi ro người lái xe, đồng thời hệ thống hỗ trợ đưa biện pháp phù hợp để phòng tránh tai nạn[1], ứng dụng lĩnh vực y học với việc chẩn đốn biểu tâm lý thơng qua biểu cảm gương mặt, Các nghiên cứu liên quan đến trạng thái cảm xúc khoa học hành vi, tâm thần học, thần kinh học: nhằm cải tiến việc xử lý liệu trạng thái cảm xúc hiệu hơn, độ xác cao hơn[2,3], Giáo dục: hệ thống giảng dạy nhận dạng cảm xúc trạng thái tiếp thu học sinh Bài toán bao gồm ba bước chính: phát khn mặt người có ảnh dựa mơ hình chất liệu, rút trích đặc trưng phân loại biểu cảm xúc Số lượng nghiên cứu thực bước đáng kể đáng ý Phần lại báo trình bày sau: Nội dung giải thích phần II Tổng kết đánh giá thực nghiệm trình bày phần III Các nhận xét kết luận đưa phần IV Hình Biểu đồ luồng nhận dạng biểu cảm II TRÍCH RÚT ĐẶC TRƯNG BIỂU CẢM KHN MẶT 1) Mơ hình hình dạng (Active Apperance Models) AAM (active appearance model) thuật toán phổ biến lĩnh vực thị giác máy nhằm mục tiêu tối ưu mơ hình thống kê hình ảnh thể đối tượng vào ảnh đầu vào mới, kết trình tối ưu điểm điều khiển thể cấu trúc đối tượng học với tọa độ tương ứng với thể ảnh đầu vào đối tượng với tham số mơ hình thống kê ước lượng mà từ tham số mơ hình này, ta dễ dàng tái cấu trúc hình dạng kết cấu hình ảnh đối tượng tương ứng cách tương thể đối tượng ảnh thử nghiệm Trong AAM, đối tượng quan tâm mơ hình hóa tập điểm mơ tả hình dạng kết cấu hình ảnh nó, kết cấu hình ảnh lấy mẫu giá trị cường độ ảnh vùng giới hạn tập điểm điều khiển Mơ hình thống kê đối tượng đảm bảo mơ tả biến thể hình dạng biến thể kết cấu hình ảnh mối tương quan chúng Các vấn đề bật quan tâm phương pháp việc xây dựng mơ hình thống kê cho đối tượng ảnh việc thiết kế thuật tốn tối ưu để thực tìm kiếm Xây dựng mơ hình thống kê tốn học cho đối tượng bao gồm việc xây dựng mơ hình mơ hình thống kê tốn học cho hình dạng, mơ hình mơ hình thống kê tốn học cho kết cấu hình ảnh việc kết hợp hai mơ hình để mơ hình cho đối tượng Tác giả liên hệ: Huỳnh Cao Tuấn Email: caotuan@lhu.edu.vn Đến tòa soạn: 11/2018, chỉnh sửa: 12/2018, chấp nhận đăng: 12/2018 SỐ (CS.01) 2018 TẠP CHÍ KHOA HỌC CƠNG NGHỆ THƠNG TIN VÀ TRUYỀN THÔNG 22 MỘT KỸ THUẬT NHẬN DẠNG BIỂU CẢM KHN MẶT DỰA TRÊN MƠ HÌNH CHẤT LIỆU 2) Mơ hình kết cấu hình ảnh Sau mơ hình hóa đối tượng hình dạng, ta thực tiếp q trình mơ hình hóa kết cấu hình ảnh đối tượng quan tâm ảnh Ở đây, kết cấu hình ảnh đối tượng hiểu giá trị cường độ ảnh giới hạn vùng ảnh bao đối tượng hình dạng tương ứng Hình Phép biến đổi Similarity Mơ hình hình dạng đối tượng biểu diễn tập hợp có thứ tự điểm điều khiển Một vấn đề quan trọng xây dựng mơ hình việc cần thiết phải lựa chọn điểm điều khiển phù hợp với loại đối tượng cần mơ hình hóa Khi xây dựng tập liệu huấn luyện, tập liệu bao gồm tập ảnh đối tượng với thông tin đánh tập điểm điều khiển mô tả thể đối tượng quan tâm tương ứng ảnh Đối tượng hình học tập hợp có đánh thứ tự điểm điều khiển mơ tả hình dạng đối tượng ảnh quan tâm, biểu diễn n điểm không gian d chiều, thể vector nd chiều với giá trị vector giá trị tọa độ cụ thể trục khơng gian điểm Ví dụ, ảnh chiều, ta mơ tả n điểm điều khiển,  xi , yi , thành vector 2n thành phần: x  x1 , , xn , y1 , , y n  T Sau thể lại đối tượng hình dạng thành vector tương ứng, thực mơ hình hóa liệu tập vector Bước đầu thực chuẩn hóa đối tượng hình dạng vào chung khơng gian tọa độ nhằm chuẩn hóa đối tượng hình dạng để tổng khoảng cách đối tượng hình dạng tới kỳ vọng chúng 2  n D    xi  x   i 1  đạt cực tiểu dựa PCA Sau mơ hình hóa đối tượng hình dạng, thực tiếp q trình mơ hình hóa kết cấu hình ảnh đối tượng quan tâm ảnh Kết cấu hình ảnh đối tượng hiểu giá trị cường độ ảnh giới hạn vùng ảnh bao đối tượng hình dạng tương ứng Dữ liệu đối tượng hình dạng kết cấu hình ảnh đối tượng quan tâm mẫu biểu diễn dạng tham số Vấn đề thực mơ hình hóa tổng qt cho liệu tương tự phương pháp lựa chọn phân tích thành phần PCA Giải thuật tìm kiếm tối ưu sử dụng AAM thiết kế cho phép tự động ước lượng tham số mơ hình mà tổng hợp ảnh mẫu gần với ảnh mục tiêu đầu vào nhằm mục đích cực tiểu sai lệch ảnh mẫu đầu vào ảnh tổng hợp theo mô hình lựa chọn.[4] SỐ (CS.01) 2018 Quá trình lấy liệu kết cấu hình ảnh tác giả thực qua hai bước Đầu tiên thực q trình tam giác hóa tập điểm điều khiển để lấy tập vùng ảnh bước thực trình biến đổi hình học phần ảnh tương ứng với tam giác tính tốn ghi lại đối tượng hình học tiêu chuẩn chọn trước cụ thể theo phép biến đổi affine Phép biến đổi gọi Piece-wise Affine Hình Đối tượng hình dạng kết cấu hình ảnh Mỗi mẫu kết cấu hình ảnh lấy có chứa nhiều biến dạng gây chiếu sáng thu nhận ảnh 3) Mơ hình chất liệu khn mặt Mơ hình chất liệu mặt nhằm ràng buộc tập điểm điều khiển không gian khuôn mặt kể điều kiện ánh sáng thay đổi phức tạp Chất liệu ảnh mặt mơ hình hóa dựa vào bề mặt chất liệu da cấu trúc hình học vùng mặt Trong báo này, chất liệu khn mặt quan tâm có số tính chất bao gồm chất liệu da cục bộ, đặc trưng thể cho vùng da mặt khuôn mặt ảnh, phạm vi khuôn mặt giới hạn tương đối hình ellipse bao quanh vị trí khn mặt.[4] Vấn đề ta quan tâm đến việc xây dựng chất liệu da cục tách da Da thành phần cấu tạo nên chất liệu mặt, để xây dựng mơ hình chất liệu mặt vấn đề quan trọng phải xác định pixel da thực phân cụm pixel thành nhóm da nhóm khơng da Trong bước ta phải duyệt qua điểm ảnh vào Tại điểm, ta phải xác định xem có phải màu da hay khơng? Nếu màu da, ta gán cho giá trị điểm 1, khơng ta gán giá trị Kết ta có ảnh nhị phân, với điểm (điểm trắng) điểm màu da Trong nhiều nghiên cứu, tác giả cố gắng xây dựng mơ hình chất liệu da tổng quát, ví dụ C Garcia, G Zikos, G Tziritas TẠP CHÍ KHOA HỌC CƠNG NGHỆ THƠNG TIN VÀ TRUYỀN THƠNG 23 Huỳnh Cao Tuấn, Đỗ Năng Tồn, Nguyễn Thanh Bình [5] đưa cơng thức xây dựng hai hệ màu YCrCb HSV hay K Sandeep A.N Rajagopalan [6] xây dựng mơ hình chất liệu da với histogram tổng hợp tập ảnh màu da (tập ảnh mẫu chuẩn bị trước), hệ màu RGB mà hệ màu HSV thành phần H S (histogram chiều) Chúng quan tâm đến việc xây dựng mơ hình chất liệu da cục bộ, tức công thức tạo với riêng khuôn mặt quan tâm ảnh Đây sở để áp dụng cho trường hợp khuôn mặt thu nhận điều kiện chiếu sáng chủng tộc khác Một cách tổng qt, mơ hình chất liệu da ci , ri , i  n ci , ri tương Output: Ảnh mặt nạ M kết phân ngưỡng   p1 , p2 , , pn  điểm ảnh I : d:=0; for i:=1 to n d:=d+((pi – ci)/ri)2; if(d