Như đã nói ở trên, trích rút đặc trưng biểu cảm khuôn mặt trong ảnh là một khâu quan trọng trong một hệ thống phân tích ảnh khuôn mặt mà mục tiêu cuối là nhận dạng hoặc mô phỏng biểu hiện khuôn mặt [5]. Những hệ thống này sẽ có những yêu cầu và ràng buộc cụ thể rất khác nhau.
Trong một hệ thống xác thực và giám sát mặt người từ luồng video trực tuyến thu tại những địa điểm không có yêu cầu cao về tính bảo mật và chuyên biệt như cửa vào một cơ quan, thang máy, hành lang của một tòa nhà… thông thường hệ thống sẽ yêu cầu xác thực và giám sát với cả những cá nhân không
có đăng ký trước trong cơ sở dữ liệu, cần thiết phải có những chức năng tự động phát hiện toàn bộ những khuôn mặt trên dòng video trong thời gian thực, đặc biệt là những khuôn mặt có sự chuyển động, đăng ký những thông tin sinh trắc học đầy đủ của mỗi đối tượng, chẳng hạn như có thể với nhiều hướng nhìn khác nhau và góc quay của chúng, đặc biệt các đặc trưng biểu hiện khuôn mặt là một trong những thông tin quan trọng để quyết định chất lượng của hệ thống. Mỗi đối tượng cần được theo dõi liên tục và tự động mà không cần có sự đăng ký cụ thể với cơ sở dữ liệu tại máy chủ, việc đăng ký có thể hiểu đơn giản như việc gán nhãn một đối tượng trên luồng video. Hệ thống sẽ cần phải thực hiện những thao tác này một cách liên tục, một yêu cầu được lựa chọn là việc xác định và đăng ký đối tượng nên có sự liên hệ với cả quá trình hoạt động trước đó cũng như những việc dự báo tương lai, việc ghi nhật ký máy và tiến hành xây dựng các bảng thống kê về các đối tượng và mật độ di chuyển trên từng vùng nói chung và riêng các đối tượng cũng như tương ứng các khoảng thời gian cần quan tâm. Nói chung, trong hệ thống này, đòi hỏi các thuật toán trích rút đặc trưng được thực hiện một cách nhanh chóng và có sự kết hợp với thông tin về thời gian, cụ thể là thông tin về trạng thái trước của đối tượng. Theo các yêu cầu đó, thông thường các giải thuật được thiết kế sẽ dựa trên một mô hình giám sát đối tượng cùng với việc triển khai các phương pháp phát hiện các chuyển động cục bộ cũng như toàn cục trên khung hình và tìm cách ánh xạ những thông tin này vào một mô hình cử động khuôn mặt và từ đó có thể xác định các tham số biến dạng của khuôn mặt.
Với các chương trình biên tập ảnh chân dung, thường hỗ trợ cho những người không cần có quá nhiều kiến thức chuyên sâu về đồ họa và do đó, chương trình xây dựng nhiều tác vụ tự động và những thao tác khá gần với cách hiểu thông thường của con người trong lĩnh vực trang điểm và làm đẹp. Chẳng hạn như chỉnh hình toàn bộ hoặc một phần trong khuôn mặt, hiệu chỉnh một số đặc
trưng xấu trên da như đốm tàn nhang và mụn nhọn, làm mịn, làm dày, làm bóng và nhuộm tóc, giảm thiểu và loại bỏ các vùng nếp nhăn, loại bỏ các vùng dầu, vùng mồ hôi và bóng sáng trên da, hiệu chỉnh sự chiếu sáng trên vùng mặt, loại bỏ hiệu ứng mắt đỏ, đổi màu mắt, làm trắng răng, làm sáng mắt, làm nét lông mày, mi mắt, mũi miệng… Để có thể hoàn thành được các tác vụ đó và đảm bảo sự thay đổi vẫn mang cảm giác tự nhiên cho người xem hình, một yêu cầu gần như bắt buộc là phải xác định được một cách chính xác các điểm đặc trưng cho các thành phần khuôn mặt, chẳng hạn như các điểm góc mắt, các điểm cạnh môi, điểm mũi, đường viền cằm… Do vậy, các giải thuật được thiết kế thường không yêu cầu cao về tốc độ thực hiện, nói chung sẽ không yêu cầu thời gian thực chỉ cần không chậm đến mức gây khó chịu cho người sử dụng; kế đến là yêu cầu độ chính xác thật cao trong việc xác định tập điểm đặc trưng chi tiết trên khuôn mặt và do chương trình cũng không yêu cầu phải tự động hoàn toàn nên một hướng tiếp cận được quan tâm đặt ra là một kịch bản sử dụng bán tự động yêu cầu người dùng chọn một lượng giới hạn các điểm trên khuôn mặt như góc miệng, góc mắt, đỉnh mũi để làm cơ sở cho việc tính toán nốt các điểm đặc trưng chi tiết khác trên khuôn mặt.
Chương 2: MỘT SỐ KỸ THUẬT LỰA CHỌN, TRÍCH RÚT, GHI NHẬN TRẠNG THÁI BIỂU CẢM MẶT NGƯỜI