Báo cáo nghiên cứu khoa học kỹ thuật định danh khuôn mặt dựa vào mẫu nhị phân

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN - n go i Sa rn te In lU na io at Lê Bùi Phương An Nguyễn Lê Huy Phất BÁO CÁO ty i rs ve ni KỸ THUẬT ĐỊNH DANH KHUÔN MẶT DỰA VÀO MẪU NHỊ PHÂN NGHIÊN CỨU KHOA HỌC Ngành: Khoa học máy tính TP HỒ CHÍ MINH, tháng năm 2021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GÒN - n go i Sa at rn te In na io VÕ ANH TIẾN BÁO CÁO ty i rs ve ni lU KỸ THUẬT ĐỊNG DANH KHUÔN MẶT DỰA VÀO MẪU NHỊ PHÂN NGHIÊN CỨU KHOA HỌC Ngành: Khoa học máy tính CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS VĂN THIÊN HOÀNG TP HỒ CHÍ MINH, tháng năm 2021 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC QUỐC TẾ SÀI GỊN Giảng viên hướng dẫn khoa học: ThS Võ Anh Tiến (Ghi rõ họ, tên, học hàm, học vị chữ ký) go i Sa Đề tài bảo vệ t r n g Đại học Quốc tế Sài Gòn ngày … tháng … năm … Thành phần Hội đồng đánh giá đề tài gồm: n te In Họ tên Chức danh Hội đồng Chủ tịch Phản biện Phản biện Ủy viên Ủy viên, Thư ký ni lU na io at rn TT i rs ve Xác nhận Chủ tịch Hội đồng đánh giá đề tài sau đề tài sửa chữa (nếu có) ty Chủ tịch Hội đồng đánh giá đề tài CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc TRƯỜNG ĐH QUỐC TẾ SÀI GỊN KHOA CƠNG NGHỆ THÔNG TIN TP HCM, ngày … tháng… năm 20 … NHIỆM VỤ ĐỀ TÀI Họ tên học viên: Giới tính: Ngày, tháng, năm sinh: Nơi sinh: i Sa MSSV: Ngành: Khoa học máy tính n go I- Tên đề tài: te In Kỹ thuật định danh khuôn mặt dựa vào mẫu nhị phân II- Nhiệm vụ nội dung: io at rn na Nhiệm vụ tổng quát đề tài là: Đề xuất phương pháp để định danh lU khuôn mặt dựa vào mẫu nhị phân, sở nghiên cứu hướng tiếp cận mẫu nhị phân liên quan nhằm đạt độ xác nhận dạng khn mặt cao (so với ty V- Giảng viên hướng dẫn: ThS Võ Anh Tiến i rs IV- Ngày hoàn thành nhiệm vụ: ve III- Ngày giao nhiệm vụ: ni phương pháp Kra'l đồng sự) GIẢNG VIÊN HƯỚNG DẪN (Họ tên chữ ký) KHOA QUẢN LÝ (Họ tên chữ ký) LỜI CAM ĐOAN Chúng xin cam đoan cơng trình nghiên cứu riêng chúng tơi Các số liệu, kết nêu đề tài trung thực chưa công bố cơng trình khác Chúng tơi xin cam đoan giúp đỡ cho việc thực đề tài gốc go i Sa cảm ơn thơng tin trích dẫn đề tài rõ nguồn Sinh viên thực n ity rs ve ni lU na io at rn te In i LỜI CẢM ƠN Để hoàn thành đề tài này, chúng em xin tỏ lòng biết ơn sâu sắc đến ThS Võ Anh Tiến, người tận tình hướng dẫn suốt q trình viết luận văn Tơi xin chân thành cảm ơn quý Thầy, Cô khoa Công nghệ thông tin, trường Đại học Quốc tế Sài Gịn tận tình truyền đạt kiến thức Với vốn kiến i Sa thức tiếp thu trình học khơng tảng cho q trình nghiên go cứu mà hành trang quý báu để chúng em bước vào đời cách vững tự tin n In te Cuối cùng, xin kính chúc q Thầy, Cơ dồi sức khỏe thành công at rn nghiệp, đạt nhiều thành công tốt đẹp công việc sống ity rs ve ni lU na io Sinh viên thực ii TĨM TẮT Nghiên cứu trình bày phương pháp cho nhận dạng khuôn mặt dựa vào mẫu nhị phân cục (LBP) Mẫu nhị phân cục xem xét điểm xung quanh điểm trung tâm vùng nhị phân cục để tính tốn đặc trưng đặc điểm riêng biệt khuôn mặt, bị ảnh hưởng nhiễu, độ lệch điều kiện ánh sáng Trong nghiên cứu này, đề xuất phương pháp mẫu nhị phân bền vững (RLBP) nhằm mở rộng, xem xét nhiều điểm ảnh khác để tính vector đặc trưng, đồng thời xét thêm điểm trung tâm so với trung bình i Sa điểm vùng cục Nhờ việc giảm cường độ điểm ảnh xem xét giá trị điểm go trung tâm nên phương pháp đề xuất loại bỏ nhiễu tốt, không bị ảnh hưởng điều n kiện ánh sáng Phương pháp đề xuất thử nghiệm hai liệu: ORL [1], YaleB te In [2] Qua thực nghiệm cho thấy, phương pháp đề xuất đề tài đạt độ đo xác tốt phương pháp khác ity rs ve ni lU na io at rn iii ABSTRACT This paper presents a new method for face recognition based on local binary pattern (LBP) Local binary samples look at points around the central point in the binary locality to calculate specific facial features and characteristics, but are affected by noise, deviation, and light conditions In this study, a robust binary sample (RLBP) model was proposed to expand, considering various pixels for vector specificity, while adding a central point to the average of points in the lump area By reducing the pixel intensity i Sa and considering the center point value, the proposed method eliminates interference, go which is not affected by lighting conditions The proposed method was tested on three n sets of data: ORL [1], YaleB [2] Experimental results show that the method proposed in ity rs ve ni lU na io at rn te In this thesis has better accuracy than other methods iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN .ii TÓM TẮT iii ABSTRACT iv i Sa MỤC LỤC v go DANH MỤC TỪ VIẾT TẮT VÀ TỪ KHÓA viii n In DANH MỤC BẢNG x TỔNG QUAN at CHƯƠNG rn te DANH MỤC HÌNH VẼ xi Giới thiệu 1.2 Hệ thống nhận dạng khuôn mặt 1.3 Mục tiêu đề tài 1.4 Bố cục luận văn CHƯƠNG CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN ity 2.1 rs ve ni lU na io 1.1 Các hướng tiếp cận rút trích đặc trưng mặt người 2.1.1 Hướng tiếp cận biểu diễn đặc trưng không gian 2.1.2 Biểu diễn đặc trưng dựa vào không gian – thời gian 16 2.1.3 Hướng tiếp cận rút trích đặc trưng dựa vào giảm chiều 22 2.2 Các hướng tiếp cận liên quan đến phương pháp nghiên cứu đề tài 24 2.2.1 Đặc trưng mẫu nhị phân cục 24 v 2.2.2 Đặc trưng mẫu nhị phân bất biến 27 2.2.3 Đặc trưng mẫu nhị phân cải tiến 28 2.2.4 Đặc trưng mẫu tam phân cục 29 2.2.5 Đặc trưng mẫu nhị phân cục chuẩn hóa 30 2.2.6 Đặc trưng mẫu nhị phân tăng cường 30 2.3 Kết luận 32 i Sa CHƯƠNG PHƯƠNG PHÁP RÚT TRÍCH ĐẶC TRƯNG ĐỀ XUẤT 33 go Ý tưởng thuật toán 33 3.2 Ví dụ minh họa 36 3.3 Kết luận 37 n 3.1 rn te In KẾT QUẢ THỰC NGHIỆM 38 at CHƯƠNG Môi trường sở liệu thực nghiệm 38 4.2 Kết thực nghiệm sở liệu ORL 38 lU na io 4.1 Thống kê vét lân cận cạn 40 4.2.2 Thống kê vét lân cận sâu 44 4.2.3 Phương pháp thống kê 45 4.2.4 Nhận xét 45 ity rs ve 4.3 ni 4.2.1 Kết thực nghiệm sở liệu yaleB 46 4.3.1 Thống kê lân cận cạn 48 4.3.2 Thống kê lân cận sâu 51 4.3.3 Phương pháp thống kê 52 4.3.4 Nhận xét 53 vi Và biểu đồ so sánh kết đạt sau thống kê lân cận 16, hình 4.10 n go i Sa In Hình 4.10: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với thuật toán khác rn te sở liệu YaleB 4.3.1.3 Thống kê vét cạn tổng hợp at Đây bảng thống kê vét cạn, tổng hợp độ đo xác (%) đạt thuật tốn io na RLBP8,1, RLBP16,1 đề xuất với thuật toán khác, bảng 4.7 ity rs ve ni lU Bảng 4.7: Liệt kê tổng hợp độ đo xác (%) thống kê vét lân cận cạn 50 Và biểu đồ so sánh kết đạt sau thống kê độ đo xác (%) đạt thuật tốn RLBP8,1, RLBP16,1 đề xuất với thuật toán khác, hình 4.11 n go i Sa te In 4.3.2 Thống kê lân cận sâu na io 4.3.2.1 Thống kê lân cận 16 at rn Hình 4.11: Biểu đồ so sánh thống kê vét lân cận cạn tổng hợp sở liệu YaleB lU Đối với thống kê lận cận 16, xét lận cận ( lân cận 8) Sau lấy giá trị trung bình hai lân cận, kết đạt bảng 4.8 ve d(LBP16,1) = (LBP16,1 + LBP8,1)/2 ni Ví dụ: rs Bảng 4.8: Liệt kê độ đo phần trăm đạt thuật toán RLBP16,1 đề xuất so ity với thuật toán khác sở liệu YaleB 51 Và biểu đồ so sánh kết đạt sau thống kê lân cận 16, hình 4.12 n go i Sa at 4.3.3 Phương pháp thống kê sở liệu YaleB rn te In Hình 4.12: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với thuật tốn khác io  Chúng tơi thực thống kê giống thống kê khác toàn sở liệu: na Với thống kê giống, dùng 15 ảnh huấn luyện so khớp với 15 ảnh kiểm tra cịn lại lU người Cứ thực thống kê cho hết tất 38 người có sở ve ni liệu, người so khớp 15 lần, có 570 giá trị thống kê giống đạt phương pháp rs ity Với thống kê khác, dùng 15 ảnh huấn luyện người so khớp với 15 ảnh kiểm tra người Cứ thực lặp lại cho hết tất 40 người có sở liệu, người so khớp 15 lần, có 570 giá trị thống kê khác đạt phương pháp Sau có giá trị thống kê giống giá trị thống kê khác, cho so sánh giá trị thống kê giống lớn giá trị thống kê khác 1, ngược lại 0, thực so sánh tương tự cho hết tổng số lần thống kê giống thống kê khác Có tổng số 52 lần so sánh đem chia tổng số lần thống kê nhân với 100 có độ đo xác phần trăm (%) cho phương pháp 4.3.4 Nhận xét Xét trường hợp thống kê số liệu thống kê lân cận cạn thống kê lân cận sâu sở dự liệu YaleB, thuật tốn RLBP đề xuất cho thấy độ xác đạt độ đo xác (%) cao thuật tốn cịn lại qua kích thước đặc trưng khác với vùng lận cận khác ( xét thêm vùng lân cận kích thước x pixel) i Sa Tuy nhiên xét kích thước x pixel RLBP16,1 chưa đạt kết cao tuyệt đối so go với phương pháp khác cùng kích thước tương tự Như kết luận n thuật toán RLBP8,1 đề xuất nghiên cứu đạt kết mong In đợi nhận dạng khn mặt có độ xác cao 100% rn te 4.4 Thời gian thực at Thời gian trung bình thực rút trích đặc trưng tổng số ảnh mẫu người, na io áp dụng qua phương pháp cho sở liệu So sánh thời gian phương pháp tính ( mini giây), thấy phương pháp nhị phân lU rút trích đặc trưng khn mặt tiêu tốn thời gian ( tính nhỏ nhất) Các số ve ni liệu thời gian chứng minh bảng 4.13 rs Bảng 4.9 : So sánh thời gian thực rút trích đặc trưng phương pháp ity tổng số ảnh mẫu người cho sở liệu tính ( mini giây) 53 n go i Sa ity rs ve ni lU na io at rn te In 54 CHƯƠNG KẾT LUẬN 5.1 Kết làm Nhận dạng khuôn mặt toán đặt nhiều thách thức cho nhiều nhà nghiên cứu việc phát triển, khuôn mặt thu nhận theo nhiều điều kiện góc độ khác nên chịu ảnh hưởng nhiều tác động ánh sáng , tư thế, biểu cảm che khuất Chính có nhiều nhà nghiên cứu đưa nhiều phương pháp đề xuất khác nhằm giải toán đầy phức tạp thách thức cho nhận dạng i Sa khuôn mặt Trong luận văn này, nghiên cứu tìm hiểu số cơng trình nghiên cứu go liên quan thực đề xuất trước gần năm 2017 Dựa vào n tảng có, nghiên cứu đề xuất phương pháp mẫu nhị phân bền vững ( te In RLBP) nhằm giảm cường độ điểm ảnh, loại bỏ nhiễu không bị ảnh hưởng ánh rn sáng chịu tác động môi trường xung quanh Qua đó, kết thực nghiệm at thực hai liệu ORL [1] YaleB [2], điều chứng minh hiệu na io phương pháp đề xuất nhằm giải cho toán nhận dạng mặt người Tuy nhiên, theo hướng mở rộng kích thước x pixel, độ đo xác cao lU không thật ổn định nhiều sở liệu khác nhau, điều thử nghiệm ve ni hai sở liệu luận văn Như khẳng định rằng, với phương pháp đề xuất luận văn này, xét đặc trưng kích thước x pixel đáp ứng yêu cầu rs nhận dạng khuôn mặt ổn định độ đo xác cao so với phương pháp khác ity kích thước 5.2 Hướng phát triển Mục tiêu cho phát triển nghiên cứu này, trọng đến canh chỉnh độ quay khn mặt, che khuất tồn diện nhằm tạo ảnh chuẩn nâng cao hiệu nhận dạng đạt độ xác tốt TÀI LIỆU THAM KHẢO A Internet 55 [1] http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html [2] http://vision.ucsd.edu/~iskwak/ExtYaleDatabase/ExtYaleB.html B Tiếng Anh [3] S.Z Li and A.K Jain, eds (2005) Handbook of Face Recognition, Springer, London [4] T Ahonen, A Hadid, and M Pietikainen (2006) ‘Face description with local i Sa binary patterns: Application to face recognition’ IEEE Trans Pattern Anal go Mach Intell., vol 28, no 12, pp 2037– 2041 P N Belhumeur, J Hespanha, and D J Kriegman (1997) ‘Eigenfaces vs n [5] In fisherfaces: Recognition using class specific linear projection’ IEEE Trans te Y Bengio, P Lamblin, D Popovici, and H Larochelle (2007) ‘Greedy layer- at [6] rn Pattern Anal Mach Intell., vol 19, no 7, pp 711–720 160 lU [7] na io wise training of deep networks’ In Proc Adv Neural Inf Process Syst., pp 153– Z Cao, Q Yin, X Tang, and J Sun (2010) ‘Face recognition with learning-based ni descriptor’ in Proc IEEE Conf Comput Vis Pattern Recog., pp 2707–2714 ve [8] Y Gong and S Lazebnik (2011) ‘Iterative quantization: A procrustean approach rs ity to learning binary codes’ In Proc IEEE Conf Comput Vis Pattern Recog., pp 817–824 [9] G E Hinton, S Osindero, and Y.-W The (2006) ‘A fast learning algorithm for deep belief nets’ Neural Comput., vol 18, no 7, pp 1527–1554 [10] G B Huang, H Lee, and E Learned-Miller (2012) ‘Learning hierarchical representations for face verification with convolutional deep belief networks’ In Proc IEEE Conf Comput Vis Pattern Recog., pp 2518–2525 [11] S U Hussain, T Napoleon, F Jurie (2012) ‘Face recognition using local quantized patterns’ In Proc Brit Mach Vis Conf., pp 1–12 56 [12] A.Hyvarinen, J Hurri, and P O Hoyer (2009) ‘Independent component analysis’ Natural Image Statist., vol 39, pp 151–175 [13] J Kittler, A Hilton, M Hamouz, and J Illingworth (2004) ‘3d assisted face recognition: A survey of 3d imaging, modelling and recognition approachest’ In Proc Eur Conf Comput Vis., pp 469–481 [14] Q V Le, A Karpenko, J Ngiam, and A Y Ng (2011) ‘Ica with reconstruction cost for efficient overcomplete feature learning’ In Proc Adv Neural Inf i Sa Process Syst., pp 1017–1025 go [15] Z Lei, M Pietikainen, and S Z Li (2014) ‘Learning discriminant face n descriptor’ IEEE Trans Pattern Anal Mach Intell., vol 36, no 2, pp 289–302 In [16] X Li, C Shen, A R Dick, and A van den Hengel (2013) ‘Learning compact rn te binary codes for visual tracking’ In Proc IEEE Conf Comput Vis Pattern Recog., pp 2419–2426 at io [17] C Liu and H Wechsler (2002) ‘Gabor feature based classification using the na enhanced Fisher linear discriminant model for face recognition’ IEEE Trans lU Image Process., vol 11, no 4, pp 467–476 ni [18] J Lu, Y.-P Tan, and G Wang (2013) ‘Discriminative multimanifold analysis for rs Anal Mach Intell., vol 35, no 1, pp 39– 51 ve face recognition from a single training sample per person’ IEEE Trans Pattern ity [19] M Norouzi, D Fleet, and R Salakhutdinov (2012) ‘Hamming distance metric learning’ In Proc Adv Neural Inf Process Syst., pp 1070–1078 [20] S Rifai, P Vincent, X Muller, X Glorot, and Y Bengio (2011) ‘Contractive auto-encoders: Explicit invariance during feature extraction’ In Proc Int Conf Mach Learn., pp 833–840 [21] T Trzcinski and V Lepetit (2012) ‘Efficient discriminative projections for compact binary descriptors’ In Proc Eur Conf Comput Vis., pp 228–242 57 [22] M Turk and A Pentland (1991) ‘Eigenfaces for recognition’ J Cogn Neurosci., vol 3, no 1, pp 71–8 [23] J Wang, S Kumar, and S.-F Chang (2010) ‘Semi-supervised hashing for scalable image retrieval’ In Proc IEEE Conf Comput Vis Pattern Recog., pp 3424–3431 [24] Y Weiss, A Torralba, and R Fergus (2008) ‘Spectral hashing’ In Proc Adv Neural Inf Process Syst., pp 1753–1760 i Sa [25] W Zhao, R Chellappa, P J Phillips, and A Rosenfeld (2003) ‘Face recognition: go A literature survey’ ACM Comput Surveys, vol 35, no 4, pp 399–458 n [26] S Lucey, A B Ashraf, and J Cohn (2007) ‘Investigating spontaneous facial In action recognition through AAM representations of the face’ In Face Recognition rn te Book Mamendorf, Germany: Pro Literatur Verlag [27] K.-C Huang, S.-Y Huang, and Y.-H Kuo (2010) ‘Emotion recognition based at na Neural Networks, pp 1–6 io on a novel triangular facial feature extraction method’ In Proc Int Joint Conf lU [28] Y.-L Tian, T Kanade, and J Cohn (2001) ‘Recognizing action units for facial ni expression analysis’ IEEE Trans Pattern Anal Mach Intell., vol 23, no 2, pp ve 97–115 ity rs [29] Evangelos Sariyanidi, Hatice Gunes, and Andrea Cavallaro (2015) ‘Automatic Analysis of Facial Affect: A Survey of Registration, Representation, and Recognition’ IEEE Trans on Pattern Analysis and Machine Intelligence, Vol 37, no [30] N Dalal and B Triggs (2005) ‘Histograms of oriented gradients for human detection’ in Proc IEEE Conf Comput Vis Pattern Recognit., vol 1, pp 886– 893 58 [31] T Ahonen, A Hadid, and M Pietikainen (2006) ‘Face description with local binary patterns: Application to face recognition’ IEEE Trans Pattern Anal Mach Intell., vol 28, no 12, pp 2037–2041 [32] E Meyers and L Wolf (2008 ) ‘Using biologically inspired features for face processing’ Int J Comput Vis., vol 76, no 1, pp 93–104 [33] E Sariyanidi, H Gunes, M Gcokmen, and A Cavallaro (2013) ‘Local Zernike moment representations for facial affect recognition’ In Proc British Machine i Sa Vision Conf., pp 103–108, vol 13 go [34] C Shan, S Gong, and P W McOwan (2009) ‘Facial expression recognition n based on local binary patterns: A comprehensive study’ Image Vis Comput., vol In 27, no 6, pp 803–816 rn te [35] T Wu, N Butko, P Ruvolo, J Whitehill, M Bartlett, and J R Movellan (2011) ‘Action unit recognition transfer across datasets’ In Proc IEEE Int Conf Autom at io Face Gesture Recognit., pp 889–896 na [36] V Ojansivu and J Heikkilca (2008) ‘Blur insensitive texture classification using lU local phase quantization’ In Proc Int Conf Image Signal Process., pp 236–243 ni [37] B Jiang, M Valstar, B Martinez, and M Pantic (2014) ‘Dynamic appearance ve descriptor approach to facial actions temporal modelling’ IEEE Trans Syst., rs Man, Cybern B, Cybern., vol 44, no 2, pp 161–174 ity [38] B Jiang, M Valstar, and M Pantic (2011) ‘Action unit detection using sparse appearance descriptors in space-time video volumes’ In Proc IEEE Int.Conf Face Gesture Recognit., pp 314–321 [39] L Wiskott, J.-M Fellous, N Kuiger, and C von der Malsburg (1997) ‘Face recognition by elastic bunch graph matching’ IEEE Trans Pattern Anal Mach Intell., vol 19, no 7, pp 775–779 59 [40] J.-K Kamarainen, V Kyrki, and H Kalviainen (2006) ‘Invariance properties of Gabor filter-based features—Overview and applications’ IEEE Trans Image Process., vol 15, no 5, pp 1088– 1099 [41] T Gritti, C Shan, V Jeanne, and R Braspenning (2008) ‘Local features based facial expression recognition with face registration errors’ In Proc IEEE Int Conf Autom Face Gesture Recognit., pp 1–8 [42] K Sikka, T Wu, J Susskind, and M Bartlett (2012) ‘Exploring bag of words i Sa architectures in the facial expression domain’ In Proc Eur Conf Comput Vis go Workshops Demonstrations, pp.250–259 n [43] S Lazebnik, C Schmid, and J Ponce (2006) ‘Beyond bags of features: Spatial In pyramid matching for recognizing natural scene categories’ In Proc IEEE Conf rn te Comput Vis Pattern Recognit., vol 2, pp 2169–2178 [44] S Nikitidis, A Tefas, N Nikolaidis, and I Pitas (2012) ‘Subclass discriminant at vol 45, no 12, pp 4080–4091 na io nonnegative matrix factorization for facial image analysis’ Pattern Recognit., lU [45] R Zhi, M Flierl, Q Ruan, and W Kleijn (2011) ‘Graph-preserving sparse ni nonnegative matrix factorization with application to facial expression ve recognition’ IEEE Trans Systems, Man, Cybern B, Cybern., vol 41, no 1, pp rs 38–52 ity [46] S Cotter (2010 ‘Sparse representation for accurate classification of corrupted and occluded facial expressions’ In Proc IEEE Int Conf Acoust Speech Signal Process., pp 838–841 [47] M H Mahoor, M Zhou, K L Veon, S M Mavadati, and J F Cohn (2011 ) ‘Facial action unit recognition with sparse representation’ In Proc IEEE Int Conf Autom Face Gesture Recognit., pp 336–342 [48] P O Hoyer (2004) ‘Non-negative matrix factorization with sparseness constraints’ J Mach Learn Res., vol 5, pp 1457–1469 60 [49] E Candes and M Wakin (2008) ‘An introduction to compressive sampling’ IEEE Signal Process Mag., vol 25, no 2, pp 21–30 [50] C M Bishop, and N M Nasrabadi (2006) Pattern Recognition and Machine Learning New York, NY, USA Springer [51] L A Jeni, J Girard, J Cohn, and F De La Torre (2013) ‘Continuous AU intensity estimation using localized, sparse facial feature space’ In Proc IEEE Int Conf Autom Face and Gesture Recognit Workshops, pp 1–7 i Sa [52] Y Zhu, F De la Torre, J Cohn, and Y.-J Zhang (2011) ‘Dynamic cascades with go bidirectional bootstrapping for action unit detection in spontaneous facial n behavior’ IEEE Trans Affective Comput., vol 2, no 2, pp 79–91 In [53] S Kaltwang, O Rudovic, and M Pantic (2012) ‘Continuous pain intensity 368–377 at rn te estimation from facial expressions’ In Proc Int Symp Adv.Vis Comput., pp io [54] S Koelstra, M Pantic, and I Patras (2010) ‘A dynamic texture-based approach na to recognition of facial actions and their temporal models’ IEEE Trans Pattern lU Anal Mach Intell., vol 32, no 11, pp 1940–1954 ni [55] M Valstar, H Gunes, and M Pantic (2007) ‘How to distinguish posed from ve spontaneous smiles using geometric features’ In Proc ACM Int Conf rs Multimodal Interfaces, pp 38–45 ity [56] M Valstar, M Pantic, Z Ambadar, and J Cohn (2006) ‘Spontaneous vs posed facial behavior: Automatic analysis of brow actions’ In Proc ACM Int Conf Multimodal Interfaces, pp 162–170 [57] M Valstar and M Pantic (2012) ‘Fully automatic recognition of the temporal phases of facial actions’ IEEE Trans Systems, Man, Cybern B, Cybern., vol 42, no 1, pp 28–43 61 [58] G Zhao and M Pietikcainen (2007) ‘Dynamic texture recognition using local binary patterns with an application to facial expressions’ IEEE Trans Pattern Anal Mach Intell., vol 29, no 6, pp 915–928 [59] B Jiang, M Valstar, B Martinez, and M Pantic (2014) A Dynamic appearance descriptor approach to facial actions temporal modelling’ IEEE Trans Syst., Man, Cybern B, Cybern., vol 44, no 2, pp 161–174 [60] T Wu, M Bartlett, and J Movellan (2010) ‘Facial expression recognition using i Sa Gabor motion energy filters’ In Proc IEEE Conf Comput Vis Pattern Recognit go Workshops, pp 42–47 n [61] F Long, T Wu, J R Movellan, M S Bartlett, and G Littlewort (2012) In ‘Learning spatiotemporal features by using independent component analysis with 126–132 at rn te application to facial expression recognition’ Neurocomputing, vol 93, no 0, pp io [62] P Yang, Q Liu, and D Metaxas (2007) ‘Boosting coded dynamic features for na facial action units and facial expression recognition’ In Proc IEEE Conf lU Comput Vis Pattern Recognition, pp 1–6 ni [63] P Yang, Q Liu, and D Metaxas (2008) ‘Similarity features for facial event ve analysis’ In Proc Eur Conf Comput Vis., vol 5302,pp 685–696 rs [64] P Yang, Q Liu, and D N Metaxas (2011) ‘Dynamic soft encoded patterns for ity facial event analysis’ Comput Vis Image Understanding, vol 115, no 3, pp 456–465 [65] P Viola and M Jones (2001) ‘Rapid object detection using a boosted cascade of simple features’ In Proc IEEE Conf Comput Vis Pattern Recognit., vol 1, pp 511–518 [66] T Simon, M H Nguyen, F De la Torre, and J Cohn (2010) ‘Action unit detection with segment-based SVMs’ In Proc IEEE Conf Comput Vis Pattern Recognit., pp 2737–2744 62 [67] Y.-L Boureau, N Le Roux, F Bach, J Ponce, and Y LeCun (2011) ‘Ask the locals: Multi-way local pooling for image recognition’ In Proc IEEE Int Conf Comput Vis., pp 2651–2658 [68] Y.-L Boureau, J Ponce, and Y LeCun (2010) ‘A theoretical analysis of feature pooling in visual recognition’ In Proc Int Conf Mach Learn., , pp 111–118 [69] P Yang, Q Liu, and D N Metaxas (2009) ‘Boosting encoded dynamic features for facial expression recognition’ Pattern Recognit Lett., vol 30, no 2, pp 132– i Sa 139 go [70] G Zhao and M Pietikcainen1 (2009) ‘Boosted multi-resolution spatiotemporal n descriptors for facial expression recognition’ Pattern Recognit Lett., vol 30, no In 12, pp 1117–1127 rn te [71] J Friedman, T Hastie, and R Tibshirani (2000) ‘Additive logistic regression: A statistical view of boosting’ Ann Statist., vol 28, no 2, pp 337–407 at io [72] H Yu, J Yang (2001) A direct LDA algorithms for highdimensional data with na application to face recognition, Pattern Recognition 34, pp 2067 – 2070 lU [73] J Lu, K.N Plataniotis, A.N Venetsanopoulos (2003) Face recognition using ni LDA-based algorithms, IEEE Trans Neural Networks 14 (1), pp 195 – 200 ve [74] L.-F Chen, H.-Y.M Liao, M.-T Ko, J.-C Lin, G.-J Yu (2000) A new LDA- ity Pattern Recognition 33, pp 1713 – 1726 rs based face recognition system which can solve the small sample size problem, [75] H Cevikalp, M Neamtu, M Wilkes, A Barkana (2005) Discriminative common vectors for face recognition, IEEE Trans Pattern Anal Mach Intell 27 (1) , pp -13 [76] J Yang, D Zhang, A.F Frangi, A.F., Yang (2004) Two-dimensional PCA: A new approach to appearance-based face representation and recognition, IEEE Trans Pattern Anal Machine Intell 26 (1), pp 131-137 63 [77] J Yang, J.Y Yang (2002) From image vector to matrix: A straightforward image projection technique – IMPCA vs PCA, Pattern Recognition 35 (9), pp 1997 – 1999 [78] Ming Li, Baozong Yuan (2005) 2D-LDA: A statistical linear discriminant analysis for image matrix, Pattern Recognition Letters 26, pp 527 – 532 [79] D Zhang, Z.H Zhou (2005) (2D)2PCA: two-directional two dimensional PCA for efficient face representation and recognition, Neurocomputing 69 (1-3), pp i Sa 224 – 231 go [80] S Noushath, G Hemantha Kumar, P Shivakumara (2006) (2D)2LDA: An n efficient approach for face recognition, Pattern Recognition 39 (7) 1396 – 1400 In [81] T Ojala, M Pietikaăinen, and D Harwood (1996) A Comparative Study of rn te Texture Measures with Classification Based on Feature Distributions’ Pattern Recognition, vol 29, no 1, pp 51-59 at io [82] T Ojala, M Pietikaăinen, and T Maăenpaăaă (2002) ‘Multiresolution Gray-Scale na and Rotation Invariant Texture Classification with Local Binary Patterns’ IEEE lU Trans Pattern Analysis and Machine Intelligence, vol 24, no 7, pp 971-987 ni [83] H Jin, Q Liu, and H Lu (2004) ‘Face Detection Using Improved LBP Under ve Bayesian Framework’ IEEE Conference Publications Image and Graphics rs (ICIG'04), Third International Conference on, pp 306-309 ity [84] X Y Tan, and Bill Triggs (2007) ‘Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions’ LNCS, vol 4778, pp 168–182 [85] L Liu, L Zhao, Y Long, G Kuang, and P Fieguth (2012) ‘Extended local binary patterns for texture classification’ Image and Vision Computing, vol 30, no 2, pp 86–99 [86] P Král, A Vrba (2017) Enhanced local binary patterns for automatic face recognition Computer Vision and Pattern Recognition, arXiv:1702.03349, ICIP 64