Bộ miêu tả đặc trưng ảnh mặt người đa trạng thái cho ứng dụng truy tìm đối tượng thời gian thực

MỤC LỤC MỤC LỤC I TÓM TẮT IV ABSTRACT V DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT VI DANH MỤC BẢNG VII DANH MỤC HÌNH IX LỜI CẢM ƠN XII BÁO CÁO TÓM TẮT XIII PHẦN MỞ ĐẦU CHƯƠNG 1: 1.1 1.2 1.3 CÁC BỘ MÔ TẢ ĐẶC TRƯNG CHO BIỂU DIỄN ẢNH KHUÔN MẶT BỘ MÔ TẢ ĐẶC TRƯNG 2D-PCA CHO BIỂU DIỄN ẢNH MẶT NGƯỜI .3 1.1.1 Phương pháp 2D-PCA rút trích đặc trưng ảnh 1.1.2 Mô hình thực nghiệm .4 1.1.3 Bàn luận PCA 2D-PCA BỘ MÔ TẢ ĐẶC TRƯNG B2D-FPCA TRÊN MIỀN TẦN SỐ CHO BIỂU DIỄN MẶT NGUỜI CÓ CẢM XÚC 1.2.1 Giới thiệu 1.2.2 Phương pháp tiếp cận 1.2.3 Mô hình đề xuất .15 1.2.4 Bàn luận mơ hình đề xuất 20 BỘ MÔ TẢ ĐẶC TRƯNG HƯỚNG CỤC BỘ TRÊN DỮ LIỆU HUẤN LUYỆN ÍT (LOFESS) CHO BIỂU DIỄN MẶT NGƯỜI BỊ MẤT MÁT THÔNG TIN 22 1.4 1.3.1 Biểu diễn vùng ảnh cục mối quan hệ không gian chúng 22 1.3.2 Huấn luyện đặc trưng cục không bị che khuất NMF 23 1.3.3 Nhận dạng mặt người sử dụng đặc trưng ràng buộc cục 24 KẾT LUẬN CHƯƠNG .25 CHƯƠNG 2: 2.1 TỔNG QUAN VỀ MẪU NHỊ PHÂN CỤC BỘ LBP 26 MẪU NHỊ PHÂN CỤC BỘ CƠ BẢN (LBP) 26 i 2.2 MẪU NHỊ PHÂN CỤC BỘ MỞ RỘNG 27 2.3 MẪU NHỊ PHÂN CỤC BỘ ĐỒNG DẠNG (LBPU2) .28 2.4 LBP GRADIENT MAGNITUDE (LBPGM) 29 2.5 MẪU NHỊ PHÂN CỤC BỘ ĐA TỈ LỆ (MLBP) 30 2.6 MẪU NHỊ PHÂN CỤC BỘ KẾT HỢP BỘ LỌC GABOR (LGBP) 30 2.7 PATTERNS OF ORIENTED EDGE MAGNITUDES (POEM) 33 2.8 ÁP DỤNG MẪU NHỊ PHÂN CỤC BỘ TRONG NHẬN DẠNG GƯƠNG MẶT 35 2.9 ĐÁNH GIÁ ĐỘ TƯƠNG TỰ VÀ TẬP TRỌNG 36 2.10 BÀN LUẬN MỞ RỘNG: ẢNH HƯỞNG CỦA CÁCH LẤY CHUỖI BIT ĐẾN KẾT QUẢ NHẬN DẠNG SỬ DỤNG LBP 38 2.11 KẾT LUẬN CHƯƠNG 39 CHƯƠNG 3: BỘ MÔ TẢ ĐẶC TRƯNG HWS-LBP, HWS-POEM CHO NHẬN DẠNG ẢNH MẶT NGƯỜI CHÍNH DIỆN VÀ MƠ HÌNH TỔNG QT CHO NHẬN DẠNG MẶT NGƯỜI ĐA GĨC NHÌN 40 3.1 BỘ MÔ TẢ ĐẶC TRƯNG HWS-LBP, HWS-POEM CHO NHẬN DẠNG ẢNH MẶT NGƯỜI CHÍNH DIỆN 40 3.1.1 Cách tổ chức liệu .40 3.1.2 Hàm đánh giá độ thích nghi tập trọng 41 3.1.3 Độ đóng góp vùng ảnh 41 3.1.4 Tìm kiếm trọng số dùng heuristic 42 3.1.5 Hệ thống kết hợp 43 3.1.6 Kiến trúc hệ thống 44 3.1.7 Đặc điểm .45 3.2 MƠ HÌNH TỔNG QT DÙNG ĐẶC TRƯNG LBP CHO NHẬN DẠNG MẶT NGƯỜI ĐA GÓC NHÌN 46 3.3 KẾT LUẬN CHƯƠNG .48 CHƯƠNG 4: 4.1 PHÂN TÍCH ĐÁNH GIÁ CÁC BỘ MƠ TẢ ĐẶC TRƯNG ĐÃ ĐỀ XUẤT VÀ ỨNG DỤNG 49 CÁC KẾT QUẢ THỰC NGHIỆM CỦA BỘ MÔ TẢ ĐẶC TRƯNG B2D-FPCA CHO NHẬN DẠNG ẢNH MẶT NGƯỜI CÓ BIỂU CẢM 49 4.1.1 Kết thực nghiệm mơ hình áp dụng PCA 2D-PCA 49 4.1.2 Kết thực nghiệm mơ hình áp dụng Bộ mô tả đặc trưng B2D-FPCA miền tần số 55 4.1.3 4.2 Kết luận 64 CÁC KẾT QUẢ THỰC NGHIỆM CỦA BỘ MÔ TẢ ĐẶC TRƯNG LOFESS CHO ẢNH MẶT NGƯỜI MẤT MÁT THÔNG TIN 65 4.2.1 Dữ liệu Aleix-Roberts 65 4.3 CÁC KẾT QUẢ THỰC NGHIỆM CỦA BỘ MÔ TẢ ĐẶC TRƯNG HWS-LBP VÀ HWS-POEM CHO MẶT NGƯỜI NHÌN CHÍNH DIỆN 67 4.3.1 Cơ sở liệu 67 ii 4.4 4.5 4.3.2 Tham số bước nhảy trình tìm kiếm 67 4.3.3 Kết bàn luận 69 CÁC KẾT QUẢ THỰC NGHIỆM CỦA MƠ HÌNH TỔNG QT DÙNG LBP CHO MẶT NGƯỜI ĐA GĨC NHÌN .71 4.4.1 Tổ chức liệu thực nghiệm 71 4.4.2 Hướng tiếp cận thường gặp 71 4.4.3 Nhận dạng gương mặt ảnh mẫu góc nhìn với ảnh kiểm tra 73 4.4.4 Phân lớp góc nhìn gương mặt 76 4.4.5 Hệ thống kết hợp 77 4.4.6 Kết bàn luận 79 ỨNG DỤNG THỜI GIAN THỰC ĐĂNG NHẬP THIẾT BỊ VÀO THIẾT BỊ ANDROID BẰNG ẢNH CHỤP KHUÔN MẶT SỬ DỤNG BỘ ĐẶC TRƯNG LBP 80 4.6 KẾT LUẬN CHƯƠNG .80 KẾT LUẬN 82 TÀI LIỆU THAM KHẢO 84 PHỤ LỤC PHỤ LỤC CHUYÊN MÔN CÁC KẾT QUẢ NGHIÊN CỨU ĐÃ CÔNG BỐ CÁC KẾT QUẢ ĐÀO TẠO ĐÃ ĐẠT ĐƯỢC PHỤ LỤC SẢN PHẨM MINH CHỨNG ẨN PHẨM KHOA HỌC MINH CHỨNG KẾT QUẢ ĐÀO TẠO PHỤ LỤC QUẢN LÝ iii TÓM TẮT Đề tài đề xuất số mô tả đặc trưng hiệu nhận dạng mặt người nhìn thẳng mát thông tin phân lớp biểu cảm khuôn mặt, đồng thời đề xuất mơ hình tổng qt nhận dạng mặt người nhìn nghiêng Các kết nghiên cứu đạt đề tài tính ưu việt mơ hình đề xuất so với hệ thống nhận dạng mặt người nhìn thẳng mát thơng tin có Cụ thể nội dung đạt bao gồm: - Khảo sát phương pháp rút trích đặc trưng thực vùng đặc trưng khuôn mặt 2DPCA Đề xuất mô tả đặc trưng B2DFPCA để phân lớp cảm xúc khuôn mặt Đề xuất mô tả đặc trưng hướng cục LOFESS sử dụng liệu huấn luyện nhỏ cho biểu diễn mặt người bị mát thông tin - Phát triển phương pháp mẫu nhị phân cục (LBP) biến thể cho việc xây dựng miêu tả cấu trúc đặc trưng cục khn mặt tốn phân lớp ảnh đối tượng phức tạp (ảnh chụp mặt người số điều kiện khó: biến đổi ánh sáng, biến đổi góc nhìn) - So sánh đối chiếu với mơ hình, ứng dụng có thơng qua thực nghiệm để chứng minh tính ưu việt mơ hình đề xuất sở liệu ảnh chuẩn có độ phức tạp cao FERET, AR, Cohn-Kanade, PAIN JAFFE - Xây dựng ứng dụng Android thời gian thực cho việc chứng thực khuôn mặt Cuối cùng, kết minh chứng báo khoa học đào tạo Thạc sĩ Cử nhân chuyên ngành Khoa học máy tính iv ABSTRACT In this research, we proposed the efficient feature descriptors for the disguised and frontal face recognition and the facial expression classification In addition, we constructed the framework for the profile face recognition The experimental results showed that our descriptors are superior to current research In detail, we finished: - Surveying the methods of facial feature extraction such as 2DPCA, proposing the B2DPCA feature descriptor for the facial expression classification and the LOFESS for the disguised face recognition - Developing the LBP method and its variants for constructing local facial feature descriptors under the variation conditions of lighting and pose - Conducting experiments to evaluate and compare our methods to the-state-of-art approaches The experimental results demonstrated the effectiveness of our methods on the standard face databases: FERET, AR, Cohn-Kanade and JAFFE - Developing the real-time Android app for face verification Finally, we published papers on the international conferences and Master thesis and Bachelor thesis in Computer Science v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT PCA Principal Componens Analysis ICA Independent Component Analysis LDA Linear Discriminant Analysis 2D-LDA Two-dimensional Linear Discriminant Analysis 2D-PCA Two-dimensional Principal Componens Analysis B2D-PCA Bilateral Two-dimensional Principal Componens Analysis 2D-FPCA Two-dimensional Fractional Principal Componens Analysis B2D-FPCA Bilateral Two-dimensional Fractional Principal Analysis DCT Discrete Cosine Transform 2D-DCT Two-dimensional Discrete Cosine Transform MSE Mean Square Error vi Componens DANH MỤC BẢNG Bảng 2.1: Ví dụ bảng tham chiếu mẫu đồng dạng 29 Bảng 2.2: Số chiều tương ứng số đặc trưng LBP với 𝑷 = 𝟖 Ảnh đầu vào chia thành 7x7 vùng ảnh 36 Bảng 3.1: Thuật tốn tìm kiếm trọng số sử dụng Heuristic 43 Bảng 4.1: So sánh hiệu suất phân lớp trung bình 2D-PCA phương pháp khác tập liệu JAFFE 51 Bảng 4.2: So sánh hiệu suất 2D-PCA PCA tăng dần số ảnh huấn luyện tập liệu JAFFE 52 Bảng 4.3: So sánh hiệu suất phân lớp trung bình 2D-PCA 2D-PCA 53 Bảng 4.4: So sánh hiệu suất 2D-PCA PCA tăng dần số ảnh huấn luyện tập liệu Yale 54 Bảng 4.5: So sánh hiệu suất phân lớp phương pháp tập liệu JAFFE 56 Bảng 4.6: So sánh hiệu suất nhận diện phương pháp tập liệu Pain 58 Bảng 4.7: So sánh hiệu suất nhận diện hướng tiếp cận tăng dần số ảnh huấn luyện tập liệu Pain 59 Bảng 4.8: So sánh hiệu suất phân lớp phương pháp tập liệu CohnKanade 60 Bảng 4.9: So sánh hiệu suất nhận diện phương pháp tập liệu CohnKanade 61 Bảng 4.10: So sánh hiệu suất nhận diện hướng tiếp cận tăng dần số ảnh huấn luyện tập liệu Cohn-Kanade 63 Bảng 4.11: Tỉ lệ nhận dạng cho ảnh đeo kính ứng với tình huống: số vector sở 50, 100, 200 300 65 Bảng 4.12: Tỉ lệ nhận dạng cho ảnh đeo khăn choàng với số vector sở 50, 100, 200 300 65 Bảng 4.13: So sánh tỉ lệ nhận dạng theo thời gian (%) LOFESS SLNMF với tập liệu AR-13 (Neu-2), AR-08 (Sg-1), AR-21 (Sg-2), AR-11(Sc-1) AR24 (Sc-2) 66 vii Bảng 4.14: So sánh tỉ lệ nhận dạng theo thời gian (%) LOFESS RSC với tập liệu Sg-1, Sg-2, Sc-2 66 Bảng 4.15: Kết áp dụng thuật tốn HWS vào phương pháp có 70 Bảng 4.16: Kết thực nghiệm dự đốn nhãn ảnh mặt người đa góc nhìn dựa tập mẫu diện 72 Bảng 4.17: Kết thực nghiệm phân lớp gương mặt góc nhìn 74 Bảng 4.18: Kết thực nghiệm phân lớp gương mặt theo cặp hai góc nhìn 75 Bảng 4.19: Kết thực nghiệm phân lớp gương mặt theo ba góc nhìn 75 Bảng 4.20: Kết phân lớp góc theo nhiều biến thể khác LBP 76 Bảng 4.21: Bảng tỉ lệ nhầm lẫn trình phân lớp góc 78 Bảng 4.22: So sánh kết số hướng tiếp cận nhận dạng mặt có góc nhìn tập FERET 79 viii DANH MỤC HÌNH Hình 1.1: Mơ hình thực nghiệm PCA 2D-PCA Hình 1.2: Minh hoạ ảnh gốc ảnh ma trận hệ số 2D-DCT tương ứng 14 Hình 1.3: Minh hoạ ảnh gốc ảnh 2D-DCT ngược tương ứng 15 Hình 1.4: Minh hoạ mơ hình thực nghiệm 2D-DCT+B2D-FPCA 16 Hình 2.1: Minh họa tốn tử LBP 27 Hình 2.2: Kết xử lí ảnh gốc (trái) toán tử LBP 27 Hình 2.3: Các điểm ảnh lân cận 𝑳𝑩𝑷𝟖, 𝟏, 𝑳𝑩𝑷𝟏𝟔 𝟐 𝑳𝑩𝑷𝟖, 𝟐 Các giá trị mức xám vị trí khơng nằm điểm ảnh tính với giá trị mức xám điểm ảnh dùng phương pháp nội suy 28 Hình 2.4: Một số đặc trưng cạnh, góc ứng với mẫu đồng dạng 29 Hình 2.5: Ảnh Gradient Magnitude (trái) ảnh LBP tương ứng 29 Hình 2.6: Các ảnh LBPu2 với bán kính lân cận khác 30 Hình 2.7: Minh họa 40 nhân Gabor 31 Hình 2.8: Dạng biễu diễn Gabor ảnh 32 Hình 2.9: Các ảnh Gabor sau mã hóa LBPu2 32 Hình 2.10: Sự khác cách chia góc khơng dấu (trái) có dấu (phải) Các điểm ảnh có góc chuyển thuộc vùng có số 𝒊 chia vào ảnh 𝒖𝑬𝑴𝑰𝜽𝒊 34 Hình 2.11: Ví dụ hai cách chia ảnh thành ảnh theo góc chuyển độ sáng Từ ảnh ban đầu (a), ảnh mức chuyển cường độ sáng (b) tính ra, sau ảnh chia vào ảnh theo kiểu chia góc chuyển khơng dấu (các ảnh c.) có dấu (các ảnh d.) 34 Hình 2.12: Các ảnh liên quan q trình rút trích đặc trưng POEM, theo thứ tự dòng từ xuống: (1) ảnh gốc (trái), ảnh 𝑬𝑴𝑰 (giữa) ảnh 𝑶𝒓𝒊 (phải); (2) ảnh 𝒖𝑬𝑴𝑰𝜽𝒊; (3) ảnh 𝑨𝑬𝑴𝑰𝜽𝒊 (4) ảnh LBPu2 35 Hình 2.13: Minh họa cách lấy đặc trưng LBP 36 ix Hình 2.14: Tập trọng đề xuất Ahonen Ô màu đen biểu thị giá trị trọng 0, ô màu xám đen biểu trị giá trị trọng 1, ô màu xám trắng biểu thị giá trị trọng ô màu trắng lại biểu thị giá trị trọng 37 Hình 2.15: Sự hốn đổi vị trí biểu đồ thống kê mức xám cách chuyển bit khác Ảnh trái: minh họa cách chuyển bit (3 bit) Ảnh giữa: ảnh LBP tương ứng Ảnh phải: thống kê mức xám ảnh LBP 39 Hình 3.1: Ma trận hạng mục đơn ma trận độ đóng góp 42 Hình 3.2: Kiến trúc hệ thống kết hợp POEM-HWS 44 Hình 3.3: Mơ hình áp dụng thơng tin góc nhìn nhận dạng ảnh nghiêng 46 Hình 3.4: Minh hoạt hoạt động mơ hình áp dụng thơng tin góc nhìn (a) bước xác định tập ảnh miền góc nhìn chọn (b) bước xác định định danh đối tượng dựa tập ảnh miền góc nhìn chọn 47 Hình 4.1: Ví dụ mẫu trạng thái khuôn mặt tập liệu JAFFE:1, Ngạc nhiên; 2, Buồn; 3, Trung tính; 4, Vui; 5, Sợ; 6, Ghê tởm; 7, Giận 50 Hình 4.2: Hiệu suất phân lớp tập liệu JAFFE phương pháp 2D-PCA PCA với số chiều ma trận đặc trưng biến thiên khoảng từ đến 20 51 Hình 4.3: Ví dụ mẫu trạng thái khn mặt tập liệu YALE: 1, Bình thường; 2, Vui vẻ; 3, Ngạc nhiên; 4, Nháy mắt; 5, Ngủ; 6, Có kính 52 Hình 4.4: Hiệu suất phân lớp tập liệu Yale phương pháp PCA 2DPCA với số chiều ma trận đặc trưng biến thiên khoảng từ đến 20 53 Hình 4.5: Hiệu suất phân lớp tập liệu JAFFE hướng tiếp cận khác với số chiều ma trận đặc trưng biến thiên khoảng từ đến 20 56 Hình 4.6: Minh hoạ số mẫu tập liệu Pain 57 Hình 4.7: Hiệu suất nhận diện tập liệu Pain hướng tiếp cận khác với số chiều ma trận đặc trưng biến thiên khoảng từ đến 30 58 Hình 4.8: Minh hoạ số mẫu tập liệu Cohn-Kanade 60 Hình 4.9: Hiệu suất phân lớp tập liệu Cohn-Kanade hướng tiếp cận khác với số chiều ma trận đặc trưng biến thiên khoảng từ đến 30 61 x ... là: Bộ miêu tả đặc trưng hướng cục cho ảnh mác thông tin Phát triển phương pháp mẫu nhị phân cục (LBP) biến thể cho việc xây dựng miêu tả cấu trúc đặc trưng cục khn mặt tốn phân lớp ảnh đối tượng. .. rút trích đặc trưng thực vùng đặc trưng khuôn mặt 2DPCA Đề xuất mô tả đặc trưng B2DFPCA để phân lớp cảm xúc khuôn mặt Đề xuất mô tả đặc trưng hướng cục LOFESS sử dụng liệu huấn luyện nhỏ cho biểu... QUẢ THỰC NGHIỆM CỦA BỘ MÔ TẢ ĐẶC TRƯNG B2D-FPCA CHO NHẬN DẠNG ẢNH MẶT NGƯỜI CÓ BIỂU CẢM 49 4.1.1 Kết thực nghiệm mơ hình áp dụng PCA 2D-PCA 49 4.1.2 Kết thực nghiệm mơ hình áp dụng Bộ mô tả