Nhận dạng nhân thân qua hệ thống thị giác máy tính nghiên cứu khoa học

ĐỒN THANH NIÊN CỘNG SẢN HỒ CHÍ MINH BAN CHẤP HÀNH TP HỒ CHÍ MINH CƠNG TRÌNH DỰ THI GIẢI THƯỞNG SINH VIÊN NGHIÊN CỨU KHOA HỌC EURÉKA LẦN THỨ 21 NĂM 2019 TÊN CƠNG TRÌNH: NHẬN DẠNG NHÂN THÂN QUA HỆ THỐNG THỊ GIÁC MÁY TÍNH KINSHIP VERIFICATION VIA COMPUTER VISION LĨNH VỰC NGHIÊN CỨU: LĨNH VỰC CƠNG NGHỆ THƠNG TIN CHUN NGÀNH: TRÍ TUỆ NHÂN TẠO Mã số cơng trình: BCH ĐỒN TP HỒ CHÍ MINH _ Mẫu (Dành cho tác giả) TP Hồ Chí Minh, ngày tháng năm 2019 PHIẾU ĐĂNG KÝ DỰ THI GIẢI THƯỞNG SINH VIÊN NGHIÊN CỨU KHOA HỌC EURÉKA LẦN THỨ 21 NĂM 2019 Tên cơng trình: NHẬN DẠNG NHÂN THÂN QUA HỆ THỐNG THỊ GIÁC MÁY TÍNH  Đánh dấu chọn cơng trình nghiên cứu từ vấn đề gợi ý, đặt hàng doanh nghiệp, quan tổ chức, cá nhân (gửi kèm đơn, công văn hợp đồng đặt hàng) Lĩnh vực nghiên cứu: LĨNH VỰC CÔNG NGHỆ THÔNG TIN Chuyên ngành đăng ký dự thi: TRÍ TUỆ NHÂN TẠO Tóm tắt cơng trình, vấn đề (khơng q 100 từ) : Cơng trình nghiên cứu đề tài nhận dạng nhân thân thơng qua thị giác máy tính Cơng trình công bố hai báo khoa học quốc tế Những đóng góp gồm: - Đề xuất hai mơ hình trích xuất đặc trưng mã hóa khơng gian màu khác - Đề xuất phương pháp lựa chọn đặc trưng áp dụng cho toán mặt người Tên giảng viên hướng dẫn (ghi rõ họ tên, học hàm, học vị, đơn vị công tác): Tiến sĩ Trương Hoàng Vinh - Đại học Mở Thành phố Hồ Chí Minh Tác giả, nhóm tác giả (khơng q người):  Tác giả 1: - Họ tên : Nguyễn Văn Tiến - Nam/Nữ : Nam - Năm sinh (ngày tháng năm) : 20/09/1997 - Địa chỉ: Số 23 đường 35, phường 10, quận 6, Tp.HCM - Điện thoại : 0932151939 - Email: tien.ngnvan@gmail.com - Khoa - Ngành: Công Nghệ Thơng Tin – Khoa học máy tính - Trường : Đại học Mở Thành phố Hồ Chí Minh - Tỉnh/ Thành phố: Thành phố Hồ Chí Minh Cam kết tác giả, nhóm tác giả: Tơi xin cam đoan đề tài cơng trình nghiên cứu khoa học tơi (hoặc nhóm chúng tơi) Các số liệu, kết nêu đề tài trung thực có nguồn gốc Chúng tơi xin chịu trách nhiệm trước Ban tổ chức Giải thưởng pháp luật kết nghiên cứu đề tài Xác nhận đại diện nhà trường TM Ban tổ chức cấp trường (ký tên, đóng dấu) Tác giả (hoặc trưởng nhóm) Ký tên Mục lục Tóm tắt Tổng quan đề tài Cơ sở lý thuyết 1.1 1.2 1.3 Tổng quan ảnh 1.1.1 Ảnh màu 1.1.2 Ảnh xám 1.1.3 Histogram Hệ màu 10 1.2.1 Hệ màu 10 1.2.2 Chuyển đổi hệ màu 10 1.2.3 Phân loại hệ màu 10 Bộ phân lớp học có giám sát 12 1.3.1 K -Nearest Neighbor 12 1.3.2 Support Vector Machine 13 Đặc trưng xử lý ảnh 2.1 Trích xuất đặc trưng 15 2.1.1 Trích xuất đặc trưng LBP 15 2.1.1.1 17 Một số biến thể LBP 2.1.1.1.1 LBP uniform 17 2.1.1.1.2 Local Ternary Pattern 18 Trích xuất đặc trưng HOG 18 Lựa chọn đặc trưng 19 2.2.1 Hệ số Fisher 20 2.2.2 Hệ số ràng buộc 20 2.1.2 2.2 15 Phương pháp đề xuất 21 3.1 Tiền xử lý ảnh dạng khối 21 3.2 Phương pháp đề xuất 21 3.3 Phương pháp đề xuất 23 Kết thực nghiệm 25 4.1 Giới thiệu liệu 25 4.2 Kết đề xuất 26 4.2.1 Kết hệ màu 26 4.2.2 Kết đặc trưng có đặc trưng 28 Kết đề xuất 31 4.3.1 Kết đặc trưng riêng lẻ kết hợp đặc trưng 31 4.3.2 Kết chuẩn hóa trước sau ghép nối 32 4.3 Kết luận 36 Tài liệu tham khảo 37 Danh sách hình vẽ 44 Danh sách bảng 45 Danh mục từ ký hiệu 46 Danh mục từ viết tắt 47 Tóm tắt Sử dụng hình ảnh khn mặt việc phân tích, thu thập liệu chủ đề thu hút nhiều ý năm gần Một vấn đề liên quan nhận dạng nhân thân thơng qua thị giác máy tính; khn mặt gợi ý đáng tin cậy để đo lường tương quan di truyền cha mẹ Có nhiều thuật tốn đề xuất để cải thiện kết từ việc sử dụng mơ hình học máy đến mơ hình học sâu Thơng qua q trình nghiên cứu, đề tài trình bày hai đề xuất mơ hình học máy mã hóa khơng gian màu khác cho việc trích xuất đặc trưng ảnh Kế tiếp, toàn đặc trưng xếp lại dựa đặc điểm quan trọng phương pháp lựa chọn đặc trưng để làm giảm kích thước loại bỏ thông tin gây nhiễu, không liên quan Cuối cùng, sử dụng thuật toán phân lớp Support Vector Machine để huấn luyện dự đốn mơ hình Hiệu hai phương pháp đề xuất thực nghiệm hai liệu chuẩn KinFaceW-I KinFaceW-II; đồng thời so sánh với mơ hình thuật toán khác thu thời điểm để đánh giá ưu khuyết điểm hai phương pháp đề xuất Từ khóa: khơng gian màu, lựa chọn đặc trưng, nhận dạng nhân thân, phân tích khn mặt, trích xuất đặc trưng Tổng quan đề tài Theo phát triển khoa học kỹ thuật cơng nghệ, sử dụng hình ảnh kỹ thuật số để tìm kiếm hay nhận dạng xem tảng lĩnh vực thị giác máy tính Một vấn đề liên quan nhận diện mặt người Đây đề tài lớn thu hút ý từ nhiều nơi giới áp dụng rộng rãi nhiều lĩnh vực với mục đích khác Trong lĩnh vực công nghệ, thiết bị điện thoại di động cho phép nhận diện gương mặt cách nhanh chóng nhằm xác thực mở khóa hình mà không cần phải nhập mã PIN chạm vào cảm biến dấu vân tay Tháng 9/2018 vừa qua, Apple giới thiệu sản phẩm với tên gọi iPhone XS có tốc độ mở khóa nhanh phiên trước iPhone X cho mang tính đột phá cao Trong lĩnh vực thương mại điện tử, Alipay mắt hệ thống nhận diện gương mặt "Smile to Pay" giới cửa hàng KFC Hàng Châu, Trung Quốc Hệ thống cho phép khách hàng tốn online thay tiền mặt hay thẻ tín dụng để tránh thời gian xếp hàng Cửa hàng bán lẻ Tesco Anh cho lắp đặt camera quan sát hàng xăng dầu để thu thập thơng tin hình ảnh khách hàng tuổi tác giới tính để chạy ứng dụng Tailored Ads (quảng cáo thiết kế dành cho đối tượng định) Trong lĩnh vực du lịch lưu trú, nhiều ứng dụng nhận diện khuôn mặt triển khai Trung Quốc Sân bay quốc tế Shanghai Hongqiao cho xuất cảnh tự động 12 giây hành khách quét chứng minh thư dùng máy kiểm tra an ninh trang bị công nghệ nhận diện gương mặt để hồn tất q trình kiểm tra Khách sạn Mariott-Hangzhou Marriott Hotel Qianjiang Sanya Marriott Hotel Dadonghai Bay sử dụng công nghệ nhận diện gương mặt việc check-in để thay cách làm truyền thống Sau xác minh lý lịch khách hàng, ki-ốt "trả" chìa khóa phịng cách tự động Trong lĩnh vực an ninh quốc phòng vấn đề xuất nhập cảnh bất hợp pháp Mỹ giải với hệ thống nhận diện gương mặt việc xác định danh tính người sở hữu Visa Tại Trung Quốc, tháng năm 2018, cảnh sát nước sử dụng camera có chức nhận diện gương mặt để bắt nghi phạm bị truy nã số 60000 người tham dự buổi biểu diễn âm nhạc Ngoài ra, mặt người cịn dùng để ước tính tuổi, phân loại giới tính hay phân tích khn mặt Trong số đó, phân tích khn mặt nhận nhiều quan tâm từ cộng đồng Đặc biệt vấn đề liên quan đến nhận dạng nhân thân [1] khn mặt gợi ý đáng tin cậy quan trọng để đo lường giống di truyền trẻ em cha mẹ chúng Đây chủ đề tương đối trẻ nhiều vấn đề thách thức hình ảnh chọn lọc điều kiện khơng kiểm sốt (ảnh hưởng yếu tố tuổi tác, màu da) Tuy nhiên, điều lại nhận nhiều đón nhận tiềm áp dụng số lĩnh vực từ mạng xã hội đến y học Với tốc độ người sử dụng mạng xã hội ngày lớn, 2.5 tỷ hình ảnh thêm vào trang web tháng Làm để tự động tổ chức quy mơ sở liệu hình ảnh lớn với hai câu hỏi người mối quan hệ họ Hay lĩnh vực y học, kiểm tra DNA biết đến phương pháp hiệu việc xác minh mối quan hệ nhân thân hai người, điều hiệu tìm kiếm đứa trẻ bị thất lạc nhiều năm Tuy nhiên phương pháp có hai mặt khuyết điểm: thứ DNA mang tính riêng tư nên bị hạn chế số ứng dụng, thứ hai chi phí kiểm tra DNA cao nhiều thời gian Vì thế, việc nhận dạng nhân thân thông qua thị giác máy tính khắc phục vấn đề thời gian chi phí thấp Chẳng hạn ứng dụng việc tìm đứa trẻ bị thất lạc nhiều năm đám đứa trẻ cách chọn khn mặt có đặc điểm tương quan giống để kiểm tra thay kiểm tra DNA người bị với đứa trẻ Một số đóng góp nhà nghiên cứu nhận dạng nhân thân thống kê gần cho thấy kết đạt hiệu cao không lĩnh vực học máy (Machine Learning) lĩnh vực học sâu (Deep Learning) thị giác máy tính để xác minh mối quan hệ họ hàng Jiwen Lu cộng đề xuất mơ hình với tên gọi học số liệu vùng lân cận (Neighborhood Repulsed Metric Learning) nhằm mục đích tìm hiểu số liệu khoảng cách Phương pháp đẩy cặp hình ảnh khơng có quan hệ họ hàng xa tốt thu hẹp khoảng cách cặp hình ảnh có mối quan hệ họ hàng [1] Julin Hu cộng đề xuất mơ hình Large Margin Multi-Metric Learning tính tổng khoảng cách Mahalanobis lớp hình ảnh khác nhiều đặc trưng [2] Ngoài ra, việc sử dụng không gian màu để tăng cường liệu nhằm mục đích cải thiện thuật tốn áp dụng nhận diện khuôn mặt [3, 4, 5] Chengjun Liu có nhiều khơng gian màu hiệu cho tốn nhận dạng khn mặt thay khơng gian màu RGB màu xám [6] Qingfeng Liu cộng đề xuất mơ hình khơng gian màu kế thừa tổng quát (Generalized inheritable color space) dựa mơ hình InCS Khơng gian màu tạo cách cân tiêu chí giảm thiểu khoảng cách cặp họ hàng tiêu chí tối đa hóa khoảng cách cặp khơng có quan hệ họ hàng Kaihao Zang cộng đề xuất kiến trúc Mạng nơ-ron tích chập (Convolutional Neural Network gọi CNN) để xác minh mối quan hệ họ hàng cặp hình ảnh RGB [7] Lei Li cộng huấn luyện mơ hình Siamese CNN để trích xuất tính sử dụng số liệu tương tự để đo độ tương đồng hai hình ảnh khn mặt [8] Boutellaa cộng trích xuất khn mặt thơng qua video, khai thác kết hợp đặc trưng từ mơ hình học sâu tính khơng gian thủ cơng [9] Trong báo cáo này, đề tài đề xuất sử dụng trích xuất đặc trưng Local Binary Pattern, Local Ternary Pattern Histogram of Gradient không gian màu khác phương pháp học có giám sát cho toán nhận dạng nhân thân Cấu trúc tổ chức theo chương sau: Chương số khái niệm ảnh, hệ màu phân loại hệ màu Giới thiệu mơ hình đánh giá thuật tốn học có giám sát Chương giới thiệu đặc trưng xử lý ảnh trích xuất đặc trưng để mã hóa dạng liệu có đặc trưng phân biệt sử dụng lựa chọn đặc trưng để tìm thơng tin liên quan từ tập liệu trích xuất đặc trưng Chương dành cho đề xuất phát triển đề tài chia thành hai hướng Hướng phát triển 1, đề tài trích xuất liệu dựa khơng gian màu kết hợp đa lớp điều kiện kiểm sốt kích thước phân chia ảnh Sau tính độ tương quan cặp ảnh để áp dụng phương pháp rút trích đặc trưng, xử lý vấn đề gây nhiễu, làm giảm thông tin không liên quan Hướng phát triển 2, cải thiện phương pháp cách trích xuất vùng quan tâm (interest regions) chứa thông tin quan trọng Ngồi ra, đề tài cịn đề xuất phương pháp rút trích đặc trưng áp dụng cho toán mặt người Chương so sánh đơn hệ màu để tìm khơng gian màu phù hợp cho toán nhận dạng nhân thân, phương pháp chuẩn hóa liệu trước hay sau ghép nối Hiệu suất phương pháp mở rộng thuật toán học có giám sát liệu Và cuối cùng, đánh giá kết hai phương pháp đề xuất chương trước với kết thu thời điểm Chương kết thúc đề tài đóng góp hứa hẹn cho tương lai Chương Cơ sở lý thuyết 1.1 Tổng quan ảnh Pixel đơn vị phần tử nhỏ ảnh, giá trị pixel điểm ảnh biểu diễn thành số tỉ lệ thuận với cường độ ánh sáng Một ảnh có độ phân giải 640 × 720 có nghĩa chiều ngang có 640 điểm ảnh (pixel) chiều dọc có 720 điểm ảnh 230 218 190 183 218 218 218 230 190 183 183 218 218 218 218 198 183 218 218 218 190 190 183 218 218 126 142 190 198 218 126 129 190 215 218 230 Hình 1.1: Ma trận biễu diễn điểm ảnh Để biểu diễn tất điểm ảnh người ta dùng ma trận hai chiều Vì tổng số điểm ảnh tính “số hàng×số cột” ma trận Hình 1.1 mơ tả cách lưu trữ điểm ảnh ma trận chọn từ liệu chuẩn KinFaceW-I [1] 1.1.1 Ảnh màu Ảnh màu kết hợp từ ba kênh màu Đỏ (Red), Xanh lục (Green), Xanh dương (Blue) Nếu ảnh màu mã hóa 24 bits bits cho kênh màu Đỏ, bits cho kênh màu Xanh lục, bits cho kênh màu Xanh dương Mỗi kênh màu biểu diễn thành giá trị số từ - 255, tổng cộng ta có 255×255×255 = 1.66 triệu sắc màu để hiển thị ảnh Red image component Green image component Color image Blue image component Hình 1.2: Các thành phần màu cấu tạo nên ảnh màu RGB 1.1.2 Ảnh xám Ảnh xám (gray image): chuyển đổi từ ảnh màu, điểm ảnh ảnh xám biểu diễn thành giá trị nằm khoảng - 255 Để lưu trữ ảnh xám ta cần bits byte để biểu diễn với điểm ảnh Chuyển đổi từ ảnh màu sang ảnh xám ta cần nhân giá trị điểm ảnh với hệ số cho trước Y = 0.3 × Red + 0.59 × Green + 0.11 × Blue Hình 1.3: Hình ảnh mơ tả chuyển đổi ảnh xám từ ảnh màu (1.1) 34 Bảng 4.6: Kết (%) tập liệu KFW-I phương pháp đề xuất Tài liệu tham khảo Phương pháp FS FD MS MD Trung bình [39] - 2017 NRCML 66.1 61.1 66.9 73.0 66.3 [43] - 2015 FS 75.4 63.8 69.9 74.6 70.9 [60] - 2018 ELM 70.0 64.2 73.0 77.2 71.1 [44] - 2014 DMML 74.5 69.5 69.5 75.5 72.3 [45] - 2016 QMCPBp 74.4 69.6 68.8 77.8 72.6 [61] - 2019 LBPu2 + Fs 78.1 69.2 70.8 72.2 72.6 [34] - 2017 BNRML 76.3 70.5 73.1 72.5 73.2 [58] - 2015 IFVF 73.4 71.7 71.1 77.6 73.5 [46] - 2017 R-K2 ISSME 71.3 79.5 73.7 69.4 73.5 [62] - 2016 MMTL - - - - 73.7 [43] - 2015 NBDFDL 79.2 73.1 70.3 72.5 73.8 [63] - 2017 DRF 71.2 74.3 77.2 73.3 74.0 [64] - 2018 DCTNet 82.3 75.2 72.4 68.6 74.6 [65] - 2018 HCE-DML - - - - 74.8 [66] - 2015 SILD 80.5 72.4 69.8 77.1 74.9 [67] - 2018 MHSL - - - - 75.2 78.1 78.9 77.1 68.5 75.6 năm xuất Phương pháp đề xuất 35 Bảng 4.7: Kết (%) tập liệu KFW-II phương pháp đề xuất Tài liệu tham khảo Phương pháp FS FD MS MD Trung bình [46] - 2017 R-K2 ISSME 75.6 78.4 68.6 73.2 74.0 [47] - 2017 SPMLP N 81.4 71.2 74.8 73.0 75.1 [45] - 2016 QMCBPq 77.2 71.6 79.0 73.4 75.3 [67] - 2018 MHSL - - - - 75.4 [48] - 2016 ESL 81.2 73.0 75.6 73.0 75.7 [49] - 2017 QIWD 77.4 73.6 78.4 76.8 76.6 [42] - 2015 MPDFL 77.3 74.7 77.8 78.0 77.0 [60] - 2018 EML 78.6 73.6 81.0 79.6 78.2 [68] - 2015 NRCML 79.8 76.1 79.8 80.0 78.7 [52] - 2018 L2 M L 82.4 78.2 78.8 80.4 80.0 [53] - 2017 EHRMFS 84.4 80.6 84.4 77.6 80.2 [69] - 2016 SSML 85.0 77.0 80.4 78.4 80.2 [54] - 2018 MvDML 80.4 79.8 78.8 81.8 80.2 [34] - 2017 BNRML 84.0 79.0 79.2 80.0 80.6 [55] - 2015 SC 82.6 73.8 82.8 84.0 80.8 [56] - 2016 GInCS 85.4 77.0 81.6 81.6 81.4 [57] - 2015 GTC 82.7 76.9 82.3 83.9 81.5 [58] - 2015 IFVF 85.6 75.4 82.8 82.6 81.6 [61] - 2019 LBPu2 + Fs 87.0 82.0 71.0 87.0 81.8 80.0 81.0 78.0 88.0 81.8 năm xuất Phương pháp đề xuất 36 Chương Kết luận Thông qua trình nghiên cứu, đề tài trình bày phương pháp nhận dạng nhân thân thuật tốn trích xuất đặc trưng mã hóa khơng gian màu khác để tìm khơng gian màu phù hợp cho toán Lựa chọn đặc trưng Fisher score Constraint score áp dụng tìm đặc trưng có liên quan trước sử dụng thuật toán phân lớp học có giám sát SVM để xác minh mối quan hệ Kết thử nghiệm hai tập liệu chuẩn KFW-I KFW-II cho thấy hiệu hai phương pháp đề xuất Tuy nhiên, kết bị hạn chế việc trích xuất đặc trưng ảnh dạng khối/vùng chưa áp dụng mơ hình học sâu (deep learning) Để khắc phục vấn đề trên, công việc đề xuất mơ hình thuật tốn mạng nơ rơn tích chập (Convolution Neural Network) kết hợp lựa chọn đặc trưng để tối ưu hóa toán Như đề cập chương tổng quan đề tài, tốn nhận dạng nhân thân thơng qua thị giác máy tính giúp người bị thất lạc nhanh chống tìm đứa trẻ có tỷ lệ khuôn mặt gần giống người thất lạc qua hạn chế vấn đề chi phí kiểm tra tiết kiệm thời gian Hay áp dụng để tìm đứa trẻ bị thất lạc cơng viên, khu vui chơi thơng qua hình ảnh khn mặt cha mẹ Trong lĩnh vực mạng xã hội, kiểm sốt phân chia hình ảnh gia đình cách tự động Ngoài ra, hai đề xuất đề tài chấp nhận báo cáo hai hội nghị quốc • Đề xuất chấp nhận báo cáo hội nghị quốc tế International Conference on Telecommunications 2019 (IEEE ICT’19) với tên báo “Kinship Verification based on Local Binary Pattern features coding in different color space” • Đề xuất chấp nhận báo cáo hội nghị quốc tế Asia-Pacific Conference on Communications 2019 (IEEE APCC’19) với tên báo “Early and late features fusion for kinship verification based on constraint selection” 37 Tài liệu tham khảo [1] J Lu, X Zhou, Y.-P Tan, Y Shang, and J Zhou, “Neighborhood Repulsed Metric Learning for Kinship Verification,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 36, no 2, pp 331–345, Feb 2014 [2] J Hu, J Lu, J Yuan, and Y.-P Tan, “Large Margin Multi-metric Learning for Face and Kinship Verification in the Wild,” in Computer Vision – ACCV 2014, D Cremers, I Reid, H Saito, and M.-H Yang, Eds Cham: Springer International Publishing, 2015, vol 9005, pp 252–267 [3] C Liu, “Extracting discriminative color features for face recognition,” Pattern Recognition Letters, vol 32, no 14, pp 1796–1804, Oct 2011 [4] Z Liu and C Liu, “Fusion of color, local spatial and global frequency information for face recognition,” Pattern Recognition, vol 43, no 8, pp 2882–2890, Aug 2010 [5] P Shih and C Liu, “Comparative assessment of content-based face image retrieval in different color spaces,” International Journal of Pattern Recognition and Artificial Intelligence, vol 19, no 07, pp 873–893, 2005 [6] Z Lu, X Jiang, and A Kot, “An effective color space for face recognition,” in 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) Shanghai: IEEE, Mar 2016, pp 2019–2023 [7] K Zhang, Y Huang, C Song, H Wu, and L Wang, “Kinship Verification with Deep Convolutional Neural Networks,” in Procedings of the British Machine Vision Conference 2015 Swansea: British Machine Vision Association, 2015, pp 148.1–148.12 [8] L Li, X Feng, X Wu, Z Xia, and A Hadid, “Kinship Verification from Faces via Similarity Metric Based Convolutional Neural Network,” in Image Analysis and Recognition, A Campilho and F Karray, Eds Publishing, 2016, vol 9730, pp 539–548 Cham: Springer International 38 [9] E Boutellaa, M B López, S Ait-Aoudia, X Feng, and A Hadid, “Kinship Verification from Videos using Spatio-Temporal Texture Features and Deep Learning,” arXiv:1708.04069 [cs], Aug 2017, arXiv: 1708.04069 [10] A Porebski and V T Hoang, “Multi-color space local binary pattern-based feature selection for texture classification,” Journal of Electronic Imaging, vol 27, no 01, p 1, Feb 2018 [11] N Vandenbroucke, L Busin, and L Macaire, “Unsupervised color-image segmentation by multicolor space iterative pixel classification,” Journal of Electronic Imaging, vol 24, no 2, p 023032, Apr 2015 [12] T Cover and P Hart, “Nearest neighbor pattern classification,” IEEE Transactions on Information Theory, vol 13, no 1, pp 21–27, Jan 1967 [13] A Ledoux and N Richard, “Color and multiscale texture features from vectorial mathematical morphology,” Signal, Image and Video Processing, vol 10, no 3, pp 431–438, Mar 2016 [14] R Bello-Cerezo, F Bianconi, A Fernández, E González, and F Di Maria, “Experimental comparison of color spaces for material classification,” Journal of Electronic Imaging, vol 25, no 6, p 061406, Jun 2016 [15] A Ahmadvand and M R Daliri, “Invariant texture classification using a spatial filter bank in multi-resolution analysis,” Image and Vision Computing, vol 45, pp 1–10, Jan 2016 [16] S Alvarez and M Vanrell, “Texton theory revisited: A bag-of-words approach to combine textons,” Pattern Recognition, vol 45, no 12, pp 4312–4325, Dec 2012 [17] K Hammouche, O Losson, and L Macaire, “Fuzzy aura matrices for texture classification,” Pattern Recognition, vol 53, pp 212–228, May 2016 [18] E Cernadas, M Fernández-Delgado, E González-Rufino, and P Carrión, “Influence of normalization and color space to color texture classification,” Pattern Recognition, vol 61, pp 120–138, Jan 2017 [19] C Cortes and V Vapnik, “Support-vector networks,” Machine Learning, vol 20, no 3, pp 273–297, Sep 1995 39 [20] B E Boser, I M Guyon, and V N Vapnik, “A training algorithm for optimal margin classifiers,” in Proceedings of the fifth annual workshop on Computational learning theory ACM, 1992, pp 144–152 [21] Chih-Wei Hsu and Chih-Jen Lin, “A comparison of methods for multiclass support vector machines,” IEEE Transactions on Neural Networks, vol 13, no 2, pp 415425, Mar 2002 [22] T Ojala, M Pietikăainen, and D Harwood, “A comparative study of texture measures with classification based on featured distributions,” Pattern recognition, vol 29, no 1, pp 51–59, 1996 [23] T Ojala, M Pietikainen, and T Maenpaa, “Multiresolution gray-scale and rotation invariant texture classification with local binary patterns,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 24, no 7, pp 971–987, Jul 2002 [24] X Tan and W Triggs, “Enhanced local texture feature sets for face recognition under difficult lighting conditions,” IEEE transactions on image processing, vol 19, no 6, pp 1635–1650, 2010 [25] N Dalal and B Triggs, “Histograms of Oriented Gradients for Human Detection,” in 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), vol San Diego, CA, USA: IEEE, 2005, pp 886–893 [26] J Tang, S Alelyani, and H Liu, “Feature selection for classification: A review,” Data classification: algorithms and applications, p 37, 2014 [27] J C Ang, A Mirzal, H Haron, and H N A Hamed, “Supervised, Unsupervised, and Semi-Supervised Feature Selection: A Review on Gene Selection,” IEEE/ACM Transactions on Computational Biology and Bioinformatics, vol 13, no 5, pp 971–989, Sep 2016 [28] M Kalakech, P Biela, L Macaire, and D Hamad, “Constraint scores for semisupervised feature selection: A comparative study,” Pattern Recognition Letters, vol 32, no 5, pp 656–665, Apr 2011 [29] Z Zhao and H Liu, “Spectral feature selection for supervised and unsupervised learning,” in Proceedings of the 24th international conference on Machine learning - ICML ’07 Corvalis, Oregon: ACM Press, 2007, pp 1151–1157 40 [30] R Sheikhpour, M A Sarram, S Gharaghani, and M A Z Chahooki, “A Survey on semi-supervised feature selection methods,” Pattern Recognition, vol 64, pp 141–158, Apr 2017 [31] C M Bishop and others, Neural networks for pattern recognition Oxford university press, 1995 [32] D Zhang, S Chen, and Z.-H Zhou, “Constraint Score: A new filter method for feature selection with pairwise constraints,” Pattern Recognition, vol 41, no 5, pp 1440–1451, May 2008 [33] A Moujahid, A Abanda, and F Dornaika, “Feature Extraction Using Blockbased Local Binary Pattern for Face Recognition,” Electronic Imaging, vol 2016, no 10, pp 1–6, Feb 2016 [34] B Patel, R Maheshwari, and B Raman, “Evaluation of periocular features for kinship verification in the wild,” Computer Vision and Image Understanding, vol 160, pp 24–35, Jul 2017 [35] A Moujahid and F Dornaika, “A pyramid multi-level face descriptor: application to kinship verification,” Multimedia Tools and Applications, Aug 2018 [36] T Ahonen, A Hadid, and M Pietikainen, “Face Description with Local Binary Patterns: Application to Face Recognition,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 28, no 12, pp 2037–2041, Dec 2006 [37] B Julsing, “Face recognition with local binary patterns,” Research No SAS00807, University of Twente, Department of Electrical Engineering, Mathematics & Computer Science (EEMCS), 2007 [38] L Kou, X Zhou, M Xu, and Y Shang, “Learning a Genetic Measure for Kinship Verification Using Facial Images,” Mathematical Problems in Engineering, vol 2015, pp 1–5, 2015 [39] H Yan, “Kinship verification using neighborhood repulsed correlation metric learning,” Image and Vision Computing, vol 60, pp 91–97, Apr 2017 [40] X Zhou, J Hu, J Lu, Y Shang, and Y Guan, “Kinship verification from facial images under uncontrolled conditions,” in Proceedings of the 19th ACM international conference on Multimedia - MM ’11 Press, 2011, p 953 Scottsdale, Arizona, USA: ACM 41 [41] M Bordallo Lopez, A Hadid, E Boutellaa, J Goncalves, V Kostakos, and S Hosio, “Kinship verification from facial images and videos: human versus machine,” Machine Vision and Applications, vol 29, no 5, pp 873–890, Jul 2018 [42] H Yan, J Lu, and X Zhou, “Prototype-Based Discriminative Feature Learning for Kinship Verification,” IEEE Transactions on Cybernetics, vol 45, no 11, pp 2535–2545, Nov 2015 [43] X Duan and Z.-H Tan, “A feature subtraction method for image based kinship verification under uncontrolled environments,” in 2015 IEEE International Conference on Image Processing (ICIP) Quebec City, QC, Canada: IEEE, Sep 2015, pp 1573–1577 [44] H Yan, J Lu, W Deng, and X Zhou, “Discriminative Multimetric Learning for Kinship Verification,” IEEE Transactions on Information Forensics and Security, vol 9, no 7, pp 1169–1178, Jul 2014 [45] R Lan and Y Zhou, “Quaternion-Michelson Descriptor for Color Image Classification,” IEEE Transactions on Image Processing, vol 25, no 11, pp 5281–5292, Nov 2016 [46] M Faraki, M T Harandi, and F Porikli, “No fuss metric learning, a Hilbert space scenario,” Pattern Recognition Letters, vol 98, pp 83–89, Oct 2017 [47] H Liu and C Zhu, “Status-aware projection metric learning for kinship verification,” in 2017 IEEE International Conference on Multimedia and Expo (ICME) Hong Kong, Hong Kong: IEEE, Jul 2017, pp 319–324 [48] X Zhou, Y Shang, H Yan, and G Guo, “Ensemble similarity learning for kinship verification from facial images in the wild,” Information Fusion, vol 32, pp 40– 48, Nov 2016 [49] R Lan, Y Zhou, and Y Y Tang, “Quaternionic Weber Local Descriptor of Color Images,” IEEE Transactions on Circuits and Systems for Video Technology, vol 27, no 2, pp 261–274, Feb 2017 [50] M Xu and Y Shang, “Kinship Measurement on Face Images by Structured Similarity Fusion,” IEEE Access, vol 4, pp 10 280–10 287, 2016 [51] X Duan and Z.-H Tan, “Neighbors Based Discriminative Feature Difference Learning for Kinship Verification,” in Advances in Visual Computing, G Bebis, R Boyle, B Parvin, D Koracin, I Pavlidis, R Feris, T McGraw, M Elendt, 42 R Kopper, E Ragan, Z Ye, and G Weber, Eds Cham: Springer International Publishing, 2015, vol 9475, pp 258–267 [52] J Hu, J Lu, Y.-P Tan, J Yuan, and J Zhou, “Local Large-Margin Multi-Metric Learning for Face and Kinship Verification,” IEEE Transactions on Circuits and Systems for Video Technology, vol 28, no 8, pp 1875–1891, Aug 2018 [53] C R Kumar, “Harmonic rule for measuring the facial similarities among relatives,” Transactions on Machine Learning and Artificial Intelligence, vol 4, no 6, p 29, 2017 [54] J Hu, J Lu, and Y.-P Tan, “Sharable and Individual Multi-View Metric Learning,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol 40, no 9, pp 2281–2288, Sep 2018 [55] Y Chen, H Hu, S Cao, and B Ma, “Sparse coding based kinship recognition,” in Multimedia Technology IV: Proceedings of the 4th International Conference on Multimedia Technology, Sydney, Australia, 28-30 March 2015 CRC Press, 2015, p 115 [56] Q Liu, A Puthenputhussery, and C Liu, “A novel inheritable color space with application to kinship verification,” in 2016 IEEE Winter Conference on Applications of Computer Vision (WACV) Lake Placid, NY, USA: IEEE, Mar 2016, pp 1–9 [57] A Bottino, T F Vieira, and I Ul Islam, “Geometric and Textural Cues for Automatic Kinship Verification,” International Journal of Pattern Recognition and Artificial Intelligence, vol 29, no 03, p 1556001, May 2015 [58] Q Liu, A Puthenputhussery, and C Liu, “Inheritable Fisher vector feature for kinship verification,” in 2015 IEEE 7th International Conference on Biometrics Theory, Applications and Systems (BTAS) Arlington, VA, USA: IEEE, Sep 2015, pp 1–6 [59] V Truong Hoang, “Multi color space LBP-based feature selection for texture classification.” Littoral, 2018 [60] X Wu, X Feng, E Boutellaa, and A Hadid, “Kinship Verification using Color Features and Extreme Learning Machine,” in 2018 IEEE 3rd International Conference on Signal and Image Processing (ICSIP) pp 187–191 Shenzhen: IEEE, Jul 2018, 43 [61] T N Van and V T Hoang, “Kinship Verification based on Local Binary Pattern features coding in different color space,” in 2019 26th International Conference on Telecommunications (ICT) (ICT 2019), Hanoi, Vietnam, Apr 2019 [62] X Qin, X Tan, and S Chen, “Mixed bi-subject kinship verification via multiview multi-task learning,” Neurocomputing, vol 214, pp 350–357, Nov 2016 [63] J Liang, J Guo, S Lao, and J Li, “Using Deep Relational Features to Verify Kinship,” in Computer Vision, J Yang, Q Hu, M.-M Cheng, L Wang, Q Liu, X Bai, and D Meng, Eds Singapore: Springer Singapore, 2017, vol 771, pp 563–573 [64] A Tidjani, A Taleb-Ahmed, D Samai, and A Kamal Eddine, “Deep learning features for robust facial kinship verification,” IET Image Processing, vol 12, no 12, pp 2336–2345, Dec 2018 [65] X Zhou, Z Zhang, Z Wei, K Jin, and M Xu, “Consistency-Exclusivity Regularized Deep Metric Learning for General Kinship Verification,” in 2018 IEEE International Conference on Multimedia and Expo (ICME) San Diego, CA: IEEE, Jul 2018, pp 1–6 [66] J Lu, J Hu, V E Liong, X Zhou, A Bottino, I Ul Islam, T Figueiredo Vieira, X Qin, X Tan, S Chen, S Mahpod, Y Keller, L Zheng, K Idrissi, C Garcia, S Duffner, A Baskurt, M Castrillon-Santana, and J Lorenzo-Navarro, “The FG 2015 Kinship Verification in the Wild Evaluation,” in 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG) Ljubljana: IEEE, May 2015, pp 1–7 [67] X Qin, D Liu, and D Wang, “Heterogeneous Similarity Learning for More Practical Kinship Verification,” Neural Processing Letters, vol 47, no 3, pp 1253–1269, Jun 2018 [68] H Yan, X Zhou, and Y Ge, “Neighborhood repulsed correlation metric learning for kinship verification,” in 2015 Visual Communications and Image Processing (VCIP) Singapore, Singapore: IEEE, Dec 2015, pp 1–4 [69] Y Fang, Y Y S Chen, H Wang, and C Shu, “Sparse similarity metric learning for kinship verification,” in 2016 Visual Communications and Image Processing (VCIP) Chengdu, China: IEEE, Nov 2016, pp 1–4 44 Danh sách hình vẽ 1.1 Ma trận biễu diễn điểm ảnh 1.2 Các thành phần màu cấu tạo nên ảnh màu RGB 1.3 Hình ảnh mơ tả chuyển đổi ảnh xám từ ảnh màu 1.4 Hình ảnh mô tả histogram ảnh 1.5 Mơ hình tốn học hệ màu RGB 10 1.6 Biểu diễn hình ảnh không gian màu khác 11 1.7 Mơ hình K -NN: 1-NN, 3-NN 5-NN 12 1.8 Mơ hình phân loại SVM 13 2.1 Mơ hình trích xuất dãy nhị phân LBP 16 2.2 LBP với tham số P , R khác 16 2.3 Bảng thống kê mẫu LBP uniform 17 3.1 Minh họa trích xuất đặc trưng LBP đa khối nhiều cấp độ 22 3.2 Sơ đồ phương pháp đề xuất cặp quan hệ 22 3.3 Sơ đồ phương pháp đề xuất cặp quan hệ 23 3.4 Trích xuất đặc trưng vùng đặc biệt khuôn mặt 24 4.1 Bộ liệu KFW-I KFW-II 25 4.2 Hiệu suất không gian màu tập KFW-I 27 4.3 Hiệu suất không gian màu tập KFW-II 27 4.4 Biểu đồ so sánh hiệu suất liệu KFW-I đặc trưng riêng lẽ kết hợp đặc trưng 4.5 Biểu đồ so sánh hiệu suất liệu KFW-II đặc trưng riêng lẽ kết hợp đặc trưng 4.6 31 32 Biểu đồ so sánh hiệu suất liệu KFW-I KFW-II chuẩn hóa liệu trước sau ghép nối đặc trưng 33 45 Danh sách bảng 4.1 Thống kê hai liệu KFW-I KFW-II 26 4.2 Phân tích sở liệu KinFaceW-I KinFaceW-II 26 4.3 So sánh sử dụng lựa chọn đặc trưng không đặc trưng 28 4.4 Kết (%) tập liệu KFW-I phương pháp đề xuất 29 4.5 Kết (%) tập liệu KFW-II phương pháp đề xuất 30 4.6 Kết (%) tập liệu KFW-I phương pháp đề xuất 34 4.7 Kết (%) tập liệu KFW-II phương pháp đề xuất 35 46 Danh mục từ ký hiệu B Tổng số khối ảnh b Kích thước khối ảnh C Ảnh f Đặc trưng Fr Hệ số Fisher gc Giá trị điểm ảnh trung tâm gi Giá trị điểm ảnh xung quanh K Số gấp chia tập liệu I Hình ảnh l Cấp độ phân chia ảnh L Tổng số cấp độ phân chia ảnh LBPP,R Mẫu nhị phân với bán kính R số lượng cận điểm P LBPu2 P,R Mẫu nhị phân uniform N Kích thước ảnh NP Số lượng cặp ảnh P Ảnh cha mẹ µ Giá trị trung bình σ Giá trị phương sai χ Khoảng cách Chi-Square P Số lượng điểm LBP R Bán kính LBP 47 Danh mục từ viết tắt BNRML Block-based Neighborhood Repulsed Metric Learning Cs Constraint score DCTNet Discrete Cosine Transform Network DMML Discriminative Multi Metric Learning DRF Deep Relation Feature EHRMFS Extended Harmonic Rule for Measuring the Facial Similarities ESL Ensemble Similarity Learning ELM Extreme Learning Machine FD Father Daughter FIUUC Facial Images Under Uncontrolled Conditions Fs Fisher score FS Father Son FS Feature Subtraction GATC Geometric and Textural Cues GInCS Generalized Inheritable Color Space GTC Geometric and Textural Cues HCE-DML Hierarchical Consistency Exclusivity Deep Metric Learning HOG Histogram Of Gradient IFVF Inheritable Fisher Vector Feature K -NN K -Nearset Neighbor KFW-I KinFaceW-I KFW-II KinFaceW-II LBP L M L Local Large Margin Multi Metric Learning LBP Local Binary Pattern LBPu2 + Fs Local Binary Pattern uniform + Fisher score 48 LE Laplacian Eigenmaps LE LEarning-based descriptor LGM Learning a Genetic Measure LID Local Image Descriptors LM L Large Margin Multi Metric Learning LTP Local Ternary Pattern LPQ Local Phase Quantization MD Mother Daughter MHSL Multiview Heterogeneous Similarity Learning MMTL Multiview Multi Task Learning MNRML Multiview Neighborhood Repulsed Metric Learning MPDFL Multiview Prototype-based Discriminative Feature Learning MS Mother Son MvDML Multi-view Deep Metric Learning NBDFDL Neighbors Based Discriminative Feature Difference Learning NRCML Neighborhood Repulsed Correlation Metric Learning NRML Neighborhood Repulsed Metric Learning OSL-A Online Similarity Learning with Average strategy PML Pyramid Multi Level QIWD Quaternionic Increment Based Weber Descriptor QMCBPP Quaternionic Michelson Contrast Binary Pattern - P QMCBPq Quaternionic Michelson Contrast Binary Pattern - q R-K ISSME R - Keep It Simple and Straightforward MEtric SC Sparse Coding based kinship recognition SIFT Scale Invariant Feature Transform SILD Side Information based Linear Discriminant SPLE Spatial Pyramid Learning-based SPML-PN Status-aware Projection Metric Learning - Positive and Negative SSML Spare Similarity Metric Learning SVM Support Vector Machine TPLBP Three Patch Local Binary Pattern WLD Weber Local Descriptor ... GIẢI THƯỞNG SINH VIÊN NGHIÊN CỨU KHOA HỌC EURÉKA LẦN THỨ 21 NĂM 2019 Tên cơng trình: NHẬN DẠNG NHÂN THÂN QUA HỆ THỐNG THỊ GIÁC MÁY TÍNH  Đánh dấu chọn cơng trình nghiên cứu từ vấn đề gợi ý,... cơng trình, vấn đề (khơng q 100 từ) : Cơng trình nghiên cứu đề tài nhận dạng nhân thân thơng qua thị giác máy tính Cơng trình cơng bố hai báo khoa học quốc tế Những đóng góp gồm: - Đề xuất hai mơ... liên quan nhận dạng nhân thân thông qua thị giác máy tính; khn mặt gợi ý đáng tin cậy để đo lường tương quan di truyền cha mẹ Có nhiều thuật tốn đề xuất để cải thiện kết từ việc sử dụng mơ hình học