Phương pháp nhận dạng khuôn mặt trong điều kiện đơn mẫu dựa trên độ đo lt mhd

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG NGUYÊN CHÂU PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT TRONG ĐIỀU KIỆN ĐƠN MẪU DỰA TRÊN ĐỘ ĐO LT-MHD Ngành: Kỹ thuật Viễn thông Mã số ngành: 62520208 TĨM TẮT LUẬN ÁN TIẾN SĨ TP HỒ CHÍ MINH - NĂM 2022 Cơng trình hồn thành Trường Đại học Bách Khoa – ĐHQG-HCM Người hướng dẫn: PGS TS Đỗ Hồng Tuấn Phản biện độc lập: PGS TS Phan Văn Ca Phản biện độc lập: PGS TS Trần Công Hùng Phản biện: PGS TS Phạm Hồng Liên Phản biện: TS Lê Xuân Vinh Phản biện: TS Trần Trung Duy Luận án bảo vệ trước Hội đồng đánh giá luận án họp tại: Phòng 202 A4, trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh vào lúc 09 00 ngày 06 tháng 01 năm 2022 Có thể tìm hiểu luận án thư viện: - Thư viện Trường Đại học Bách Khoa – ĐHQG-HCM - Thư viện Đại học Quốc gia Tp.HCM - Thư viện Khoa học Tổng hợp Tp.HCM CHƯƠNG GIỚI THIỆU Nhận dạng khuôn mặt điều kiện SSPP nhận dạng khuôn mặt Trong năm qua, có nhiều phương pháp nhận dạng khuôn mặt đề xuất với kết đáng khích lệ Tuy nhiên, lĩnh vực nhận dạng khn mặt cịn nhiều tốn cần giải quyết, tốn lớn tỷ lệ nhận dạng phương pháp suy giảm nhiều điều kiện có ảnh cho cá nhân sở liệu Đây điều kiện SSPP (Single sample per person) nghiên cứu nhận dạng khuôn mặt Điều kiện SSPP điều kiện ràng buộc nhiều ứng dụng thực tế nhận dạng khn mặt Đã có nhiều nghiên cứu đề xuất để giải toán SSPP nhận dạng khuôn mặt Các nghiên cứu chia thành 04 nhóm: nhóm phương pháp nhận dạng dựa đặc trưng toàn cục ảnh, nhóm phương pháp nhận dạng dựa đặc trưng cục ảnh, nhóm phương pháp tạo thêm ảnh ảo nhóm phương pháp sử dụng thêm tập chung Lý chọn đề tài Theo nghiên cứu, khơng có nhóm phương pháp trội so với nhóm phương pháp cịn lại [9-10] Nhóm phương pháp nhận dạng khn mặt dựa đặc trưng cục nghiên cứu đánh giá dễ dàng triển khai ứng dụng thực tế Trong số đặc trưng cục bộ, pixel cạnh đặc trưng cục nhiều phương pháp nhóm sử dụng ưu điểm bền vững với điều kiện khác ảnh đầu vào, điều kiện ánh sáng Các phương pháp [15-24] sử dụng khoảng cách Hausdorff trung bình để đo giống hai tập hợp pixel cạnh điểm trội số pixel cạnh Nhược điểm nhóm phương pháp tỷ lệ nhận dạng chưa thật tốt độ phức tạp tính tốn cao Điều rào cản để áp dụng phương pháp nhận dạng khuôn mặt [15-24] vào ứng dụng thực tế Như vậy, nghiên cứu để đưa giải pháp giảm độ phức tạp tính tốn đồng thời nâng cao tỷ lệ nhận dạng xác cho phương pháp nghiên cứu cần thiết Mục tiêu đóng góp đề tài Trong nghiên cứu này, khỏang cách đề xuất để đo khoảng cách hai tập hợp đặc trưng, khoảng cách Least Trimmed-Modified Hausdorff distance (LT-MHD) Dựa khoảng cách LT-MHD, hai phương pháp nhận dạng khuôn mặt điều kiện SSPP đề xuất: phương pháp Least Trimmed-New Modified Hausdorff Distance (LT-NMHD), cải tiến phương pháp NMHD [23] phương pháp Least Trimmed-Line Hausdorff Distance (LT-LHD), cải tiến phương pháp LHD [24] Thông hai phương pháp LT-NMHD phương pháp LT-LHD, nghiên cứu chứng minh việc dùng khoảng cách LT-MHD thay cho khoảng cách Hausdorff trung bình giúp làm tăng tỷ lệ nhận dạng phương pháp nhận dạng khuôn mặt Đồng thời, nghiên cứu chứng minh khoảng cách LT-MHD sử dụng hiệu để đo khoảng cách hai tập hợp loại đặc trưng khác ảnh khuôn mặt Các kết mở rộng để giúp cải thiện tỷ lệ nhận dạng cho phương pháp tương tự nhóm [15-22] Bên cạnh đó, nghiên cứu đưa giải pháp để giảm độ phức tạp tính tốn cho hai phương pháp LT-NMHD phương pháp LT-LHD Hai nghiên cứu tiếng lĩnh vực CAD/CAM để giảm độ phức tạp phép tính khoảng cách Hausdorff EARLYBREAK LSS áp dụng để làm giảm độ phức tạp cho phương pháp LT-NMHD phương pháp LT-LHD Nếu giải pháp cho thấy hiệu việc giảm độ phức tạp cho phương pháp LT-NMHD phương pháp LT-LHD mở rộng để áp dụng cho phương pháp khác [15-22] Ngoài ra, phần cuối nghiên cứu này, chúng tơi trình bày phương pháp trích đặc trưng ảnh khn mặt cách áp dụng mạng CNN, khoảng cách LT-MHD sử dụng hàm mát mạng Nội dụng đóng góp luận án tóm tắt sau: • Nghiên cứu đề xuất khoảng cách mới, LT-MHD Dựa khoảng cách LT-MHD hai phương pháp nhận dạng khuôn mặt điều kiện SSPP đề xuất: LT-NMHD LT-LHD Thông qua kết mô tỷ lệ nhận dạng hai phương pháp LT-NMHD LT-LHD, nghiên cứu chứng minh việc sử dụng khoảng cách LT-MHD thay cho khoảng cách Hausdorff trung bình giúp cải thiện 2-10% tỷ lệ nhận dạng phương pháp Các kết mơ chứng minh sử dụng khoảng cách LT-MHD với nhiều loại đặc trưng khác ảnh khn mặt • Hai phương pháp LT-NMHD LT-LHD cho kết tốt so sánh với phương pháp nhận dạng khuôn mặt điều kiện SSPP năm gần Đặc biệt, phương pháp LT-LHD có tỷ lệ nhận dạng cao 2-11% so với phương pháp đề xuất khoảng năm gần • Phương pháp LT-NMHD có độ phức tạp tính tốn thời gian tính tốn thấp phương pháp NMHD 17% 16% Tương tự, phương pháp LT-LHD có độ phức tạp tính tốn thời gian tính tốn thấp phương pháp LHD 67% 65% Điều chứng minh hiệu việc giảm độ phức tạp tính tốn phương pháp nhận dạng khn mặt áp dụng phương pháp EARLYBREAK LSS • Nghiên cứu đề xuất mơ hình trích đặc trưng ảnh khn mặt điều kiện SSPP dựa việc kết hợp mạng CNN khoảng cách LT-MHD Việc sử dụng khoảng cách LT-MHD làm hàm mát mạng CNN thay cho hàm crossentropy giúp làm tăng tỷ lệ nhận dạng cho mơ hình khoảng 43% • Các kết nghiên cứu cơng bố báo tạp chí quốc tế, báo tạp chí nước, hội nghị quốc tế chuyên ngành Phần lại luận án trình bày sau: Chương trình bày sở lý thuyết bao gồm: khảo sát số nghiên cứu gầy nhận dạng khuôn mặt điều kiện SSPP khảo sát nghiên cứu giúp làm giảm độ phức tạp tính tốn khoảng cách Hausdorff Chương trình bày phép đo LT-MHD phương pháp LT-NMHD cho nhận dạng khuôn mặt Chương trình bày phương pháp LT-LHD cho nhận dạng khn mặt Các kết mô cho phương pháp LT-NMHD LT-LHD trình bày chương Chương trình bày mơ hình trích đặc trưng ảnh khn mặt cách sử dụng mạng CNN kết hợp khoảng cách LT-MHD Các kết luận luận án trình bày chương CHƯƠNG CƠ SỞ LÝ THUYẾT Các phương pháp nhận dạng khuôn mặt điều kiện SSPP Các phương pháp nhận dạng khuôn mặt dựa đặc trưng trích từ tồn ảnh (Global feature-based methods) biểu diễn đặc trưng tồn ảnh vector có số chiều lớn Các phương pháp có ưu điểm giữ lại tồn thơng tin ảnh đầu vào, đơn giản để triển khai thực tế hệ thống, tốn thời gian training tốn dung lượng lưu trữ hệ thống Tuy nhiên phương pháp tồn số nhược điểm Đầu tiên, vector đặc trưng có số chiều lớn nên thuật tốn phân lớp có độ phức tạp tính tốn cao thời gian nhận dạng lớn Một nhược điểm khác quan trọng nhóm phương pháp việc tỷ lệ nhận dạng phương pháp phụ thuộc vào đặc trưng toàn cục vốn nhạy với thay đổi ảnh Tỷ lệ nhận dạng xác phương pháp nhóm chưa thật cao Các phương pháp nhận dạng khuôn mặt dựa đặc trưng cục (Local featurebased methods) sử dụng đặc trưng cục để biểu diễn ảnh khn mặt Các đặc trưng cục trích từ phần ảnh khn mặt trích từ điểm đặc trưng Các phương pháp có ưu điểm tỷ lệ nhận dạng bền vững với nhiều điều kiện khác ảnh đầu vào, đơn giản nhiều so với phương pháp toàn cục việc triển khai ứng dụng thực tế Tuy nhiên, phương pháp tồn số nhược điểm việc đặc trưng tồn ảnh khơng trích xuất dẫn đến mát thơng tin, tỷ lệ nhận dạng xác chưa tốt độ phức tạp tính tốn phương pháp tương đối cao Các phương pháp tạo mẫu ảo để huấn luyện (Virtual sample generation based) sử dụng phương pháp khác để xây dựng thêm ảnh ảo từ ảnh gốc lớp Việc tăng số lượng mẫu lớp giúp phương pháp nhận dạng điều kiện có nhiều ảnh huấn luyện lớp áp dụng để giải toàn SSPP Tuy nhiên, nhược điểm phương pháp địi hỏi dung lượng lưu trữ lớn có nhiều ảnh tạo thêm phức tạp tính tốn cao, chất lượng tính thực tế ảnh tạo chưa đảm bảo Một nhược điểm quan trọng nhóm phương pháp việc ảnh tạo có tương quan cao với ảnh gốc Các phương pháp sử dụng thêm tập liệu chung để huấn luyện (Generic datasets based) sử dụng tập liệu chung để học cách trích đặc trưng tập liệu áp dụng vào để trích đặc trưng ảnh tập mẫu tập kiểm tra Ưu điểm phương pháp mơ hình học cách giải điều kiện không lý tưởng ảnh đầu vào từ tập liệu chung Tuy nhiên nhược điểm lớn phương pháp đòi hỏi dung lượng lưu trữ cực lớn cho tập ảnh chung thời gian lớn cho việc huấn luyện Bên cạnh tỷ lệ nhận dạng xác phương pháp phụ thuộc trực tiếp vào tập ảnh chung chọn Các phương pháp giảm độ phức tạp phép tính khoảng cách Hausdorff Cho hai tập hợp M T, khoảng cách Hausdorff trực tiếp hai tập hợp định nghĩa sau: h ( M , T ) = max  mi − ti  mi M  t j T  (2.2) Khoảng cách Hausdorff trực tiếp cực đại khoảng cách điểm tập M đến điểm gần tương ứng tập T Phép tính khoảng cách Hausdorff trực tiếp cơng thức (2.2) có độ phức tạp O(PQ), P Q tổng số phần tử hai tập hợp Đã có nhiều nghiên cứu đề xuất nhằm giúp làm giảm độ phức tạp phép tính khoảng cách Hausdorff, EARLYBREAK LSS hai phương pháp tiếng Phương pháp EARLYBREAK đưa giải pháp giảm độ phức tạp phép tính khoảng cách Hausdorff cách bỏ qua phép tính mà khơng làm ảnh hưởng đến kết phép tính khoảng cách Hausdorff Xét hai tập hợp M T hình 2.22, khoảng cách Hausdorff trực tiếp hai tập hợp theo công thức (2.2) h ( M , T ) = m1 − t1 Xét điểm m1, khoảng cách từ điểm tới điểm gần T m1 − t1 Xét điểm m2, ta có khoảng cách m2 − t1  m1 − t1 nên khoảng cách từ điểm m2 tới điểm gần T khơng đóng góp vào việc tính khoảng cách Hausdorff trực tiếp Việc tính khoảng cách từ m2 đến điểm cịn lại T bỏ qua tiếp tục với điểm m3 Hình 2.22: Khoảng cách Hausdorff trực tiếp hai tập hợp M T Phương pháp LSS có giải pháp giảm độ phức tạp phép tính khoảng cách Hausdorff tương tự phương pháp EARLYBREAK Sự khác biệt phương pháp LSS so với EARLYBREAK tập hợp xếp theo cấu trúc Morton Đồng thời vòng lặp trong phương pháp LSS bắt đầu vị trí xảy break vịng lặp ngồi trước CHƯƠNG MẶT PHƯƠNG PHÁP LT-NMHD CHO NHẬN DẠNG KHUÔN Khoảng cách đề xuất - Least trimmed Modified Hausdorff distance (LT-MHD) Khoảng cách Hausdorff, MAX-MIN Hausdorff, từ tập hợp M đến tập hợp T tính khoảng cách lớn từ điểm m tập M đến điểm tương ứng tập T Nhược điểm khoảng cách MAX-MIN có nhược điểm nhạy với nhiễu Nếu có phần tử nhiễu tập hợp, khoảng cách Hausdorff MAX-MIN khoảng cách từ điểm nhiễu đến điểm tương ứng tập hợp cịn lại Các khoảng cách Hausdorff phần (Partial Hausdorff distance - PHD) khoảng cách Hausdorff trung bình (Modified Hausdorff distace - MHD) đề xuất để khắc phục tính nhạy với nhiễu khoảng cách Hausdorff MAX-MIN Trong nghiên cứu này, đề xuất khoảng cách để đo giống hai tập hợp, khoảng cách Least trimmed Modified Hausdorff distance (LT-MHD) Khoảng cách LTMHD kết hợp khoảng cách PHD khoảng cách MHD Khoảng cách LT-MHD trực tiếp từ tập hợp M đến tập hợp T định nghĩa sau: hLT − MHD ( M , T ) =   m − t P P−K i=K t j T i j   ( i ) (3.4) P tổng số điểm tập hợp M K = f  P với f hệ số cho trước Phương pháp LT-NMHD cho nhận dạng khuôn mặt Kết hợp phương pháp NMHD độ đo LT-MHD đề xuất trên, đề xuất phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa đặc trưng cục bộ, phương pháp Least trimmed NMHD (LT-NMHD) Gọi  M = m1 , m2 , , mP  T = t1 , t2 , , tQ  hai tập hợp điểm trội ảnh mẫu ảnh cần nhận dạng Khoảng cách LT-MHD đề xuất sử dụng để đo khoảng cách hai tập hợp đặc trưng ảnh khuôn mặt Khoảng cách Hausdorff trực tiếp từ tập M đến tập T định nghĩa sau: hLT − NMHD ( M , T ) =  Wmit j P W i=K mi t j  m − t   t T i j   j ( i ) (3.7) mi M P tổng số điểm tập hợp M K = f  P với f hệ số cho trước Giải thuật 12 trình bày cách tính khoảng cách Hausdorff trực tiếp từ tập M đến tập T phương pháp LT-NMHD Ký hiệu , dùng để tích vơ hướng hai vector Giải thuật 12: Giải thuật tính khoảng cách Hausdorff trực tiếp phương pháp LT-NMHD Inputs: Dominant point sets M and T, fraction f Output: Directed Hausdorff distance hLT-NMHD(M,T) KM = (1–f)×P h = zeros(2,KM) for each dominant point m in set point M [cmax, place] = min(h(1,:)) cmin = ∞ for each dominant point t in set point T dist = ||m – t|| 10 if dist < cmin then 11 cmin = dist 12 W = Wt 13 end if 14 end for 15 if cmax < cmin then 16 h(1, place) = cmin 17 h(2, place) = 0.5 * (Wm + W) 18 end if 19 end for 20 return hLT-NMHD(M,T) = h(1,:), h(2,:)/sum(h(2,:)) Một khoảng cách Hausdorff sơ cấp hai tập hợp đặc trưng phương pháp LT-NMHD định nghĩa sau: H pLT − NMHD ( M , T ) = max ( hLT − NMHD ( M , T ) , hLT − NMHD (T , M ) ) (3.8) Bên cạnh đó, chúng tơi đề xuất đưa thêm số độ tin cậy vào phép đo khoảng cách hai tập hợp nhằm giúp làm tăng thêm tính xác Khi tính khoảng cách Hausdorff trực tiếp từ tập M đến tập T , điểm trội m có điểm tương ứng t khoảng cách chúng nhỏ giá trị N p điểm m gọi điểm tin cậy Như tỷ số độ tin cậy tập hợp tỷ số tổng số điểm tin cậy tổng số điểm tập hợp Một số khơng tin cậy tính khoảng cách hai tập hợp định nghĩa sau: Dn = − RM + RT (3.10) RM RT tỷ số độ tin cậy tập M tập T Như vậy, khoảng cách Hausdorff hai tập hợp phương pháp LT-NMHD định nghĩa sau: 2 H LT − NMHD ( M , T ) = H pLT − NMHD ( M , T ) + Wn Dn (3.11) phương pháp đề xuất với phương pháp nghiên cứu khác Tập liệu ORL tập liệu thường nghiên cứu sử dụng cần so sánh khả nhận dạng phương pháp khác có cách thức thí nghiệm Khảo sát ảnh hưởng hệ số f lên chất lượng phương pháp LT-LHD LT-NMHD Trong phương pháp LT-NMHD phương pháp LT-LHD, tỷ số f phản ánh số lượng đường cạnh số lượng điểm trội sử dụng để tính khoảng cách Hausdorff trực tiếp phương pháp Giá trị f thay đổi khoảng ÷ 0.9 Giá trị f = vơ nghĩa khơng có đường cạnh/điểm trội sử dụng để tính khoảng cách Hausdorff Khơng có lý thuyết để chọn giá trị f để tỷ lệ nhận dạng hai phương pháp LT-NMHD phương pháp LT-LHD đạt tối ưu Vì nghiên cứu việc lựa chọn tỷ số f dựa vào thực nghiệm, tối ưu tỷ lệ nhận dạng hai phương pháp LT-NMHD phương pháp LT-LHD điều kiện bình thường ảnh khuôn mặt Hai tập liệu AR Bern sử dụng mơ Hình 5.6 hình 5.7 mơ tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTLHD phương pháp LT-NMHD Tỷ lệ nhận dạng phương pháp LT-NMHD Hình 5.6: Ảnh hưởng f đến tỷ lệ nhận Hình 5.7: Ảnh hưởng f đến tỷ lệ nhận dạng phương pháp LT-LHD dạng phương pháp LT-NMHD 16 đạt cực đại f = 0.6 nên giá trị chọn cho mô phần sau Tương tự, giá trị f = 0.4 chọn cho phương pháp LT-LHD mô sau Vị trí f = tương ứng với việc khoảng cách Hausdorff trung bình sử dụng để tính khoảng cách hai tập hợp thay khoảng cách LT-MHD Các kết cho thấy cải thiện tỷ lệ nhận dạng phương pháp nhận dạng khuôn mặt sử dụng khoảng cách LT-MHD thay khoảng cách Hausdorff trung bình để đo khoảng cách hai tập đặc trưng Chứng minh giảm độ phức tạp tính tốn phương pháp LT-NMHD phương pháp LT-LHD Trong nghiên cứu này, số vòng lặp trung bình thời gian thực phép tính khoảng cách hai ảnh dùng so sánh đánh giá hiệu việc giảm độ phức tạp tính tốn Bảng 5.1 trình bày kết so sánh phương pháp NMHD phương pháp LT-NMHD Phương pháp LT-NMHD có số vịng lặp trung bình, hay độ phức tạp tính tốn, thấp 17% thời gian tính tốn thấp 16% so với phương pháp NMHD Tương tự, kết bảng 5.2, phương pháp LT-LHD có độ phức tạp tính tốn thấp 67% Bảng 5.1: Số vòng lặp trung bình thời gian tính khoảng cách hai ảnh phương pháp NMHD LT-NMHD Bern database AR database Method NMHD LT-NMHD NMHD LT-NMHD Average inner loop (x 103) 1204 1003 792.9 660.8 Decrease (%) 16.67 16.66 Matching time (ms) 8.3 6.9 5.1 4.3 Decrease (%) 16.86 15.7 Bảng 5.2: Số vịng lặp trung bình thời gian tính khoảng cách hai ảnh phương pháp LHD LT-LHD Bern database AR database Method LHD LT-LHD LHD LT-LHD Average inner loop (x 103) 62.76 20.83 40.77 13.59 Decrease (%) 66.81 66.67 Matching time (ms) 147 55 99 35 Decrease (%) 62.58 64.6 17 thời gian tính tốn thấp 63-65% so với phương pháp LHD Các kết cho thấy hiệu áp dụng phương pháp EARLYBREAK LSS để làm giảm độ phức tạp cho phương pháp nhận dạng khn mặt Nhận dạng khn mặt điều kiện bình thường Trong mô này, cặp ảnh khuôn mặt diện điều kiện bình thường tập liệu AR Bern sử dụng Bảng 5.3 trình bày kết so sánh tỷ lệ nhận dạng khuôn mặt phương pháp đề xuất LT-NMHD phương pháp NMHD điều kiện bình thường Các kết cho thấy phương pháp LT-NMHD cho kết nhận dạng cao khoảng 6-9% so với phương pháp NMHD Tương tự, kết bảng 5.4 cho thấy phương pháp LTLHD cho tỷ lệ nhận dạng cao phương pháp LHD khoảng 2% Các kết cho thấy việc sử dụng khoảng cách LT-MHD để đo khoảng cách tập đặc trưng giúp làm tăng tỷ lệ nhận dạng phương pháp nhận dạng khuôn mặt so với việc sử dụng khoảng cách Haudorff trung bình Bảng 5.3: Tỷ lệ nhận dạng khn mặt phương pháp NMHD LT-NMHD điều kiện bình thường Recognition rate Method Bern database AR database NMHD 93.93% 74.75% LT-NMHD 100% 83.84% Bảng 5.4: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD LT-LHD điều kiện bình thường Recognition rate Method Bern database AR database LHD 100% 92.92% LT-LHD 100% 94.94% Nhận dạng khuôn mặt điều kiện ánh sáng khác Bảng 5.5 5.6 trình bày kết so sánh tỷ lệ nhận dạng khuôn mặt phương pháp NMHD phương pháp LT-NMHD, phương pháp LHD phương pháp LT-LHD điều kiện ánh sáng khác ảnh đầu vào như: khuôn mặt bị chiếu sáng bên trái, bên phải từ hai bên Về trung 18 Bảng 5.5: Tỷ lệ nhận dạng khuôn mặt phương pháp NMHD LT-NMHD điều kiện ánh sáng khác Recognition rate Lighting condition NMHD LT-NMHD Left light on 71% 85% Right light on 64% 80% Both light on 49% 76% Average 61.33% 80.33% Bảng 5.6: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD LT-LHD điều kiện ánh sáng khác Recognition rate Lighting condition LHD LT-LHD Left light on 92% 95% Right light on 86% 88% Both light on 70% 71% Average 82.67% 84.67% bình, phương pháp LT-NMHD cho kết cao 19% so với phương pháp NMHD phương pháp LT-LHD cho kết nhận dạng cao 2% so với phương pháp LHD Các kết cho thấy với điều kiện khác ánh Hình 5.10: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTNMHD điều kiện chiếu sáng khác 19 Hình 5.13: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTLHD điều kiện chiếu sáng khác sáng ảnh đầu vào, việc sử dụng khoảng cách LT-MHD thay khoảng cách Hausddorff trung bình để đo khoảng cách tập hợp đặc trưng mang lại cải thiện tỷ lệ nhận dạng Hình 5.10 5.13 mô tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LT-NMHD phương pháp LT-LHD với điều kiện ánh sáng khác ảnh đầu vào Các kết cho thấy tất điều kiện ánh sáng khác nhau, phương pháp LT-LHD phương pháp LT-NMHD đạt tỷ lệ nhận dạng cực đại vị trí f  Điều cho thấy việc thay đổi từ sử dụng khoảng cách Hausdorff trung bình sang khoảng cách LTMHD mang lại cải thiện tỷ lệ nhận dạng cho phương pháp Nhận dạng khuôn mặt với góc chụp khác Kết so sánh tỷ lệ nhận dạng phương pháp LT-NMHD phương pháp NMHD bảng 5.7 cho thấy phương pháp LT-NMHD cho tỷ lệ nhận dạng cao 10% mặt trung bình so với phương pháp NMHD ảnh đầu vào chụp góc khác Tương tự, kết bảng 5.8 cho thấy Bảng 5.7: Tỷ lệ nhận dạng khuôn mặt phương pháp NMHD phương pháp LT-NMHD với góc chụp khác khuôn mặt Methods Test face NMHD LT-NMHD Looks left 40% 53.33% Looks right 53.33% 66.67% Looks up 60% 60% Looks down 53.33% 66.67% Average 51.67% 61.67% Bảng 5.8: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD phương pháp LT-LHD với góc chụp khác khn mặt Methods Test face LHD LT-LHD Looks left 56.67% 63.33% Looks right 60% 70% Looks up 76.67% 73.33% Looks down 70% 76.67% Average 65.83% 70.83% 20 phương pháp LT-LHD cho tỷ lệ nhận dạng cao phương pháp LHD khoảng 5% mặt trung bình điều kiện góc chụp khác Hình 5.14 5.16 mơ tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTNMHD phương pháp LT-NMHD ảnh chụp khn mặt với góc chụp khác Trong tất điều kiện khác góc chụp khn mặt, phương pháp LT-LHD LT-NMHD đạt tỷ lệ nhận dạng cực đại vị trí f  Điều chứng tỏ việc sử dụng khoảng cách LT-MHD mang lại hiệu khoảng cách Haudorff trung bình điều kiện nhận dạng khn mặt góc chụp khác Hình 5.14: Ảnh hưởng tỷ số f đến Hình 5.16: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LT- tỷ lệ nhận dạng phương pháp LTLHD điều kiện góc nhìn NMHD điều kiện góc nhìn khác khuôn mặt khác khuôn mặt Nhận dạng khuôn mặt với cảm xúc khác khuôn mặt Kết so sánh bảng 5.9 cho thấy ảnh chụp khuôn mặt với cảm xúc khác nhau, phương pháp LT-NMHD cho tỷ lệ nhận dạng cao phương pháp NMHD khoảng 17% trung bình Tương tự, kết bảng 5.10 cho thấy phương pháp LT-LHD cho kết nhận dạng cao phương pháp LHD khoảng 2.5% trung bình Hình 5.19 5.23 mô tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng khuôn mặt phương pháp LT-NMHD phương pháp 21 LT-LHD ảnh chụp khuôn mặt với cảm xúc khác Các kết cho thấy phương pháp LT-LHD phương pháp LT-NMHD đạt tỷ lệ nhận dạng cực đại vị trí f  Điều cho thấy việc thay đổi từ sử dụng khoảng cách Hausdorff trung bình sang khoảng cách LT-MHD mang lại cải thiện tỷ lệ nhận dạng cho phương pháp nhận dạng khuôn mặt Bảng 5.9: Tỷ lệ nhận dạng khuôn mặt phương pháp NMHD phương pháp LT-NMHD với cảm xúc khác khuôn mặt Methods Test face NMHD LT-NMHD Smiling 40% 70% Angry 85% 89% Average 62.5% 79.5% Bảng 5.10: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD phương pháp LT-LHD với cảm xúc khác khuôn mặt Methods Test face LHD LT-LHD Smiling 79% 82% Angry 90% 92% Average 84.5% 87% Hình 5.19: Ảnh hưởng tỷ số f đến Hình 5.23: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LT- tỷ lệ nhận dạng phương pháp LTNMHD điều kiện cảm xúc LHD điều kiện cảm xúc khác khuôn mặt khác khuôn mặt 22 So sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp nhận dạng khuôn mặt khác điều kiện SSPP Trong mô này, tập liệu khuôn mặt ORL sử dụng để so sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp nhận dạng khuôn mặt khác điều kiện SSPP Cách mô thực hoàn toàn giống phương pháp so sánh: ảnh người tập liệu ORL sử dụng làm tập liệu ảnh lại sử dụng để làm tập kiểm tra Các kết so sánh bảng 5.11 cho thấy hai phương pháp LT-NMHD phương pháp LT-LHD cho kết tốt Đặc biệt, phương pháp LT-LHD có tỷ lệ nhận dạng cao 2-11% so với phương pháp so sánh Kết luận chương Trong chương này, chúng tơi trình bày kết mô tỷ lệ nhận dạng phương pháp LT-NMHD phương pháp LT-LHD Các kết mô cho thấy hai phương pháp LT-LHD phương pháp LT-NMHD cho kết nhận dạng tốt hai phương pháp LHD phương pháp NMHD tất mô Điều cho thấy việc sử dụng khoảng cách LTBảng 5.11: So sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp khác điều kiện toán SSPP với tập liệu ORL Year Method Accuracy 2019 [43] 71.94% Global feature2020 [38] 76.61% based methods 2020 [41] 73.89% 2019 [50] 76% Local feature2020 [56] 69.87% based methods 2020 [55] 79.72% 2018 [69] 77.44% Virtual sample generation-based 2019 [66] 75% methods 2019 [70] 75% Generic dataset2008 [71] 72.4 based method 2021 LT-NMHD [87] 71.4% Proposed methods 2020 LT-LHD [90] 81.11% 23 MHD thay cho khoảng cách Hausdorff trung bình mang đến cải thiện tỷ lệ nhận dạng cho phương pháp Tùy theo điều kiện khác ảnh đầu vào, việc sử dụng khoảng cách LT-MHD mang lại cải thiện 2-10% tỷ lệ nhận dạng Ngoài ra, việc sử dụng khoảng cách LT-MHD với loại đặc trưng khác cho thấy khoảng cách LT-MHD sử dụng hiệu với nhiều loại đặc trưng khác ảnh khn mặt Bên cạnh đó, so sánh với phương pháp nhận dạng khuôn mặt khác năm gần đây, hai phương pháp đề xuất cho kết tốt Đặc biệt phương pháp LT-LHD cho kết cao 2-11% so với phương pháp so sánh khác CHƯƠNG SÂU KẾT HỢP PHÉP ĐO LT-MHD VỚI CÁC MƠ HÌNH HỌC Các phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa học sâu Bên cạnh phương pháp nhận dạng khuôn mặt điều kiện SSPP truyền thống đề cập chương 2, năm gần đây, có nhiều phương pháp nhận dạng khuôn mặt dựa điều kiện SSPP dựa học sâu đề xuất Ưu điểm phương pháp mơ hình học đặc trưng bền vững ảnh khuôn mặt từ tập liệu lớn, có tỷ lệ nhận dạng xác cao bền vững với điều kiện khác ảnh đầu vào Tuy nhiên, phương pháp có số nhược điểm thời gian huấn luyện lớn khó mở rộng hệ thống Các phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa học sâu chia thành hai hướng chính: phương pháp tạo thêm mẫu ảo để huấn luyện phương pháp sử dụng thêm tập chung để huấn luyện Các phương pháp tạo thêm mẫu ảo sử dụng mơ Auto Encoder (AE) Generative Adversarial Networks (GAN) để tạo thêm ảnh ảo đặc trưng ảo, giúp làm tăng số lượng mẫu tập huấn luyện Các phương pháp sử dụng thêm tập liệu chung sử dụng tập mẫu kết hợp với tập liệu chung lớn để làm tập huấn luyện cho mơ hình học sâu Các mơ hình học sâu 24 học cách trích đặc trưng tập liệu chung, sau áp dụng vào tập mẫu Kết hợp độ đo LT-MHD mơ hình học sâu để trích đặc trưng ảnh khn mặt Việc nghiên cứu phương pháp nhận dạng khuôn mặt điện kiện SSPP dựa học sâu mục tiêu ban đầu nghiên cứu Tuy nhiên hướng nghiên cứu phát triển nên hướng đến việc áp dụng số kết có từ nghiên cứu vào hướng phát triển Trong nghiên cứu không hướng đến việc đề xuất phương pháp nhận dạng khuôn mặt điều kiện SSPP mà đề xuất mơ hình trích đặc trưng ảnh khuôn mặt dựa học sâu điều kiện SSPP Trong nghiên cứu này, sử dụng lại mơ hình mạng huấn luyện trước, mạng InceptionV3 Tuy nhiên mạng huấn luyện với tập liệu ImageNet để có ngõ 1000 lớp phân biệt ảnh chuột, bàn phím, động vật… nên phải tiến hành điều chỉnh số lớp mạng tiến hành huấn luyện lại mạng với tập liệu ảnh khuôn mặt Đầu tiên, thay đổi lớp Fully connected (Lớp kết nối đầy đủ) để ngõ có số lớp phù hợp với tập liệu Tiếp theo, định nghĩa lớp phân lớp đầu ra, khoảng cách LT-MHD sử dụng hàm mát ngõ đốn ngõ mong muốn thay hàm cross-entropy nguyên mẫu mạng Gọi Y T ngõ đoán mạng ngõ mong muốn trình huấn luyện Hàm mát L mạng định nghĩa sau: L= P−K   K i =1 t j T yi − t j  ( i ) where j =  C (6.1) P tổng số mẫu đưa vào huấn luyện, C tổng số lớp đưa vào huấn luyện, yi vector đầu mạng tương ứng ảnh đầu vào, tj ngõ mong muốn lớp K = f  P , f tỷ số cho trước Sau huấn luyện mạng, sử dụng mạng để trích đặc trưng ảnh khuôn mặt Bộ phân loại Nearest Neighbor sử dụng để nhận dạng ảnh đầu vào 25 điều kiện SSPP Ảnh khuôn mặt tập liệu ORL sử dụng mô Chúng so sánh kết nhận dạng mạng InceptionV3 với tập liệu ORL sử dụng hai hàm mát lớp đầu ra: cross-entropy LT-MHD Bảng 6.1 mô tả tỷ lệ nhận dạng mạng InceptionV3 với tập liệu ORL sử dụng hai hàm mát Kết cho thấy Bảng 6.1: So sánh tỷ lệ nhận dạng mạng InceptionV3 sử dụng hàm mát khác Loss function Cross-entropy LT-MHD Recognition rate 19.44% 62.78% Increase 43.34% việc áp dụng hàm mát LT-MHD thay cho hàm cross-entropy giúp tỷ lệ nhận dạng mạng CNN với tập liệu ORL tăng lên 43% Tuy nhiên tỷ lệ nhận dạng đạt 62.78% kết chưa thật tốt Điều giải thích mạng CNN chúng tơi huấn luyện với tập liệu ảnh nhỏ (chỉ bao gồm 40 ảnh) thay tập liệu khn mặt lớn Việc dẫn đến mạng CNN mà chúng tơi đề xuất khơng thể học tốt cách trích đặc trưng ảnh khn mặt mơ hình khác CHƯƠNG KẾT LUẬN Các kết đạt nghiên cứu Điều kiện đơn mẫu điều kiện quan trọng ứng dụng thực tế mà phương pháp nhận dạng khuôn mặt cần giải Nghiên cứu hệ thống lại số nhóm phương pháp nhận dạng khuôn mặt đề xuất để giải tốn đơn mẫu Việc phân tích ưu nhược điểm nhóm phương pháp cho thấy nhóm phương pháp có hạn chế cần khắc phục Vì nghiên cứu nhằm khắc phục hạn chế nhóm phương pháp cần thiết Nghiên cứu đưa giải pháp nhằm khắc phục hạn chế nhóm phương pháp nhận dạng khuôn mặt dựa đặc trưng cục pixel cạnh bao gồm tỷ lệ nhận dạng độ phức tạp tính tốn 26 phương pháp Những đóng góp nghiên cứu tóm tắt sau • Nghiên cứu đề xuất độ đo mới, khoảng cách LT-MHD để đo khác hai tập hợp đặc trưng Các kết cho thấy khoảng cách LT-MHD sử dụng hiệu với nhiều loại đặc trưng khác ảnh khuôn mặt Điều cho thấy khoảng cách LT-MHD áp dụng cho phương pháp nhận dạng khuôn mặt khác sử dụng tập đặc trưng khác • Dựa khoảng cách LT-MHD, hai phương pháp nhận dạng khuôn mặt điều kiện đơn mẫu LT-LHD LT-NMHD đề xuất Các kết mô tỷ lệ nhận dạng khuôn mặt hai phương pháp LT-LHD LT-NMHD chứng minh việc sử dụng khoảng cách LT-MHD thay cho khoảng cách Hausdorff trung bình giúp cải thiện 2-10% tỷ lệ nhận dạng xác tùy điều kiện ảnh đầu vào Các kết mở rộng áp dụng cho số phương pháp nhận dạng khuôn mặt khác sử dụng khoảng cách Hausdorff trung bình [15-22] để giúp làm tăng tỷ lệ nhận dạng phương pháp • Tỷ lệ nhận dạng hai phương pháp LT-LHD LT-NMHD cho kết tốt so sánh với số phương pháp nhận dạng khuôn mặt điều kiện đơn mẫu năm gần điều kiện mô Đặc biệt, phương pháp LT-LHD cho tỷ lệ nhận dạng cao 2-11% so với phương pháp đề xuất khoảng năm gần • Để cải thiện độ phức tạp tính tốn cho hai phương pháp LT-LHD LTNMHD, nghiên cứu thực phân tích sâu phương pháp lĩnh vực CAD/CAM/CAE giảm độ phức tạp tính tốn cho phép tính khoảng cách Hausdorff Dựa phân tích sâu này, nghiên cứu áp dụng hai phương pháp EARLYBREAK LSS để làm giảm độ phức tạp tính tốn cho hai phương pháp LT-LHD LT-NMHD Việc 27 chứng minh toán học cho thấy hiệu việc giảm độ phức tạp phương pháp LT-LHD LT-NMHD áp dụng phương pháp EARLYBREAK LSS Các kết mô cho kết tương tự phương pháp LT-NMHD LT-LHD có độ phức tạp tính tốn giảm 17% 67% thời gian tính tốn giảm 16% 65% Các kết áp dụng để cải thiện độ phức tạp tính tốn cho phương pháp [15-22] • Ngồi nghiên cứu này, mơ hình trích đặc trưng ảnh khn mặt dựa học sâu cách kết hợp khoảng cách LT-MHD mạng CNN đề xuất Khoảng cách LT-MHD sử dụng hàm mát ngõ mạng CNN Các kết mô cho thấy việc dùng hàm mát ngõ khoảng cách LT-MHD thay hàm cross-entropy làm tăng tỷ lệ nhận dạng khuôn mặt mạng CNN lên 43% Hướng phát triển Từ kết nghiên cứu này, nghiên cứu sau áp dụng khoảng cách LT-MHD để cải thiện tỷ lệ nhận dạng cho phương pháp sử dụng khoảng cách Hausdorff trung bình; sử dụng phương pháp EARLYBREAK LSS để làm giảm độ phức tạp cách thức từ nghiên cứu đề xuất Bên cạnh đó, nghiên cứu khác tiếp tục sử dụng cấu trúc mạng CNN kết hợp khoảng cách LT-MHD nghiên cứu đề xuất huấn luyện với tập liệu lớn để đề xuất phương pháp nhận dạng khuôn mặt dựa học sâu điều kiện đơn mẫu có tỷ lệ nhận dạng tốt 28 DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ Tạp chí quốc tế Dang Nguyen Chau and Do Hong Tuan, "Reducing Computational Complexity of New Modified Hausdorff Distance Method for Face Recognition Using Local Start Search," International Journal of Electrical and Electronic Engineering and Telecommunications, vol 10, no 4, pp 261-271, 2021 ISSN: 2319-2518 doi: 10.18178/ijeetc.10.4.261-271 (Indexed by Scopus) Dang Nguyen Chau and Do Hong Tuan, “Application of EARLYBREAK for Line Segment Hausdorff Distance for Face Recognition,” Advances in Science, Technology and Engineering Systems Journal, vol 5, no 4, pp 557566, 2020 ISSN: 2415-6698 doi: 10.25046/aj050466 (Indexed by Scopus) Tạp chí nước Dang Nguyen Chau and Do Hong Tuan, "A modification of Modified Hausdorff Distance method applying for face recognition," Science and Technology Development Journal, vol 20, no K3, pp 126-131, 2017 ISSN: 1859-0128 doi: 10.32508/stdj.v20iK3.1102 (Tạp chí thuộc danh mục tính điểm theo quy định Hội đồng chức danh giáo sư nhà nước) Dang Nguyen Chau and Do Hong Tuan, "A modification of line Hausdorff distance for face recognition to reduce computational cost," Science and Technology Development Journal, vol 20, no K3, pp 152-158, 2017 ISSN: 1859-0128 doi: 10.32508/stdj.v20iK3.1106 (Tạp chí thuộc danh mục tính điểm theo quy định Hội đồng chức danh giáo sư nhà nước) Dang Nguyen Chau and Do Hong Tuan, “Overview of Face Recognition based on Edge Feature,” Journal of Science and Technology – University of DaNang, vol 5, no 114, pp 21-26, 2017 ISSN: 1859-1531 (Tạp chí thuộc danh mục tính điểm theo quy định Hội đồng chức danh giáo sư nhà nước) Kỷ yếu hội nghị quốc tế Dang Nguyen Chau and Do Hong Tuan, "Robust Line Hausdorff Distance for Face Recognition," 2019 International Symposium on Electrical and Electronics Engineering (ISEE), Ho Chi Minh, Vietnam, 2019, pp 103-107, doi: 10.1109/ISEE2.2019.8921218 Ghi chú: Liệt kê báo, cơng trình cơng bố tác giả nội dung đề tài, theo trình tự thời gian công bố (tài liệu liệt kê đầu tiên) theo định dạng IEEE (đối với luận án nhóm ngành kỹ thuật), APA (đối với luận án nhóm ngành quản lý) Trong trường hợp, NCS có cơng bố trước trúng tuyển NCS dự bị tiến sĩ, danh mục phải phân chia thành hai đề mục riêng: A Trước trúng tuyển NCS (hoặc dự bị tiến sĩ); B Sau trúng tuyển NCS (hoặc dự bị tiến sĩ) Trong đề mục, danh mục cơng trình cơng bố phải phân loại thành mục (nếu có) sau: tạp chí quốc tế, tạp chí nước, kỷ yếu hội nghị quốc tế, kỷ yếu hội nghị nước, đề tài nghiên cứu khoa học,… File định dạng sẵn theo kiểu in sách (booklet), bạn cần Save as thành file khác, xóa phần khơng cần thiết tiến hành soạn thảo nội dung Sau soạn thảo xong, bạn sử dụng máy in mặt để in giấy khổ A4 Việc in tự động xếp theo dạng đóng sách tạo trang tờ giấy A4 ... trước Phương pháp LT-NMHD cho nhận dạng khuôn mặt Kết hợp phương pháp NMHD độ đo LT-MHD đề xuất trên, đề xuất phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa đặc trưng cục bộ, phương pháp Least... lệ nhận dạng phương pháp LT- tỷ lệ nhận dạng phương pháp LTNMHD điều kiện cảm xúc LHD điều kiện cảm xúc khác khuôn mặt khác khuôn mặt 22 So sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp. .. lệ nhận dạng phương pháp • Tỷ lệ nhận dạng hai phương pháp LT-LHD LT-NMHD cho kết tốt so sánh với số phương pháp nhận dạng khuôn mặt điều kiện đơn mẫu năm gần điều kiện mô Đặc biệt, phương pháp