Tài liệu Phương pháp nhận dạng khuôn mặt trong điều kiện đơn mẫu dựa trên độ đo LT-MHD

tai lieu, luan van1 of 98 BÁCH KHOA -MHD Ngành: gành: 62520208 MINH document, khoa luan1 of 98 tai lieu, luan van2 of 98 -HCM : vào lúc tháng - document, khoa luan2 of 98 i h c Bách Khoa n i h c Qu c gia Tp.HCM n Khoa h c T ng h p Tp.HCM -HCM tai lieu, luan van3 of 98 CHƯƠNG GIỚI THIỆU Nhận dạng khuôn mặt điều kiện SSPP nhận dạng khuôn mặt Trong năm qua, có nhiều phương pháp nhận dạng khn mặt đề xuất với kết đáng khích lệ Tuy nhiên, lĩnh vực nhận dạng khuôn mặt cịn nhiều tốn cần giải quyết, tốn lớn tỷ lệ nhận dạng phương pháp suy giảm nhiều điều kiện có ảnh cho cá nhân sở liệu Đây điều kiện SSPP (Single sample per person) nghiên cứu nhận dạng khuôn mặt Điều kiện SSPP điều kiện ràng buộc nhiều ứng dụng thực tế nhận dạng khn mặt Đã có nhiều nghiên cứu đề xuất để giải toán SSPP nhận dạng khn mặt Các nghiên cứu chia thành 04 nhóm: nhóm phương pháp nhận dạng dựa đặc trưng tồn cục ảnh, nhóm phương pháp nhận dạng dựa đặc trưng cục ảnh, nhóm phương pháp tạo thêm ảnh ảo nhóm phương pháp sử dụng thêm tập chung Lý chọn đề tài Theo nghiên cứu, khơng có nhóm phương pháp trội so với nhóm phương pháp cịn lại [9-10] Nhóm phương pháp nhận dạng khuôn mặt dựa đặc trưng cục nghiên cứu đánh giá dễ dàng triển khai ứng dụng thực tế Trong số đặc trưng cục bộ, pixel cạnh đặc trưng cục nhiều phương pháp nhóm sử dụng ưu điểm bền vững với điều kiện khác ảnh đầu vào, điều kiện ánh sáng Các phương pháp [15-24] sử dụng khoảng cách Hausdorff trung bình để đo giống hai tập hợp pixel cạnh điểm trội số pixel cạnh Nhược điểm nhóm phương pháp tỷ lệ nhận dạng chưa thật tốt độ phức tạp tính tốn cao Điều rào cản để áp dụng phương pháp nhận dạng khuôn mặt [15-24] vào ứng dụng thực tế Như vậy, nghiên cứu để đưa giải pháp giảm độ phức tạp tính document, khoa luan3 of 98 tai lieu, luan van4 of 98 toán đồng thời nâng cao tỷ lệ nhận dạng xác cho phương pháp nghiên cứu cần thiết Mục tiêu đóng góp đề tài Trong nghiên cứu này, khỏang cách đề xuất để đo khoảng cách tập hợp đặc trưng, khoảng cách Least Trimmed-Modified Hausdorff distance (LT-MHD) Dựa khoảng cách LT-MHD, hai phương pháp nhận dạng khuôn mặt điều kiện SSPP đề xuất: phương pháp Least Trimmed-New Modified Hausdorff distance (LT-MMHD), cải tiến phương pháp MMHD [23] phương pháp Least Trimmed-Line Hausdorff distance (LT-LHD), cải tiến phương pháp LHD [24] Thông hai phương pháp LT-MMHD phương pháp LT-LHD, nghiên cứu chứng minh việc dùng khoảng cách LT-MHD thay cho khoảng cách Hausdorff trung bình giúp làm tăng tỷ lệ nhận dạng phương pháp nhận dạng khuôn mặt Đồng thời, nghiên cứu chứng minh khoảng cách LT-MHD sử dụng hiệu để đo khoảng cách hai tập hợp loại đặc trưng khác ảnh khuôn mặt Các kết mở rộng để giúp cải thiện tỷ lệ nhận dạng cho phương pháp tương tự nhóm [15-22] Bên cạnh đó, nghiên cứu đưa giải pháp để giảm độ phức tạp tính toán cho hai phương pháp LT-MMHD phương pháp LT-LHD Hai nghiên cứu tiếng lĩnh vực CAD/CAM để giảm độ phức tạp phép tính khoảng cách Hausdorff EARLYBREAK LSS áp dụng để làm giảm độ phức tạp cho phương pháp LT-MMHD phương pháp LT-LHD Nếu giải pháp cho thấy hiệu việc giảm độ phức tạp cho phương pháp LT-MMHD phương pháp LT-LHD mở rộng để áp dụng cho phương pháp khác [15-22] Ngoài ra, phần cuối nghiên cứu này, chúng tơi trình bày phương pháp trích đặc trưng ảnh khuôn mặt cách áp dụng mạng CNN, khoảng cách LT-MHD sử dụng hàm mát mạng Nội dụng đóng góp luận án tóm tắt sau: document, khoa luan4 of 98 tai lieu, luan van5 of 98 • Đề xuất khoảng cách LT-MHD Dựa khoảng cách LTMHD đề xuất hai phương pháp nhận dạng khuôn mặt điều kiện SSPP: LT-MMHD LT-LHD Thông qua kết mô tỷ lệ nhận dạng hai phương pháp LT-MMHD LT-LHD chứng minh sử dụng khoảng cách LT-MHD thay cho khoảng cách Hausdorff trung bình giúp cải thiện 2-10% tỷ lệ nhận dạng phương pháp Các kết chứng minh việc sử dụng khoảng cách LT-MHD đem lại hiệu với nhiều loại đặc trưng khác ảnh khn mặt • Hai phương pháp LT-MMHD LT-LHD cho kết tốt so sánh với phương pháp nhận dạng khuôn mặt điều kiện SSPP năm gần Đặc biệt, phương pháp LT-LHD có tỷ lệ nhận dạng cao 2-11% so với phương pháp đề xuất khoảng năm gần • Phương pháp LT-MMHD có độ phức tạp tính tốn thời gian tính toán thấp phương pháp MMHD 17% 16% Tương tự, phương pháp LT-LHD có độ phức tạp tính tốn thời gian tính tốn thấp phương pháp LHD 67% 65% Điều chứng minh hiệu việc giảm độ phức tạp tính tốn phương pháp nhận dạng khuôn mặt áp dụng phương pháp EARLYBREAK LSS • Đề xuất mơ hình trích đặc trưng ảnh khuôn mặt điều kiện SSPP dựa việc kết hợp mạng CNN khoảng cách LT-MHD Việc sử dụng khoảng cách LT-MHD làm hàm mát mạng CNN thay cho hàm crossentropy giúp làm tăng tỷ lệ nhận dạng 43% • Các kết nghiên cứu công bố báo tạp chí quốc tế, báo tạp chí nước, hội nghị quốc tế chuyên ngành Phần lại luận án trình bày sau: Chương trình bày khảo sát số nghiên cứu gầy nhận dạng khuôn mặt điều kiện SSPP Bên cạnh nghiên cứu giúp làm giảm độ phức tạp tính tốn khoảng cách document, khoa luan5 of 98 tai lieu, luan van6 of 98 Hausdorff trình bày chương Chương trình bày phép đo LT-MHD phương pháp LT-MMHD cho nhận dạng khn mặt Chương trình bày phương pháp LT-LHD cho nhận dạng khuôn mặt Các kết mơ cho phương pháp LT-MMHD LT-LHD trình bày chương Chương trình bày cách kết hợp khoảng cách LT-MHD mạng CNN để trích đặc trưng ảnh khn mặt Các kết luận luận án trình bày chương CHƯƠNG CƠ SỞ LÝ THUYẾT Các phương pháp nhận dạng khuôn mặt điều kiện SSPP Các phương pháp nhận dạng khn mặt dựa đặc trưng trích từ tồn ảnh (Global methods) biểu diễn đặc trưng tồn ảnh vector có số chiều lớn Các phương pháp có ưu điểm giữ lại tồn thơng tin ảnh đầu vào, đơn giản để triển khai thực tế hệ thống, tốn thời gian training tốn dung lượng lưu trữ hệ thống Tuy nhiên phương pháp tồn số nhược điểm Đầu tiên, vector đặc trưng có số chiều lớn nên thuật tốn phân lớp có độ phức tạp tính toán cao thời gian nhận dạng lớn Một nhược điểm khác quan trọng nhóm phương pháp việc tỷ lệ nhận dạng phương pháp trích đặc trưng tồn cục nhạy với thay đổi ảnh Tỷ lệ nhận dạng xác phương pháp nhóm chưa thật cao Các phương pháp nhận dạng khuôn mặt dựa đặc trưng cục (Local methods) sử dụng đặc trưng cục để biểu diễn ảnh khuôn mặt Các đặc trưng cục trích từ phần ảnh khuôn mặt trích từ điểm đặc trưng Các phương pháp có ưu điểm tỷ lệ nhận dạng bền vững với nhiều điều kiện khác ảnh đầu vào, đơn giản nhiều so với phương pháp toàn cục việc triển khai ứng dụng thực tế Tuy nhiên, phương pháp tồn số nhược điểm việc đặc trưng tồn ảnh khơng trích xuất dẫn đến mát thơng tin độ phức khoa tạp tính document, luan6 toán of 98 phương pháp tương đối cao tai lieu, luan van7 of 98 Các phương pháp tạo mẫu ảo để huấn luyện (Virtual sample generation based) sử dụng phương pháp khác để xây dựng thêm ảnh từ ảnh gốc lớp Việc tăng số lượng mẫu lớp giúp phương pháp nhận dạng điều kiện có nhiều ảnh huấn luyện lớp áp dụng để giải toàn SSPP Tuy nhiên, nhược điểm phương pháp địi hỏi dung lượng lưu trữ lớn có nhiều ảnh tạo thêm phức tạp tính tốn cao, chất lượng tính thực tế ảnh tạo chưa đảm bảo Một nhược điểm quan trọng nhóm phương pháp việc ảnh tạo có tương quan cao với ảnh gốc Các phương pháp sử dụng thêm tập liệu chung để huấn luyện (Generic datasets based) sử dụng tập liệu chung để học cách trích đặc trưng tập liệu áp dụng vào để trích đặc trưng ảnh tập mẫu tập kiểm tra Ưu điểm phương pháp mơ hình học cách giải điều kiện không lý tưởng ảnh đầu vào từ tập liệu chung Tuy nhiên nhược điểm lớn phương pháp đòi hỏi dung lượng lưu trữ cực lớn cho tập ảnh chung thời gian lớn cho việc huấn luyện, việc tỷ lệ nhận dạng xác phương pháp phụ thuộc trực tiếp vào tập ảnh chung chọn Các phương pháp giảm độ phức tạp phép tính khoảng cách Hausdorff Cho hai tập hợp A B, khoảng cách Hausdorff trực tiếp hai tập hợp định nghĩa sau: h ( A, B ) = max a − b a A bB (2.2) Khoảng cách Hausdorff trực tiếp cực đại khoảng cách điểm tập A đến điểm gần tương ứng tập B Phép tính khoảng cách Hausdorff trực tiếp cơng thức (2.2) có độ phức tạp O(PQ), P Q tổng số phần tử hai tập hợp Đã có nhiều nghiên cứu đề xuất nhằm giúp làm giảm độ phức tạp phép tính khoảng cách Hausdorff, EARLYBREAK LSS hai phương pháp tiếng document, khoa luan7 of 98 tai lieu, luan van8 of 98 Phương pháp EARLYBREAK đưa giải pháp giảm độ phức tạp phép tính khoảng cách Hausdorff cách bỏ qua phép tính mà khơng làm ảnh hưởng đến kết phép tính khoảng cách Hausdorff Xét hai tập hợp M T hình 2.22, khoảng cách Hausdorff trực tiếp hai tập hợp theo công thức (2.2) h ( M , T ) = m1 − t1 Xét điểm m1, khoảng cách từ điểm tới điểm gần T m1 − t1 Xét điểm m2, ta có khoảng cách m2 − t1  m1 − t1 nên khoảng cách từ điểm m2 tới điểm gần T khơng đóng góp vào việc tính khoảng cách Hausdorff trực tiếp Việc tính khoảng cách từ m2 đến điểm cịn lại T bỏ qua tiếp tục với điểm m3 Hình 2.22: Khoảng cách Hausdorff trực tiếp hai tập hợp M T Phương pháp LSS có giải pháp giảm độ phức tạp phép tính khoảng cách Hausdorff tương tự phương pháp EARLYBREAK Sự khác biệt phương pháp LSS so với EARLYBREAK tập hợp xếp theo cấu trúc Morton Đồng thời vòng lặp trong phương pháp LSS bắt đầu vị trí xảy break vịng lặp ngồi trước CHƯƠNG PHƯƠNG PHÁP LT-MMHD CHO NHẬN DẠNG KHN MẶT Khoảng cách đề xuất - Least trimmed Modified Hausdorff distance (LT-MHD) Khoảng cách Hausdorff, MAX-MIN Hausdorff, từ tập hợp M đến tập hợp T tính khoảng cách lớn từ điểm m tập M đến điểm tương ứng tập T Nhược điểm khoảng cách MAX-MIN có nhược điểm nhạy với nhiễu Nếu có phần tử nhiễu tập hợp, khoảng cách Hausdorff MAX-MIN khoảng cách từ điểm nhiễu đến điểm tương ứng tập hợp cịn lại Các khoảng cách Hausdorff phần document, khoa luan8 of 98 tai lieu, luan van9 of 98 (Partial Hausdorff distance - PHD) khoảng cách Hausdorff trung bình (Modified Hausdorff distace - MHD) đề xuất để khắc phục tính nhạy với nhiễu khoảng cách Hausdorff MAX-MIN Trong nghiên cứu này, đề xuất khoảng cách để đo giống hai tập hợp, khoảng cách Least trimmed Modified Hausdorff distance (LT-MHD) Khoảng cách LTMHD kết hợp khoảng cách PHD khoảng cách MHD Khoảng cách LT-MHD trực tiếp từ tập hợp M đến tập hợp T định nghĩa sau: ( ) P (3.4) m − t  (i ) P − K i = K tT P tổng số điểm tập hợp M K = f  P với f hệ số cho hLT − MHD ( M , T ) = trước Phương pháp LT-MMHD cho nhận dạng khuôn mặt Kết hợp phương pháp MMHD độ đo LT-MHD đề xuất trên, đề xuất phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa đặc trưng cục bộ, phương pháp Least trimmed MMHD (LT-MMHD) Gọi  M = m1 , m2 , , mP  T = t1 , t2 , , tQ  hai tập hợp điểm trội ảnh mẫu ảnh cần nhận dạng Khoảng cách LT-MHD đề xuất sử dụng để đo khoảng cách hai tập hợp đặc trưng ảnh khuôn mặt Khoảng cách Hausdorff trực tiếp từ tập M đến tập T định nghĩa sau: hLT − MMHD ( M , T ) =  Wmit j P W i=K th mi t j  m − t   t T i j   j i (3.7) mi M P tổng số điểm tập hợp M K th = f  P với f hệ số cho trước Giải thuật 12 trình bày cách tính khoảng cách Hausdorff trực tiếp từ tập M đến tập T phương pháp LT-MMHD Ký hiệu , dùng để tích vơ hướng hai vector Giải thuật 12: Giải thuật tính khoảng cách Hausdorff trực tiếp phương pháp LT-MMHD Inputs: Dominant point sets M and T, fraction f Output: Directed Hausdorff distance hLT-MMHD(M,T) KM = (1–f)×P h = zeros(2,KM) for each dominant point m in set point M [cmax, place] = min(h(1,:)) document, khoa luan9 of 98 tai van10 7.lieu, luan cmin = ∞of 98 for each dominant point t in set point T dist = ||m – t|| 10 if dist < cmin then 11 cmin = dist 12 W = Wt 13 end if 14 end for 15 if cmax < cmin then 16 h(1, place) = cmin 17 h(2, place) = 0.5 * (Wm + W) 18 end if 19 end for 20 return hLT-MMHD(M,T) = h(1,:), h(2,:)/sum(h(2,:)) Một khoảng cách Hausdorff sơ cấp hai tập hợp đặc trưng phương pháp LT-MMHD định nghĩa sau: H pLT − MMHD ( M , T ) = max ( hLT − MMHD ( M , T ) , hLT − MMHD (T , M ) ) (3.8) Bên cạnh đó, chúng tơi đề xuất đưa thêm số độ tin cậy vào phép đo khoảng cách hai tập hợp nhằm giúp làm tăng thêm tính xác Khi tính khoảng cách Hausdorff trực tiếp từ tập M đến tập T , điểm trội m có điểm tương ứng t khoảng cách chúng nhỏ giá trị N p điểm m gọi điểm tin cậy Như tỷ số độ tin cậy tập hợp tỷ số tổng số điểm tin cậy tổng số điểm tập hợp Một số khơng tin cậy tính khoảng cách hai tập hợp định nghĩa sau: Dn = − RM + RT (3.10) RM RT tỷ số độ tin cậy tập M tập T Như vậy, khoảng cách Hausdorff hai tập hợp phương pháp LT-MMHD định nghĩa sau: 2 H LT − MMHD ( M , T ) = H pLT − MMHD ( M , T ) + Wn Dn (3.11) Áp dụng phương pháp Local Start Search (LSS) để giảm độ phức tạp cho phương pháp LT-MMHD Trong giải thuật 12 có hai vịng lặp, vịng lặp ngồi (từ dịng đến dòng 19) thực với tất điểm m  M vòng lặp (từ dòng đến dòng 14) document, khoa luan10 of 98 tai lieu, luan van18 of 98 sánh khả nhận dạng phương pháp khác có cách thức thí nghiệm Khảo sát ảnh hưởng hệ số f lên chất lượng phương pháp LT-LHD LT-MMHD Hình 5.6: Ảnh hưởng f đến tỷ lệ nhận Hình 5.7: Ảnh hưởng f đến tỷ lệ nhận dạng phương pháp LT-LHD dạng phương pháp LT-MMHD Trong phương pháp LT-MMHD phương pháp LT-LHD, tỷ số f phản ánh số lượng đường cạnh số lượng điểm trội sử dụng để tính khoảng cách Hausdorff trực tiếp phương pháp Giá trị f thay đổi khoảng ÷ 0.9 Giá trị f = vơ nghĩa khơng có đường cạnh/điểm trội sử dụng để tính khoảng cách Hausdorff Khơng có lý thuyết để chọn giá trị f để tỷ lệ nhận dạng hai phương pháp LT-MMHD phương pháp LT-LHD đạt tối ưu Vì nghiên cứu lựa chọn tỷ số f dựa vào thực nghiệm, tối ưu tỷ lệ nhận dạng hai phương pháp LT-MMHD phương pháp LT-LHD điều kiện bình thường ảnh khuôn mặt Hai tập liệu AR Bern sử dụng mơ Hình 5.6 hình 5.7 mơ tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTLHD phương pháp LT-MMHD Tỷ lệ nhận dạng phương pháp LTMMHD đạt cực đại f = 0.6 nên giá trị chọn cho mô document, luan18 tự, of 98 phần sau.khoa Tương giá trị f = 0.4 chọn cho phương pháp LT-LHD 16 tai lieu, luan van19 of 98 mơ sau Vị trí f = tương ứng với việc khoảng cách Hausdorff trung bình sử dụng để tính khoảng cách hai tập hợp thay khoảng cách LTMHD Các kết cho thấy cải thiện tỷ lệ nhận dạng phương pháp nhận dạng khuôn mặt sử dụng khoảng cách LT-MHD thay khoảng cách Hausdorff trung bình để đo khoảng cách hai tập đặc trưng Chứng minh giảm độ phức tạp tính tốn phương pháp LT-MMHD phương pháp LT-LHD Trong nghiên cứu này, số vịng lặp trung bình thời gian thực phép tính khoảng cách hai ảnh dùng so sánh đánh giá hiệu việc giảm độ phức tạp tính tốn Bảng 5.1 trình bày kết so sánh phương pháp MMHD phương pháp LT-MMHD Phương pháp LT-MMHD có số vịng lặp trung bình, hay độ phức tạp tính tốn, thấp 17% thời gian tính tốn thấp 15% so với phương pháp MMHD Tương tự, kết bảng 5.2, phương pháp LT-LHD có độ phức tạp tính tốn thấp 67% thời gian tính tốn thấp 63-65% so với phương pháp LHD Các kết cho thấy hiệu áp dụng phương pháp EARLYBREAK LSS để làm giảm độ phức tạp cho phương pháp nhận dạng khuôn mặt Bảng 5.1: Số vịng lặp trung bình thời gian tính khoảng cách hai ảnh phương pháp MMHD LT-MMHD Bern database AR database Method MMHD LT-MMHD MMHD LT-MMHD Average inner loop (x 103) 1204 1003 792.9 660.8 Decrease (%) 16.67 16.66 Matching time (ms) 8.3 6.9 5.1 4.3 Decrease (%) 16.86 15.7 Bảng 5.2: Số vịng lặp trung bình thời gian tính khoảng cách hai ảnh phương pháp LHD LT-LHD Bern database AR database Method LHD LT-LHD LHD LT-LHD Average inner loop (x 103) 62.76 20.83 40.77 13.59 Decrease (%) 66.81 66.67 Matching time (ms) 147 55 99 35 Decrease (%) 62.58 64.6 document, khoa luan19 of 98 17 tai lieu, luan van20 of 98 Nhận dạng khuôn mặt điều kiện bình thường Trong mơ này, cặp ảnh khn mặt diện điều kiện bình thường tập liệu AR Bern sử dụng Bảng 5.3 trình bày kết so sánh tỷ lệ nhận dạng khuôn mặt phương pháp đề xuất LT-MMHD phương pháp MMHD điều kiện bình thường Các kết cho thấy phương pháp LT-MMHD cho kết nhận dạng cao khoảng 6-9% so với phương pháp MMHD Tương tự, kết bảng 5.4 cho thấy phương pháp LTLHD cho tỷ lệ nhận dạng cao phương pháp LHD khoảng 2% Các kết cho thấy việc sử dụng khoảng cách LT-MHD để đo khoảng cách tập đặc trưng giúp làm tăng tỷ lệ nhận dạng phương pháp nhận dạng khuôn mặt so với việc sử dụng khoảng cách Haudorff trung bình Bảng 5.3: Tỷ lệ nhận dạng khuôn mặt phương pháp MMHD LT-MMHD điều kiện bình thường Recognition rate Method Bern database AR database MMHD 93.93% 74.75% LT-MMHD 100% 83.84% Bảng 5.4: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD LT-LHD điều kiện bình thường Recognition rate Method Bern database AR database LHD 100% 92.92% LT-LHD 100% 94.94% Nhận dạng khuôn mặt điều kiện ánh sáng khác Bảng 5.5 5.6 trình bày kết so sánh tỷ lệ nhận dạng khuôn mặt phương pháp MMHD phương pháp LT-MMHD, phương pháp LHD phương pháp LT-LHD điều kiện ánh sáng khác ảnh đầu vào như: khuôn mặt bị chiếu sáng bên trái, bên phải từ hai bên Về trung bình, phương pháp LT-MMHD cho kết cao 19% so với phương pháp MMHD phương pháp LT-LHD cho kết nhận dạng cao 2% so với phương pháp LHD Các kết cho thấy với điều kiện khác ánh document, khoa luan20 of 98 18 tai lieu, luan van21 of 98 sáng ảnh đầu vào, việc sử dụng khoảng cách LT-MHD thay khoảng cách Hausddorff trung bình để đo khoảng cách tập hợp đặc trưng mang lại cải thiện tỷ lệ nhận dạng Bảng 5.5: Tỷ lệ nhận dạng khuôn mặt phương pháp MMHD LT-MMHD điều kiện ánh sáng khác Recognition rate Lighting condition MMHD LT-MMHD Left light on 71% 85% Right light on 64% 80% Both light on 49% 76% Average 61.33% 80.33% Bảng 5.6: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD LT-LHD điều kiện ánh sáng khác Recognition rate Lighting condition LHD LT-LHD Left light on 92% 95% Right light on 86% 88% Both light on 70% 71% Average 82.67% 84.67% Hình 5.10: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTMMHD điều kiện chiếu sáng khác document, khoa luan21 of 98.nhau 19 Hình 5.13: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTLHD điều kiện chiếu sáng khác tai lieu, luan van22 of 98 Hình 5.10 5.13 mơ tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LT-MMHD phương pháp LT-LHD với điều kiện ánh sáng khác ảnh đầu vào Các kết cho thấy tất điều kiện ánh sáng khác nhau, phương pháp LT-LHD phương pháp LT-MMHD đạt tỷ lệ nhận dạng cực đại vị trí f  Điều cho thấy việc thay đổi từ sử dụng khoảng cách Hausdorff trung bình sang khoảng cách LTMHD mang lại cải thiện tỷ lệ nhận dạng cho phương pháp Nhận dạng khn mặt với góc chụp khác Kết so sánh tỷ lệ nhận dạng phương pháp LT-MMHD phương pháp MMHD bảng 5.7 cho thấy phương pháp LT-MMHD cho tỷ lệ nhận dạng cao 10% mặt trung bình so với phương pháp MMHD ảnh đầu vào chụp góc khác Tương tự, kết bảng 5.8 cho thấy phương pháp LT-LHD cho tỷ lệ nhận dạng cao phương pháp LHD khoảng 5% mặt trung bình điều kiện góc chụp khác Hình 5.14 5.16 mô tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LTBảng 5.7: Tỷ lệ nhận dạng khuôn mặt phương pháp MMHD phương phápLT-MMHD với góc chụp khác khuôn mặt Methods Test face MMHD LT-MMHD Looks left 40% 53.33% Looks right 53.33% 66.67% Looks up 60% 60% Looks down 53.33% 66.67% Average 51.67% 61.67% Bảng 5.8: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD phương pháp LT-LHD với góc chụp khác khuôn mặt Methods Test face LHD LT-LHD Looks left 56.67% 63.33% Looks right 60% 70% Looks up 76.67% 73.33% Looks down 70% 76.67% Average 65.83% 70.83% document, khoa luan22 of 98 20 tai lieu, luan van23 of 98 MMHD phương pháp LT-MMHD ảnh chụp khuôn mặt với góc chụp khác Trong tất điều kiện khác góc chụp khn mặt, phương pháp LT-LHD LT-MMHD đạt tỷ lệ nhận dạng cực đại vị trí f  Điều chứng tỏ việc sử dụng khoảng cách LT-MHD mang lại hiệu khoảng cách Haudorff trung bình điều kiện nhận dạng khn mặt góc chụp khác Hình 5.14: Ảnh hưởng tỷ số f đến Hình 5.16: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LT- tỷ lệ nhận dạng phương pháp LTLHD điều kiện góc nhìn MMHD điều kiện góc nhìn khác khn mặt khác khuôn mặt Nhận dạng khuôn mặt với cảm xúc khác khuôn mặt Kết so sánh bảng 5.9 cho thấy ảnh chụp khuôn mặt với cảm xúc khác nhau, phương pháp LT-MMHD cho tỷ lệ nhận dạng cao phương pháp MMHD khoảng 17% trung bình Tương tự, kết bảng 5.10 cho thấy Bảng 5.9: Tỷ lệ nhận dạng khuôn mặt phương pháp MMHD phương pháp LT-MMHD với cảm xúc khác khuôn mặt Methods Test face MMHD LT-MMHD Smiling 40% 70% Angry 85% 89% Average 62.5% 79.5% document, khoa luan23 of 98 21 tai lieu, luan van24 of 98 Bảng 5.10: Tỷ lệ nhận dạng khuôn mặt phương pháp LHD phương pháp LT-LHD với cảm xúc khác khuôn mặt Methods Test face LHD LT-LHD Smiling 79% 82% Angry 90% 92% Average 84.5% 87% phương pháp LT-LHD cho kết nhận dạng cao phương pháp LHD khoảng 2.5% trung bình Hình 5.19 5.23 mơ tả ảnh hưởng tỷ số f đến tỷ lệ nhận dạng khuôn mặt phương pháp LT-MMHD phương pháp LT-LHD ảnh chụp khuôn mặt với cảm xúc khác Các kết cho thấy phương pháp LT-LHD phương pháp LT-MMHD đạt tỷ lệ nhận dạng cực đại vị trí f  Điều cho thấy việc thay đổi từ sử dụng khoảng cách Hausdorff trung bình sang khoảng cách LT-MHD mang lại cải thiện tỷ lệ nhận dạng cho phương pháp nhận dạng khuôn mặt Hình 5.19: Ảnh hưởng tỷ số f đến Hình 5.23: Ảnh hưởng tỷ số f đến tỷ lệ nhận dạng phương pháp LT- tỷ lệ nhận dạng phương pháp LTMMHD điều kiện cảm xúc LHD điều kiện cảm xúc khác khuôn mặt khác khuôn mặt document, khoa luan24 of 98 22 tai lieu, luan van25 of 98 So sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp nhận dạng khuôn mặt khác điều kiện SSPP Trong mô này, tập liệu khuôn mặt ORL sử dụng để so sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp nhận dạng khuôn mặt khác điều kiện SSPP Cách mơ thực hồn toàn giống phương pháp so sánh: ảnh người tập liệu ORL sử dụng làm tập liệu ảnh lại sử dụng để làm tập kiểm tra Các kết so sánh bảng 5.11 cho thấy hai phương pháp LT-MMHD phương pháp LT-LHD cho kết tốt Đặc biệt, phương pháp LT-LHD có tỷ lệ nhận dạng cao 2-11% so với phương pháp so sánh Bảng 5.11: So sánh tỷ lệ nhận dạng phương pháp đề xuất với phương pháp khác điều kiện toán SSPP với tập liệu ORL Year Method Accuracy 2019 [43] 71.94% Global feature2020 [38] 76.61% based methods 2020 [41] 73.89% 2019 [50] 76% Local feature2020 [56] 69.87% based methods 2020 [55] 79.72% 2018 [69] 77.44% Virtual sample generation-based 2019 [66] 75% methods 2019 [70] 75% Generic dataset2008 [71] 72.4 based method 2021 LT-MMHD [87] 71.4% Proposed methods 2020 LT-LHD [90] 81.11% Kết luận chương Trong chương này, chúng tơi trình bày kết mô tỷ lệ nhận dạng phương pháp LT-MMHD phương pháp LT-LHD Các kết mô cho thấy hai phương pháp LT-LHD phương pháp LT-MMHD cho kết nhận dạng tốt hai phương pháp LHD phương pháp MMHD tất mô Điều cho thấy việc sử dụng khoảng cách LTdocument, khoa luan25 of 98 23 tai lieu, luan van26 of 98 MHD thay cho khoảng cách Hausdorff trung bình mang đến cải thiện tỷ lệ nhận dạng cho phương pháp Tùy theo điều kiện khác ảnh đầu vào, việc sử dụng khoảng cách LT-MHD mang lại cải thiện 2-10% tỷ lệ nhận dạng Ngoài ra, việc sử dụng khoảng cách LT-MHD với loại đặc trưng khác cho thấy khoảng cách LT-MHD sử dụng hiệu với nhiều loại đặc trưng khác ảnh khn mặt Bên cạnh đó, so sánh với phương pháp nhận dạng khuôn mặt khác năm gần đây, hai phương pháp đề xuất cho kết tốt Đặc biệt phương pháp LT-LHD cho kết cao 2-11% so với phương pháp so sánh khác CHƯƠNG SÂU KẾT HỢP PHÉP ĐO LT-MHD VỚI CÁC MƠ HÌNH HỌC Các phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa học sâu Bên cạnh phương pháp nhận dạng khuôn mặt điều kiện SSPP truyền thống đề cập chương 2, năm gần đây, có nhiều phương pháp nhận dạng khn mặt dựa điều kiện SSPP dựa học sâu đề xuất Ưu điểm phương pháp mơ hình học đặc trưng bền vững ảnh khuôn mặt từ tập liệu lớn, có tỷ lệ nhận dạng xác cao bền vững với điều kiện khác ảnh đầu vào Tuy nhiên, phương pháp có số nhược điểm thời gian huấn luyện lớn khó mở rộng hệ thống Các phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa học sâu chia thành hai hướng chính: phương pháp tạo thêm mẫu ảo để huấn luyện phương pháp sử dụng thêm tập chung để huấn luyện Các phương pháp tạo thêm mẫu ảo sử dụng mơ Auto Encoder (AE) Generative Adversarial Networks (GAN) để tạo thêm ảnh ảo đặc trưng ảo, giúp làm tăng số lượng mẫu tập huấn luyện Các phương pháp sử dụng thêm tập liệu chung sử dụng tập mẫu kết hợp với tập liệu chung lớn để làm tập huấn luyện cho mơ hình học sâu Các mơ hình học sâu document, khoa luan26 of 98 24 tai lieu, luan van27 of 98 học cách trích đặc trưng tập liệu chung, sau áp dụng vào tập mẫu Kết hợp độ đo LT-MHD mơ hình học sâu để trích đặc trưng ảnh khn mặt Việc nghiên cứu phương pháp nhận dạng khuôn mặt điện kiện SSPP dựa học sâu mục tiêu ban đầu nghiên cứu Tuy nhiên hướng nghiên cứu phát triển nên hướng đến việc áp dụng số kết có từ nghiên cứu vào hướng phát triển Trong nghiên cứu không hướng đến việc đề xuất phương pháp nhận dạng khuôn mặt điều kiện SSPP mà đề xuất mơ hình trích đặc trưng ảnh khuôn mặt dựa học sâu điều kiện SSPP Trong nghiên cứu này, sử dụng lại mơ hình mạng huấn luyện trước, mạng InceptionV3 Tuy nhiên mạng huấn luyện với tập liệu ImageNet để có ngõ 1000 lớp phân biệt ảnh chuột, bàn phím, động vật… nên phải tiến hành điều chỉnh số lớp mạng tiến hành huấn luyện lại mạng với tập liệu ảnh khuôn mặt Đầu tiên, thay đổi lớp Fully connected (Lớp kết nối đầy đủ) để ngõ có số lớp phù hợp với tập liệu Tiếp theo, định nghĩa lớp phân lớp đầu ra, khoảng cách LT-MHD sử dụng hàm mát ngõ đoán ngõ mong muốn thay hàm cross-entropy nguyên mẫu mạng Gọi Y T ngõ đoán mạng ngõ mong muốn trình huấn luyện Hàm mát L mạng định nghĩa sau: L= P−K   K i =1 t j T yi − t j  ( i ) where j =  C (6.1) P tổng số mẫu đưa vào huấn luyện, C tổng số với huấn luyện, yi vector đầu mạng tương ứng ảnh đầu vào, tj ngõ mong muốn lớp K = f  P , f tỷ số cho trước Sau huấn luyện mạng, sử dụng mạng để trích đặc trưng ảnh khn mặt Bộ phân loại Nearest document, khoa Neighbor luan27 of 98 sử dụng để nhận dạng ảnh đầu vào điều kiện 25 tai lieu, luan van28 of 98 SSPP Ảnh khuôn mặt tập liệu ORL sử dụng mô Chúng so sánh kết nhận dạng mạng InceptionV3 với tập liệu ORL sử dụng hai hàm mát lớp đầu ra: cross-entropy LT-MHD Bảng 6.1 mô tả tỷ lệ nhận dạng mạng InceptionV3 với tập liệu ORL sử dụng hai hàm mát Kết cho thấy việc áp dụng hàm mát LTBảng 6.1: So sánh tỷ lệ nhận dạng mạng InceptionV3 sử dụng hàm mát khác Loss function Cross-entropy LT-MHD Recognition rate 19.44% 62.78% Increase 43.34% MHD thay cho hàm cross-entropy giúp tỷ lệ nhận dạng mạng CNN với tập liệu ORL tăng lên 43% Tuy nhiên tỷ lệ nhận dạng đạt 62.78% kết chưa thật tốt Điều giải thích mạng CNN huấn luyện với tập liệu ảnh nhỏ (chỉ bao gồm 40 ảnh) thay tập liệu khn mặt lớn Việc dẫn đến mạng CNN mà đề xuất khơng thể học tốt cách trích đặc trưng ảnh khn mặt mơ hình khác CHƯƠNG KẾT LUẬN Các kết đạt nghiên cứu Điều kiện đơn mẫu điều kiện quan trọng ứng dụng thực tế mà phương pháp nhận dạng khuôn mặt cần giải Trong nghiên cứu chúng tơi hệ thống lại số nhóm phương pháp nhận dạng khuôn mặt đề xuất để giải tốn đơn mẫu Việc phân tích ưu nhược điểm nhóm phương pháp cho thấy nhóm phương pháp có hạn chế cần khắc phục Vì nghiên cứu nhằm khắc phục hạn chế nhóm phương pháp cần thiết Nghiên cứu đưa giải pháp nhằm khắc phục hạn chế nhóm phương pháp nhận dạng khuôn mặt dựa đặc trưng cục pixel cạnh bao gồm tỷ lệ nhận dạng độ phức document, khoa luan28 of 98 26 tai lieu, luan van29 of 98 tạp tính tốn phương pháp Những đóng góp nghiên cứu tóm tắt sau • Nghiên cứu đề xuất độ đo mới, khoảng cách LT-MHD để đo khác hai tập hợp đặc trưng Các kết cho thấy khoảng cách LT-MHD sử dụng hiệu với nhiều loại đặc trưng khác ảnh khuôn mặt Điều cho thấy khoảng cách LT-MHD áp dụng cho phương pháp nhận dạng khuôn mặt khác sử dụng tập đặc trưng khác • Dựa khoảng cách LT-MHD, hai phương pháp nhận dạng khuôn mặt điều kiện đơn mẫu LT-LHD LT-MMHD đề xuất Các kết mô tỷ lệ nhận dạng khuôn mặt hai phương pháp LT-LHD LT-MMHD chứng minh việc sử dụng khoảng cách LT-MHD thay cho khoảng cách Hausdorff trung bình giúp cải thiện 2-10% tỷ lệ nhận dạng xác tùy điều kiện ảnh đầu vào Các kết mở rộng áp dụng cho số phương pháp nhận dạng khuôn mặt khác sử dụng khoảng cách Hausdorff trung bình [15-22] để giúp làm tăng tỷ lệ nhận dạng phương pháp • Tỷ lệ nhận dạng hai phương pháp LT-LHD LT-MMHD cho kết tốt so sánh với số phương pháp nhận dạng khuôn mặt điều kiện đơn mẫu năm gần điều kiện mô Đặc biệt, phương pháp LT-LHD cho tỷ lệ nhận dạng cao 2-11% so với phương pháp đề xuất khoảng năm gần • Để cải thiện độ phức tạp tính tốn cho hai phương pháp LT-LHD LTMMHD, nghiên cứu thực phân tích sâu phương pháp lĩnh vực CAD/CAM/CAE giảm độ phức tạp tính tốn cho phép tính khoảng cách Hausdorff Dựa phân tích sâu này, nghiên cứu áp dụng hai phương pháp EARLYBREAK LSS để làm giảm độ phức tạp tính tốn cho hai phương pháp LT-LHD LT-MMHD document, khoa luan29 of 98 27 tai lieu, luan van30 of 98 Việc chứng minh toán học cho thấy hiệu việc giảm độ phức tạp phương pháp LT-LHD LT-MMHD áp dụng phương pháp EARLYBREAK LSS Các kết mô cho kết tương tự phương pháp LT-MMHD LTLHD có độ phức tạp tính toán giảm 17% 67% thời gian tính tốn giảm 16% 65% Các kết áp dụng để cải thiện độ phức tạp tính tốn cho phương pháp [15-22] • Ngồi nghiên cứu này, chúng tơi trình bày phương pháp kết hợp khoảng cách LT-MHD mạng CNN để trích đặc trưng khuôn mặt Khoảng cách LT-MHD sử dụng hàm mát ngõ mạng CNN Các kết mô cho thấy việc dùng hàm mát ngõ khoảng cách LT-MHD thay hàm crossentropy làm tăng tỷ lệ nhận dạng khuôn mặt mạng CNN lên 43% Hướng phát triển Từ kết nghiên cứu này, nghiên cứu sau áp dụng khoảng cách LT-MHD để cải thiện tỷ lệ nhận dạng cho phương pháp sử dụng khoảng cách Hausdorff trung bình; sử dụng phương pháp EARLYBREAK LSS để làm giảm độ phức tạp cách thức từ nghiên cứu đề xuất Bên cạnh đó, nghiên cứu khác tiếp tục sử dụng cấu trúc mạng CNN kết hợp khoảng cách LT-MHD nghiên cứu đề xuất huấn luyện với tập liệu lớn để đề xuất phương pháp nhận dạng khuôn mặt dựa học sâu điều kiện đơn mẫu có tỷ lệ nhận dạng tốt document, khoa luan30 of 98 28 tai lieu, luan van31 of 98 Chau Dang-Nguyen and Tuan Do-Hong, "Reducing Computational Complexity of New Modified Hausdorff Distance Method for Face Recognition Using Local Start Search," International Journal of Electrical and Electronic Engineering and Telecommunications, 2021 ISSN: 2319-2518 (Indexed by Scopus) C Dang-Nguyen, T Do-Hong, Application of EARLYBREAK for Line Segment Hausdorff Distance for Face Recognition, Advances in Science, Technology and Engineering Systems Journal, vol 5, no 4, pp 557-566, 2020 ISSN: 2415-6698 doi: 10.25046/aj050466 (Indexed by Scopus) Chau Dang and Tuan Do, "A modification of Modified Hausdorff Distance method applying for face recognition," Science and Technology Development Journal, vol 20, no K3, pp 126-131, 2017 ISSN: 1859-0128 doi: 10.32508/stdj.v20iK3.1102 ( ) Chau Dang and Tuan Do, "A modification of line Hausdorff distance for face recognition to reduce computational cost," Science and Technology Development Journal, vol 20, no K3, pp 152-158, 2017 ISSN: 1859-0128 doi: 10.32508/stdj.v20iK3.1106 ( ) Dang University of DaNang, vol 5, no 114, pp 21-26, 2017 ISSN: 1859-1531 ( ) K C Dang-Nguyen and T Do-Hong, "Robust Line Hausdorff Distance for Face Recognition," 2019 International Symposium on Electrical and Electronics Engineering (ISEE), Ho Chi Minh, Vietnam, 2019, pp 103-107, doi: 10.1109/ISEE2.2019.8921218 document, khoa luan31 of 98 tai lieu, luan van32 of 98 Ghi chú: i v i lu n án nhóm ngành k thu t), ho i v i lu n án nhóm ngành qu n lý) ng h p, NCS có cơng b c trúng n NCS ho c d b ti anh m c ph m c trúng n NCS (ho c d b ti au trúng n NCS (ho c d b ti anh m ph c phân lo i thành m c (n p chí qu c t , t c, k y u h i ngh qu c t , k y u h i ngh tài nghiên c u khoa h c, document, khoa luan32 of 98 ... pháp LT-MMHD cho nhận dạng khuôn mặt Kết hợp phương pháp MMHD độ đo LT-MHD đề xuất trên, đề xuất phương pháp nhận dạng khuôn mặt điều kiện SSPP dựa đặc trưng cục bộ, phương pháp Least trimmed... ảnh khuôn mặt Điều cho thấy khoảng cách LT-MHD áp dụng cho phương pháp nhận dạng khuôn mặt khác sử dụng tập đặc trưng khác • Dựa khoảng cách LT-MHD, hai phương pháp nhận dạng khuôn mặt điều kiện. .. tính giống phương pháp LHD Phương pháp LT-LHD cho nhận dạng khuôn mặt Kết hợp khoảng cách LT-MHD đề xuất chương phương pháp RLHD, đề xuất phương pháp LT-LHD cho nhận dạng khuôn mặt Phương pháp LT-LHD