NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG CHO ĐIỂM DANH SINH VIÊN

HỌC VIEN CÔNG NGHỆ BƯU CHÍNH VIÊN THONG

MAI NGOC HUYNH

LUẬN AN TOT NGHIỆP THẠC SĨ KỸ THUAT

(Theo định hướng ứng dụng)

HÀ NỘI-2023

HỌC VIEN CÔNG NGHỆ BƯU CHÍNH VIÊN THONG

MAI NGOC HUYNH

CHUYEN NGANH: HE THONG THONG TINMA SO: 8.48.01.04

TOM TAT LUẬN AN TOT NGHIỆP THAC SĨ KỸ THUAT

(Theo định hướng ứng dung)

NGƯỜI HƯỚNG DAN KHOA HỌC: TS NGUYEN NGỌC DIEP

HA NOI-2023.

LỜI CAM ĐOAN

Em xin cam đoan luận án này là công trình nghiên cứu của cá nhân em, được

thực hiện trên cơ sở nghiên cứu lý thuyết, thực tế dưới sự hướng dẫn của TS.

Nguyễn Ngọc Điệp.

Các số liệu, kết quả nêu trong luận án là trung thực và chưa từng được ai công bồ trong bắt kỳ công trình nào khác.

Hà Nội Ngày thang nam 2023Học viên thực hiện

Mai Ngọc Huynh

LOI CẢM ON

Em xin chân thành gửi lời cam ơn đến TS Nguyễn Ngọc Điệp vi tận tinh chỉ

dạy và hướng dẫn em trong việc lựa chọn đề tài, thực hiện đề tài và viết báo cáo

luận án Sự hỗ trợ của thầy đã giúp em hoàn thành tốt luận án này.

Em xin gửi lời cảm ơn đến tất cả thầy cô giáo tại Trường Học viện Công nghệ Bưu chính Viễn thông vì sự tận tình dạy dỗ và chỉ bảo trong suốt 2 năm học

của em.

Cuối cùng, em xin cảm ơn gia đình, bạn bè và đồng nghiệp cùng những người đã luôn bên cạnh, động viên và giúp đỡ em trong suốt thời gian học tập và làm luận án Nhờ có sự hỗ trợ của họ, em đã có môi trường tốt nhất để hoàn

thành luận án của mình.

Du đã cố gắng nghiên cứu trong khả năng và phạm vi cho phép, nhưng chắc

chắn sẽ không tránh khỏi những thiếu sót Em rất mong nhận được sự góp ý và

thông cảm từ thầy cô và các bạn Xin chân thành cảm ơn!

MỤC LỤC

MO ĐẦẦU 25:25:22 521221122112111211121112112111211211221211211112111111 yeu 11 CHƯƠNG 1 TONG QUAN VE BÀI TOÁN NHAN DIỆN KHUÔN MẬẶT 31.1 Tổng quan về nhận diện khuôn mặt - St +E+E9EE+E+E9EEEE2EEEEEE+EEESESEEEEErErrrrrei 31.1.1 Giới thiệu về bài toán nhận diện khuôn mặt 2- 2s +s+E£E+Ee£xzEerxzrs 31.1.2 Các yêu cầu tổng quan bài toán nhận diện khuôn mặt - 2-2 55+: 4

II Pham vi va thach 0ì).vÈEšadađaiidẳẢẲi 4

1.2 Vai tro va tam quan trong cua hé théng diém danh tu động tại các trường dai học

1.3 Bài toán điểm danh sinh viên qua nhận diện khuôn mặt - 5 55+ 5

1.4 Khảo sát một số phương pháp nhận diện khuôn mặt - - 2 2 2 +22 6

2 CHƯƠNG 2 NGHIÊN CUU CÁC PHƯƠNG PHAP NHAN DIỆN KHUÔN MAT 9

2.1 Nghiên cứu các phương pháp phat hiện khuôn mặt - - 5555 ‡+++<>>+ss2 92.1.1 Phương pháp V1oÌa-ÏOTI€S - cv TH nh nh nh TH nh nh nhàn 9

2.1.1.1 Cấu trúc mô hình Viola-Jones -c¿-cccvvccrctrrtrkerrrrrrrrtrrrrrrrree 9

2.1.1.2 Cac đặc trưng Haar-ÌIke - óc 3c 321131 111119 111911 11 re 102.1.1.3 Lớp chọn đặc trưng Ada BOOSI 0 2+ St Sinh 112.1.2 Phương pháp Multi-task Cascaded Convolutional Networks (MTCNN) 12

2.1.2.1 Cấu trúc mô hình Multi-task Cascaded Convolutional Networks

2.2 Nghiên cứu các phương pháp nhận diện khuôn mặt 5 5-55 ++s+ 162.2.1 Phương pháp VGGFaCG G1111 S1 T1 v1 vn vn rưy 16

2.2.1.1 Tổng quan mô hình VGGFace - 2-2 52+ £+EE+£E2EE2EEzErErrxerxrrree 16

2.2.1.2 Phương thức hoạt động VGGFace óc ng nh gi, 172.2.1.2.1 Phân loại khuôn mặt - + 2+ + +2 E222 1E E221 E382 EEcEEeszkeeeeszze 182.2.1.2.2 Nhận diện khuôn mặt sử dung triplet ÏOSs 55555 s++<ss+2 182.2.2 xoocoi 00:00 v0 0n 19

2.2.2.1 Tổng quan mô hình FacelNet -¿ 2¿+¿22++22+2E+2ExzEzxeerxerxrrei 192.2.2.2 Kiến trúc mô hình FacelNet -¿-2¿2+z22+2EECSEECEE2EEEEEEEerkrrkrrei 19

2.2.2.3 Phương thức hoạt động của FaceÌNet - che reg 20

2.2.2.3.1 Trích suất đặc trưng dé nhận diện QUON mặt -«++-+2 20

2.2.2.3.2 Nhận diện gương mặt - - 22 2+ + St S2 SE ng Hiệp 20

2.3 Đề xuất giải pháp nhận diện khuôn mặt dé ứng dụng cho bài toán điểm danh sinh

viên 20

2.4 Kết luận chương -2 5+ 222k EE2E127121121171211211711211 211111 e6 213 CHƯƠNG 3 UNG DỤNG CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MAT

TRONG DIEM DANH SINH VIÊNN 2: 5+ 52‡EE EE2E1E211112112112112112121121.1 xe 223.1 Thiết kế tổng thé hệ thống điểm danh sinh viên -2- 2 ¿+5 x+5++£zz£z+5+2 223.1.1 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt 2-2 2+ + +x+£z+£z+s+2 223.1.2 Mô hình triển khai dự kiẾn 22 22+ 2EE2EEt2EE2212212112211221221 22 crk.233.1.3 Môi trường triển khai - 2-52 2222 EEEEEEEEE71717111111111 1.111.111 te 233.1.4 Thiết kế ứng dụng :-©-¿+2++2E2E1£EEE2E12212712112717111112112111 11.1 txe 24

3.2 Thử nghiệm các phương pháp và đánh giá S2 + s+svsserrrrerke 27

3.2.1 Thu thập dit liệu đầu vào :-2¿+2s+2x+2E2EEE2E2E127121127171.211 2121 273.2.2 Dữ liệu huấn 907 1 27

3.2.3 Tham số dữ liệu đầu vào - 2¿+++22+2EEt2EEE2212221211211211221221 212 re 29

3.2.4 Quá trình huấn luyỆn ¿- 2 5++SE2EEt2E2E1E71211271211271 711211111111 xe 293.2.4.1 Huấn luyện phát hiện khuôn mặặtt: - - 2222322 *++EE++eExseersrerxes 293.2.4.2 Huấn luyện nhận diện khuôn mặt - 2 2 ++++£++£E+E++Exrxezrxez 303.3 Thử nghiệm chạy hệ thống nhận diện khuôn mặt nhận diện sinh viên 30

43

3.3.1 6š) ôi 30

3.3.2 Kết quả thực nghiệm 2-52 2 S22 2EEEEEEEE717171111111111 111111 te 323.4 Cài đặt, triển khai "38311111177 ÖÔ ÀÀÀ 34

3.4.1 Giao diện màn hình webcam nhận dạng khuôn mặt - -+=+ss+ 34

3.4.2 Giao điện màn hình chức năng quản lý điểm danh sinh viên 35

3.4.3 Giao diện màn hình chức năng quản lý môn học ¿+2 +++s*++sx>++s 353.4.4 Giao diện màn hình chức năng quản lý sinh vIÊn - 5-5555 **++s++s+ 36

3.5 _ Kết luận chương - 5-22 2E E1211211111211111211211111.11 11 1E nrye 36

KET LUẬYN 5c 51k 1211212121211 1 1 re 37DANH MỤC CÁC TÀI LIEU THAM KHAÁO -222:522522255++22+>2cvvscesvszs 38

DANH MỤC CÁC TU VIET TAT

Tên viết tắt Tiếng Anh Tiếng Việt

CNN Convolutional Neural Network Mang no-ron tich chap

FC Fully-connected Lớp kết nỗi day đủ

LDA Principal Components Analysis | Phân tích thành phan

MLP Principal Components Analysis | Mang noron truyền

thang nhiều lớp

MTCNN Multi-task Cascaded Kién trac mang no-ron Convolutional Networks tich chap

PCA Principal Components Analysis Phân tích thành phan

ReLU Rectified Linear Unit Lớp phi tuyên

CSDL Database Cơ sở dữ liệu

DANH MỤC HINH ANH

Hình 1-1 Tổng quan các bước cho nhận điện khuôn mặt 2-2: 2 22 22 +x+zxz£+zsz+2 3Hình 2-1 Tổng quan mô hình hoạt động Viola-Jones 2-2 5+ ++2x+EzEe£xezxzzzez 10

Hinh 2-2 9714041505) 211 ố 10

Hình 2-3 Đặc trưng cạnh - c2 21121121111 311 15111 11111115111 11111117 11 11 11 11 1H Hư Hy 10

Hình 2-4 Đặc trưng Ẩường - - - - 22c + 2k1 112112112 12111 11211 11 11 11111 T1 ng 11Hình 2-5 Đặc trưng xung quanh tam ccc ceccccescesseseceeceseesececeeeeseeseceeeeeeseeeeeeeeseeeensees 11Hình 2-6 Cac bước loại khuôn mặt hay không - - - 5 2222 + SE *++EE++vEEsrersreerrrersrke II

Hình 2-7 kết hợp các bộ phân loại yếu thành bộ phân loại mạnh 2-2 552 12Hình 2-8 Cấu trúc MTCNN -.:-222:2222+22211222111222112221112111121221121 1 de 13

Hình 2-9 Kim tự tháp hình ảnh c2: 1221121121121 1251151 1512111111111 11 11 11 E11 1g k ngư 14

Hình 2-10 Kernel tìm kiếm khuôn mặt -::-+2©++++2E+++2£EE+2EEE2EEtzErvsrrvsrrrrrrer 14Hình 2-11 Kiến trúc mô hình VGGFacc 2 222222222222222221122111221112221 22122 tre 18Hình 2-12 Quá trình huấn luyện với Triple Ìoss 2-2-5522 x+S£+£+2E££Evzxzzzxzxrred 19

Hình 2-13 Tạo Vector từ gương TMẶặT - E1 SE H TH TH HT ng HT Hư 19

Hình 3-1 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt - 2-2-2 22x+zzz+zz+z+zc+2 22Hình 3-2 Mô hình triển khai hệ thống - ¿- 2 S2 2+EE£EE2EEEEEEEEE2EEEEE1211271 71122121 Ee 23Hình 3-3 So đồ huấn luyện phát hiện khuôn mặt 2 2 2 + +E££E££E£EE£EEeExzrsrxee 24

Hình 3-4 Quy trình xác định khuôn mặt - - 5c 3 3223221331351 rrrke 25

Hình 3-5 Quy trình huấn luyện nhận diện khuôn mặt 2 + + +x+£E+£++E+zz++xez 25Hình 3-6 Quy trình nhận diện khuôn mặt thực hiện điểm danh - 2: s-csccxscsrxzxcrx 26Hình 3-7 Database hệ thống điểm danh ¿+ S+£EE£EE£EE£EEEEEEEEEEEEEEEEEEEEEEEerkrreree 26Hình 3-8 Ví dụ về ảnh của một người trOng ¿- 22 22+2+z+2+++EE+£EEEE2EE2Exerxerxrrxrres 27Hình 3-9 Ảnh 12 khuôn mặt người được đánh thứ tự từ 1 đến 12 -: - 27Hình 3-10 Dữ liệu huấn luyện nhận diện khuôn mặt [22] - 55+ 5+ ++++s++scx+secsss 28Hình 3-11 Hệ thống nhận diện bình thường - ¿c2 E321 1E 333 EEEErrrrerrrrrse 31

Hình 3-12 Nhận diện khuôn mặt đeo kính c5 223 221 E +2 + E+EEEEEEEeeekeeeeereseves 31

Hình 3-13 Thực nghiệm nhận diện nhiều khuôn mặt có điều kiện ánh sáng khác nhau 32

Hình 3-14 Độ chính xác nhận diện trên bộ Faces94 theo từng thư mục 33

Hình 3-15 Độ chính xác nhận diện trên lớp BA học viện VÏTÌ s-s++++<xx++sesss 33

DANH MỤC BẢNG

Bảng 1 Kết quả thực nghiệm 2-2 ©522S2‡SE92EE9EE9EE12E1271211271711211271211211 11.21 crx 32

MỞ ĐẦU

Nhận diện khuôn mặt là một trong những lĩnh vực quan trọng của xử

lý ảnh Và ngày nay nhận diện được sử dụng rộng rãi trong nhiều lĩnh vực của đời sống như nhận diện trong lĩnh vực thương mại, hay phát hiện trong

lĩnh vực an ninh, hay trong xử lý video, ảnh Một trong những ứng dụng

tiêu biểu nhận diện đang sử dụng phô biến hiện nay trong nhận diện khuôn mặt người là ứng dụng trong điện thoại di động cụ thể như Iphone và

Samsung đang sử dụng.

Hiện nay có rất nhiều các phương pháp nhận diện khác nhau được xây dựng dé nhận diện một người cụ thé trong thế giới thực Ta có thé nói tới một số phương pháp như: học máy và học sâu Các phương pháp học máy

truyền thống nhận diện khuôn mặt nhanh nhưng độ chính xác còn hạn chế

do không nhạy cảm với các biến thể khác nhau của khuôn mặt (nét mặt, biểu cam, và tư thế, v.v.) hay thay đổi ánh sáng của môi trường Gan đây,

các phương pháp dùng mô hình mạng nơ ron sâu như FaceNet, DeepFace,

được đề xuất có độ khả năng nhận diện khuôn mặt người tốt hơn Dựa trên các phương pháp học sâu tiên tiến này, bài toán nhận diện khuôn mặt người tiêu chuẩn đã được giải quyết với độ chính xác cao Tuy nhiên, vẫn còn nhiều thách thức khi cần áp dụng giải quyết các bài toán nhận diện người trong thực tế, với nhiều điều kiện phức tạp Ví dụ nhận diện người

qua khuôn mặt đeo khẩu trang hoặc bị che một phần, hoặc nhận diện người

trong các đám đông di chuyền, với ánh sáng, góc quay chưa được đảm bảo Ngoài ra, việc triển khai các mô hình học sâu dé thành các ứng dụng thực tế cũng cần nhiều nỗ lực của người phát trién.

Với sự phát triển của giáo dục tại Việt Nam, sé lượng sinh viên tại các

trường đại học ngày càng gia tăng, dẫn đến công tác quản lý khó khăn,phức tạp, đòi hỏi một hệ thống quản lý thông minh với ứng dụng của trí tuệ

nhân tạo Khi số lượng sinh viên lớn, điều kiện môi trường phức tạp, việc xác minh chính xác được danh tính của sinh viên là một thử thách lớn, mat thời gian, tốn nhân lực Do đó, bài toán xác minh sinh viên khi vào lớp, phòng thi của các trường đại học là một bài toán cấp thiết.

Đề tài “NGHIÊN CỨU PHƯƠNG PHAP NHAN DIỆN KHUÔN MAT

VÀ ỨNG DỤNG CHO ĐIÊM DANH SINH VIÊN” sẽ nghiên cứu, thử

nghiệm một số phương pháp nhận diện khuôn mặt tiên tiễn để chọn ra

phương pháp phù hợp, ứng dụng cho việc nhận diện, xác minh sinh viên.Nội dung luận án

CHUONG 1 Tổng quan về bài toán nhận diện khuôn mặt

L.1 Tổng quan về xử lý ảnh và bài toán nhận diện khuôn mặt

1.2 Một số ứng dụng nhận diện khuôn mặt

L3 Vai trò và tam quan trọng của hệ thống điểm danh tự động tai các trường

đại học

L4 Kết luận chương

CHƯƠNG 2 Nghiên cứu các phương pháp nhận diện khuôn mặt

2.1 Giới thiệu lý thuyết về học máy, học sâu

CHƯƠNG 3 Ứng dụng các phương pháp nhận diện khuôn mặt trong điểm danh sinh viên

3.1 _ Bài toán điểm danh sinh viên qua nhận diện khuôn mặt

3.2 Thử nghiệm các phương pháp và đánh giá

3.3 Xây dựng ứng dụng thử nghiệm 3.4 Kết luận chương

1 CHƯƠNG 1 TONG QUAN VE BÀI TOÁN NHAN DIỆN KHUON MAT

11 Tổng quan về nhận diện khuôn mặt

1.1.1 Giới thiệu về bài toán nhận diện khuôn mặt

Bài toán nhận diện khuôn mặt là một trong những bai toán quan trọng trong

lĩnh vực xử lý ảnh và trí tuệ nhân tạo Nó liên quan đến việc xác định và phân

biệt các khuôn mặt của con người trong hình ảnh hoặc video Bài toán này có

nhiều ứng dụng thực tế, từ nhận diện khuôn mặt trong ảnh chụp, video giám sắt an ninh cho đến các ứng dụng nhận diện khuôn mặt trong điện thoại di động, máy tính hoặc hệ thống đăng nhập bằng khuôn mặt.

Tuy bài toán nhận diện khuôn mặt đã được nghiên cứu và phát triển trong

nhiều năm, nhưng vẫn còn đầy thách thức Điều này bởi vì nhận diện khuôn mặt phải đối mặt với các yếu tố biến đổi như thay đổi ánh sáng, góc nhìn, biéu cảm và sự thay đổi trong thời gian Tuy nhiên, với sự phát triển của công nghệ máy học va học sâu, các phương pháp nhận diện khuôn mặt ngày cảng dat được độ chính xác cao và ứng dụng rộng rãi trong nhiều lĩnh vực như bảo mật, giao tiếp máy-tài nguyên và nhận diện cá nhân.

1.1.2 Các yêu cầu tổng quan bài toán nhận diện khuôn mặt

Bai toán nhận diện khuôn mặt có một số yêu cầu quan trọng dé đạt được kết quả tốt Dưới đây là các yêu cầu cơ bản trong bài toán nhận diện khuôn mặt:

- Phat hiện và xác định vi trí khuôn mặt

- Tinh nhất quán và đồng nhất - Trich xuất đặc trưng

- Kha năng nhận diện và phân loại

- _ Độ chính xác và tốc độ xử lý 1.1.3 Pham vi và thách thức

Pham vi:

Phạm vi ứng dụng: Bài toán nhận diện khuôn mặt có thé được áp dụng trong nhiều lĩnh vực, bao gồm an ninh, xác thực người dùng, nhận diện khuôn mặt trong ảnh hoặc video, nhận diện khuôn mặt trong thời gian thực, và nhiều ứng

dụng khác Tuy nhiên trong luận án này sẽ tập trung vào là xác định danh tính

của sinh viên bằng cách nhận diện và phân loại khuôn mặt trong quá trình điểm

danh Bài toán tập trung vào việc phát hiện và nhận diện khuôn mặt của sinh viên

dựa trên co sở dữ liệu đã được xây dựng trước đó, đảm bảo tính chính xác và

hiệu suất xử lý trong thời gian thực.

Phạm vi đối tượng: Hệ thống nhận diện khuôn mặt có thê được thiết kế để nhận diện khuôn mặt của một người cụ thể hoặc nhận diện và phân biệt giữa nhiều khuôn mặt khác nhau trong một cơ sở đữ liệu.

Thách thức:

Khi thực hiện bài toán nhận diện khuôn mặt, có một số thách thức quan trọng

mà cần được vượt qua để đạt được kết quả tốt Dưới đây là một số thách thức

chính:

- Thay đổi ánh sáng

- Bién đổi góc độ

- _ Biểu cảm khuôn mặt

- Su thay đối về thời gian - _ Độc lập về gương mặt

- Dé liệu huấn luyện hạn chế

1.2 Vai trò va tam quan trọng của hệ thống điểm danh tự động tai

trường đại học

Hệ thong diém danh tự động tại các trường đại hoc có vai trò va tầm quan

trọng lớn trong quản lý và theo dõi sự hiện diện của sinh viên trong các khóa học.

Dưới đây là vai trò và tầm quan trọng của hệ thống điểm danh tự động:

- _ Tiết kiệm thời gian và công sức

- _ Chính xác va đáng tin cậy

- Theo dõi hiệu suất học tập

- Tang cường an ninh và kiểm soát

- Tao điều kiện cho việc nghiên cứu và phân tích dữ liệu

1.3 Bài toán điểm danh sinh viên qua nhận diện khuôn mặt

Với sự phát triển của giáo dục tại Việt Nam, sỐ lượng sinh viên tại các trường đại học ngày càng gia tăng, dẫn đến công tác quản lý khó khăn, phức tạp, đòi hỏi một hệ thống quản lý thông minh với ứng dụng của trí tuệ nhân tạo Khi

36 lượng sinh viên lớn, điều kiện môi trường phức tạp, việc xác minh chính xác được danh tính của sinh viên là một thử thách lớn, mắt thời gian, tốn nhân lực Do đó các phương pháp điểm danh sinh viên cũ như :

- Giai pháp vân tay- _ GIải pháp thẻ từ

Với những nhược điểm rất lớn của các phương pháp điểm danh truyền thống Việc điểm danh qua nhận diện khuôn mặt trở nên cấp thiết vì những lợi ích sau

đây so với các phương pháp điểm danh truyền thống: Không cần thiết sử dụng

thẻ hoặc vân tay, xác thực chính xác và đáng tin cậy, có khả năng tích hợp vào

các hệ thống quản lý điểm danh tự động hiện có một cách linh hoạt Với những ưu điểm nồi bật trên thì bài toán xác minh sinh viên qua nhận diện khuôn mặt khi vào lớp, phòng thi của các trường đại học là một bài toán cấp thiết.

Mô tả bài toán:

Bai toán điểm danh sinh viên qua nhận diện khuôn mặt nhằm tự động xác định danh tính của sinh viên trong lớp học Thay vì sử dụng phương pháp truyền

thống, hệ thống sẽ sử dụng kỹ thuật nhận diện khuôn mặt dé tự động điểm danh

sinh viên.

1.4 Khảo sát một số phương pháp nhận diện khuôn mặt

1.4.1 Phương pháp Viola-Jones

Phương pháp nhận diện khuôn mặt Viola-Jones là một thuật toán phổ biến và hiệu quả được sử dụng dé phát hiện khuôn mặt trong hình ảnh Được giới thiệu

bởi Paul Viola và Michael Jones vào năm 2001, thuật toán này đã trở thành mộtcông cụ quan trọng trong lĩnh vực nhận diện khuôn mặt.

Phương pháp Viola-Jones hoạt động theo các bước sau:- Tao ra các tính năng (features)

- Huan luyện một bộ phân lớp AdaBoost

- _ Xác định vi trí khuôn mat

- _ Điều chỉnh thông số AdaBoost

- _ Đánh giá và lọc các khuôn mặt được phát hiện

1.4.2 Phuong pháp VGGFace

Phương pháp VGGFace là một phương pháp nhận diện khuôn mặt dựa trên

mạng nơ-ron tích chập (CNN) được phát triển bởi nhóm nghiên cứu tại Đại học Oxford Nó được thiết kế để nhận diện và nhúng các đặc trưng của khuôn mặt

vào không gian vector sô học.

Các bước cơ bản của phương pháp VGGFace bao gồm: - _ Xác định và cắt ra khuôn mặt

- Biểu diễn khuôn mặt bằng mạng nơ-ron tích chập VGGFace

- Nhung khuôn mặt vào không gian vector- So sánh và nhận diện khuôn mặt

1.4.3 Phương pháp Eigenfaces

Eigenfaces là một phương pháp nhận diện khuôn mặt được giới thiệu bởi

Sirovich va Kirby vào năm 1987 Phương pháp nay dựa trên phân tích thành phan chính (PCA) dé giảm số chiều của dữ liệu khuôn mặt và tạo ra một không gian con chứa các thành phần chính quan trọng.

Các bước chính trong phương pháp Eigenfaces là:

- Chuan bị dé liệu:

- _ Xây dựng ma trận anh

- Tinh toán trung bình khuôn mặt

- Tinh toán ma trận hiệp phương sai

- Tinh toán các vectơ riêng và gia tri riêng

- Chon các thành phan chính

- _ Chiếu khuôn mặt mới

1.4.4 Đánh giá và đề xuất giải pháp nhận diện khuôn mặt

Khi nghiên cứu tổng quan các giải pháp nhận diện khuôn mặt như

Viola-Jones, VGGFace và Eigenfaces dé thực hiện điểm danh tự động, có một số khó

khăn và hạn chế sau đây:

e Kho khăn trong việc phát hiện khuôn mặt với độ chính xác cao khi đối diện với các tình huống có nhiễu, ánh sáng yếu hoặc góc nhìn khác nhau.

© Có thé xảy ra những sai sót trong việc xác định đúng vị trí và đặc trưng của khuôn mặt, đặc biệt là đối với những khuôn mặt có biến đổi lớn về góc, tỷ lệ

hoặc ánh sáng.

VGGFace:

® Doi hỏi một lượng lớn dt liệu huấn luyện để đạt được độ chính xác cao Việc thu thập và chuẩn bị đữ liệu huấn luyện có thể tốn kém và tốn thời gian.

¢ D6 phức tạp của mô hình VGGFace là khá lớn, đòi hỏi sức mạnh tính toán

cao và tài nguyên phần cứng mạnh để triển khai và chạy mô hình một cách

hiệu quả.

e Yéu cau tiền xử ly đữ liệu phức tap, bao gồm việc chuan hóa kích thước va độ

sang cua ảnh.

e Khả năng phân biệt va đặc trưng của mô hình có thé bị giới hạn khi đối mặt với các biến đôi nghiêng, quay, hay biến dạng ngoại lệ của khuôn mặt.

Đề xuất thực hiện:

Dé giải quyết các van đề trên và cải thiện độ chính xác và hiệu suất của hệ thống điểm danh tự động, có thé sử dụng xử lý ảnh và các thuật toán học sâu như MTCNN và FaceNet Các giải pháp đề xuất bao gồm:

15 Kết luận chương

Bài toán nhận diện khuôn mặt là một trong những bai toán quan trọng trong

lĩnh vực xử lý ảnh và máy tính Nó đóng vai trò quan trọng trong nhiều ứng dụng thực tiễn như bảo mật, điểm danh tự động, giám sát an ninh, xác thực người dùng

trong các thiết bị điện tử, và cả trong lĩnh vực y tế.

Trong quá trình tìm hiểu và nghiên cứu bài toán này, chúng ta đã được tiếp cận với các phương pháp nhận diện khuôn mặt phổ biến: VGGFace, Eigenfaces, Viola-Jones và các ứng dụng của bài toán nhận diện khuôn mặt trong đời sống

Sử dụng MTCNN và FaceNet cho bài toán nhận diện khuôn mặt có nhiều ưu

điểm Đầu tiên, MTCNN và FaceNet có khả năng học được các đặc trưng phức

tạp và phụ thuộc vào ngữ cảnh của ảnh, giúp tăng độ chính xác của bài toán Thứ hai, MTCNN và FaceNet cũng có khả năng tự động học các đặc trưng cần thiết từ dữ liệu, giảm thiểu công sức va thời gian cần để tinh chỉnh các thông số của phương pháp nhận diện.

Tổng quan, sử dụng MTCNN và FaceNet là một phương pháp hiệu quả dé

giải quyết bài toán nhận điện khuôn mặt Dé đạt được kết quả tốt nhất, cần đầu tư

đầy đủ tài nguyên và công sức cho việc thu thập và chuẩn bị đữ liệu, cũng như huấn luyện và tinh chỉnh mô hình deep learning.

2 CHUONG 2 NGHIEN CỨU CÁC PHƯƠNG PHAP

-NHAN DIEN KHUON MAT

2.1 Nghiên cứu các phương pháp phát hiện khuôn mặt

Phát hiện khuôn mặt là một lĩnh vực quan trọng trong lĩnh vực nhận dạngkhuôn mặt và thị giác máy tính Mục tiêu của nghiên cứu này là tìm ra các

phương pháp hiệu quả để nhận diện và định vị khuôn mặt trong hình ảnh và

Có nhiều phương pháp đã được đề xuất và nghiên cứu trong lĩnh vực này.

Một trong những phương pháp tiếp cận đầu tiên là sử dụng các đặc trưng cơ bản của khuôn mặt, chăng hạn như mắt, mũi và miệng, để nhận dang và định vi khuôn mặt Các phương pháp như Viola-Jones, LBP và HOG đã được sử dụng để

trích xuất và xác định các đặc trưng này.

Trong những năm gan đây, các mạng nơ-ron tích chập (CNN) đã trở thành một phương pháp mạnh mẽ để phát hiện khuôn mặt Các mạng nơ-ron sâu như MTCNN đã được áp dụng dé phát hiện khuôn mặt với hiệu suất cao Các mạng CNN có khả năng tự động học các đặc trưng từ dữ liệu và đạt được kết quả ấn

tượng trong việc phát hiện khuôn mặt.

Trong luận văn này tập trung nghiên cứu về 2 phương pháp phát hiện khuôn mặt phô biến nhất hiện nay là Viola-Jones và MTCNN.

2.1.1 Phương pháp Viola-Jones

2.1.1.1 Cấu trúc mô hình Viola-Jones

Mô hình Viola-Jones là một phương pháp phổ biến trong nhận diện đối

tượng, đặc biệt là trong nhận diện khuôn mặt Nó được sử dụng để phát hiện các đặc trưng (features) quan trọng trong ảnh và dựa vào đó để xác định có mặt của đối tượng trong ảnh.

Cấu trúc chính của mô hình Viola-Jones bao gồm hai phần chính: Haar-like features và AdaBoost.

Điều chỉnh thông so AdaBoost

Hình 2-2 Tống quan mô hình hoạt động Viola-Jones

2.1.1.2 Các đặc trưng Haar-like

Các đặc trưng Haar-like được sử dụng trong việc xác định khuôn mặt người

là các hình chữ nhật den và trắng Có tổng cộng bốn đặc trưng cơ bản dé nhận diện khuôn mặt người Mỗi đặc trưng Haar-like được tạo thành từ sự kết hợp của hai hoặc ba hình chữ nhật trắng hoặc đen, như minh họa dưới đây:

Hình 2-3 Đặc trưng Haar-like

Đề áp dụng các đặc trưng nay vào việc xác định khuôn mặt người, 4 đặc

trưng Haar-like cơ bản đã được mở rộng và chia thành 3 tập đặc trưng như sau:

ul v= (cì (d)

Đặc trưng canh(edge feature)

Hinh 2-4 Dac trung canh

Đặc trưng đường(line feature)

Hinh 2-6 Dac trung xung quanh tam

2.1.1.3 Lép chon dac trung Ada Boost

Trong một cửa số nhất định, có rất nhiều đặc trưng có thé được lấy ra, nhưng

chỉ có một số ít trong số đó thực sự hữu ích trong việc nhận diện khuôn mặt Đề tìm ra những đặc trưng tốt nhất, thuật toán Adaboost được sử dụng Các đặc trưng được gan trọng số dé tạo ra một hàm đánh giá quyết định, xác định xem một cửa số có chứa khuôn mặt hay không Mỗi đặc trưng chỉ được chọn nếu nó có khả năng phát hiện đúng nhiều hơn một nửa các trường hợp ngẫu nhiên.

Hình 2-7 Các bước loại khuôn mặt hay không

AdaBoost sẽ kêt hợp các bộ phân loại yêu thành bộ phân loại mạnh như sau:

H(x) = >) (œ1h1ÍxÌ+œ2h2Íx)+ +anhn (x))

Với a,>= 0 hệ sô chuân hóa cho các bộ phân loại yêu

Đây là hình ảnh minh họa việc kết hợp các bộ phân loại yếu thành bộ phân loại mạnh

weak weak weak strong

classifier 1 classifier 2 classifier 3 classifier

h2) a(x) hae)

Hình 2-8 kết hợp các bộ phân loại yếu thành bộ phân loại mạnh

Mô hình Multi-task Cascaded Convolutional Networks (MTCNN) là một

kiến trúc mạng nơ-ron tích chập (CNN) được sử dụng cho việc nhận diện khuôn

mặt và định vị các điểm đặc trưng trên khuôn mặt trong ảnh MTCNN là một mô

hình tổng hợp gồm ba giai đoạn (P-Net, R-Net và O-Net), mỗi giai đoạn tập

trung vào một nhiệm vụ cụ thé dé tạo ra kết quả cuối cùng [12].

MTCNN là một phương pháp nhận diện khuôn mặt được xây dựng dựa trên

mạng Convolutional Neural Network (CNN) Nó bao gồm 3 mạng CNN được xếp chồng và hoạt động đồng thời dé phát hiện khuôn mặt Mỗi mạng có cấu trúc riêng biệt và đảm nhận vai trò khác nhau trong nhiệm vụ nhận diện khuôn mặt.

Kết quả đầu ra của MTCNN bao gồm vi trí của khuôn mặt và các điểm đặc trưng

trên khuôn mặt như mắt, mũi, miệng

TT “Gonv: 353 Conv3x3 ‘onv: 3x3 ee BH.

| ‘B- ñ = @ = || — box regression |O-Net

Hình 2-9 Cấu trúc MTCNN

2.1.2.2 Phương thức hoạt động của MTCNN

MTCNN thực hiện quy trình nhận diện khuôn mặt qua ba bước, mỗi bước sử

dụng một mạng nơ-ron riêng Bước đầu tiên là mạng P-Net (Proposal Network) để dự đoán các vùng trong ảnh có thê chứa khuôn mặt Bước thứ hai là mạng R-Net (Refine R-Network) sử dụng kết quả đầu ra của P-R-Net để loại bỏ các vùng không phải khuôn mặt Cuối cùng, mạng đầu ra (Output Network) sử dụng đầu ra

của R-Net dé cung cấp kết quả cuối cùng, bao gồm 5 điểm đánh dấu trên khuôn mặt: 2 điểm mắt, 1 điểm mũi và 2 điểm khóe miệng [21].

Đối với mỗi hình ảnh đầu vào, mạng tạo ra một kim tự tháp hình ảnh, tức là

tạo ra nhiêu phiên bản của hình ảnh đó ở các kích thước khác nhau Mục đích của

việc này là để phát hiện khuôn mặt ở mọi kích thước có thể có.

Hình 2-10 Kim tự tháp hình ảnh

2.1.2.2.I Mạng P-Net

Tại mạng P-Net, mỗi hình ảnh được chia tỉ lệ và áp dụng một hạt nhân

(kernel) kích thước 12x12 để quét qua hình ảnh và tìm kiếm khuôn mặt Trong

hình ảnh dưới đây, hình vuông màu đỏ biểu thị cho hạt nhân di chuyên qua hình ảnh dé tiến hành quá trình tìm kiếm khuôn mặt.

Trong mỗi hạt nhân 12x12 này, có 3 cau trúc khác nhau được áp dụng với

hạt nhân 3x3 Sau mỗi lớp tích chập, một lớp prelu được áp dụng Ngoài ra, sau

lớp prelu đầu tiên, một lớp max pool được thêm vào dé chỉ lay giá trị lớn nhất

trong vùng lân cận, bỏ qua các giá trị còn lại.

Cấu trúc P-Net trong MTCNN:

Mạng P-Net sử dụng kiến trúc CNN với 3 lớp tích chập và 1 lớp co Kích thước đầu vào của cửa số trượt là 12x12x3, trong đó 3 đại diện cho 3 kênh mau

(đỏ, xanh lục, xanh lam) trong không gian màu RGB Kết quả được tạo ra bởi

P-Net bao gồm 3 cụm như sau:

Cụm thứ nhất chứa 2 bộ lọc kích thước 1x1 được sử dụng dé nhận diện

khuôn mặt.

Cụm thứ hai chứa 4 bộ lọc kích thước 1x1 được sử dụng dé tạo khung bao

quanh 4 vi trí giới hạn khuôn mặt.

Cum thứ ba chứa 10 bộ lọc kích thước 1x1 được sử dụng để tạo khung bao

quanh 10 vi trí khuôn mặt.

2.1.2.2.2 Mang R- Net

Mang R-Net có cau trúc tương tự P-Net, tuy nhiên có số lớp nhiều hơn Nó

sử dụng kết quả đầu ra của P-Net làm đầu vào và tạo ra các tọa độ hộp giới hạn

chính xác hơn.

Cấu trúc R-Net trong MTCNN:

Trong bước R-Net sử dụng kiến trúc CNN gồm: 3 lớp tích chập, 2 lớp co và

1 lớp kết nối đầy đủ Đầu vào cửa sô trượt với kích thước 24x24x3 (3 tương ứng

với 3 màu: Đỏ, xanh lục, xanh lam trong hệ màu RGB thông thường) Kết quà

của R-Net phân được 3 cụm:

- Cụm thứ nhất có 2 lớp nhận diện khuôn mặt;

- Cụm thứ hai có 4 lớp đánh dấu vị trí hộp giới hạn;

- Cụm thứ ba có 10 lớp vi trí khuôn mặt.

2.1.2.2.3 Mạng O-Net