Phạm vi nghiên cứu là các phương pháp xác thực sinh trắc học, thực hiện phát triển một ứng dụng đơn giản về xác thực sử dụng khuôn mặt với 50 đối tượng học sinh, sinh viên.. Phương thức
Trang 1HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIÊN THÔNG
KHOA AN TOÀN THÔNG TIN
Trang 2HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIÊN THÔNG
KHOA AN TOÀN THÔNG TIN
ĐỎ ÁN TÓT NGHIỆP
ĐÈ TÀI:
NGHIÊN CỨU CÁC PHƯƠNG PHÁP XÁC THỰC
SỬ DỤNG KHUÔN MẶT
Giảng viên hướng dẫn : PGS TS Hoàng Xuân Dậu
Sinh viên thực hiện : Phan Thị Kim Hoàn
Mã sinh viên : B19DCAT076
Lớp : D19CQAT04-B
Khoa : 2019-2024
Hệ : Đại học chính quy
Hà Nội, tháng 1 năm 2024
Trang 3NHAN XÉT DO AN TOT NGHIỆP ĐẠI HỌC CUA
GIANG VIEN PHAN BIEN
Tên đồ án: Nghiên cứu các phương pháp xác thực sử dung khuôn mặt
Giảng viên hướng dẫn: PGS TS Hoàng Xuân Dậu
Sinh viên thực hiện: Phan Thị Kim Hoàn
Mã sinh viên: B19DCA T076
Trang 4NHAN XÉT DO ÁN TOT NGHIỆP CUA GIẢNG VIÊN HUONG DAN
Giảng viên hướng dan: PGS TS Hoàng Xuân Dau Bộ mon:
Tên đồ án: Nghiên cứu các phương pháp xác thực sử dung khuôn mặt
Sinh viên thực hiện: Phan Thị Kim Hoàn
Mã sinh viên: BI19DCA T076
Lớp: DI9CQAT04B
NỘI DUNG NHẬN XÉT
I Nội dung báo cao
Il San pham
Ill Ưunhược điểm
IV Kếtluận
Điêm: ( băng 002125 )
Hà Nội, ngày tháng năm
GIẢNG VIÊN HƯỚNG DẪN
Trang 5Đồ án tốt nghiệp
LỜI CẢM ƠN
Lời đầu tiên cho phép em được gửi lời cảm ơn chân thành và sâu sắc đến
các thầy cô của Học viện Công nghệ Bưu chính Viễn thông, đặc biệt là các thầy
cô khoa An toàn thông tin đã tận tình giảng dạy, hướng dẫn những kiến thức quý
báu cho em trong suốt quá trình hơn 4 năm học tập tại học viện, các thầy cô đãtạo điều kiện thuật lợi nhất để em hoàn thành đồ án tốt nghiệp
Em xin trân trọng gửi lời cảm ơn đặc biệt đến thay PGS TS Hoàng XuânDậu đã dành nhiều thời gian hướng dẫn nhiệt tình, sẵn sang giải đáp các van dé
và đề xuất hướng giải quyết khi em gặp khó khăn trong quá trình thực hiện đồ
an.
Em cũng xin gửi lời cảm ơn đến ThS Nguyễn Thị Trang đã sẵn sàng giúp
đỡ và nhiệt tình hướng dẫn em trong quá trình thực hiện, và cảm ơn gia đình,
bạn bè đã luôn quan tâm, ủng hộ em trong thời gian học tập và thực hiện đồ án
Trong khoảng thời gian thực hiện đồ án, với sự quan tâm, giúp đỡ và sự
cô gắng em đã hoàn thành đồ án tốt nghiệp Tuy nhiên, đo thời gian và kinhnghiệm còn nhiều hạn chế nên em vẫn có những thiếu sót, em mong nhận được
sự góp ý cũng như chỉ bảo tận tình từ các thầy cô
Em xin chân thành cảm on!
Hà Nội, tháng I năm 2024
Sinh viên thực hiện
Phan Thị Kim Hoàn
Phan Thị Kim Hoàn — B19DCA T076
Trang 6Đồ án tốt nghiệp
LỜI CAM ĐOAN
Em xin cam đoan rằng đồ án tốt nghiệp “Nghiên cứu các phương pháp
xác thực sử dụng khuôn mặt” là công trình nghiên cứu của bản thân mình.
Những phần có sử dụng tài liệu tham khảo có trong đồ án đã được liệt kê và nêu
rõ ra tại phần tài liệu tham khảo Đồng thời những số liệu hay kết quả trình bày
trong đồ án đều mang tính chất trung thực, không sao chép, đạo nhái.
Nêu như sai em xin chịu hoàn toan trách nhiệm và chịu tat cả các kỷ luật
của bộ môn cũng như nhà trường đê ra.
Sinh viên thực hiện
Phan Thị Kim Hoàn
Phan Thị Kim Hoàn — B19DCA T076
Trang 71.3 Phương pháp xác thực sử dụng khuơn mặt - - - «+5 18
1.3.1 Tổng quan về phương pháp xác thực sử dụng khuơn mặt 19
1.3.2 Quy trình của phương pháp xác thực bằng khuơn mặt 201.3.3 Uta điểm và hạn chế 5- 5 cctEtEtEtrrrrrrrret 20
1.4 Khái quát về các dạng ảnh và xử lý Amba cece 22
1.4.1 Anh trong máy tÍnh -cccccrereererrererree 22
1.4.2 Phép tinh COHVỌHẨÏOH ĂQ Ăn he re 27
1.5 Két chương - 25s 2< E221 E1EE12E1211271221211111 11111121111 xe 29
CHƯƠNG 2: XÁC THỰC KHUƠN MẶT SỬ DỤNG MTCNN VÀ
J Y0 00) 5Ä 30
2.1 Tổng quan về hoc máy, học sâu 2-2 2+ 2+£+z++zz+x+zzzxerxzree 30
2.1.1 Học máy (Machine LeqFHÏHỹ) - -ccàSccSssesseeeeeeesss 30
2.1.2 Học sâu (Deep ÏeqFHÌHg) Sky 32
Phan Thị Kim Hồn — B19DCA T076
Trang 83.1.1 Phân tích mô hình hệ thống - 2 2©ccccccccscee 49
3.1.2 Giao diện hệ thống -72 ccccESceErerrrerrrees 54
KPN 2) 56 3.2.1 Tap dữ liệu thứ ngÌhiỆMm S5 Ặ Set 56
3.2.2 Kết quả thử nghiệm của hệ thống -2ccccccccc: 57
3.2.3 Đánh giá kết quả thử nghiệm 55- 5c Sccccccccccec 62
3.3 Kết chương - St St ETxỀ 211121121111 1111 111111111111 111g y0 63KẾT LUẬN 2-5252 5E E1211211211211211211211211211211211211211111 11211121 ee 64
TÀI LIEU THAM KHẢO - 2-2 SSSE‡SE‡EESEEEEEEEE2EEEE2E2E2121 211 EeeU 65
Phan Thị Kim Hoàn — B19DCA T076
Trang 9Đồ án tốt nghiệp
MỤC LỤC BẢNG
Bảng 1.1: So sánh các phương pháp xác thực sinh trắc học [3] 18Bang 1.2: Phân khúc người dùng của các kỹ thuật xác thực sinh trắc học [3] 18
Bảng 3 1: Ưu nhược điểm của một số phương pháp xác thực phô biến 58Bảng 3 2: Kết quả thử nghiệm giữa các mô hình của tập dit liệu Yale, AT&T 59Bảng 3 3:Kết quả thử nghiệm của tập thử nghiệm -2- 5-55 2+szczzS2 60
Phan Thị Kim Hoàn — B19DCA T076
Trang 10Đồ án tốt nghiệp
MỤC LUC HÌNH ANH
Hình 1 1: Quy trình phương pháp xác thực bằng khuôn mặt 20
Hình 1 2: Hệ mau RGB [4] - - - - (E221 32211321113 113215511551 1Eexxx 22
Hình 1 3: Biểu diễn màu sắc trong hệ mau RGB [4] - 2s <+cs+sz2 22
Hình 2 1:M6 hình fully connected neural netWOTĂ - «5s sss+sssecessss 33
Hình 2 2: Input layer và Hidden layer với anh màu 64x64x3 - 34
Hình 2 3: Tensor X, W 3 chiều được viết dưới dạng 3 matrix [4] 35
Hình 2 4: Thực hiện phép tính convolution trên anh màu [4] 35
Hình 2 5: Convolutional layer đầu tiên [4] ¿- scx+s+keEeErkerkerxsrerkerxes 36
Hình 2 6: Convolution layer tổng quát [4] - - 2 2 s+s+£££xzE+xezszxerees 36
Hình 2 7: max pooling layer với size=(3,3), stride=1, padding=0 37 Hình 2 8: Ví dụ sau pooling layer (2 Ÿ2) sc + x + vvvekerirerrerereree 37 Hình 2 9: Ví dụ fully connected Ïay€T - - 5 2 3S 332 S2 EEEseeeersesreeeses 38 Hình 2 10: Mô hình convolution neural network [4] - - -.-‹ -s++++<<+ 38
Hình 2 11: Mô hình xác thực sử dụng MTCNN và Facenet [7] - 39
Hình 2 12: Kiến trúc mạng MTCNN [] 2- 2 2 E+£E+£E+zEerxrrezxerszee 40
Hình 2 13: Cấu trúc PNET [§] - 2: 5¿+22+E+£E£+EE+EEtEEeEEeExeEkrrkrrerrerree 40
Hình 2 14: Tạo bản sao hình ảnh với nhiều kích thước khác nhau [8] 41
Hình 2 15: Xóa bớt các box không hop lý «+ + + + + ‡+++sevexexeeeresses 4I
Hình 2 16: Cấu trúc R-Net [§] ¿2 ©52+SE+EE2EE£EEEEEEEEEEEEEEEErkrrkkrrerree 42
Phan Thị Kim Hoàn — B19DCA T076
Trang 1118: Hình ảnh đầu ra của MTCNN - ¿2 s+cct2kEEtzkerrkekerees 43
19: Triplet loss trên hai positive faces và một negatives faces 45
1: Sơ đồ quy trình hệ thống essesscsessessestsstsssessessesesteneeteveees 49
2 Dữ liệu khuôn mặt gốc trong máy tính - s2 +s+s2+s+zxzzxezszse+ 503: Mã xử ly cắt hình anh từ video đữ liệu 2-2 2+ +s+czxszszsee 50
4: Dữ liệu hình anh sau khi xử lý VIdeo 5 55+ *+++eees+seess 51
5: Phan xử lý và lưu các khuôn mặt đã phat hiện vào tệp dau ra 526: Đầu ra của quá trình phát hiện khuôn mặt trong anh dit liệu 52
7: Doan mã xử lý tính toán embeddings ¿+5 ++++sx+++s++seexx++ 53
8: Xử lý xác thực ảnh đầu vào ¿- + s+2++EE+EE+EE2EEEEEEkerrkerkrrrred 54
9: Giao diện đăng ký khuôn mặt - 5 + + + £+eE+seEeeeeseeeeeske 54
10: Giao điện đăng ký của hệ thống - + + +E+EE+E£EEEEeEeErErkerkea 56
11: Tập dữ liệu thử nghiệm + 5 2323 E33 £++#EEEE+eeeeeseeeeseeresss 57
12: Kết quả thử nghiệm hình ảnh có đeo kính - ¿©2552 61
13: Hình ảnh thử nghiệm không đeo kính - 5-55 « «+ ++++s++++ss+2 61
14: Kết quả thư nghiệm hình ảnh "Unknownn"" - - 2 essere 62
Phan Thị Kim Hoàn — B19DCA T076 11
Trang 12công nghệ cao mang lại là những vấn đề mới đang dần phát sinh và một trong số
đó là vấn đề bảo mật thông tin của người dùng
Van đề bảo mật và xác thực không còn xa lạ gì với mỗi chúng ta Thay vì
những phương pháp có độ an toàn thấp như trước kia thì công nghệ giúp đơn
giản hóa và tăng cường tính bí mật của các phương pháp xác thực.
Ngày nay, có rất nhiều các phương pháp xác thực đang được triển khai,mỗi phương pháp đều có những ưu nhược điểm của chúng Vì vậy, em thực hiện
dé tài này với mục đích nghiên cứu để có thé tìm hiểu sâu hơn về các phương
pháp xác thực và đặc biệt chú trọng tới xác thực sử dụng khuôn mặt.
Il Mục tiêu đề tài và phạm vi nghiên cứu
Mục tiêu cho đề tài nhằm nghiên cứu các phương pháp xác thực sử dụng
sinh trắc học, một trong những vấn đề rất cần thiết cho sự phát triển của thời đại
mới Nội dung thực hiện hướng tới mục đích tìm hiểu một cách cụ thé và chínhxác từng phương pháp, ưu nhược điểm của chúng Và đề tài hướng tới xây dựng
một ứng dụng xác thực sử dụng khuôn mặt.
Phạm vi nghiên cứu là các phương pháp xác thực sinh trắc học, thực hiện
phát triển một ứng dụng đơn giản về xác thực sử dụng khuôn mặt với 50 đối
tượng học sinh, sinh viên.
Ill Bố cục đề tài
Sau phần mở đầu, nội dung đề tài được thê hiện qua 3 chương sau:
Chương 1: Tổng quan về xác thực
Chương 2: Xác thực khuôn mặt sử dụng MTCNN và FaceNet
Chương 3: Cài đặt và thử nghiệm
Phan Thị Kim Hoàn — B19DCA T076
Trang 13Đồ án tốt nghiệp
CHUONG 1: TONG QUAN VE XÁC THỰC
1.1 Xác thực
1.1.1 Khái niệm
Xác thực (Authentication) là quá trình xác minh hoặc chứng thực một
thực thể có thể người nào đó hay một cái gì đó nhằm đảm bảo độ tin cậy, haynói cách khác là kiêm chứng những thông tin do một người cung cấp hoặc về
một cái gì đó là đúng sự thật Việc xác thực đối tượng còn có nghĩa là xác nhận
nguồn gốc của đối tượng đó, còn xác thực một ai đó thường bao gồm việc thẳm
tra nhận dạng các đặc trưng cá nhân của họ Việc xác thực có thể phụ thuộc vào
một yếu tô hay nhiều yếu tô xác thực (authentication factor) khác nhau làm minhchứng cụ thé [1]
Xác thực là quá trình đặc biệt quan trọng nhằm bảo đảm an toàn cho hoạt
động của một hệ thống thông tin Đó là một quy trình có mục đích xác minhnhận dạng số (digital identity) của bên gửi thông tin (sender) trong việc liên lạc
trao đôi, xử lý thông tin, ví dụ như một yêu cầu đăng nhập
1.1.2 Cac yếu tô xác thực
1.1.2.1 Yếu to xác thực kiến thức (Knowledge-based Authentication
Factors):
Day là yếu tố dựa trên những thông tin mà người dùng biết Ví dụ bao
gồm mật khâu, câu hỏi bi mật, mã PIN, hoặc thông tin cá nhân như ngày sinh,địa chỉ, tên người thân, v.v Yếu tố này dựa vào việc người dùng có kiến thứcriêng biệt và không được tiết lộ cho người khác [2]
Trong quá trình xác thực, yếu tô kiến thức đóng vai trò quan trọng Mật
khẩu, như một biểu hiện của sự bí mật, là chìa khóa duy nhất mà chỉ người dùng
biết Điều này giúp tạo ra một lớp bảo vệ đầu tiên, nơi mà quá trình xác minhdanh tinh bat đầu Ngoài ra, câu hỏi bi mật cũng là một yếu tố kiến thức phd
biến, cung cấp một lớp bảo vệ thêm cho trường hợp mật khẩu bị mất hoặc quên.
1.1.2.2 Yếu tổ xác thực sở hữu (Possession-based Authentication Factors):
Đây là yếu tô dựa trên tính sở hữu của người dùng Ví dụ bao gồm thẻ
thông tin, máy tính, điện thoại di động, cặp khóa, thẻ thụ động, v.v Yếu tố nàydựa vào việc người dùng có các yếu tổ vật lý hoặc thiết bị cụ thé [2]
Yếu tố sở hữu được đại diện bởi thẻ thông tin và thiết bị xác minh hai yếu
tố Thẻ thông tin, với chứa đựng chip hoặc thông tin từ xa, là một phương tiện
vật lý mà người dùng giữ dé xác nhận danh tính Thiết bị xác minh hai yếu tố,
Phan Thị Kim Hoàn — B19DCA T076
Trang 14Đồ án tốt nghiệp
như RSA tokens hay ứng dụng như Google Authenticator, mang lại một tang an
toàn b6 sung, đảm bao rằng người dùng có trong tay cả yếu tô kiến thức lẫn sở
hữu.
1.1.2.3 Yếu tổ xác thực sinh hoc (Biometric Authentication Factors):
Day là yếu tô xác thực dựa trên các đặc trưng sinh học duy nhất của ngườidùng Ví dụ bao gồm dấu vân tay, méng mắt, khuôn mặt, giọng nói, hoặc đặc
điểm vân tay Yếu tố này sử dụng thông tin sinh học riêng biệt không thể sao
chép hoặc mạo danh của người dùng [2]
Với sự tiễn bộ trong công nghệ, yếu tô biểu hiện ngày càng trở nên quan
trọng Nhận dang vân tay, khuôn mặt, và giọng nói đều là những biểu hiện duy
nhất của mỗi người Sử dụng chúng trong quá trình xác thực không chỉ làm tăng
cường bảo mật mà còn mang lại trải nghiệm người dùng thuận tiện, vì không
cần nhớ mật khâu phức tạp hay mang theo các thiết bị xác minh sở hữu Điều
này đặt ra một tiêu chuẩn mới trong việc đảm bảo an toàn thông tin và dé sử
dụng đối với người dùng
1.1.3 Các phương pháp xác thực phổ biến
1.13.1 Xác thực dựa trên định danh người sứ dung (Username) và mật khẩu
(Password).
Username va Password là cách xác thực phổ biến nhất hiện nay Với
phương thức xác thực này, thông tin username và password do người dùng cung
cấp được đối chiếu với dữ liệu đã được lưu trữ trong hệ thống Nếu thông tin
trùng khớp với thông tin người dùng thì người sử dụng được xác thực là hợp lệ,
còn néu không người sử dụng bi từ chối hoặc cấm truy cập
Phương thức xác thực này có tính bảo mật không cao, vì thông tin về
Username và Password dùng đăng nhập vào hệ thống mà ta gửi đi xác thực là
trong tình trạng ký tự văn bản rõ, tức không được mã hóa và có thể bị chặn bắt
trên đường truyền, thậm chí ngay trong quá trình nhập vào Password còn có thé
bị lộ do đặt quá đơn giản (dạng ‘123456’, ‘abc123’ v.v.) hoặc dễ đoán (tên, ngày
sinh của người than ).
Hoạt động xác thực tài khoản và mật khẩu:
- Tạo tài khoản: cung cấp thông tin cá nhân như tên, địa chi email, và mật
khẩu mong muốn.
- Lưu tài khoản và mật khẩu: Thông tin tài khoản và mật khẩu sau đó được
lưu trữ trong cơ sở đữ liệu của hệ thống
Trang 15Đồ án tốt nghiệp
- _ Đăng nhập: người dùng nhập tài khoản và mật khẩu đã đăng ký
- So sánh thông tin: kiểm tra tài khoản và mật khâu người dùng nhập với dữ
liệu trong hệ thống dé cấp quyền truy cập
Uu điểm:
Dễ triển khai và pho biến: Phương pháp này nỗi tiếng với sự đơn giản và
tính ứng dụng cao Việc triển khai xác thực bằng mật khẩu là dé dàng và có théthực hiện trên hầu hết các hệ thống và dịch vụ
Tinh cá nhân hóa cho người dung: Người dùng có khả năng tùy chỉnh mật
khẩu theo sở thích và kỹ thuật cá nhân của họ, tạo ra một trải nghiệm xác thực
cá nhân và linh hoạt.
Dễ dàng thay đổi mật khẩu: Một trong những ưu điểm lớn nhất của xác
thực bằng mật khâu là khả năng dễ dàng thay đổi mật khâu, giúp người dùng
duy trì an ninh thông tin cá nhân một cách linh hoạt.
Nhược điểm:
Bao mật yếu: Mặc du dé triển khai, nhưng xác thực bằng mật khâu thường
gặp van đề về bảo mật Mật khẩu có thé bị dự đoán, phá đảo, hoặc bị tấn công
bang các kỹ thuật như tan công từ điển hoặc tan công brute-force
Nguy cơ quên mật khẩu: Người dùng thường gặp khó khăn khi nhớ mật
khẩu, đặc biệt là khi sử dụng nhiều dịch vụ khác nhau Điều nảy có thê dẫn đếnviệc đặt lại mật khẩu, gây phiền toái và mat thời gian
Người dùng sử dụng mật khẩu yếu: Trong nhiều trường hợp, người dùng
có thé chọn mật khẩu dé đoán hoặc yếu, làm tăng kha năng bị tấn công và đánh
cắp thông tin
Dễ bị đánh cắp hoặc tấn công: Mật khâu có thê bị đánh cắp thông qua các
kỹ thuật xâm nhập, phishing, hoặc tấn công từ xa, đặt ra nguy cơ mất an toàn
thông tin cao.
113.2 Xác thực bằng OTP (One-Time Password)
Ma OTP (One-Time Password) là một loại mật khẩu hoặc mã sé đặc biệtđược tạo ra một lần và chỉ có giá trị trong một khoảng thời gian ngăn hoặc cho
một phiên đăng nhập cụ thể Mục đích của mã OTP là tăng cường bảo mật trong
quá trình xác thực người dùng hoặc giao dịch điện tử.
Mã OTP thường được sử dung dé bảo vệ tài khoản trực tuyến và giao dịch
điện tử Người dùng nhận mã OTP thông qua SMS, email, ứng dụng di động
Phan Thị Kim Hoàn — B19DCA T076
Trang 16Đồ án tốt nghiệp
hoặc một thiết bị token Sau khi nhận được mã này, họ phải nhập mã vào hệthong hoặc ứng dụng dé xác thực danh tính và truy cập tài khoản hoặc thực hiện
giao dịch.
Hoạt động của xác thực băng OTP:
- Tao ma OTP: Hé thống xác thực tạo ra một mã số hoặc mật khâu ngẫu
nhiên và duy nhất
- Gửi mã OTP: Mã OTP được gửi đến người dùng thông qua một kênh giao
tiếp
- - Nhập mã OTP: Người dùng nhận được mã và nhập mã vào hệ thống.
- Xác thực mã OTP: Hệ thống so sánh mã OTP người dùng nhập và mã hệ
thống tạo và gửi Xác thực thành công và người dùng có quyền truy cập
vào tài khoản.
- Hết hạn mã OTP: Mã OTP có giá trị trong một khoảng thời gian ngắn và
sau khi hết hạn mã OTP không có giá trị sử dụng
Uu điểm:
Tăng cường bảo mật: Mã OTP cung cấp một lớp bảo mật bổ sung bằng
cách sử dụng một mã duy nhất và chỉ có hiệu lực trong một khoảng thời gianngắn, giảm khả năng tan công từ điền hoặc tấn công brute-force
Dé triển khai: Quá trình triển khai xác thực bằng Mã OTP là đơn giản vàhiệu quả, không đòi hỏi nhiều tài nguyên hệ thống và dễ tích hợp vào các ứng
dụng và dịch vụ khác nhau.
Nhược điểm:
Phụ thuộc vào kênh giao tiếp: Việc truyền tải mã OTP thường phụ thuộc
vào các kênh giao tiếp như tin nhắn văn ban, email, hoặc ứng dụng di động Nếu
kênh này bị tấn công hoặc không an toàn, có thể gây nên rủi ro bảo mật
Có khả năng bị tấn công phishing làm lộ mã OTP: Nhược điềm quan
trọng của xác thực bằng Mã OTP là sự nhạy cảm với tấn công phishing, trong đó
kẻ tấn công có thé gửi yêu cầu giả mao dé lừa đảo người dùng và thu thập mã
OTP một cách trái phép.
1.1.3.3 Xác thực bằng token
Xác thực bằng token là một phương pháp xác thực dựa trên việc sử dụng
một thiết bị vật lý hoặc ứng dụng di động đặc biệt gọi là "token" để đảm bảo
tính bảo mật trong quá trình xác thực người dùng Token có nhiệm vụ tạo và
Phan Thị Kim Hoàn — B19DCA T076
Trang 17Đồ án tốt nghiệp
cung cấp các mã xác thực đặc biệt và duy nhất mỗi khi cần xác thực Có hai loại
chính của xác thực bằng token:
Token tĩnh (Static Token): Đây là một thiết bị token cố định chứa mã
xác thực tĩnh, thường là một chuỗi ký tự Mã này không thay đổi theo thời gian
và chỉ được cung cấp cho người dùng một lần duy nhất Người dùng nhập mãnày để xác thực danh tính
Token động (Dynamic Token): Đây là một thiết bi token hoặc ứng dụng
di động tạo ra các mã xác thực động Mã này thay đổi liên tục theo thời gianhoặc sau mỗi lần sử dụng Người dùng nhập mã xác thực động hiện tại để xác
thực.
Uu điểm:
Tinh bảo mật cao: Mã Token cung cấp một cấp độ bảo mật cao, do mã
thay đổi liên tục và chỉ có hiệu lực trong khoảng thời gian ngắn
Không phụ thuộc vào kết nối internet: Hệ thông không yêu cầu kết nối
internet liên tục, giảm nguy cơ tấn công từ mạng và tạo ra tính ôn định trong quá
trình xác thực.
Khả năng cung cấp 2FA: Mã Token thường kết hợp được với yếu tố kiếnthức (ví dụ như mật khẩu), tạo thành hệ thống xác thực hai yếu tô (2FA), nâng
cao tính an toàn.
Không bị ảnh hưởng bởi các hình thức tan công trực tuyến: Hệ thong Mã
Token ít bị ảnh hưởng bởi các hình thức tấn công như tấn công phishing hay tấncông từ điển, do mã thay đổi động liên tục
Nhược điểm:
Chi phí quản lý và duy trì cao: Trién khai và duy trì hệ thống Mã Tokenđòi hỏi chỉ phí cao do việc cung cấp và quản lý các thiết bị phát sinh chỉ phí
đáng kể
Nguy cơ hỏng hoặc mat: Nguy cơ mat hoặc hỏng thiết bi Mã Token có thé
xảy ra, gây ảnh hưởng đến quá trình xác thực
Không phù hợp các ứng dụng trực tuyến: Một sô ứng dụng trực tuyên
không hỗ trợ hoặc không thuận lợi khi sử dụng hệ thống Mã Token
Tinh linh hoạt không cao: Hệ thong Mã Token có thé đối mặt với han chế
về tính linh hoạt khi so sánh với một số phương pháp xác thực khác
1.1.3.4 Xác thực bằng chữ ký số
Phan Thị Kim Hoàn — B19DCA T076
Trang 18Đồ án tốt nghiệp
Xác thực bằng chữ ký số (Digital Signature) là một phương pháp sử dụngcông nghệ mật mã dé đảm bảo tính toàn vẹn, xác thực nguồn gốc và không thay
đổi của một tài liệu hoặc thông tin điện tử Nó hoạt động tương tự như chữ ký
trên giấy tờ vật lý, nhưng được thực hiện trên môi trường điện tử
Quá trình xác thực bằng chữ ký số:
- Tao chữ ký số: Người ký sử dụng một khóa riêng (private key) để tạo ra
một chuỗi số đặc biệt gọi là "chữ ký số" từ đữ liệu cần ký
- Ký tài liệu: Chữ ký số này được gắn kết với tài liệu hoặc thông tin cần xác
thực.
- Cung cấp tài liệu và chữ ký số: Tài liệu kèm theo chữ ký số được gửi cho
người nhận
- Xác thực chữ ký số: Người nhận sử dụng một khóa công khai (public key)
của người ky (được công bố công khai) dé kiêm tra chữ ký số Nếu chữ ký
số hợp lệ và tài liệu không bị thay đổi, quá trình xác thực thành công
Ưu điểm:
Dam bao tính toàn ven dit liệu: Chữ ky điện tử đặt ra một "đấu chân số"
duy nhất trên đữ liệu, đảm bảo rằng đữ liệu không bị thay đổi mà không được
phát hiện.
Tỉnh xác thực của người ký: Chữ ký điện tử chứng minh nguồn gốc củathông tin, xác nhận rang người ky là ai họ tuyên bồ là và có ý định ký bản ghi
Phù hợp với các giao dịch quan trọng: Chữ kỹ điện tử thường được sử
dụng trong các giao dịch quan trọng, như hợp đồng, giao dịch tài chính, và các
văn bản pháp lý, nơi tính chính xác và tính toàn vẹn là quan trọng.
Nhược điểm:
Khó khăn trong việc triển khai: Trién khai hệ thông chữ ký điện tử đôi khi
có thê đối mặt với thách thức do yêu cầu một quy trình cài đặt và hỗ trợ kỹ thuật
đặc biệt.
Doi hỏi hạ tang công cộng: Sử dụng chữ ky điện tử đòi hỏi một hạ tang hạ
tầng công cộng vững chắc, bao gồm cả các chìa khóa công cộng và các dịch vụ
chứng thực.
1.1.3.5 Xác thực da yếu to
Xác thực đa yêu tố (Multi-Factor Authentication - MFA) là một phương
pháp xác thực danh tinh sử dụng hai hoặc nhiều yếu tố khác nhau dé đảm bảo
Phan Thị Kim Hoàn — B19DCA T076
Trang 19Xác thực Da Yếu Tổ (MFA) mang lại nhiều ưu điểm bảo mật, bao gồm
bảo vệ tải khoản khỏi mối đe dọa như đánh cắp mật khẩu, tăng cường bảo mậtqua nhiều lớp xác thực, phòng ngừa quảng bá làm giả mạo, đặc biệt là trong môi
trường trực tuyến nơi các hình thức tan công phổ biến Nó không chi đáp ứng
các yêu cầu về an toàn thông tin mà còn chấp nhận mức độ rủi ro cao, tạo ra một biện pháp hiệu quả dé bảo vệ thông tin cá nhân và tai khoản trực tuyến.
1.2 Phương pháp xác thực sử dụng sinh trắc học
Xác thực sử dụng sinh trắc học (Biometric Authentication) là một phương
pháp xác thực danh tính dựa trên các đặc điểm sinh trắc học của một cá nhân.Thay vì sử dụng mật khâu, chữ ký, hoặc mã số, phương pháp này sử dụng thông
tin duy nhất về cơ thé hoặc hình dang của người dùng dé xác minh danh tính
1.2.1 Sinh trắc học sinh lý
12.11 Nhận dang vân tay
Sinh trắc học phổ biến nhất cho đến nay, nhận dang dau vân tay, có thé sử
dụng một số cách tiếp cận dé phân loại, dựa trên các chi tiết nhỏ là sự tái tạo các
go da ma sát biéu bi được tìm thấy ở mặt lòng bàn tay và ngón tay cái, lòng ban
tay và lòng bàn chân Chúng ta có thé sử dung chúng dé xác thực vì có những
nguyên tắc cơ bản như sau [3]
- Dau vân tay sẽ không thay đôi trong suôt cuộc đời của một ca nhân.
- Dấu vân tay có các dang vân chung cho phép chúng được phân loại một
cách có hệ thống
- Dấu vân tay là một đặc điểm riêng biệt vì chưa có hai ngón tay nào được
tim thấy có đặc điểm vân tay giống hệt nhau
Sinh trắc học được triển khai rộng rãi thứ hai là hình học bàn tay Chúngtôi sử dụng các đặc điểm hình học của bàn tay như chiều dài của các ngón tay và
chiều rộng của ban tay để xác định một cá nhân
12.12 Nhận dạng mộng mắt
Nhận dạng dựa trên võng mạc được coi là phương pháp xác thực danh
tính an toàn nhất Nhận dạng võng mạc cung cấp nhận dạng thực sự của một
Phan Thị Kim Hoàn — B19DCA T076
Trang 20Đồ án tốt nghiệp
người bằng cách có được hình ảnh bên trong cơ thể, võng mạc / màng mạch củamột người sẵn sàng hợp tác theo cách khó có thê làm giả [3]
Ưu điểm lớn của nhận dạng võng mạc là khả năng thực hiện quá trình xác
thực mà không yêu cầu tiếp xúc trực tiếp với thiết bị Không chỉ tăng cường tính
thuận tiện cho người sử dụng, mà còn giảm nguy cơ lây nhiễm, điều nay làm
cho phương pháp này phù hợp cho nhiều ứng dụng từ bảo mật quốc gia đến xác
thực tài khoản cá nhân trong hệ thống an ninh và tài khoản trực tuyến
1.2.2 Sinh trắc học hành vi
Nó bao gồm các phép đo được thực hiện từ hành động của người dùng,
một số đo gián tiếp từ cơ thé người
1.2.2.1 Xác minh giọng nói
Hệ thống xác minh giọng nói khác với hệ thống nhận dạng giọng nói mặc
dù cả hai thường bị nhằm lẫn Nhận dạng giọng nói là quá trình nhận dạngnhững gì một người nói, trong khi xác minh bằng giọng nói là nhận dạng ai đangnói điều đó [3]
Hệ thống xác minh giọng nói:
- — Mục tiêu chính: Xác định danh tinh của người nói.
- Ứng dụng phổ biến: Trong bảo mật và xác thực, truy cập an toàn vào hệ
thong, hay các ứng dụng có yêu cầu xác minh người dùng
1.2.2.2 Động lực hoc tổ hợp phim
Hệ thống đo lường và so sánh các sự kiện thời gian cụ thể còn được gọi là
"chữ ký nhập" Cách một người nhập trên bàn phím đã được chỉ ra để chứngminh một số thuộc tính độc đáo [3]
Một khía cạnh quan trong của chữ ký nhập là động lực học tô hợp phím
Điều này đề cập đến cách mà người dùng tương tác với bàn phím, bao gồm tốc
độ gõ, thứ tự các phím, thời gian giữ phím, và cả lối di chuyên giữa các phím.Động lực học tổ hợp phím phản ánh không chỉ hành động cụ thể của người dùng
mà còn xu hướng và thói quen riêng biệt của họ trong quá trình nhập liệu.
1.2.2.3 Chữ viết tay
Hệ thống nhận dang chữ ký cố gắng xác thực mọi người dựa trên chữ ký
viết tay của họ Người dùng sẽ có chữ ký được đăng ký trong hệ thống và sau đó
mỗi lần xác thực thì chữ kỹ sẽ được đối sánh với chữ kỹ trong hệ thống
Phan Thị Kim Hoàn — B19DCA T076
Trang 21Đồ án tốt nghiệp
Chữ viết tay là một phương tiện cá nhân hóa mạnh mẽ, vì mỗi người cómột cách viết riêng biệt Hệ thống nhận dạng chữ ký không chỉ xem xét hình
dạng tổng thé của chữ ký mà còn tập trung vào các đặc điểm chi tiết như độ
nghiêng, độ xiên, đặc điểm đặc trưng của từng nét chữ Điều này tạo ra một biểu
hiện số học độc đáo, phản ánh phong cách cá nhân trong việc viết
1.2.3 So sánh các phương pháp xác thực sinh trắc học
So sánh các phương pháp xác thực sinh trắc học dựa trên sáu đặc điểm
sau đây là bảo mật, độ chính xác, tính lâu dài, khả năng sử dụng, tính đầy đủ vàchi phí với 3 cấp độ là cao (H) , trung bình (M) va thấp (L)
Bang sau đây cung cap một so sánh nhanh về các loại sinh trac học được trình bày trong báo cáo này.
Security | Accuracy | Permanence | Usability | Cost Nhận dang vân tay H H M H M
như hồ sơ khách hàng bán lẻ, doanh nghiệp, tư nhân và nhà đầu tư
Retal | Corporat Private Investor
Trang 22Đồ án tốt nghiệp
Xác thực khuôn mặt xX xX xX x
Bang 1.2: Phân khúc người dùng của các kỹ thuật xác thực sinh trắc hoc [3]
1.3 Phương pháp xác thực sử dụng khuôn mặt
1.3.1 Tổng quan về phương pháp xác thực sử dụng khuôn mặt
Trong thời đại của công nghệ số hóa và sự phát triển không ngừng của
ngành công nghiệp thông tin, việc bảo vệ thông tin cá nhân va đảm bảo tính bao
mật của dịch vụ kỹ thuật số trở thành một thách thức quan trọng Trong bối cảnh
này, phương thức xác thực sử dụng khuôn mặt đã nổi lên như một công cụ hiệuquả để xác định danh tính của người dùng Phương pháp này sử dụng dữ liệu vềhình ảnh khuôn mặt của người dùng để xác minh và cho phép truy cập vào cácthiết bị, ứng dụng và hệ thống.
«_ Lịch sử phát triển
Phương thức xác thực sử dụng khuôn mặt không phải là một khái niệm
mới Từ các nghiên cứu ban đầu về nhận diện khuôn mặt vào thập kỷ 1960, cho
đến khi các hệ thống thương mại hóa được phát triển vào thế kỷ 21, đã có sự tiễn
bộ đáng kế trong việc nhận diện và xác thực dựa trên khuôn mặt
Công nghệ xác thực khuôn mặt đã trải qua một sự phát triển nhanh chóng,
đặc biệt là nhờ vao sự tiến bộ trong lĩnh vực trí tuệ nhân tạo (AI) và machine
learning Các thuật toán sâu học (deep learning) đã cho phép xây dựng các mô
hình học máy phức tạp có khả năng nhận diện và so sánh các đặc điểm của
khuôn mặt với độ chính xác cao.
- _ Nguyên tac hoạt động
Nguyên tắc hoạt động của phương pháp xác thực sử dụng khuôn mặt dựa
trên việc thu thập và phân tích các đặc điểm của khuôn mặt của người dùng Khi
người dùng đăng ký, hệ thống sẽ lấy dữ liệu về khuôn mặt của họ và tạo ra mộtbiểu đồ số học gọi là "biểu đồ khuôn mặt." Khi cần xác thực, hệ thống sẽ so
sánh biểu đồ này với đữ liệu đã đăng ký trước đó để xác định xem người dùng
có quyên truy cập hay không
- Ung dụng và tiềm năng
Phương thức xác thực sử dụng khuôn mặt có nhiều ứng dụng rộng rãi, từ
mở khóa điện thoại di động và truy cập máy tính cho đến kiểm tra danh tínhtrong lĩnh vực an ninh, y tế, tài chính và nhiều ngữ cảnh khác Nó giúp cải thiệntính bảo mật và trải nghiệm người dùng bằng cách loại bỏ nhu cầu nhớ mật khẩu
và tạo điều kiện thuận lợi cho việc truy cập thông tin và dịch vụ
Phan Thị Kim Hoàn — B19DCA T076
Trang 23Đồ án tốt nghiệp
Tuy nhiên, cần lưu ý răng việc sử dụng khuôn mặt dé xác thực cũng đặt ra một số thách thức, như quản ly và bảo vệ dit liệu cá nhân, van đề về quyền riêng
tư và sự phân biệt đối xử Do đó, việc phát triển và triển khai phương thức này
đòi hỏi sự cân nhắc kỹ lưỡng và tuân thủ các quy định về quyền riêng tư và bảo
mật dữ liệu.
1.3.2 Quy trình của phương pháp xác thực bằng khuôn mặt
R , XU LY ANH VA TRICH ˆ ‹
ĐĂNG KÝ Ô 'Ẻ “XuATDACTRUNG Ô PHÂN LOẠI XÁC THỰC
Hình 1 1: Quy trình phương pháp xác thực bằng khuôn mặt
Quy trình xử lý xác thực bằng khuôn mặt cơ bản sẽ thực hiện qua 4 giai
đoạn chính:
Giai đoạn 1: Đăng ký khuôn mặt trong hệ thống
Giai đoạn 2: Xử lý dữ liệu hình ảnh và trích xuất đặc trưng của khuôn mặt
Giai đoạn 3: Tiến hành phân loại để nhận diện khuôn mặt
Giai đoạn 4: Xác thực khuôn mặt với hình ảnh đầu vào
1.3.3 Ưu điểm và hạn chế
1.3.3.1 Uu điểm
Phương pháp xác thực sử dụng khuôn mặt có nhiều ưu điểm quan trọng,chính vì vậy nó đã trở thành một lựa chọn phô biến trong việc xác thực danh
tính Dưới đây là một số ưu điểm quan trọng của phương pháp này:
- Tiện lợi và Tốc độ: Xác thực khuôn mặt nhanh chóng và tiện lợi Người
dùng không cần nhớ mật khâu hoặc thực hiện các bước phức tạp để xác
thực Việc xác thực chỉ đơn giản là đặt khuôn mặt trước máy ảnh hoặc
cảm biến khuôn mặt
- Không cần thiết bat kỳ thiết bị ngoại vi nào: Không cần sử dụng thiết bi
ngoại vi đặc biệt như đầu đọc thẻ hoặc vân tay, điều này làm giảm chỉ phí
triển khai và bảo trì.
- Khó lừa doi: Phương pháp xác thực sử dụng khuôn mặt khó lừa đối hon
so với một số phương thức khác như mã PIN hoặc thẻ mật khẩu
Trang 24Đồ án tốt nghiệp
Tự nhiên và không can tiếp xúc: Người dùng không cần tiếp xúc trực tiếpvới bất kỳ thiết bị nào Điều này đặc biệt hữu ích trong các tình huống
như kiểm tra danh tính tại sân bay hoặc trong y tế
Ứng dung da dạng: Xác thực khuôn mặt có thé được áp dụng trong nhiều
lĩnh vực và ngữ cảnh khác nhau, từ mở khóa điện thoại di động đến truycập vào máy tính cá nhân, an ninh cơ sở hạ tầng, và các ứng dụng trong
lĩnh vực tài chính và y tế
Cải thiện trai nghiệm người dùng: Loại bỏ nhu cầu nhập mật khẩu hoặc
thông tin xác thực truyền thống giúp cải thiện trải nghiệm người dùng
băng cách làm giảm thời gian và sự phiên toái
Tích hợp với trí tuệ nhân tạo (AI): Xác thực khuôn mặt được cải thiện liên
tục nhờ vào sự phát triển của trí tuệ nhân tạo, đặc biệt là deep learning và
các thuật toán học máy.
1.3.3.2 Han chế
Mặc dù phương pháp xác thực sử dụng khuôn mặt có nhiều ưu điểm,
nhưng cũng tồn tại một số hạn chế và thách thức quan trọng Dưới đây là một sé
hạn chế chính của phương pháp này:
Bao mật dé liệu: Dữ liệu khuôn mặt là dữ liệu cá nhân quan trọng, và việc
quản lý va bảo vệ nó đòi hỏi sự quan tâm đặc biệt về quyên riêng tư và
bảo mật Nếu hệ thống xác thực khuôn mặt bị xâm phạm hoặc dữ liệu bị
rò rỉ, có thể gây ra rủi ro lớn cho người dùng
Khả năng lừa dối: Mặc dù khó lừa đối hơn so với một số phương thức
khác, xác thực khuôn mặt vẫn có thể bị đánh lừa bằng cách sử dụng hình
ảnh khuôn mặt giả mạo hoặc các phương pháp công nghệ cao hơn như video deepfakes.
Thay đổi khuôn mặt: Khuôn mặt của con người có thé thay đổi theo thời
gian do các yếu tố như tuổi tác, cắt tóc, trang điểm, hoặc thậm chí cácbiến đổi do phẫu thuật thẩm mỹ Điều nay có thé làm giảm khả năng xác
thực chính xác.
Ảnh sáng và môi trường: Xác thực khuôn mặt có thê bị ảnh hưởng bởi
điều kiện ánh sáng và môi trường Ánh sáng yếu, bóng râm hoặc nền đầy
nhiễu có thê làm giảm khả năng xác thực chính xác
Chưa thích hợp cho một số ngữ cảnh: Xác thực khuôn mặt không phải lúcnào cũng phù hợp Ví dụ, trong tình huống tối quá hoặc khi người dùng
đeo kính mặt dày, hệ thống có thé gặp khó khăn
Trang 25Đồ án tốt nghiệp
- Su phân biệt đối xử: Xác thực khuôn mặt có thé gây ra sự phân biệt đối xử
đối với những người có các van dé về khuôn mặt, chăng hạn như người
khuyết tật hoặc người có bat thường ` về khuôn mặt.
- Phan ứng với quyén riêng tư: Một sô người có thé lo ngại về việc thu thập
và sử dụng dữ liệu khuôn mặt của họ cho mục đích xác thực, gây ra mối
quan ngại về quyền riêng tư
1.4 Khái quát về các dạng ảnh và xử lý ảnh
1.4.1 Ảnh trong máy tính
1411 Hệ màu RGB
RGB viết tắt của red (đỏ), green (xanh lục), blue (xanh lam), là ba mau
chính của ánh sáng khi tách ra từ lăng kính Khi trộn ba màu trên theo tỉ lệ nhấtđịnh có thé tạo thành các màu khác nhau
Pick a Color: Selected Color:
Khi ban chọn một màu thì sé ra một bộ ba số tương ứng (r,ø,b), ví dụ
trong hình trên là mau sắc được chọn là rgb(102, 255, 153), nghĩa là r=102,g=255, b=153 Với mỗi bộ 3 số r, g, b nguyên trong khoảng [0, 255] sẽ cho ra
một màu sắc khác nhau Do có 256 cách chọn r, 256 cách chọn màu g, 256 cách
chọn b => tổng số màu có thé tạo ra bang hệ mau RGB là: 256 * 256 * 256 =
16777216 màu [4]
14.12 Anh màu
Trong, lĩnh vực xử lý ảnh, ảnh màu là loại ảnh mà mỗi điểm ảnh có thông tin về màu sắc của nó Hình ảnh màu thường được biểu diễn bằng cách sử dụng
ba kênh màu cơ bản: đỏ (Red), xanh lục (Green), và xanh lam (Blue) Kỹ thuật
này thường được gọi là mô hình màu RGB.
Phan Thị Kim Hoàn — B19DCA T076
Trang 26Trong máy tính, một bức ảnh sẽ được biểu diễn với các thông số ví dụ
chiều dai ảnh là 800 pixels (viết tat px), chiều rộng 600 pixels, kích thước là 800
* 600 Đây chính là đơn vi đơn vi kích thước của ảnh — pixel.
Theo wiki, pixel (hay điểm ảnh) là một khối màu rất nhỏ và là đơn vị cơbản nhất dé tạo nên một bức anh kỹ thuật SỐ
Với ví dụ là bức ảnh có kích thước 800x600 pixel, có thé biểu diễn dưới
dạng một ma trận kích thước 600 * 800 như bên dưới:
Wit Wi.2 +++ Wi goo Wo1 Woo +++ Wo 00
Weo0,1 Weoo2 - Wapogoo
Trong đó mỗi phan tử w; là một pixel
Tuy nhiên đề biểu diễn 1 màu ta can 3 thông số (r,g,b) nên gọi
wy = (Ty, g;, P;¿đê biêu diễn dưới dạng ma trận Ví dụ một ảnh màu có
kích
thước 3x3 biểu diễn dạng ma trận, mỗi pIxel biểu diễn giá tri (r,g,b) như sau:
Phan Thị Kim Hoàn — B19DCA T076
Trang 27Đồ án tốt nghiệp
(100,100,50) (101,1123) (131,20,80)
(150,210,130) (10,120,130) (111,120,130)
(10,260,330) (200,20,30) (100,20,3)
Đề tiện lưu trữ và xử lý không thé lưu trong 1 ma trận như thé kia mà sẽ
tách mỗi giá trị trong mỗi pixel ra một ma trận riêng Tách ma trận trên thành 3
ma trận cùng kích thước: mỗi ma trận lưu giá trị từng màu khác nhau red, green,
Pir Tịa eee Tiao ||Tin PTia e+ Trao || Fìin Tia +++ Tla0o
Por Pon eee Fan || Ứại a2 lẻ T¿ao || Fai P22 ++ 2,800
9 ,
T6001 Fsoo2 «++: FsoogoollFsool "6002 +++ Fsoogoo||Fsooi "6002 +++ 600,800
Mỗi ma trận được tách ra được gọi là 1 channel nên ảnh màu được gọi là
3 channel: channel red, channel green, channel blue.
Tom tat: Ảnh màu là một ma trận các pixel mà mỗi pixel biểu diễn mộtđiểm màu Mỗi điểm màu được biéu diễn bằng bộ 3 số (r,g,b) Dé tiện cho việc
xử lý ảnh thì sẽ tách ma trận pixel ra 3 channel red, green, blue [4]
1413 Tensor
Khi dữ liệu biểu diễn dạng 1 chiều, người ta gọi là vector, mặc định khiviết vector sẽ viết dưới dạng cột Khi dữ liệu dạng 2 chiều, người ta gọi là ma
trận, kích thước là số hàng * số cột [4]
Vector v kích thước n, ma trận W kích thước m*n
Phan Thị Kim Hoàn — B19DCA T076
Trang 28Đồ án tốt nghiệp
Vị Wit Wip Win
_|Y2 — | Wor Woo Won
V= › =
Vụ Wm 1 Wn,2 Wn n
Khi dữ liệu nhiều hon 2 nhiều thi sẽ được gọi là tensor, ví dụ như dữ liệu có 3chiều
Đề ý thì thấy là ma trận là sự kết hợp của các vector cùng kích thước Xếp
n vector kích thước m cạnh nhau thì sẽ được ma trận m*n Thì tensor 3 chiềucũng là sự kết hợp của các ma trận cùng kích thước, xếp k ma trận kích thước
m*n lên nhau sẽ được tensor kích thước m*n*k.
color image is 3rd-order tensor
28 pinels [height
Hình 1 5: Anh màu biểu diễn dưới dang tensor [4)
1.414 Anh xm
Ảnh xám là một loại hình anh mà mỗi điểm ảnh chi chứa thông tin về độ
sáng mà không có thông tin về màu sắc Trong mô hình ảnh xám, mỗi điểm ảnhđược biéu diễn bằng một giá trị độ sáng duy nhất, thường là giá trị từ 0 đến 255
trong các hệ thống màu sắc 8-bit (0 đại điện cho đen và 255 đại diện cho trắng)
Ảnh xám thường được sử dụng trong nhiều ứng dụng xử lý ảnh vì nó tiết
kiệm không gian lưu trữ và có thể giảm độ phức tạp của quá trình xử lý hình ảnh Ngoài ra, trong một số trường hợp, thông tin về màu sắc có thê không cần thiết và chỉ độ sáng là quan trọng.
Phan Thị Kim Hoàn — B19DCA T076
Trang 29Đồ án tốt nghiệp
Tương tự ảnh mau, ảnh xám cũng có kích thước 800 x 600 pixel, có thé
biểu diễn đưới dạng một ma trận kích thước 600 * §00 như bên dưới:
Wirt Wiz +++ Wi goo
Chuyển hệ màu của ảnh
Mỗi pixel trong ảnh màu được biểu dién bằng 3 giá trị (r,g,b) còn trongảnh xám chỉ can 1 giá trị x dé biểu diễn
Khi chuyên từ ảnh màu sang ảnh xám ta có thể dùng công thức:
Trang 30rPOFR oro POF
Kí hiệu phép tinh convolution (®) kí hiệu Y=X@W
Một vi dụ cho phép tính convolution được biéu diễn theo hình ảnh bên dưới:
°[-] 1 1 0 Hà 0 1
Hình 1 7: Phép tinh convolution trên ảnh xám [4]
Vi dụ khi tính tại x;z (ô khoanh đỏ trong hình), ma trận A cùng kích thước
với W, có ⁄;z làm trung tâm có mau nền da cam như trong hình Sau đó tính Yi,
=sum(A® W)=Xi1 KW TX+¿ KWi2 $X13 KWi3 TX¿ + KWo TX¿¿ KW¿¿ TX¿2 KWo3 +X31
3W¿¡ +X:¿ W;› +%X3,3 kKW33 =4, Và làm tương tự với các phan tử con lại trong ma
kích thước bằng với ma trận X => Tìm cách giải quyết cho các phần tử ở viền
=> Thêm giá trị 0 ở viền ngoài ma trận X
Phan Thị Kim Hoàn — B19DCA T076
Trang 31Hình 1 8: Ma trận X khi thêm viễn 0 bên ngoài [4]
Rõ rang là giờ đã giải quyết được van dé tìm A cho phan tử x¡; , và ma
trận Y thu được sẽ bằng kích thước ma trận X ban đầu
Phép tính này gọi là convolution với padding=1 Padding=k nghĩa là thêm
k vector 0 vào mỗi phía của ma trận
1423 Stride
Như ở trên ta thực hiện tuần tự các phần tử trong ma trận X, thu được ma
trận Y cùng kích thước ma trận X, ta gọi là stride=1 Tuy nhiên nếu stride=k (k
> 1) thì ta chỉ thực hiện phép tính convolution trên các phan tử X‹¡ ,¡.;„ Ví du
Trang 32Đồ án tốt nghiệp
Kích thước của ma trận Y là 3*3 đã giảm đi đáng ké so với ma trận X
Công thức tong quát cho phép tính convolution của ma trận X kích thước
m*n với kernel kích thước k*k, stride = s, padding = p ra ma trận Y kích thước
Mục dich của phép tinh convolution trên ảnh là lam mở, làm nét ảnh; xác
định các đường Mỗi kernel khác nhau thì sẽ phép tính convolution sẽ có ý
nghĩa khác nhau [4]
1.5 Kết chương
Có thê thấy rằng xác thực luôn là vấn đề quan trọng và cần thiết trong mọilĩnh vực của đời sống Trong thực tế, khi áp dụng bất kỳ một phương pháp xác
thực nào để đảm bảo tính toàn vẹn của thông tin, chúng ta cần phải cân nhắc
giữa giá trị thông tin với nhiều yếu tố khác đề lựa chọn phương pháp phù hợp
Như vậy, chương 1 đã giới thiệu tổng quan về xác thực, các yếu tố xác
thực và một số phương pháp xác thực phô biến Trong chương 1 em cũng đã tìm
hiểu về các dạng ảnh trong máy tính và vấn đề xử lý ảnh
Trang 33Đồ án tốt nghiệp
CHƯƠNG 2: XÁC THỰC KHUÔN MAT SỬ DỤNG MTCNN VA
FACENET
2.1 Tổng quan về học máy, học sâu
2.1.1 Học may (Machine Learning)
2.1.1.1 Khai niém hoc may
Học may (machine learning) là kha năng của chương trình may tinh sử
dụng kinh nghiệm, quan sát, hoặc dữ liệu trong quá khứ dé cải thiện công việccủa mình trong tương lai thay vì chỉ thực hiện theo đúng các quy tắc đã được lậptrình sẵn Chăng hạn, máy tính có thể học cách dự đoán dựa trên các ví dụ, hay
học cách tạo ra các hành vi phù hợp dựa trên quan sát trong quá khứ [5]
Học máy là một nhánh nghiên cứu rất quan trọng của trí tuệ nhân tạo vớikhá nhiều ứng dụng thành công trong thực tế Hiện nay, học máy là một trongnhững lĩnh vực phát triển mạnh nhất của trí tuệ nhân tạo
2.1.1.2 Ung dung cua hoc may
Có rất nhiều ứng dung trong thực tế khác nhau của hoc máy Hai lĩnh vực
ứng dụng đang được phát triển nhất của học máy là khai phá dữ liệu (data
mining) và nhận dạng mẫu (pattern recognition) [5]
Khai phá di liệu [5] là ứng dụng kỹ thuật học máy vào các cơ sở dữ liệu
hoặc các tập dữ liệu lớn dé phát hiện quy luật hay tri thức trong dữ liệu đó hoặc
dé dự đoán các thông tin quan tâm trong tương lai Ví dụ, từ tập hợp hóa đơn
bán hàng có thé phát hiện ra quy luật “những người mua bánh mì thường mua
bơ”.
Nhận dạng mau [5]là ứng dụng các kỹ thuật học máy dé phát hiện các
mẫu có tính quy luật trong dữ liệu, thường là dữ liệu hình ảnh, âm thanh Bài
toán nhận dạng mẫu cụ thê thường là xác định nhãn cho đầu vao cụ thé, vi dụcho ảnh chụp mặt người, cần xác định đó là ai
Một số ví dụ ứng dụng cụ thể của học máy:
- Nhận dạng ký tự: phân loại hình chụp ký tự thành các loại, mỗi loại ứng
với một ký tự tương ứng.
- Phat hiện và nhận dạng mặt người.
- Lọc thư rác, phân loại văn bản.
- Dịch tự động.
- Chân đoán y tế
Phan Thị Kim Hoàn — B19DCA T076
Trang 34Đồ án tốt nghiệp
2.1.1.3 Cac dang hoc may
Khi thiết kế và xây dựng hệ thống hoc máy can quan tâm tới những yếu tố sau
Thứ nhất, kinh nghiệm hoặc dữ liệu cho học máy được cho dưới dạng
Việc sử dụng những dạng kinh nghiệm va dạng biểu diễn khác nhau dan
tới những dạng học máy khác nhau Có ba dạng học máy chính như sau:
Học có giám sát (supervised learning) Là dạng học máy trong đó cho
trước tập dữ liệu huấn luyện dưới dang các ví dụ cùng với giá tri dau ra hay giá
trị đích Dựa trên đữ liệu huấn luyện, thuật toán học cần xây dựng mô hình hay
hàm đích đề dự đoán giá trị đầu ra (giá trị đích) cho các trường hợp mới [5]
Nếu giá trị đầu ra lardi rạc thì học có giám sát được gọi là phân
loại hay phân lớp (classification).
Nếu đầu ra nhận giá trị /iên tuc, tức đầu ra là số thực, thì học có giám sátđược gọi là Adi quy (regression) Trong phần tiếp theo, ta sẽ xem xét chi
tiết hơn về học có giám sát
Học không giám sát (un-supervised learning) Là dạng học máy trong đó
các ví dụ được cung cấp nhưng không có giá trị đầu ra hay giá trị đích [5]
Thay vì xác định giá trị đích, thuật toán học máy dựa trên độ tương tự
giữa các ví dụ dé xếp chúng thành những nhóm, mỗi nhóm gồm các ví du
tương tự nhau Hình thức học không giám sát như vậy gọi là phân
cum (clustering) Ví dụ, chỉ bằng cách quan sát hoặc đo chiều cao của mọingười, dần dần ta học được khái niệm “người cao” và “người thấp”, và cóthé xếp mọi người vào hai cụm tương ứng
Ngoài phân cụm, một dạng học không giám sát phổ biến khác là phát
hiện /uật kết hợp (association rule) Luật kết hợp có dang P(A | B), chothấy xác suất hai tính chất A và B xuất hiện cùng với Ví dụ, qua phân tích
dir liệu mua hang ở siêu thị, ta có luật P(Bơ | Bánh mỳ) =80%, có nghĩa là
80% những người mua bánh mỳ cũng mua bơ.
Hoc tăng cường (reinforcement learning) Đối với dạng học này, kinh
nghiệm không được cho trực tiếp dưới dạng đầu vào/đầu ra cho mỗi trạng thái
Trang 35Đồ án tốt nghiệp
hoặc mỗi hành động Thay vào đó, hệ thống nhận được một giá trỊ khuyến khích(reward) là kết quả cho một chuỗi hành động nào đó Thuật toán cần học cách
hành động để cực đại hóa giá trỊ khuyến khích Ví dụ của học khuyến khích là
học đánh cờ, trong đó hệ thống không được chỉ dẫn nước đi nào là hợp lý cho
từng tình huống mà chỉ biết kết quả toàn ván cờ Như vậy, các chỉ dẫn về nước
đi được cho một cách gián tiễn và có độ trễ dưới dạng giá trị thưởng Nước đi tốt
là nước đi nằm trong một chuỗi các nước đi dẫn tới kết quả thắng toàn bộ ván
cờ [5]
Trong các dạng học máy, học có giám sát là dạng phô biến, có nhiều thuật
toán liên quan va nhiều ứng dụng nhất
2.1.2 Học sâu (Deep learning)
2.1.2.1 Khai niệm học sâu
Học sâu là một phần của lĩnh vực học máy, nó được xây dựng dựa trên
một mạng thần kinh có ba lớp trở lên Mạng thần kinh này cố gắng mô phỏng
cách hoạt động của bộ não con người, cho phép học sâu "hoc" từ một lượng lớn
dữ liệu Mặc dù mạng thần kinh có thê đưa ra dự đoán gần đúng với một số lớp,
nhưng việc thêm các lớp ân có thé tối ưu hóa và điều chỉnh độ chính xác [6]
Deep Learning sử dụng nhiều ứng dụng và dịch vụ trí tuệ nhân tạo (AT) dé
nâng cao khả năng tự động hóa, thực hiện các nhiệm vụ phan tích va vật lý ma
không cần sự can thiệp của con người
2.1.2.2 Cách thứ hoạt động cua Deep Learning
Học sâu hoạt động băng cách khám pha các cấu trúc phức tạp trong dữ
liệu mà chúng trải nghiệm Cụ thể, các mô hình tính toán sẽ bao gồm nhiều tầng
xử lý, mạng có thể tạo ra nhiều mức đặc điểm trừu tượng dé biéu diễn dt liệu
[6]
Vi du: một mô hình học sâu được gọi là mạng lưới than kinh phức tap cóthé được đào tạo bang cách sử dụng số lượng lớn (hàng triệu) hình ảnh, chang
hạn như những hình anh có chứa chim.
Loại mạng thần kinh này thường học hỏi từ các pixel có trong hình ảnh
mà nó thu được Nó có thể phân loại các nhóm pixel đại diện cho các đặc điểm
của chim, với các nhóm đặc điểm như mỏ, cánh và chân cho biết sự xuất hiện
của chim trong hình anh.
Phan Thị Kim Hoàn — B19DCA T076