Hệ thống nhận diện khuôn mặt (“fr” (facial recognition)

MỤC LỤCĐƯỜNG DẪN...52 Giới Thiệu Đề Tài Hệ thống nhận diện khuôn mặt “FR” Facial Recognition là một ứng dụng công nghệ có khả năng xác định hoặc xác minh danh tính của một cá nhân dựa tr

TRƯỜNG ĐẠI HỌC PHƯƠNG ĐÔNG KHOA CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG

MỤC LỤC

ĐƯỜNG DẪN 52

Giới Thiệu Đề Tài

Hệ thống nhận diện khuôn mặt (“FR” (Facial Recognition)) là một ứng dụng công nghệ

có khả năng xác định hoặc xác minh danh tính của một cá nhân dựa trên các đặc điểm trên gương mặt của họ Nó hoạt động bằng cách so sánh hình ảnh khuôn mặt cần xác định với một cơ sở dữ liệu khuôn mặt đã lưu trữ sẵn Đây là một phương thức xác thực sinh trắc học được tích hợp công nghệ trí tuệ nhân tạo (AI) để đạt hiệu suất cao

Hệ thống nhận diện khuôn mặt đã trở thành một phần quan trọng của cuộc sống hàng ngày Từ việc mở khóa điện thoại thông minh đến kiểm soát truy cập vào các tòa nhà và văn phòng, chúng ta đã trở nên quen thuộc với việc sử dụng khuôn mặt để xác thực danhtính

Mặc dù hiện nay đã có rất nhiều ứng dụng và thiết bị nhận diện gương mặt xuất hiện trênthị trường, chúng vẫn còn bị hạn chế trong phạm vi sử dụng cũng như khả năng xử lý và

độ hiệu quả chưa đáp ứng được với số tiền đầu tư

Bài đồ án này tập trung vào nghiên cứu hệ thống nhận diện khuôn mặt Chúng ta sẽ khám phá các thuật toán, phương pháp và ứng dụng của hệ thống này, cũng như đánh giáhiệu suất và đề xuất cải tiến

Hiện nay, việc nhận diện gương mặt đã trở nên cần thiết đối với nhiều ngành nghề và lĩnh vực khác nhau Mặc dù đã tồn tại rất nhiều mô hình nhận diện gương mặt, việc xây dựng một hệ thống có thể đáp ứng mọi nhu cầu sử dụng vẫn là một vấn đề nan giải Để giải quyết bài toán này, ta cần thiết kế hệ thống linh hoạt và có phạm vi ứng dụng rộng

để người dùng có thể truy cập và sử dụng ở mọi lúc, mọi nơi

Chương 1 Tìm hiểu về hệ thống nhận diện khuôn mặt

1.1 Sơ lược về hệ thống nhận diện khuôn mặt

Hệ thống nhận diện khuôn mặt (“FR” (Facial Recognition)) là một ứng dụng công nghệ

có khả năng xác định hoặc xác minh danh tính của một cá nhân dựa trên các đặc điểm trên gương mặt của họ Nó hoạt động bằng cách so sánh hình ảnh khuôn mặt cần xác định với một cơ sở dữ liệu khuôn mặt đã lưu trữ sẵn Đây là một phương thức xác thực sinh trắc học được tích hợp công nghệ trí tuệ nhân tạo (AI) để đạt hiệu suất cao

Hệ thống nhận diện mặt người

Nhận diện khuôn mặt là việc xác định và nhận biết các đặc điểm khuôn mặt của conngười thông qua công nghệ Hệ thống nhận dạng khuôn mặt sử dụng sinh trắc học đểđịnh vị các đặc điểm khuôn mặt từ một bức ảnh hoặc video Sau đó, nó so sánh thông tinnày với cơ sở dữ liệu của các khuôn mặt đã được học trước đó để tìm ra kết quả trùngkhớp

~ 3 ~

Phần cứng hệ thống nhận diện khuôn mặtPhần cứng của hệ thống sử dụng máy tính nhúng Raspberry Pi hay board NVDIAJetson Nano được tích hợp nhiều phần cứng mạnh mẽ, đủ khả năng chạy hệ điều hành vàcài đặt được nhiều ứng dụng trên nó Đồng thời kết hợp với một Camera để nhận diệnkhuôn mặt

Phần mềm được cài đặt trên máy tính nhúng Raspberry Pi hay board NVDIAJetson Nano là OpenCV OpenCV là một thư viện mã nguồn mở hàng đầu cho thị giácmáy tính, xử lý ảnh và máy học và các tính năng tăng tốc GPU trong hoạt động thời gianthực OpenCV hỗ trợ giao tiếp C++, C, Python

1.2 Sơ lược về lịch sử hệ thống nhận diện khuôn mặt

Những cột mốc quan trọng của Deep Learning

Hình thể hiện những dấu mốc quan trọng của Deep Learning Vào đầu những năm 1940, với sự xuất hiện và phát triển mạnh mẽ của thiết bị bán dẫn, linh kiện điện tử và máy tính đã đặt nền móng cho sự xuất hiện của trí tuệ nhân tạo (AI) Tuy nhiên, trí tuệ nhân tạo thời gian này vẫn chưa thực sự có ứng dụng thực tiễn hoặc đạt được thành tựu nổi bật nào Trong khoảng thời gian từ năm 1960 đến 2000, giới chuyên gia và các nhà nghiên cứu đã phải trải qua hai mùa đông AI (AI Winter), do sự bế tắc và các gián đoạn nghiên cứu xảy ra

Những dấu mốc quan trọng trong lịch sử Deep Learning bao gồm:

1 Perceptron (1960s): Perceptron là một trong những nền móng đầu tiên của neural network và deep learning Thuật toán perceptron giúp giải quyết bài toán phân lớp nhị phân và đã được chứng minh hội tụ nếu hai lớp dữ liệu là linearly separable

2 MLP và Backpropagation (1980s): Multi-Layer Perceptron (MLP) và thuật toán Backpropagation ra đời MLP là một kiến trúc mạng neuron với nhiều lớp ẩn, và Backpropagation là phương pháp huấn luyện mạng neuron bằng cách cập nhật trọng số dựa trên đạo hàm của hàm mất mát

3 Mùa đông AI thứ hai (1990s - đầu 2000s): Trong giai đoạn này, AI gặp khó khăn và gián đoạn nghiên cứu, gọi là "mùa đông AI"

~ 5 ~

4 Deep Learning (2006): Geoffrey Hinton giới thiệu ý tưởng về tiền huấn luyện không giám sát thông qua deep belief nets (DBN) Điều này đã tạo ra một nơron nhân tạo với nhiều lớp ẩn, và từ đó neural networks với nhiều lớp ẩn được gọi là Deep Learning.

5 Đột phá (2012): Deep Learning đạt được sự chú ý lớn khi AlexNet giành chiến thắng trong cuộc thi ImageNet Large Scale Visual Recognition Challenge (ILSVRC) năm

2012 AlexNet sử dụng kiến trúc CNN (Convolutional Neural Network) và đã cải thiện đáng kể hiệu suất của việc nhận diện hình ảnh

Nhờ vào Deep Learning, chúng ta có thể áp dụng trí tuệ nhân tạo vào nhiều lĩnh vực, từ nhận diện khuôn mặt, dự đoán thời tiết, chẩn đoán bệnh, đến xử lý ngôn ngữ tự nhiên và thị giác máy tính² Nó đang thay đổi cách chúng ta tương tác với công nghệ và cung cấp giải pháp cho nhiều vấn đề thực tế trong cuộc sống hàng ngày

Các mô hình nhận dạng đối tượng

Tuy nhiên, việc nhận diện gương mặt không hề đơn giản Mỗi gương mặt đều có những đặc trưng riêng biệt, và điều này đặt ra các thách thức không nhỏ cho việc huấn luyện

mô hình nhận diện Do đó, công việc này phải thực hiện bằng phương pháp học sâu (deep learning) Dữ liệu đầu vào là ảnh gương mặt, được đưa vào mạng CNN đã được huấn luyện lại bằng các mô hình như ResNet, DenseNet và các biến thể Cuối cùng, chúng ta so sánh các mô hình với nhau và chọn ra mô hình huấn luyện có độ chính xác cao nhất

1.3 Cách thức hoạt động hệ thống nhận diện khuôn mặt

Phương pháp trực quan (xác thực 2D): Xác thực vị trí của mắt, mũi, miệng bằng cách

so sánh chúng với cơ sở dữ liệu

Phương pháp IR (xác thực 3D): Nhận diện và xác thực toàn bộ khuôn mặt dưới dạng

dữ liệu 3D

~ 7 ~

1.4 Các loại hệ thống nhận diện khuôn mặt

 Geometric Based / Template Based (Cách tiếp cận dựa trên hình học / khuôn mẫu)Thuật toán nhận dạng khuôn mặt được phân loại là thuật toán dựa trên hình học hoặc dựa trên khuôn mẫu Các phương pháp dựa trên đặc điểm hình học phân tích các đặc trưng khuôn mặt và mối quan hệ hình học của chúng Đây còn được gọi là phương pháp dựa trên đặc trưng

 Piecemeal / Wholistic (Cách tiếp cận một phần/toàn bộ khuôn mặt)

Mối quan hệ giữa các thành phần hoặc giữa một thành phần với toàn bộ mặt, nhiều nhà nghiên cứu đã theo cách tiếp cận này, cố gắng suy ra các đặc điểm phù hợp nhất Một số phương pháp sử dụng mắt, hay kết hợp nhiều yếu tố khác nhau, v.v Một số phương pháp Hidden Markov Model cũng thuộc loại này, và xử lý đặctrưng được biết đến phổ biến trong nhận dạng khuôn mặt

 Appearance-Based / Model-Based (Cách tiếp cận dựa trên hình dáng / mô hình)Phương pháp dựa trên hình dáng sử dụng các phương pháp hình thái học kết hợp với phân tích từ mô hình học máy để xác định trực tiếp vị trí của các vùng có khuôn mặt trong ảnh Mỗi hình ảnh được coi là một vectơ nhiều chiều Kỹ thuật này thường được sử dụng để lấy không gian đặc trưng từ việc phân chia hình ảnh

Hình ảnh mẫu được đối chiếu với tập huấn luyện Phương pháp dựa trên hình dáng có thể được phân loại là tuyến tính hoặc phi tuyến.

1.5 Cấu trúc nhận diện khuôn mặt

Một quy trình nhận dạng khuôn mặt đã được phát triển để nhận biết nếu có bất kỳ người nào trong ảnh Nó cũng định vị khuôn mặt của một cá nhân và xác định cá nhân đó là ai Quy trình này được chia thành bốn giai đoạn, đó là:

- Nhận diện khuôn mặt

- Căn chỉnh khuôn mặt

- Chuyển đổi hình ảnh thành dữ liệu

- Tìm kiếm kết quả nhận diện khuôn mặt phù hợp

1.5.1 Nhận diện khuôn mặt

Hệ thống công nghệ khuôn mặt nhận dạng và xác định một hình ảnh khuôn mặt trong một đám đông hoặc riêng lẻ Những tiến bộ về công nghệ đã giúp phần mềm phát hiện hình ảnh khuôn mặt dễ dàng hơn ngay cả khi có một chút thay đổi về tư thế - đối mặt vớimáy ảnh hoặc nhìn ra xa máy ảnh

1.5.2 Phân tích khuôn mặt

Phân tích khuôn mặt để nhận dạng khuôn mặt Tiếp theo là phân tích hình ảnh thu được Một hệ thống nhận dạng khuôn mặt được sử dụng để xác định chính xác các đặc điểm trên khuôn mặt như khoảng cách giữa hai mắt, chiều dài của mũi, khoảng trống giữa miệng và mũi, chiều rộng của trán, hình dạng của lông mày và các thuộc tỉnh sinh trắc học khác

Các đặc điểm riêng biệt và dễ nhận biết trên khuôn mặt người được gọi là điểm nút, và mỗi khuôn mặt người có khoảng 80 điểm nút Bằng cách lập bản đồ khuôn mặt, nhận dạng hình học và trắc quang, có thể phân tích và nhận dạng khuôn mặt bằng cách sử dụng cơ sở dữ liệu công nhận chính xác

1.5.3 Trích xuất đặc điểm

Chuyển đổi ảnh chụp khuôn mặt thành một tập hợp thông tin kỹ thuật số (dữ liệu) dựa trên các đặc điểm khuôn mặt của người đó Những thuộc tính khuôn mặt sẽ được xử lý dưới dạng các thuật toán và công thức, và mỗi người sẽ sở hữu một dữ liệu khuôn mặt riêng biệt

~ 9 ~

1.5.4 Tìm kết quả nhận diện khuôn mặt phù hợp

Các đặc trưng khuôn mặt được so sánh với các đặc trưng đã lưu trữ trong cơ sở dữ liệu

để tìm ra sự khớp nhau Các thuật toán so sánh đặc trưng có thể sử dụng các phương pháp như tính toán khoảng cách hoặc sử dụng mạng neural để đưa ra dự

đoán

Cuối cùng, quyết định về việc xác định danh tính của người dùng được đưa ra dựa trên kết quả của quá trình so sánh đặc trưng Nếu kết quả so sánh đặc trưng vượt qua ngưỡng xác định, hệ thống sẽ xác nhận danh tính của người dùng

1.6 Ưu điểm hệ thống nhận diện khuôn mặt

1.6.1 Bảo mật hiệu quả

Công nghệ này có khả năng quét với tốc độ nhanh và sự chính xác gần như tuyệt đối Đồng thời, hiệu quả của việc quét khuôn mặt cũng tốt hơn rất nhiều quét vân tay hoặc võng mạc

1.6.2 Cải thiện độ chính xác

Độ chính xác trong việc sử dụng công nghệ này cao hơn hẳn so với việc dùng các phương thức truyền thống Ví dụ, mã xác nhận OTP qua điện thoại, Gmail, hay địa chỉ IP

~ 11 ~

1.6.3 Dễ tích hợp

Công nghệ này dễ dàng tích hợp với các phần mềm bảo mật khác, điển hình như điện thoại thông minh có camera trước Với những chiếc điện thoại có tính năng này, chỉ cần đưa gương mặt lên camera là điện thoại có thể tự mở khóa

Công nghệ nhân diện khuôn mặt AI dể dàng tích hợp các phần mềm bảo mật khác

1.6.4 Không cần sự can thiệp của người dùng

Người dùng không cần mang thẻ hoặc phương tiện xác thực khác, vì hệ thống nhận diện khuôn mặt có thể hoặt động 1 cách tự động

1.6.5 Khả năng áp dụng rộng rãi

Hệ thống nhận diện khuôn mặt có thể được sử dụng để cải thiện an ninh bằng cáchkiểm soát truy cập vào khu vực cấm chỉ với việc xác định và xác thực khuôn mặt của những người được phép Điều này có thể áp dụng trong các tòa nhà văn phòng, khu vực công cộng, hoặc các cơ sở quân sự

Hệ thống nhận diện khuôn mặt có thể cung cấp trải nghiệm người dùng mượt mà

và thuận tiện hơn Ví dụ, trong lĩnh vực công nghệ thông tin, nó có thể được sử dụng để mở khóa điện thoại di động hoặc máy tính chỉ bằng việc nhìn vào camera,loại bỏ hoàn toàn nhu cầu sử dụng mật khẩu hoặc mã PIN

1.6.6 Hiệu suất và độ tin cậy cao

Hệ thống nhận diện khuôn mặt thường có hiệu suất và độ tin cậy cao khi được cấuhình và triển khai đúng cách Các thuật toán và mô hình tiên tiến, cùng với sự pháttriển trong lĩnh vực học sâu, đã làm tăng đáng kể độ chính xác và độ tin cậy của các hệ thống nhận diện khuôn mặt

Hệ thống nhận diện khuôn mặt có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ an ninh và giám sát đến giao tiếp giữa người và máy tính, quản lý nhận dạng, và thậm chí trong y tế Điều này làm cho nó trở thành một công cụ linh hoạt

có thể được tùy chính để đáp ứng nhu cầu cụ thể của từng ứng dụng

~ 13 ~

1.6.7 Tiết kiệm thời gian

Giảm bớt thời gian giao dịch là lợi ích chính của hệ thống nhận dạng khuôn mặt Phần mềm này giúp xác nhận danh tính của khách hàng, lịch sử giao dịch và những dịch vụ được sử dụng trước đó để tư vấn viên hướng dẫn giao dịch hiệu quả hơn

Ngoài ra, hệ thống nhận dạng khuôn mặt giúp công việc chấm công, điểm danh học sinh, quản lý an ninh diễn ra tiện lợi, dễ dàng, nhanh chóng hơn

1.7 Nhược điểm

1.7.1 Độ chính xác không hoàn toàn được đảm bảo

Để có được hình ảnh để so sánh, hệ thống đòi hỏi khách hàng phi hướng về camera và quay ít nhất 35 độ Không sử dụng mũ nón hay khẩu trang Việc này sẽ không đảm bảo khả thi trong ngành bán lẻ, nó sẽ không đảm bảo chính xác thông tin khi sử dụng camera để đếm số lượng người

1.7.2 Bảo mật thông tin chưa được giải quyết triệt để

Với công nghệ nhận diện khuôn mặt, đã có không ít ý kiến trái chiều về tính năng lưu giữ thông tin của người dùng Nhiều người đang cho rằng nó có hành vi theo dõi, xâm phạm đến quyền riêng tư

~ 15 ~

Tuy nhiên với những gì mà công nghệ nhận diện khuôn mặt mang lại, nó thực sự

đã mang đến cho đời sống những ứng dụng an toàn và bảo mật, tiện dụng và nhanh chóng để đáp ứng những nhu cầu trong cuộc sống hiện đại của con người

1.8 Ứng dụng của hệ thống nhận diện khuôn mặt

1.8.1 Mở khóa điện thoại

Hệ thống sinh trắc học nhận dạng khuôn mặt sử dụng hình ảnh khuôn mặt của bạn

để xác nhận danh tính của bạn Thị giác máy tính giúp phân tích hình dạng khuôn mặt của bạn, chẳng hạn như số đo giữa các đặc điểm của bạn Một lĩnh vực nghiêncứu quan trọng trong nhận dạng khuôn mặt là phát triển các hệ thống có thể phát hiện tốt hơn các khuôn mặt bị che khuất bởi kính hoặc khẩu cảnh báo sai.Với sự ra đời của iPhone X, hàng triệu người giờ đây đã thực sự có thể sử dụng công nghệ nhận diện khuôn mặt trong lòng bàn tay, để bảo vệ dữ liệu và thông tin

cá nhân của họ Một loạt các điện thoại bao gồm cả iPhone mới nhất hiện đang sử dụng nhận diện khuôn mặt để mở khóa điện thoại Công nghệ này có thể bảo vệ

dữ liệu cá nhân một cách mạnh mẽ hơn, ngăn không cho thủ phạm truy cập

1.8.2 Xác thực danh tính

Ngoài việc làm cho các trường học và các tổ chức an toàn hơn, nhận diện khuôn mặt có khả năng theo dõi sự tham dự của học sinh hoặc nhân viên Chỉ cần sử dụng một máy tính bảng để quét khuôn mặt của người đi vào và ghép ảnh của họ với cơ sở dữ liệu để xác thực danh tính của họ

1.8.3 Tìm người mất tích

Nhận diện khuôn mặt có thể được sử dụng để tìm trẻ em mất tích hay các nạn nhân của bọn buôn người Chỉ cần khuôn mặt của người bị mất tích được thêm vào cơ sở dữ liệu Cơ quan thực thi pháp luật có thể được cảnh báo ngay khi công nghệ này thông báo nhận ra tại sân bay, cửa hàng bán lẻ hoặc không gian công cộng khác Trên Baby Come Home, website đăng tin trẻ em mất tích tại Trung Quốc đã có hơn 51.000 đơn tìm con cái Theo Tân Hoa Xã, cảnh sát Trung Quốc

đã tìm kiếm và đoàn tụ hơn 6.300 trẻ em bị bắt cóc cùng gia đình từ khi Bộ Công

an triển khai công nghệ nhận diện khuôn mặt năm 2019

~ 17 ~

Chương 2: THIẾT KẾ PHẦN CỨNG

2.1 Thiết bị B5T-007001

Thiết bị B5T 007001 được tích hợp 10 thuật toán của OKAO công nghệ cảm biến - TM hình ảnh Vision để nhận biết tình trạng của con người Thông tin về tình trạng của con người có thể thu được bằng cách chỉ cần gắn thiết bị lên

Thiết bị sẽ phát hiện cơ thể người (phần trên cơ thể), bàn tay (lòng bàn tay) và khuôn mặt và đưa ra kết quả phát hiện đó,

Thông tin về hướng khuôn mặt, tuổi tác, giới tính, hướng nhìn, mức độ chớp mắt, biểu cảm và kết quả nhận dạng khuôn mặt có thể được thu sau khi phát hiện khuôn mặt

Các loại mẫu của thiết bị B5T

Các mẫu BT5-007001-010 nó bao gồm "Thiết bị" và "SDK" Trong đó, từ“Sản phẩm” dùng để chỉ toàn bộ hoặc một phần của chúng

"Thiết bị" cho biết thành phần phần cứng bao gồm bo mạch chính, bo mạch camera và cáp dẹt linh hoạt (FFC)

"SDK" bao gồm phần mềm đánh giá, thông số kỹ thuật lệnh, mã mẫu và các tài liệu khácliên quan đến "Thiết bị" hoặc "SDK"