Ứng dụng công nghệ nhận dạng khuôn mặt trong thị giác máy tính vào giám phòng máy tại trường Đại học kinh tế quốc dân

ilNhững ilbước ilxử illý ilảnh ilnày ilgiúp iltạo ilra ilmột ilbiểu ildiễn ilchuẩn ilhóa ilvà iltối ilưu ilhóa ildữ illiệu ilkhuôn ilmặt, iltừ ilđó iltăng ilkhả ilnăng ilnhận ildiện ilvà

TRƯỜNG ĐẠI HỌC MỞ HÀ NỘI

KHOA CÔNG NGHỆ THÔNG TIN

PHẠM HÙNG CƯỜNG

ỨNG DỤNG CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT

TRONG THỊ GIÁC MÁY TÍNH VÀO GIÁM SÁT PHÒNG MÁY TẠI

TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN

Ngành/Chuyên ngành: Công nghệ thông tin

Giảng viên hướng dẫn: GS TS Thái Thanh Sơn

LUẬN VĂN TỐT NGHIỆP THẠC SĨ

HÀ NỘI - 2024

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu khoa học của riêng em với sự hướng dẫn khoa học của Thầy giáo Thái Thanh Sơn Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa được công bố dưới bất kỳ hình thức nào trước đây Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo

Ngoài ra, trong luận văn còn sử dụng một số kết quả, số liệu…của các tác giả khác để đối chiếu, đều có trích dẫn và chú thích nguồn gốc

Nếu phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm

Tác giả luận văn

Phạm Hùng Cường

LỜI CẢM ƠN

Trong quá trình thực hiện luận văn cũng như trong những năm học vừa qua, em đã nhận được sự chỉ bảo dạy dỗ và hướng dẫn tận tâm của tập thể các thầy giáo, cô giáo trong Khoa Công nghệ thông tin - Trường Đại học Mở Hà Nội cũng như sự giúp đỡ của các nhân viên công tác trong Khoa trong những năm tháng em học tập tại Trường

Em trân trọng cảm ơn sự chỉ bảo tận tình của Thầy giáo - GS TS Thái Thanh Sơn, người đã dẫn dắt cho em và luôn động viên em trên bước đầu đi vào sự nghiệp nghiên cứu khoa học

Nhân dịp này, tôi cũng xin gửi lời cảm ơn các bạn đồng nghiệp thân thiết của tôi tại Trung tâm Ứng dụng công nghệ thông tin - Trường Đại học Kinh tế quốc dân đã sẻ chia công việc chuyên môn trong thời gian tôi đi học, góp phần tạo điều kiện tinh thần và vật chát cho tôi hoàn thành tốt nhiệm vụ học tập và nghiên cứu khoa học ũng như gửi lời cảm ơn đến gia đình, bạn bè đã động viên, khuyến khích và tạo điều kiện cho em trong quá trình học tập và quá trình thực hiện luận văn này

Do hạn chế về kiến thức, kinh nghiệm, thời gian tìm hiểu và thực hiện nên luận văn chắc chắn còn nhiều thiếu sót Em rất mong sẽ nhận được nhiều ý kiến đóng góp của thầy, cô và các bạn để em có được cái nhìn sâu sắc hơn về vấn đề này

Em xin chân thành cảm ơn!

Hà nội, tháng 04 năm 2024

Học viên

Phạm Hùng Cường

DANH MỤC CÁC TỪ VIẾT TẮT

1 AI Trí tuệ nhân tạo

MỞ ĐẦU Đặt vấn đề

Với sự phát triển số lượng sinh viên ngày càng tăng nhanh hàng năm, đồng thời nhằm đảm bảo tính chính xác khách quan trong việc chấm thi, trường Đại học Kinh tế quốc dân chủ trương đưa một số lớn môn thi học phần vào thực hiện trong các phòng máy tính

Do vậy công tác giám sát thi tại các phòng máy tính của trường Đại học Kinh tế quốc dân hiện đang đối mặt với những thách thức rất lớn:

 Lưu lượng thí sinh tại các phòng máy tính của trường rất lớn do chủ trương mở rộng các môn thi trên máy tính

 Các giám thị không phải là giảng viên phụ trách môn học cho nên hoàn toàn không có thông tin gì về các thí sinh để giúp cho việc nhận dạng trước khi

họ đến phòng thi

 Việc kiểm soát hoàn toàn bằng các phương pháp thủ công: đọc và đối chiếu danh sách, kiểm tra căn cước, thẻ sinh viên, thẻ dự thi… trong lúc vội vàng dễ gây nhầm lẫn Với các loại thẻ sinh viên, thẻ dự thi đều có tính bảo mật không cao, dễ dàng làm giả, gian lận, thay ảnh…kiểm tra thủ công không có khả năng phát hiện Nếu yêu cầu kiểm tra bằng Căn cước công dân có tính bảo mật cao hơn, nhiều thông tin cá nhân hơn mà không trang bị thiết bị quét công nghệ cao thì cũng không có tác dụng do giám thị chỉ có thể nhìn thấy – bằng thị giác thông thường – những thông tin và hình ảnh trên căn cước mà không

có cơ sở đối chiếu, xác minh

Các hướng giải quyết chủ yếu hiện nay đang dự định thực hiện là:

 Sử dụng camera ghi hình: nhược điểm là không có dữ liệu gốc về hình ảnh thí sinh để đối chiếu

 Sử dụng máy quét mã QR: nhược điểm là chi phí quá cao, mặt khác về mặt pháp lý có thể bị xem như truy cập không hợp pháp nhiều thông tin cá nhân cần được bảo mật quyền riêng tư của thí sinh

Để giải quyết vấn đề khó khăn cấp thiết trên, tôi đã đề xuất nghiên cứu,

áp dụng đề tài:

“Ứng dụng công nghệ nhận dạng khuôn mặt trong Thị giác máy tính vào giám phòng máy tại Trường Đại học Kinh tế quốc dân”

Mục tiêu nghiên cứu:

Về lý thuyết: - Nghiên cứu tổng quan về bài toán nhận dạng khuôn mặt người

- Tập trung làm rõ cơ sở lý thuyết, ứng dụng của bài toán nhận dạng khuôn mặt người dùng mạng Nơron tích chập

Về thực hành: - Phân tích bài toán, thiết kế và cài đặt thử nghiệm phần mềm

mô phỏng giám sát thí sinh trong quá trình thi trực tuyến ứng dụng mạng Nơron tích chập

Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu: Phương pháp nhận dạng khuôn mặt sử dụng mạng Nơron tích chập

Phạm vi nghiên cứu: Phạm vi nghiên cứu là lý thuyết nhận dạng mặt người trong Thị giác máy tính, ứng dụng mạng Nơron tích chập cho việc giám sát quá trình thi tại các phòng máy ở Trường Đại học Kinh tế quốc dân

Phương pháp nghiên cứu

Phương pháp nghiên cứu lý thuyết: Tổng hợp, nghiên cứu các tài liệu về Thị giác máy tính và công nghệ nhận dạng khuôn mặt Nghiên cứu sâuvề mạng Nơron tích chập

Phương pháp nghiên cứu thực nghiệm: Sau khi nghiên cứu lý thuyết, phát biểu bài toán, đưa ra giải pháp xử lý; xây dựng và cài đặt thử nghiệm chương trình phần mềm mô phỏng nhận dạng sinh viên Đánh giá các kết quả đạt được

Nội dung luận văn

Trong đề tài luận văn “ Ứng dụng công nghệ nhận dạng khuôn mặt trong Thị giác máy tính vào giám sát Phòng máy tại Trường Đại học Kinh

tế quốc dân” này, tác giả nghiên cứu về các công nghệ nhận dạng khuôn mặt

trong Thị giác máy tính, đi sâu vào nghiên cứu về mạng Neural Convolution

(mạng nơ ron tích chập) và ý tưởng của mô hình CNNs trong phân lớp ảnh

(Image Classification), ứng dụng vào bài toán giám sát quá trình thi tại các

phòng máy của Trung tâm Ứng dụng Công nghệ thông tin Trường Đại học Kinh tế quốc dân

Ngoài các phần Mở đầu, Kết luận và Kiến nghị, Luận văn gồm các nội dung chính sau:

Chương 1: Tổng quan về mạng neural tích chập và bài toán giám sát thi

CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL TÍCH CHẬP VÀ BÀI

TOÁN GIÁM SÁT THI TẠI CÁC PHÒNG MÁY 1.1 Tổng quan về mạng Neural tích chập

1.1.1 Giới thiệu

Mạng neural còn được gọi là mạng nơ-ron nhân tạo là một mô hình

tính toán được lấy cảm hứng từ cách hoạt động của hệ thần kinh trong não người Mạng Neural gồm nhiều nơ-ron (hoặc đơn vị tính toán) được kết nối với nhau qua các trọng số Mạng này có khả năng học và ánh xạ các mô hình phức tạp trong dữ liệu thông qua việc điều chỉnh trọng số của các kết nối

Trong mạng neural, dữ liệu được đưa vào các nơ-ron của lớp đầu vào, sau đó được truyền qua các lớp ẩn, nơi các trọng số và hàm kích hoạt được sử dụng để biến đổi dữ liệu Cuối cùng, kết quả được đưa ra từ lớp đầu ra Quá trình này cho phép mạng neural học và ánh xạ các mô hình phức tạp trong dữ liệu thông qua việc điều chỉnh các trọng số của các kết nối thông qua quá trình huấn luyện

Mạng neural có khả năng giải quyết nhiều bài toán phức tạp như nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên, dự báo thời gian, và nhiều ứng dụng khác trong các lĩnh vực như y tế, tài chính, và công nghiệp Bằng cách mô phỏng các chức năng của não bộ, mạng neural có thể học từ dữ liệu, tự cải thiện qua thời gian và đưa ra các dự đoán chính xác dựa trên các mẫu đã học

1.1.2 Kiến trúc của mạng Neural

Kiến trúc mạng neural (neural network architecture) là cấu trúc của một

mô hình mạng neural, bao gồm các thành phần chính như lớp đầu vào (input layer), lớp ẩn (hidden layer), và lớp đầu ra (output layer) Dưới đây là một số khái niệm và thành phần chính trong kiến trúc mạng neural

Hình: 1.1 Cấu tạo một Neural

Các thành phần cơ bản của một nơ ron nhân tạo bao gồm:

 Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường đưa vào dưới dạng một vector N chiều

 Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết Synaptic weight Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là wkj Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng

 Bộ tổng: (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó

 Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền

 Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm

vi đầu ra của mỗi nơron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng

 Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu thức sau:

Trong đó: x1, x2, , xp: là các tín hiệu vào; (wk1, wk2 , wkp) là các trọng

số liên kết của nơron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền

và yk là tín hiệu đầu ra của nơron Như vậy nơron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm truyền)

Bảng 1.1 Một số hàm truyền thông dụng

1.1.3 Một số kiểu mạng Neural

Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của mạng Các nơron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi nơron đều được kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially

connected) chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau Người ta chia ra hai loại kiến trúc mạng chính:

 Tự kết hợp (autoassociative): là mạng có các nơron đầu vào cũng là các nơron đầu ra Mạng Hopfield là một kiểu mạng tự kết hợp

Hình 1.2 Mạng tự kết hợp

 Kết hợp khác kiểu (heteroassociative): là mạng có tập nơron đầu vào

và đầu ra riêng biệt Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer Perceptron), mạng Kohonen, … thuộc loại này

Hình 1.3 Mạng kết hợp khác kiểu

Ngoài ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ các nơron đầu ra tới các nơron đầu vào hay không, người ta chia ra làm 2 loại kiến trúc mạng

 Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng không có các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào; mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt của

nơron Các mạng nơron truyền thẳng cho phép tín hiệu di chuyển theo một đương duy nhất; từ đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó Các mạng kiểu Perceptron là mạng truyền thẳng

a Kiến trúc mạng MLP

Mô hình mạng nơron được sử dụng rộng rãi nhất là mô hình mạng nhiều tầng truyền thẳng (MLP: Multi Layer Perceptron) Một mạng MLP tổng quát là mạng có n (n≥2) tầng (thông thường tầng đầu vào không được tính đến): trong đó gồm một tầng đầu ra (tầng thứ n) và (n-1) tầng

ẩn

Hình 1.6 Mạng neural lan truyền ngược MLP

Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau:

 Đầu vào là các vector (x1, x2, , xp) trong không gian p chiều, đầu ra là các vector (y1, y2, , yq) trong không gian q chiều Đối với các bài toán phân loại, p chính là kích thước của mẫu đầu vào, q chính là số lớp cần phân loại Xét ví dụ trong bài toán nhận dạng chữ số: với mỗi mẫu ta lưu tọa

độ (x,y) của 8 điểm trên chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu này vào một trong 10 lớp tương ứng với 10 chữ số 0, 1, …, 9 Khi đó p là kích thước mẫu và bằng 8 x 2 = 16; q là số lớp và bằng 10

 Mỗi nơron thuộc tầng sau liên kết với tất cả các nơron thuộc tầng liền trước nó

 Đầu ra của nơron tầng trước là đầu vào của nơron thuộc tầng liền sau

nó

Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơron

nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của hàm truyền); kết quả này sẽ được truyền tới các nơron thuộc tầng ẩn thứ nhất; các nơron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ 2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả

Một số kết quả đã được chứng minh:

 Bất kì một hàm Boolean nào cũng có thể biểu diễn được bởi một mạng MLP 2 tầng trong đó các nơron sử dụng hàm truyền sigmoid

 Tất cả các hàm liên tục đều có thể xấp xỉ bởi một mạng MLP 2 tầng

sử dụng hàm truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các nơron tầng ra với sai số nhỏ tùy ý

 Mọi hàm bất kỳ đều có thể xấp xỉ bởi một mạng MLP 3 tầng sử dụng hàm truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các nơron tầng ra

b Huấn luyện mạng MLP:

+ Các phương pháp học:

Khái niệm: Học là quá trình thay đổi hành vi của các vật theo một cách

nào đó làm cho chúng có thể thực hiện tốt hơn trong tương lai

Một mạng nơron được huyấn luyện sao cho với một tập các vector đầu vào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn Y của nó Tập X được sử dụng cho huấn luyện mạng được gọi là tập huấn luyện (training set) Các phần tử x thuộc X được gọi là các mẫu huấn luyện (training example) Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kết của mạng Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi vector đầu vào x từ tập huấn luyện, mạng sẽ cho ra vector đầu ra y như mong muốn

Có ba phương pháp học phổ biến là học có giám sát (supervised learning), học không giám sát (unsupervised learning) và học tăng cương (Reinforcement learning):

 Học có giám sát: Là quá trình học có sự tham gia giám sát của một

“thầy giáo” Cũng giống như việc ta dạy một em nhỏ các chữ cái Ta đưa ra một chữ “a” và bảo với em đó rằng đây là chữ “a” Việc này được thực hiện trên tất cả các mẫu chữ cái Sau đó khi kiểm tra ta sẽ đưa ra một chữ cái bất kì (có thể viết hơi khác đi) và hỏi em đó đây là chữ gì?

Như vậy với học có giám sát, số lớp cần phân loại đã được biết trước Nhiệm vụ của thuật toán là phải xác định được một cách thức phân lớp sao cho với mỗi vector đầu vào sẽ được phân loại chính xác vào lớp của nó

 Học không giám sát: Là việc học không cần có bất kỳ một sự giám sát nào

Trong bài toán học không giám sát, tập dữ liệu huấn luyện được cho dưới dạng: D = {(x 1 , x 2 , , x N )}, với (x 1 , x 2 , , x N ) là vector đặc trưng của mẫu huấn luyện Nhiệm vụ của thuật toán là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm chứa các vector đầu vào có đặc trưng giống nhau

Như vậy với học không giám sát, số lớp phân loại chƣa được biết trước,

và tùy theo tiêu chuẩn đánh giá độ tương tự giữa các mẫu mà ta có thể có các lớp phân loại khác nhau

 Học tăng cương: đôi khi còn được gọi là học thưởng-phạt

(rewardpenalty learning), là sự tổ hợp của cả hai mô hình trên Phương pháp này cụ thể như sau: với vector đầu vào, quan sát vector đầu ra do mạng tính được Nếu kết quả được xem là “tốt” thì mạng sẽ được thưởng theo nghĩa tăng các trọng số kết nối lên; ngược lại mạng sẽ bị phạt, các trọng số kết nối không thích hợp sẽ được giảm xuống Do đó học tăng cường là học theo nhà phê bình (critic), ngược với học có giám sát là học theo thầy giáo (teacher)

c Học có giám sát trong các mạng nơron

Học có giám sát có thể được xem như việc xấp xỉ một ánh xạ: X→ Y, trong

đó X là tập các vấn đề và Y là tập các lời giải tương ứng cho vấn đề đó Các mẫu (x, y) với x = (x1, x2, , xn) ∈ X, y = (yl , y2, , ym) ∈ Y được cho trước Học có giám sát trong các mạng nơron thường được thực hiện theo các Bước sau:

 B1: Xây dựng cấu trúc thích hợp cho mạng nơron, chẳng hạn có (n + 1) nơron vào (n nơron cho biến vào và 1 nơron cho ngưỡng x0), m nơron đầu

ra, và khởi tạo các trọng số liên kết của mạng

 B2: Đưa một vector x trong tập mẫu huấn luyện X vào mạng

 B3: Tính vector đầu ra o của mạng

 B4: So sánh vector đầu ra mong muốn y (là kết quả được cho trong tập huấn luyện) với vector đầu ra o do mạng tạo ra; nếu có thể thì đánh giá lỗi

 B5: Hiệu chỉnh các trọng số liên kết theo một cách nào đó sao cho ở lần tiếp theo khi đưa vector x vào mạng, vector đầu ra o sẽ giống với y hơn

 B6: Nếu cần, lặp lại các Bước từ 2 đến 5 cho tới khi mạng đạt tới trạng thái hội tụ Việc đánh giá lỗi có thể thực hiện theo nhiều cách, cách dùng nhiều nhất là sử dụng lỗi tức thời: Err = (o - y), hoặc Err = |o - y|; lỗi trung bình bình phương (MSE: mean-square error): Err = (o- y) 2 /2;

Có hai loại lỗi trong đánh giá một mạng nơron Thứ nhất, gọi là lỗi rõ ràng (apparent error), đánh giá khả năng xấp xỉ các mẫu huấn luyện của một mạng đã được huấn luyện Thứ hai, gọi là lỗi kiểm tra (test error), đánh giá khả năng tổng quá hóa của một mạng đã được huấn luyện, tức khả năng phản ứng với các vector đầu vào mới Để đánh giá lỗi kiểm tra chúng ta phải biết đầu ra mong muốn cho các mẫu kiểm tra

Thuật toán tổng quát ở trên cho học có giám sát trong các mạng nơron

có nhiều cài đặt khác nhau, sự khác nhau chủ yếu là cách các trọng số liên kết được thay đổi trong suốt thời gian học Trong đó tiêu biểu nhất là thuật toán lan truyền ngược

d Mạng lan truyền ngược

1 Mô hình mạng: Mạng neural lan truyền ngược có mô hình như sau

Mạng ilcó il3 illớp:

- ilLớp ilvào il(Input ilLayer) il– ilsố ilnode ilvào illà ilsố ilthuộc iltính ilcủa ilđối iltượng ilcần ilphân

illớp. il

- ilLớp ilra il(Output ilLayer) il– ilSố ilnode ilra illà ilsố ilđặc ilđiểm ilcần ilhướng iltới ilcủa ilđối iltượng

il(giá iltrị ilra ilcần ilhướng ilđến il– ilhọc ilcó ilgiám ilsát). il

- ilLớp ilẩn il(Hidden ilLayer) il– ilSố ilnode ilẩn ilthường illà ilkhông ilxác ilđịnh iltrước, ilnó ilthường

illà ildo ilkinh ilnghiệm ilcủa ilngười ilthiết ilkế ilmạng, ilnếu ilsố ilnode ilẩn ilquá ilnhiều ilmạng ilsẽ

ilcồng ilkềnh, ilquá iltrình ilhọc ilsẽ ilchậm, ilcòn ilnếu ilsố ilnode ilẩn ilquá ilít illàm ilmạng ilhọc ilkhông

ilchính ilxác. il

Các ilneural ilở ilcác illớp iltrong ilthường ilđược ilkết ilnối ilđầy ilđủ ilvới iltất ilcả ilcác ilneural

illớp ilngoài, iltrên ilmỗi ilđương ilkết ilnối ilgiữa il2 ilneural ilở il2 illớp ilkhác ilnhau ilcó il1 iltrọng ilsố

ilmạng il(weight). ilCác iltrọng ilsố ilnày ilđóng ilvai iltrò illà ilcác ilgiá iltrị ilẩn ilsố ilmà ilmạng ilcần

ilphải iltìm ilra il(học) ilsao ilcho ilvới ilcác ilgiá iltrị ilđầu ilvào, ilthông ilqua ilmạng ilta ilnhận ilđược

ilkết ilquả ilxấp ilxỉ ilvới ilđầu ilra ilmong ilmuốn iltương ilứng ilcủa ilmẫu ilhọc

1 Hoạt il động: il

Ta ilsử ildụng ilmột ilsố ilkí ilhiệu ilsau: il

 ilxi il: ilGiá iltrị ilđầu ilvào ilcủa ilneural ilthứ ili il

 ilyk il: ilGiá iltrị ilđầu ilra ilcủa ilneural ilthứ ilk il

 ilVij il: ilvector iltrọng ilsố iltrên ilđương ilkết ilnối iltừ ilneural ilnode ilvào ilthứ ili iltới ilneural

 ilf: ilhàm iltruyền ilvới: ilf(x) il= il1 il/ il(1 il+ ile-x il) il

- ilỞ ilđây ilchúng ilta ilsử ildụng ilhàm iltruyền illà ilhàm ilSigmoid, ilgiới ilhạn ilgiá iltrị ilđầu ilra iltrong

ilkhoảng il[0-1]. il

 ilTa ilsử ildụng ilthêm il1 ilsố ilký ilhiệu ilsau: il

o ilIIi il– ilInput ilcủa ilnode ilInput ilthứ ili il

o ilOIi il– ilOuput ilcủa ilnode ilInput ilthứ ili il

o ilIHi il– ilInput ilcủa ilnode ilHidden ilthứ ili il

o ilOHi il– ilOutput ilcủa ilnode ilHidden ilthứ ili il

o ilIOi il– ilInput ilcủa ilnode ilOutput ilthứ ili il

o ilOOi il– ilOutput ilcủa ilnode ilOutput ilthứ ili

Thuật iltoán illan iltruyền ilngược ilđược ilmô iltả ilnhư ilsau: il

Bước il1: ilKhởi iltạo iltrọng ilsố ilVij, ilWjk ilbởi ilcác ilgiá iltrị ilngẫu ilnhiên ilnhỏ. il

Vij il= ilRandom(-1,1), ilWjk il= ilRandom(-1,1) il

Bước il2: ilLan iltruyền iltiến iltính iltoán ilđầu ilra ilthực iltế ilyk il

 ilTại ilnode ilvào ilthứ ili il(Input): ilIIi il= ilxi il, ilOIi il= ilIIi il

 ilTại ilnode ilẩn ilthứ ilp il(Hidden): ilIHp il= ilΣOIiVip il, ilOHp il= ilf(IHp) il= il1 il/ il(1 il+ ilIHp) il

e- ilTại ilnode ilra ilthứ ilq il(Output): ilIOq il= ilΣOHiWiq il, ilOOq il= ilf(IOq) il= il1 il/ il(1 il+ ilIOq) il

e-Như ilvậy ilgiá iltrị ilđầu ilra ilthực iltế ilcủa ilmạng ilvới ilbộ iltrọng ilsố ilngẫu ilnhiên ilban ilđầu

illà: ilyk il= ilOOk. ilThực iltế ilta ilcó ilthể ilnhận ilthấy ilđầu ilra ilmong ilmuốn ildk ilvà ilđầu ilra ilthực iltế

ilyk illà illuôn ilkhác ilnhau, ilchúng ilta ilcần ilphải iltính iltoán ilđộ ilsai ilkhác ilnày ilvà ilcó ilphương

ilpháp ilđiều ilchỉnh ilcác iltrọng ilsố ilmạng ilqua iltừng ilBước ilhọc ilsao ilcho ilqua ilmỗi illần ilhọc

ilsự ilsai ilkhác ilnày ilgiảm ilxuống, ilquá iltrình ilhọc ilsẽ ildừng ilkhi ilsự ilsai ilkhác ilnày ilđạt ilđến il1ngƣỡnggiớihạnphùhợpnàođó

Bước il3: ilĐánh ilgiá illỗi ilhọc il- illỗi iltrung ilbình ilbình ilphương il(MSE: ilmeansquare ilerror):

ilE il= il1/L*sqrt(Σ(dk il- ilyk)2) il

Nếu ilE il≤ ilԑ ilthì ildừng ilhọc. il

Bước il4: ilLan iltruyền ilngược ilđiều ilchỉnh iltrọng ilsố il

 ilVới ilmỗi ilnút ilq ilthuộc iltầng ilra, iltính ilđạo ilhàm ilngược ilsai ilsố ilthành ilphần ilδq

iltheo ilcông ilthức: ilδq il= il(dq il– ilyq)yq(1 il– ilyq) il

vip(New) il= ilvip(Old) il+ ilΔvip il

Lặp illại ilBước il2 ilcho iltới ilkhi ilthỏa ilmãn ilđiều ilkiện ilkết ilthúc ilở ilbước il3. ilKết ilquả ilthu ilđược

ilbộ iltrọng ilsố ilchuẩn ilVij, ilWjk ilsao ilcho ilgiá iltrị ilđầu ilra ilthực iltế ilvà ilgiá iltrị ilđầu ilra ilmong

ilmuốn illà ilgần ilgiống ilnhau ilnhất il(Trung ilbình ilbình ilphương illỗi ilnhỏ ilnhất)

e) il Một il số il vấn il đề il lưu il ý il trong il xây il dựng il mạng il MLP il

Xác il định il kích il thước il mẫu: il

Không ilcó ilnguyên iltắc ilnào ilhướng ildẫn ilkích ilthước ilmẫu ilphải illà ilbao ilnhiêu ilđối

ilvới ilmột ilbài iltoán ilcho iltrước. ilHai ilyếu iltố ilquan iltrọng ilảnh ilhưởng ilđến ilkích ilthước

Đối ilvới ilmạng iltruyền ilthẳng, ilcho ilhàm ilđích ilcó ilđộ ilphức iltạp ilnhất ilđịnh, ilkèm

ilmột illượng ilnhiễu ilnhất ilđịnh ilthì ilđộ ilchính ilxác ilcủa ilmô ilhình illuôn ilcó ilmột ilgiới ilhạn

ilnhất ilđịnh. ilNói ilcách ilkhác ilđộ ilchính ilxác ilcủa ilmô ilhình illà ilhàm iltheo ilkích ilthước iltậpmẫu

Xác il định il số il nơron il tầng il ẩn il

Câu ilhỏi ilchọn ilsố illượng ilnoron iltrong iltầng ilẩn ilcủa ilmột ilmạng ilMLP ilthế ilnào illà

ilkhó, ilnó ilphụ ilthuộc ilvào ilbài iltoán ilcụ ilthể ilvà ilvào ilkinh ilnghiệm ilcủa ilnhà ilthiết ilkế ilmạng

ilCó ilnhiều ilđề ilnghị ilcho ilviệc ilchọn ilsố illượng ilnơron iltầng ilẩn ilh iltrong ilmột ilmạng ilMLP

ilChẳng ilhạn ilh ilphải ilthỏa ilmãn ilh>(p-1)/(n+2), iltrong ilđó ilp illà ilsố illượng ilmẫu ilhuấn

illuyện ilvà iln illà ilsố illượng ilđầu ilvào ilcủa ilmạng. ilCàng ilnhiều ilnút ilẩn iltrong ilmạng, ilthì ilcàng

ilnhiều ilđặc iltính ilcủa ildữ illiệu ilhuấn illuyện ilsẽ ilđược ilmạng ilnắm ilbắt, ilnhưng ilthời ilgian

ilhọc ilsẽ ilcàng iltăng. il

Vấn il đề il quá il khớp il

Khái ilniệm ilquá ilkhớp: ilVấn ilđề ilquá ilkhớp ilxảy ilra ilkhi ilmạng ilđược illuyện ilquá

ilkhớp il(quá ilsát) ilvới ildữ illiệu ilhuấn illuyện il(kể ilcả ilnhiễu), ilnên ilnó ilsẽ iltrả illời ilchính ilxác

ilnhững ilgì ilđã ilđƣợc ilhọc, ilcòn ilnhững ilgì ilkhông ilđược ilhọc ilthì ilnó ilkhông ilquan iltâm

ilNhư ilvậy ilmạng ilsẽ ilkhông ilcó ilđược ilkhả ilnăng iltổng ilquát ilhóa. ilVấn ilđề ilquá ilkhớp ilxảy

ilra ilvì ilmạng ilcó ilnăng illực ilquá illớn. il il

Khi ilmạng ilđược illuyện, ilnó ilchuyển iltừ ilcác ilhàm ilánh ilxạ iltương ilđối ilđơn ilgiản

ilđến ilcác ilhàm ilánh ilxạ iltương ilđối ilphức iltạp. ilNó ilsẽ ilđạt ilđược ilmột ilcấu ilhình iltổng ilquát

ilhóa iltốt ilnhất iltại ilmột ilđiểm ilnào ilđó. ilSau ilđiểm ilđó ilmạng ilsẽ ilhọc ilđể ilmô ilhình ilhóa ilnhiễu,

ilnhững ilgì ilmạng ilhọc ilđược ilsẽ iltrở ilthành ilquá ilkhớp. ilNếu ilta ilphát ilhiện ilra ilthời ilđiểm

ilmạng ilđạt ilđến iltrạng ilthái iltốt ilnhất ilnày, ilta ilcó ilthể ilngừng iltiến iltrình illuyện iltrước ilkhi

ilhiện iltượng ilquá ilkhớp ilxảy ilra. ilTa ilbiết ilrằng, ilchỉ ilcó ilthể ilđể ilđánh ilgiá ilmức ilđộ iltổng ilquát

ilhóa ilcủa ilmạng ilbằng ilcách ilkiểm iltra ilmạng iltrên ilcác ilmẫu ilnó ilkhông ilđược ilhọc. ilTa

ilthực ilhiện ilnhư ilsau: ilchia ilmẫu ilthành iltập ilmẫu ilhuấn illuyện ilvà iltập ilmẫu ilkiểm iltra

ilLuyện ilmạng ilvới iltập ilmẫu ilhuấn illuyện ilnhƣng ilđịnh ilkỳ ildừng illại ilvà ilđánh ilgiá ilsai ilsố

iltrên iltập ilmẫu ilkiểm iltra. ilKhi ilsai ilsố iltrên iltập ilmẫu ilkiểm iltra iltăng illên ilthì ilquá ilkhớp ilđã

ilbắt ilđầu ilvà ilta ildừng iltiến iltrình illuyện. il

1.1.5 il Mạng il neural il tích il chập il - il il Convolutional il Neural il Network il - il CNN

Convolutional ilNeural ilNetwork il(CNNs il– ilMạng ilnơ-ron iltích ilchập) illà ilmột

iltrong ilnhững ilmô ilhình ilDeep ilLearning iltiên iltiến ilgiúp ilcho ilchúng ilta ilxây ildựng ilđượcnhữnghệthốngthôngminhvớiđộchínhxáccaonhưhiệnnay

 Convolution il(tích ilchập)

Tích ilchập ilđược ilsử ildụng ilđầu iltiên iltrong ilxử illý iltín ilhiệu ilsố il(Signal

ilprocessing). ilNhờ ilvào ilnguyên illý ilbiến ilđổi ilthông iltin, ilcác ilnhà ilkhoa ilhọc ilđã iláp ildụng

ilkĩ ilthuật ilnày ilvào ilxử illý ilảnh ilvà ilvideo ilsố. ilĐể ildễ ilhình ildung, ilta ilcó ilthể ilxem iltích ilchập

ilnhư ilmột ilcửa ilsổ iltrượt il(sliding ilwindow) iláp ilđặt illên ilmột ilma iltrận. il

Hình il 1.7 il Minh il họa il tích il chập

Ma iltrận ilbên iltrái illà ilmột ilbức ilảnh ilđen iltrắng. ilMỗi ilgiá iltrị ilcủa ilma iltrận iltương

ilđương ilvớiilmột ilđiểmilảnhil(pixel),il0illàilmàuilđen,il1illà ilmàuiltrắngil(nếuillàilảnh

ilgrayscale ilthì ilgiá iltrị ilbiến ilthiên iltừ il0 ilđến il255). il

Sliding il window ilcòn ilcó iltên ilgọi illà ilkernel, ilfilter ilhay ilfeature ildetector. ilỞ ilđây,

ilta ildùng ilmột ilma iltrận ilfilter il3×3 ilnhân iltừng ilthành ilphần iltương ilứng il(element-wise)

ilvới ilma iltrận ilảnh ilbên iltrái. ilGía iltrị ilđầu ilra ildo iltích ilcủa ilcác ilthành ilphần ilnày ilcộng illại

ilKết ilquả ilcủa iltích ilchập illà ilmột ilma iltrận il(convoled ilfeature) ilsinh ilra iltừ ilviệc iltrượt ilma

iltrận ilfilter ilvà ilthực ilhiện iltích ilchập ilcùng illúc illên iltoàn ilbộ ilma iltrận ilảnh ilbên iltrái. il

Sự ilkết ilhợp ilcủa il1 ilhình ilảnh ilvới ilcác ilbộ illọc ilkhác ilnhau ilcó ilthể ilthực ilhiện ilcác

ilhoạt ilđộng ilnhư ilphát ilhiện ilcạnh, illàm ilmờ ilvà illàm ilsắc ilnét ilbằng ilcách iláp ildụng ilcác ilbộ

illọc. ilVí ildụ ildưới ilđây ilcho ilthấy ilhình ilảnh iltích ilchập ilkhác ilnhau ilsau ilkhi iláp ildụng ilcác

ilKernel ilkhác ilnhau

Hình il 1.8 il Hình il ảnh il tích il chập il khác il nhau

 Mô ilhình ilmạng ilneural iltích ilchập

Mô ilhình ilmạng ilneural iltích ilchập illà ilmột illoại ilmạng ilneural ilđược ilsử ildụng ilrộng

ilrãi iltrong illĩnh ilvực ilthị ilgiác ilmáy iltính, ilnhư ilxử illý ilảnh ilvà ilvideo. ilCNNs ilcũng ilđã ilđược

iláp ildụng ilthành ilcông iltrong ilnhiều ilứng ildụng ilkhác ilnhư ilxử illý ilngôn ilngữ iltự ilnhiên

Mô ilhình ilCNN ilđược ilthiết ilkế ilđể ilnhận ildiện ilvà iltrích ilxuất ilđặc iltrưng iltừ ildữ illiệu

ilkhông ilgian ilnhư ilhình ilảnh. ilMột ilCNN ilbao ilgồm ilcác illớp ilchính ilsau:

- ilLớp ilConvolutional ilLayer il(Lớp iltích ilchập): ilĐây illà illớp ilquan iltrọng ilnhất trong ilCNN. ilLớp ilnày ilsử ildụng ilcác ilbộ illọc il(kernels) ilđể ilthực ilhiện ilphép iltích ilchập

iltrên ilhình ilảnh ilđầu ilvào. ilPhép iltích ilchập ilnày ilgiúp iltrích ilxuất ilcác ilđặc iltrưng ilcục ilbộ iltừ

ilhình ilảnh, ilví ildụ ilnhư ilcạnh, ilgóc, ilhoặc ilcác ilmẫu ilnổi ilbật

- ilLớp ilPooling ilLayer il(Lớp ilgộp): ilLớp ilnày ilthường ilđặt ilsau illớp iltích ilchập Nhiệm ilvụ ilcủa illớp ilgộp illà ilgiảm ilkích ilthước ilkhông ilgian ilcủa ildữ illiệu ilđầu ilvào, ilgiúp

ilgiảm ilchi ilphí iltính iltoán ilvà iltránh iloverfitting. ilPhép ilgộp ilthường ilsử ildụng ilphép illấy

ilgiá iltrị illớn ilnhất il(max-pooling) ilhoặc illấy ilgiá iltrị iltrung ilbình il(average-pooling) iltrong

ilcác ilvùng ilcố ilđịnh ilcủa ilhình ilảnh

- ilLớp ilFully ilConnected ilLayer il(Lớp ilkết ilnối ilđầy ilđủ): ilSau ilkhi ilthông ilqua ilcác

illớp iltích ilchập ilvà ilgộp, ilthông iltin ilđược iltrải ilqua illớp ilfully ilconnected ilđể ilthực ilhiện

ilphân illoại ilhoặc ildự ilđoán. ilLớp ilnày ilkết ilhợp iltất ilcả ilcác ilđặc iltrưng ilđã ilđược iltrích ilxuất

iltừ illớp iltrước ilđể iltạo ilra ilkết ilquả ilcuối ilcùng

- ilLớp ilActivation ilFunction il(Lớp ilhàm ilkích ilhoạt): ilThường ilđược ilsử ildụng

ilsau ilmỗi illớp iltích ilchập ilvà ilfully ilconnected ilđể ilđưa ilvào ilmạng iltính ilkhông iltuyến iltính

ilHàm ilkích ilhoạt ilphổ ilbiến ilnhất illà ilReLU il(Rectified ilLinear ilUnit)

CNNs ilthường ilcó ilnhiều illớp iltích ilchập ilxếp ilchồng illên ilnhau ilđể iltrích ilxuất ilcác

ilđặc iltrưng ilngày ilcàng ilphức iltạp iltừ ildữ illiệu ilđầu ilvào. ilKiến iltrúc ilCNNs ilthường ilbao

ilgồm ilcác illớp ilgộp ilxen ilkẽ ilvới ilcác illớp iltích ilchập. ilSau ilđó illà ilmột ilhoặc ilnhiều illớp ilfully

ilconnected ilđể ilthực ilhiện ilphân illoại. il

Trong ilmô ilhình ilFeedforward ilNeural ilNetwork il(mạng ilnơ-ron iltruyền

ilthẳng), ilcác illayer ilkết ilnối iltrực iltiếp ilvới ilnhau ilthông ilqua ilmột iltrọng ilsố ilw il(weighted

ilvector). ilCác illayer ilnày ilcòn ilđược ilgọi illà ilcó ilkết ilnối ilđầy ilđủ il(fully ilconnected illayer)

ilhay ilaffine illayer. il

Trong ilmô ilhình ilCNNs ilthì ilngược illại. ilCác illayer illiên ilkết ilđược ilvới ilnhau

ilthông ilqua ilcơ ilchế ilconvolution. ilLayer iltiếp iltheo illà ilkết ilquả ilconvolution iltừ illayer

iltrước ilđó, ilnhờ ilvậy ilmà ilta ilcó ilđược ilcác ilkết ilnối ilcục ilbộ. ilNghĩa illà ilmỗi ilnơ-ron ilở illayer

iltiếp iltheo ilsinh ilra iltừ ilfilter iláp ilđặt illên ilmột ilvùng ilảnh ilcục ilbộ ilcủa ilnơ-ron illayer iltrước

ilđó. il

Mỗi illayer ilnhư ilvậy ilđược iláp ilđặt ilcác ilfilter ilkhác ilnhau, ilthông ilthường ilcó ilvài

iltrăm ilđến ilvài ilnghìn ilfilter ilnhư ilvậy. ilMột ilsố illayer ilkhác ilnhư ilpooling/subsampling

illayer ildùng ilđể ilchắt illọc illại ilcác ilthông iltin ilhữu ilích ilhơn il(loại ilbỏ ilcác ilthông iltin ilnhiễu)

ilTuy ilnhiên, ilta ilsẽ ilkhông ilđi ilsâu ilvào ilkhái ilniệm ilcủa ilcác illayer ilnày. il

Trong ilsuốt ilquá iltrình ilhuấn illuyện, ilCNNs ilsẽ iltự ilđộng ilhọc ilđược ilcác ilthông ilsố

ilcho ilcác ilfilter. ilVí ildụ iltrong iltác ilvụ ilphân illớp ilảnh, ilCNNs ilsẽ ilcố ilgắng iltìm ilra ilthông ilsố

iltối ilưu ilcho ilcác ilfilter iltương ilứng iltheo ilthứ iltự ilraw ilpixel il> iledges il> ilshapes il> ilfacial il>

ilhigh-level ilfeatures. ilLayer ilcuối ilcùng ilđược ildùng ilđể ilphân illớp ilảnh

Hình il 1.9 il Mô il hình il mạng il neural il tích il chập

CNNs ilcó iltính ilbất ilbiến ilvà iltính ilkết ilhợp ilcục ilbộ il(Location ilInvariance iland

ilCompositionality). ilVới ilcùng ilmột ilđối iltượng, ilnếu ilđối iltượng ilnày ilđược ilchiếu iltheo

ilcác ilgốc ilđộ ilkhác ilnhau il(translation, ilrotation, ilscaling) ilthì ilđộ ilchính ilxác ilcủa ilthuật

iltoán ilsẽ ilbị ilảnh ilhưởng ilđáng ilkể. ilPooling illayer ilsẽ ilcho ilbạn iltính ilbất ilbiến ilđối ilvới ilphép

ildịch ilchuyển il(translation), ilphép ilquay il(rotation) ilvà ilphép ilco ilgiãn il(scaling). il

Tính ilkết ilhợp ilcục ilbộ ilcho ilta ilcác ilcấp ilđộ ilbiểu ildiễn ilthông iltin iltừ ilmức ilđộ ilthấp

ilđến ilmức ilđộ ilcao ilvà iltrừu iltượng ilhơn ilthông ilqua ilconvolution iltừ ilcác ilfilter. ilĐó illà illý

ildo iltại ilsao ilCNNs ilcho ilra ilmô ilhình ilvới ilđộ ilchính ilxác ilrất ilcao. ilCũng ilgiống ilnhư ilcách

ilcon ilngười ilnhận ilbiết ilcác ilvật ilthể iltrong iltự ilnhiên. ilTa ilphân ilbiệt ilđược il2 ilcon ilvật ilkhác

ilnhau ilnhờ ilvào ilcác ilđặc iltrưng iltừ ilmức ilđộ ilthấp il(có ilsố ilchân, ilcó ilđuôi) ilđến ilmức ilđộ ilcao

il(dáng ilđi, ilhình ilthể, ilmàu ilda, illông) il[1][2]

1.1.6 il So il sánh il MLP il và il CNN

Khi iláp ildụng ilvào ilbài iltoán ilgiám ilsát ilphòng ilthi iltại ilcác ilphòng ilmáy, ilviệc ilchọn

illựa ilmạng ilnơ-ron ilphù ilhợp ilcó ilvai iltrò ilquan iltrọng ilđể ilđảm ilbảo ilhiệu ilsuất ilvà ilđộ ilchính

ilxác ilcủa ilhệ ilthống. ilTrong ilđó, ilso ilsánh ilgiữa ilMạng ilNeural ilLan ilTruyền ilNgược

il(MLP) ilvà ilMạng ilNeural ilTích ilChập il(CNN) ilcó ilthể ilcung ilcấp ilcái ilnhìn ilchi iltiết ilvề illựa

ilchọn ilphù ilhợp

Mạng ilNeural ilLan ilTruyền ilNgược il(MLP), ilvới ilcấu iltrúc ilkết ilnối ilđầy ilđủ ilgiữa

ilcác illớp ilnơ-ron, ilthích ilhợp ilcho ilviệc ilxử illý ildữ illiệu ilcó ilcấu iltrúc ilđơn ilgiản ilvà ilkhông

ilgian ilđặc iltrưng ilít ilphức iltạp. ilTrong ilbài iltoán ilgiám ilsát ilphòng ilthi, ilnếu ildữ illiệu ilđầu ilvào

làthôngtinvềhọcsinhvàkếtquảcủahọtrongcácbàikiểmtratrướcđó,MLPcó

ilthể ilđược ilsử ildụng ilđể ildự ilđoán ilkhả ilnăng ilhọc ilcủa ilhọ iltrong ilkỳ ilthi iltương illai

Tuy ilnhiên, ilkhi ilcần ilxử illý ildữ illiệu ilảnh iltừ ilmáy ilquét ilhoặc ilcamera ilgiám ilsát ilđể

ilnhận ildiện ilsinh ilviên ilvà ilgiám ilsát ilhành ilvi ilcủa ilhọ iltrong ilphòng ilthi, ilMạng ilNeural

ilTích ilChập il(CNN) iltrở ilnên ilưu ilviệt ilhơn. ilCNN ilcó ilkhả ilnăng iltrích ilxuất ilvà ilhọc ilcác

ilđặc iltrưng ilphức iltạp iltừ ildữ illiệu ilhình ilảnh, ilnhư ilviệc ilnhận ildiện ilkhuôn ilmặt ilvà ilđối

iltượng iltrong ilkhông ilgian ilảnh. ilĐồng ilthời, ilcấu iltrúc ilcủa ilCNN ilcũng ilgiúp ilgiảm ilchi

ilphí iltính iltoán ilvà iltăng ilhiệu ilsuất ilkhi ilxử illý ildữ illiệu ilảnh illớn

Do ilđó, ilkhi iláp ildụng ilvào ilbài iltoán ilgiám ilsát ilphòng ilthi iltại ilcác ilphòng ilmáy, ilviệc

ilsử ildụng ilCNN ilthường illà illựa ilchọn ilphù ilhợp ilhơn ilđể ilđảm ilbảo ilhiệu ilsuất ilvà ilđộ ilchính

ilxác ilcao iltrong ilviệc ilnhận ildiện ilvà ilgiám ilsát ilhành ilvi ilcủa ilsinh ilviên iltrong ilthời ilgian ilthi

1.2 il Bài il toán il giám il sát il thi il tại il các il phòng il máy

1.2.1 il Giới il thiệu il

Bài iltoán ilnhận ildiện ilkhuôn ilmặt illà ilmột iltrong ilnhững ilbài iltoán ilquan iltrọng

iltrong illĩnh ilvực ilxử illý ilảnh ilvà iltrí iltuệ ilnhân iltạo. ilNó illiên ilquan ilđến ilviệc ilxác ilđịnh ilvà

ilphân ilbiệt ilcác ilkhuôn ilmặt ilcủa ilcon ilngười iltrong ilhình ilảnh ilhoặc ilvideo. ilBài iltoán ilnày

ilcó ilnhiều ilứng ildụng ilthực iltế, iltừ ilnhận ildiện ilkhuôn ilmặt iltrong ilảnh ilchụp, ilvideo ilgiám

ilsát ilan ilninh ilcho ilđến ilcác ilứng ildụng ilnhận ildiện ilkhuôn ilmặt iltrong ilđiện ilthoại ildi ilđộng,

ilmáy iltính ilhoặc ilhệ ilthống ilđăng ilnhập ilbằng ilkhuôn ilmặt. ilBài iltoán ilnhận ildiện ilkhuôn

ilmặt ilđòi ilhỏi ilphải ilxử illý ilvà ilrút iltrích ilcác ilđặc iltrưng ilđộc ilđáo ilcủa ilkhuôn ilmặt, ilnhư ilhình

ildạng ilcủa ilmắt, ilmũi, ilmiệng ilvà ilcác ilđặc ilđiểm ilkhác. ilSau ilđó, ilcác ilthuật iltoán ilvà ilmô

ilhình ilmáy ilhọc ilđược iláp ildụng ilđể ilhọc ilvà ilnhận ilbiết ilcác ilmẫu ilkhuôn ilmặt ilkhác ilnhau

ilThông ilthường, ilcác ilbước ilxử illý ilkhuôn ilmặt ilbao ilgồm ilviệc iltiền ilxử illý ilảnh, iltrích ilxuất

ilđặc iltrưng ilvà ilso ilkhớp ilvới ilcơ ilsở ildữ illiệu ilhoặc ilmô ilhình ilđã ilđược ilhuấn illuyện iltrước

ilTuy ilbài iltoán ilnhận ildiện ilkhuôn ilmặt ilđã ilđược ilnghiên ilcứu ilvà ilphát iltriển iltrong ilnhiều

ilnăm, ilnhưng ilvẫn ilcòn ilđầy ilthách ilthức. ilĐiều ilnày ilbởi ilvì ilnhận ildiện ilkhuôn ilmặt ilphải

ilđối ilmặt ilvới ilcác ilyếu iltố ilbiến ilđổi ilnhư ilthay ilđổi ilánh ilsáng, ilgóc ilnhìn, ilbiểu ilcảm ilvà ilsự

ilthay ilđổi iltrong ilthời ilgian. ilTuy ilnhiên, ilvới ilsự ilphát iltriển ilcủa ilcông ilnghệ ilmáy ilhọc ilvà

ilhọc ilsâu, ilcác ilphương ilpháp ilnhận ildiện ilkhuôn ilmặt ilngày ilcàng ilđạt ilđược ilđộ ilchính ilxác

ilcao ilvà ilứng ildụng ilrộng ilrãi iltrong ilnhiều illĩnh ilvực ilnhư ilbảo ilmật, ilgiao iltiếp ilmáy-tài

ilnguyên ilvà ilnhận ildiện ilcá ilnhân

Hình: ilcác ilbước ilnhận ildạng ilkhuôn ilmặt

Quá iltrình ilnhận ildiện ilkhuôn ilmặt ilbao ilgồm ilcác ilbước ilsau: il

Bước il1: ilXử illý ilảnh ilđầu ilvào: ilxử illý ilảnh illà ilmột ilphần ilquan iltrọng ilđể iltrích ilxuất ilthông

iltin ilvà ilchuẩn ilbị ildữ illiệu ilcho ilquá iltrình ilnhận ildiện. ilChuẩn ilhóa ilmàu ilsắc iláp ildụng ilcác

ilphương ilpháp ilnhư ilcân ilbằng ilhistogram ilhoặc ilchuyển ilđổi ilsang ilkhông ilgian ilmàu

ilnhư ilgrayscale ilđể ilđảm ilbảo iltính ilnhất ilquán ilvà illoại ilbỏ ilnhiễu iltrong ilảnh ilkhuôn ilmặt

ilÁp ildụng ilcác ilphương ilpháp ilnhư illàm ilmờ, illàm iltrơn, ilhoặc illọc ilthông ilminh ilđể illoại ilbỏ

ilnhiễu ilvà ilcải ilthiện ilchất illượng ilảnh ilkhuôn ilmặt. ilNhững ilbước ilxử illý ilảnh ilnày ilgiúp iltạo

ilra ilmột ilbiểu ildiễn ilchuẩn ilhóa ilvà iltối ilưu ilhóa ildữ illiệu ilkhuôn ilmặt, iltừ ilđó iltăng ilkhả ilnăng

ilnhận ildiện ilvà ilđộ ilchính ilxác ilcủa ilhệ ilthống ilnhận ildiện ilkhuôn ilmặt. il

Bước il2: ilPhát ilhiện ilkhuôn ilmặt: ilBước ilđầu iltiên illà iltìm ilra ilvị iltrí ilcủa ilkhuôn ilmặt iltrong

ilhình ilảnh ilhoặc ilvideo. ilCác ilthuật iltoán ilphát ilhiện ilkhuôn ilmặt ilthường ilsử ildụng ilcác

ilphương ilpháp ilnhư ilViola-Jones, ilMTCNN il(Multi-task ilCascaded ilConvolutional

ilNetworks), ilhoặc ilcác ilmạng ilnơ-ron iltích ilchập il(CNN) ilđể ilxác ilđịnh ilvị iltrí ilvà ilphân

illoại ilkhuôn ilmặt. il

Bước il3: ilTrích ilxuất ilđặc iltrưng: ilSau ilkhi ilphát ilhiện ilđược ilkhuôn ilmặt, ilcác ilđặc iltrưng

ilquan iltrọng ilcủa ilkhuôn ilmặt ilđược iltrích ilxuất. ilCác ilđặc iltrưng ilnày ilthường illà ilcác ilđiểm

ilnổi ilbật ilnhư ilmắt, ilmũi, ilmiệng, ilhoặc ilcác ilđặc iltrưng ilhình ilhọc ilkhác ilví ildụ ilnhư ilcác ilmô

ilhình ilCNN. il

Bước il4: ilPhân illoại ilhoặc ilso ilsánh: ilSau ilkhi ilcác ilđặc iltrưng ilkhuôn ilmặt ilđã ilđược iltrích

ilxuất, ilchúng ilcó ilthể ilđược ilsử ildụng ilđể ilphân illoại ilkhuôn ilmặt ilvào ilcác ilnhóm, ilhoặc ilsosánhvớicáckhuônmặtđãbiếttrước.Cácphươngphápphânloạiphổbiếnbao

ilgồmilcác ilmôilhình ilhọcilmáyilnhưilSupportilVector ilMachines il(SVM),ilRandom

ilForests, ilvà ilcác ilmô ilhình ilhọc ilsâu ilnhư ilFaceNet. il

Bước il5: ilXác ilminh ilhoặc ilnhận ildiện: ilDựa iltrên ilkết ilquả ilphân illoại ilhoặc ilso ilsánh, ilquá

iltrình ilnhận ildiện ilkhuôn ilmặt ilcó ilthể ilxác ilminh ilxem ilmột ilkhuôn ilmặt ilthuộc ilvề ilngười

ilnào iltrong ilcơ ilsở ildữ illiệu ilđã ilbiết iltrước il(xác ilminh), ilhoặc ilnhận ildiện ilmột ilngười ilmà

ilkhông ilbiết iltrước ilthông iltin ilcủa ilhọ il(nhận ildiện)

1.2.2 il Một il số il cách il tiếp il cận

Có ilnhiều ilnghiên ilcứu iltìm ilra ilphương ilpháp ilxác ilđịnh ilkhuôn ilmặt ilngười, iltừ ilảnh ilxám

ilđến ilngày ilnay illà ilảnh ilmàu. ilDựa ilvào iltính ilchất ilcủa ilcác ilphương ilpháp ilnày ilthành ilcác

iltiếp ilcận ilsau:

 Hướng iltiếp ilcận ildựa iltrên iltri ilthức: il

Trong iltiếp ilcận ilnày, ilcác illuật ilsẽ ilphụ ilthuộc ilrất illớn ilvào iltri ilthức ilcủa ilnhững iltác ilgiả

ilnghiên ilcứu ilvề ilbài iltoán ilxác ilđịnh ilkhuôn ilmặt ilngười. ilĐây illà ilhướng iltiếp ilcận ildạng

iltop-down. ilDễ ildàng ilxây ildựng ilcác illuật ilcơ ilbản ilđể ilmô iltả ilcác ilđặc iltrưng ilcủa ilkhuôn

ilmặt ilvà ilcác ilquan ilhệ iltương ilứng

Một ilvấn ilđề ilkhá ilphức iltạp ilkhi ildùng ilhướng iltiếp ilcận ilnày illà illàm ilsao ilchuyển iltừ iltri

ilthức ilcon ilngười ilsang ilcác illuật ilmột ilcách ilhiệu ilquả. ilNếu ilcác illuật ilnày ilquá ilchi iltiết ilthì

ilkhi ilxác ilđịnh ilcó ilthể ilxác ilđịnh ilthiếu ilcác ilkhuôn ilmặt ilcó iltrong ilảnh. ilNhưng ilcác illuật

iltổng ilquát ilquá ilthì ilcó ilthể ilchúng ilta ilsẽ ilxác ilđịnh ilnhầm ilmột ilsố ilvùng ilnào ilđó iltrên ilthực

iltế ilkhông ilphải illà ilkhuôn ilmặt ilnhưng illại ilxác ilđịnh illà ilkhuôn ilmăt. ilVà ilcũng ilkhó ilkhăn

ilmở ilrộng ilyêu ilcầu iltừ ilbài iltoán ilđể ilxác ilđịnh ilcác ilkhuôn ilmặt ilcó ilnhiều iltư ilthế ilkhác

ilnhau

 Hướng iltiếp ilcận ildưa iltrên ilcác ilđặc iltrưng ilkhông ilđổi: il

Đây illà ilhướng iltiếp ilcận iltheo ilbottom-up. ilCác iltác ilgiả ilcố ilgắng iltìm ilcác ilđặc iltrưng

ilkhông ilthay ilđổi ilcủa ilkhuôn ilmặt ilđể ilxác ilđịnh ilkhuôn ilmặt ilngười. ilDựa iltrên ilnhận ilxét

ilthực iltế, ilcin ilngười ildễ ildàng ilnhận ilbiết ilcác ilkhuôn ilmặt ilvà ilcác ilđối iltượng iltrong ilcác iltư

ilthế ilkhác ilnhau ilvà ilđiều ilkiện ilánh ilsáng ilkhác ilnha, ilthì ilphải iltồn iltại ilcác ilthuộc iltính ilhay

ilđặc iltrưng ilkhông ilthay ilđổi. ilCó ilnhiều ilnghiên ilcứu ilđầu iltiên ilxác ilđịnh ilcác ilđặc iltrưng

ilkhuôn ilmặt ilrồi ilchỉ ilra ilcó ilkhuôn ilmặt iltrong ilảnh ilhay ilkhông. ilCác ilđặc iltrưng ilnhư illông

ilmày, ilmắt, ilmũi, ilmiệng, ilvà ilđường ilviền ilcủa iltóc ilđược iltrích ilbằng ilphương ilpháp ilxác

ilđịnh ilcạnh. ilTrên ilcơ ilsở ilcác ilđặc iltrưng ilnày, ilxây ildựng ilmột ilmô ilhình ilthống ilkê ilđể ilmô

iltả ilquan ilhệ ilcủa ilcác ilđặc iltrưng ilnày ilvà ilxác ilđịnh ilsự iltồn iltại ilcủa ilkhuôn ilmặt iltrong ilảnh

ilMột ilsố ilvấn ilđề ilcủa ilthuật iltoán iltheo ilhướng iltiếp ilcận ilnày ilđó illà ilcần ilphải ilđiều ilchỉnh

ilcho ilphù ilhợp ilđiều ilkiện ilánh ilsáng, ilnhiễu, ilvà ilbị ilche ilkhuất. ilĐôi ilkhi ilbóng ilcủa ilmột

ilkhuôn ilmặt ilsẽ iltạo ilthêm ilcạnh ilmới, ilmà ilcạnh ilnày illại ilrõ ilràng ilhơn ilcạnh ilthật ilsự ilcủa

ilkhuôn ilmặt, ilgây ilra ilsự ilnhầm illẫn ilkhi ilxác ilđịnh ilcác ilkhuôn ilmặt

 Hướng iltiếp ilcận ildựa iltrên ilphương ilpháp ilđối ilsánh ilmẫu:

Trong ilphương ilpháp ilnày, ilcác ilmẫu ilchuẩn ilcủa ilkhuôn ilmặt ilsẽ ilđược ilxác ilđịnh iltrước

ilhoặc ilxác ilđịnh ilcác iltham ilsố ilthông ilqua ilmột ilhàm. ilTừ ilmột ilảnh ilđưa ilvào, iltính ilcác ilgiá

iltrị iltương ilquan ilso ilvới ilcác ilmẫu ilchuẩn ilvề ilđường ilviền ilkhuôn ilmặt, ilmắt, ilmũi ilvà

ilmiệng. ilThông ilqua ilcác ilgiá iltrị iltương ilquan ilnày ilmà ilcác iltác ilgiả ilquyết ilđịnh ilcó ilhay

ilkhông iltồn iltại ilkhuôn ilmặt iltrong ilảnh. ilHướng iltiếp ilcận ilnày ilcó illợi ilthế illà ilrất ildễ ilcài ilđặt,

ilnhưng ilkhông ilhiệu ilquả ilkhi iltỷ illệ, iltư ilthế ilvà ilhình ildáng ilthay ilđổi. ilNhiều ilđộ ilphân ilgiản,

ilđa iltỷ illệ, ilcác ilmẫu ilcon ilvà ilcác ilmẫu ilbiến ildạng ilđược ilxem ilxét ilthành ilbất ilbiến ilvề iltỷ illệ

ilvà ilhình ildáng

Hướng iltiếp ilcận ildựa iltrên ildiện ilmạo: ilTrái ilvới ilhướng iltiếp ilcận ildựa iltrên ilđối

ilsánh ilmẫu, ilcác ilmô ilhình ilđược ilhọc iltừ ilmột iltập ilảnh ilhuấn illuyện iltrước ilđó. ilSau ilđó ilhệ

ilthống ilsẽ ilxác ilđịnh ilkhuôn ilmặt ilngười. ilDo ilphương ilpháp ilnày ilthường ildùng ilmột ilmô

ilhình ilmáy ilhọc ilnên ilcòn ilgọi illà ilphương ilpháp ildựa iltrên ilmáy ilhọc. ilSau ilđó ilhệ ilthống ilsẽ

iltổng ilhợp iltất ilcả ilcác ilđặc iltính ilcủa ilkhuôn ilmặt ilcon ilngười ilnhư: ilmắt, ilmũi, ilmiệng,

ilthành ilmột ilvector ilriêng

1.3 il Kết il luận il Chương il 1

Hiện ilnay, ilnhiệm ilvụ ilchủ ilyếu ilcảu ilcác ilgiám ilthị illà: ilQuan ilsát ilthu ilthập ilthông

iltin ilcủa ilthí ilsinh ilxuất iltrình: ilThẻ ilsinh ilviên, ilcăn ilcước…, ilbằng ilmắt ilthường il– ilthị ilgiác

il– ilđối ilchiếu ilcác ilthông iltin ilđó ilvới ilthông iltin ilđã illưu iltrữ iltrong ilcơ ilsở ildữ illiệu ilvề iltừng

ilsinh ilviên il– ilcũng ilsử ildụng ilthị ilgiác il– ilnếu ilthấy ilphù ilhợp ilthì ilthông ilqua, ilnếu ilcó ilphát

ilhiện ilsai illệch ilthì ilngăn ilchặn illại

Với ilnhững iltính ilnăng iltrên, ilhoàn iltoàn ilcó ilthể ilứng ildụng ilCông ilnghệ ilnhận

ildạng ilmặt ilngười iltrong ilThị ilgiác ilmáy iltính ilđể ilxây ildựng ilmột ilphần ilmềm ilGiám ilsát ilthi

iltại ilcác ilphòng ilmáy iltính, ilnhằm ilhỗ iltrợ iltiến ilđến ilthay ilthế ilvai iltrò ilcủa ilnhân ilviên ilgiám

ilthị, ilđảm ilbảo ilchính ilxác, ilkhông ilbị ilnhầm illẫn, ilchống ilgiả ilmạo ilthông iltin iltừ ilphía ilthí

ilsinh ilđồng ilthời iltăng ilnhanh iltốc ilđố ilxử illý ilcông ilviệc ilmột ilcách ilđáng ilkể

CHƯƠNG il 2: il MỘT il SỐ il VẤN il ĐỀ il CỦA il NHẬN il DIỆN il KHUÔN il MẶT

il TRONG il GIÁM il SÁT il THI il TẠI il CÁC il PHÒNG il MÁY 2.1 il Mô il hình il nhận il dạng il khuôn il mặt il trong il giám il sát il phòng il thi

2.1.1 il Qui il trình il giám il sát il thi il tại il các il phòng il máy il hiện il nay

Từ iltrước ilđến ilnay ilqui iltrình ilgiám ilsát ilthi ilthủ ilcông iltại ilcác ilPhòng ilmáy iltính

ilcủa iltrường ilĐại ilhọc ilKinh iltế ilquốc ildân ilvẫn ilđang ilthực ilhiện ilqua ilcác ilbước ilsau ilđây:

Bước il1. ilCán ilbộ ilcoi ilthi ilphải ilcó ilmặt iltại ilđịa ilđiểm ilthi il15 ilphút iltrước ilkhi ilbắt

ilđầu ilca ilthi ilđể ilđược ilTrưởng ilbộ ilmôn ilhoặc ilngười ilphụ iltrách ilca ilthi ilphân ilcông ilnhiệm

ilvụ, ilnhận ilDanh ilsách ilphòng ilthi, ilMật ilkhẩu ilđăng ilnhập ilhệ ilthống ilcủa ilphòng ilthi ildo

ilmình ilphụ iltrách

Bước il2. ilCán ilbộ ilcoi ilthi iltrong ilquá ilcoi ilthi ilphát ilhiện ilmàn ilhình ilcủa ilngười ilhọc

ilnào ilcó ilđiều ilbất ilthường, ilCán ilbộ ilcoi ilthi ilyêu ilcầu ildừng ilngay ilviệc illàm ilbài, ilgiữ

ilnguyên ilhiện iltrạng ilmáy ilvà ilcử ilCán ilbộ ilcoi ilthi ilthứ ilhai ilthông ilbáo ilkịp ilthời iltới ilCán ilbộ

iltrực ilkỹ ilthuật ilđể ilxử illý, ilgiải ilquyết; ilKết ilthúc ilca ilthi, ilCán ilbộ ilcoi ilthi ilký ilxác ilnhận iltheo

iltừng iltrường ilhợp ilcụ ilthể. il

Bước il3. ilBảng ilđiểm ilthi ilmáy ildo ilphòng ilKhảo ilthí ilvà ilĐảm ilbảo ilchất illượng

ilgiáo ildục ilin ilvà ilký ilxác ilnhận ilsau ilđó ilchuyển ilBảng ilđiểm ilthi ilmáy ilvà ilDanh ilsách

ilphòng ilthi ilcó ilchữ ilký ilcủa ilngười ildự ilthi iltới ilTrưởng ilBộ ilmôn ilđể illưu iltrữ

Đánh ilgiá ilquy iltrình ilhiện ilnay:

Qui iltrình ilkiểm ilsoát ilphòng ilthi ilhiện iltại: il ilPhòng ilĐào iltạo iltạo illịch ilvà ildanh

ilsách ilphòng ilthi iltrên ilhệ ilthống il== il> ilGiám ilthị ilgọi iltên iltừng ilthi ilsinh iltheo ildanh ilsách

ilthi il== il> ilthí ilsinh iltrình ilthẻ ilsinh ilviên/ ilCCCD il== il> ilGiám ilthị ilkiểm iltra, ilđối ilchiếu ilvà

ilra ilquyết ilđịnh ilcho ilthí ilsinh ilvào ilphòng ilthi ilhay ilkhông

- ilSự ilcần ilthiết ilxây ildựng ilứng ildụng: ilTrường ilĐại ilhọc ilKinh iltế illà iltrường ilđại

ilhọc illớn ilvới ilquy ilmô ilhơn il40.000 ilngười ilhọc ilcùng il1 ilthời ilđiểm. ilCó ilhàng ilnghìn

ilphòng ilthi ilcác illoại ilđược iltổ ilchức iltrong ilnăm ilhọc ilvì ilvậy ilviệc ilkiểm ilsoát ilvà ilnhận ildiện

ilthí ilsinh illà ilmột ilnhiệm ilvụ ilkhó ilkhăn

- ilCần ilcó ilmột ilcông ilcụ ilhỗ iltrợ ilviệc ilkiểm ilsoát ilphòng ilthi ilgiúp ilcán ilbộ ilgiám ilthị

ilgiảm ilthời ilgian ilkiểm iltra ilthí ilsinh, iltính ilchính ilxác ilcao iltrong ilviệc ilxác ilminh ilthí ilsinhkhitrướckhichovàophòngthi

Vậy ilđể ilđảm ilbảo iltính ilkhách ilquan ilvà ilnâng ilcao ilchất illượng ilđồng ilthời ilgiảm

ilthiểu ilkhối illượng ilcông ilviệc iltrong ilviệc ilthi ilhọc ilphần ilcho ilhầu ilhết ilcác ilmôn ilhọc iltại

iltrường ilĐại ilhọc ilKinh iltế ilquốc ildân, ilnhà iltrường ilcó ilchủ iltrương iltiến ilhành ilthi iltrên

ilmáy iltính iltại ilcác ilphòng ilmáy ilcủa iltrường. ilVì ilvậy ilkhối illượng ilcông iltác ilgiám ilsát ilthi

iltại ilcác ilphòng ilmáy iltăng ilvọt, ilmặt ilkhác ilcác ilbiện ilpháp ilgiám ilsát ilthủ ilcông iltừ iltrước

ilđến ilnay ilvẫn ilsử ildụng ilcũng ilbộc illộ ilkhá ilnhiều ilnhược ilđiểm ilcần ilkhắc ilphục. ilVậy ilqua

ilnhững ilưu ilđiểm ilcủa ilmạng ilCNN, ilem iláp ildụng ilmô ilhình ilFacenet iltrên ilTensorflow ilđể

ilphát iltriển ilứng ildụng ilgiám ilsát ilphòng ilmáy

2.1.2 il Mô il hình il nhận il dạng il khuôn il mặt il mạng il học il sâu il đa il nhiệm il MTCNN

MTCNN il là il một il mạng il neural il sâu il đa il nhiệm, il trong il đó il mỗi il mạng il con il sử il dụng il các

il lớp il convolutional il để il trích il xuất il đặc il trưng il từ il hình il ảnh il đầu il vào il Các il đặc il trưng il này il sau

il đó il được il sử il dụng il để il thực il hiện il các il nhiệm il vụ il phát il hiện il khuôn il mặt il và il căn il chỉnh il khuôn

il mặt il MTCNN il có il cấu il trúc il phân il tầng il với il ba il mạng il con il chính, il mỗi il mạng il con il đảm il nhiệm

il một il phần il công il việc il cụ il thể il trong il quy il trình il phát il hiện il và il căn il chỉnh il khuôn il mặt:

- il P-Net: il Phát il hiện il vùng il đề il xuất

- il R-Net: il Tinh il chỉnh il và il lọc il các il vùng il đề il xuất

- il O-Net: il Xác il định il chính il xác il các il điểm il mốc il và il bounding il box

MTCNN il là il một il mạng il neural il tích il chập il (CNN) il vì il nó il sử il dụng il các il lớp

il convolutional il để il trích il xuất il đặc il trưng il từ il hình il ảnh il và il thực il hiện il các il nhiệm il vụ il liên il quan

il đến il nhận il dạng il khuôn il mặt il Các il lớp il convolutional il là il thành il phần il cơ il bản il của il MTCNN

il và il đóng il vai il trò il quan il trọng il trong il việc il phát il hiện il và il căn il chỉnh il khuôn il mặt il một il cách il chính

il xác. il

Chức ilnăng ilcủa ilMTCNN:

- ilPhát ilhiện ilđối iltượng il(Object ilDetection): ilMTCNN ilcó ilkhả ilnăng ilphát ilhiện

ilđối iltượng iltrong ilhình ilảnh, iltrong iltrường ilhợp ilnày illà ilkhuôn ilmặt. ilNó ilxác ilđịnh ilvị iltrí

ilcủa ilcác ilkhuôn ilmặt iltrong ilhình ilảnh ilvà iltạo ilra ilcác ilbounding ilbox ilxung ilquanh ilchúng

- ilXác ilđịnh ilcác ilđiểm ilmốc il(Landmark ilLocalization): ilSau ilkhi ilphát ilhiện

ilđược ilkhuôn ilmặt, ilMTCNN ilcũng ilxác ilđịnh ilcác ilđiểm ilmốc iltrên ilkhuôn ilmặt ilnhư ilmắt,

ilmũi ilvà ilmiệng. ilĐiều ilnày ilgiúp ilxác ilđịnh ilchính ilxác ilvị iltrí ilvà ilhình ildáng ilcủa ilkhuôn

ilmặt iltrong ilhình ilảnh

LớpconvolutionalcủaMTCNN:

- ilMTCNN ilsử ildụng ilcác illớp ilconvolutional ilđể iltrích ilxuất ilđặc iltrưng iltừ ilhình

ilảnh. ilCác illớp ilconvolutional ilnày ilchịu iltrách ilnhiệm ilphát ilhiện ilcác ilđặc ilđiểm ilquan

iltrọng iltrong ilảnh, ilbao ilgồm ilcác ilcạnh, ilđường ilcong ilvà ilcác ilđặc iltrưng ilquan iltrọng ilcủa

ilkhuôn ilmặt ilnhư ilmắt, ilmũi ilvà ilmiệng

- ilCác illớp ilconvolutional ilcho ilphép ilMTCNN ilnhận ilbiết ilvà ilhiểu ilđược ilcác ilđặc

ilđiểm ilkhông ilgian ilvà ilkết ilcấu iltrong ilảnh, ilgiúp ilnó ilphát ilhiện ilvà ilxác ilđịnh ilkhuôn ilmặt

ilcũng ilnhư ilcác ilđiểm ilmốc iltrên ilkhuôn ilmặt ilmột ilcách ilchính ilxác

Tính ilchất ilcủa ilMTCNN:

- ilHiệu ilsuất ilcao iltrong ilxử illý ilhình ilảnh: ilNhờ ilvào ilsử ildụng ilcác illớp

ilconvolutional, ilMTCNN ilcó ilkhả ilnăng ilxử illý ildữ illiệu ilhình ilảnh ilmột ilcách ilhiệu ilquả ilvà

ilnhanh ilchóng

-ilCóilkhả ilnăng ilthực ilhiện ilcác iltácilvụ illiênilquanilđếnilthị ilgiác ilmáyiltính:

ilMTCNN ilkhông ilchỉ ilphát ilhiện ilkhuôn ilmặt ilmà ilcòn ilxác ilđịnh ilcác ilđiểm ilmốc iltrên

ilkhuôn ilmặt, illàm ilcho ilnó iltrở ilthành ilmột ilcông ilcụ ilmạnh ilmẽ iltrong ilcác ilứng ildụng ilnhận

ildạng ilkhuôn ilmặt ilvà ilphân iltích ilhình ilảnh

Tóm illại, ilMTCNN ilkhông ilchỉ illà ilmột ilmạng ilneural iltích ilchập ilthông ilthường

ilmà ilcòn illà ilmột ilcông ilcụ ilmạnh ilmẽ ilcho ilviệc ilphát ilhiện ilvà ilxác ilđịnh ilcác ilđặc ilđiểm iltrên

ilkhuôn ilmặt iltrong ilhình ilảnh. ilĐiều ilnày illàm ilcho ilnó iltrở ilthành ilmột iltrong ilnhững ilgiải

ilpháp ilphổ ilbiến ilcho ilcác ilvấn ilđề illiên ilquan ilđến ilthị ilgiác ilmáy iltính ilvà ilxử illý ilhình ilảnh

P-Net

Bắt ilđầu ilvới ilmột ilbức ilảnh, ilđôi ilkhi ilchứa ilnhiều ilhơn ilmột ilkhuôn ilmặt ilvà ilcác ilđối

iltượng ilkhác, ilcó ilkích ilthước ilvà iltỷ illệ ilkhác ilnhau. ilThách ilthức ilđặt ilra illà illàm ilthế ilnào ilđể

ilchính ilxác ilnhận ildiện iltất ilcả ilcác ilkhuôn ilmặt ilnày, ilngay ilcả ilkhi ilchúng ilcó ilkích ilthước

ilkhác ilnhau iltrên ilcùng ilmột ilhình ilảnh. ilMTCNN illà ilmột ilphương ilpháp ilnhận ildiện

ilkhuôn ilmặt ilđa ilnhiệm ilvà ilhiệu ilquả iltrong ilviệc ilgiải ilquyết ilthách ilthức ilnày

MTCNN ilsử ildụng ilmột ilphương ilpháp ilgọi illà ilImage ilPyramid ilđể ilxử illý ilhình

ilảnh ilđầu ilvào. ilImage ilPyramid illà ilmột illoạt ilcác ilbản ilsao ilcủa ilảnh ilgốc ilvới ilcác ilkích

ilthước ilkhác ilnhau, iltừ illớn ilđến ilnhỏ. ilBằng ilcách ilnày, ilMTCNN ilcó ilthể ildễ ildàng ilnhận

ildiện ilkhuôn ilmặt ilở ilmọi ilkích ilthước ilvà iltỷ illệ iltrên ilcùng ilmột ilhình ilảnh

KhiđãcóImagePyramid,MTCNN sửdụng mộtloạtcáckernelcókích

ilthước ilcố ilđịnh il(ví ildụ: il12x12 ilpixel) ilđể ilduyệt ilqua iltoàn ilbộ ilảnh. ilMỗi ilkernel ilnày

iltương ilứng ilvới ilmột ilvùng ilnhỏ iltrên ilảnh ilvà ilđược ilsử ildụng ilđể iltìm ilkiếm ilcác ilđối iltượng

iltrong ilvùng ilđó. ilBằng ilcách ilnày, ilMTCNN ilcó ilthể ilphát ilhiện ilcác ilkhuôn ilmặt ilở ilmọi ilvị

iltrí ilvà ilkích ilthước iltrên ilảnh

Hình il 2.1 il P-Net

Sau ilkhi ilduyệt ilqua iltoàn ilbộ ilảnh ilvới ilcác ilkernel, ilcác ilvùng ilchứa ilkhuôn ilmặt

ilước iltính ilđược iltruyền ilqua ilmạng ilP-Net il(Proposal ilNetwork). ilP-Net illà ilmột ilmạng

ilneural iltích ilchập ilđược ilthiết ilkế ilđể ilđề ilxuất ilcác ilbounding ilbox ilchứa ilkhuôn ilmặt ilvà

ilxác ilđịnh ilcác ilđiểm ilmốc iltrên ilkhuôn ilmặt. ilKết ilquả illà ilmột iltập ilhợp ilcác ilbounding ilbox

ilước iltính, ilmỗi ilbox ilđi ilkèm ilvới ilcác ilđiểm ilmốc ilvà ilđiểm iltự iltin il(confidence ilscore)

iltương ilứng

Tuy ilnhiên, ilsau ilkhi ilnhận ilđược ilcác ilbounding ilbox iltừ ilP-Net, ilcòn ilcần ilphải

illoại ilbỏ ilcác ilbox ilkhông ilcần ilthiết ilvà ilsắp ilxếp illại ilcác ilbox ilcòn illại ilđể ilcó ilkết ilquả ilchính

ilxác ilnhất. ilĐiều ilnày ilđược ilthực ilhiện ilbằng ilcách ilđặt ilmột ilngưỡng ilđộ iltin ilcậy ilđể illoại

ilbỏ ilcác ilbox ilcó ilđiểm iltự iltin ilthấp ilvà ilsử ildụng ilthuật iltoán ilNon-Maximum

ilSuppression il(NMS) ilđể illoại ilbỏ ilcác ilbox iltrùng illắp

Sau ilkhi illoại ilbỏ ilcác ilbox ilkhông ilcần ilthiết ilvà ilsắp ilxếp illại ilcác ilbox ilcòn illại, iltọa

ilđộ ilcủa ilcác ilbox ilđược ilchuyển ilvề iltọa ilđộ ilgốc ilcủa ilảnh ilban ilđầu. ilĐiều ilnày ilđòi ilhỏi iltính

iltoán illại iltọa ilđộ ilcủa ilcác ilbox ildựa iltrên ilkích ilthước ilcủa ilkernel ilvà ilcác ilvị iltrí iltương ilứng

iltrên ilảnh ilgốc. ilCuối ilcùng, ilcác ilbox ilđược ilđiều ilchỉnh illại ilthành ilhình ilvuông ilvà ilđược

ilchuyển ilqua ilmạng iltiếp iltheo, ilmạng ilR, ilđể iltiếp iltục ilquá iltrình ilxử illý ilvà ilnhận ildạngkhuônmặt

R-Net

Mạng ilR il(Refine ilNetwork) ilthực ilhiện ilcác ilbước iltươngiltự ilnhưilmạngilP

il(Proposal ilNetwork) iltrong ilviệc ilxử illý ilcác ilbounding ilbox ilđược ilđề ilxuất. ilTuy ilnhiên,

ilmạng ilR ilsử ildụng ilmột ilphương ilpháp ilgọi illà ilpadding ilđể ilxử illý ilcác iltrường ilhợp ilkhi

ilbounding ilbox ilvượt ilra ilngoài ilbiên ilcủa ilảnh

Khi ilmột ilbounding ilbox ilvượt ilra ilngoài ilbiên ilcủa ilảnh, iltức illà ilmột ilphần ilcủa

ilbounding ilbox ilnằm ilngoài ilphạm ilvi ilcủa ilảnh, ilviệc ilthực ilhiện ilviệc iltính iltoán ilcho ilcác

ilpixel ilnằm ilngoài ilphạm ilvi ilnày ilcó ilthể ilgây ilra ilsự ilkhông ilchính ilxác ilhoặc ilkhông ilthể

ilthực ilhiện ilđược. ilĐể ilgiải ilquyết ilvấn ilđề ilnày, ilmạng ilR ilsử ildụng ilphương ilpháp ilpadding

ilbằng ilcách ilchèn ilthêm ilcác ilzero-pixels ilvào ilcác ilphần ilthiếu ilcủa ilbounding ilbox, illàm

ilcho ilbounding ilbox ilmở ilrộng ilra ilbên iltrong ilảnh ilmột ilcách ilhợp illý

Hình il 2.2 il R-Net

Sau ilkhi ilcác ilbounding ilbox ilđã ilđược ilxử illý ilbằng ilphương ilpháp ilpadding,

ilchúng ilđược ilresize ilvề ilkích ilthước il24x24 ilpixel, iltương iltự ilnhư ilviệc ilcoi ilchúng ilnhư

ilmột ilkernel il24x24. ilCác ilbounding ilbox ilnày ilđược ilfeed ilvào ilmạng ilR ilđể iltiếp iltục ilquá

iltrình ilxử illý. ilMạng ilR ilsẽ ilthực ilhiện ilcác ilphép iltính ilvà iltrích ilxuất ilđặc iltrưng iltừ ilcác

ilbounding ilbox ilnày, ilđưa ilra ilkết ilquả illà ilcác iltọa ilđộ ilmới ilcủa ilcác ilbounding ilbox ilcòn illại

Kết ilquả ilsau ilcùng ilcủa ilquá iltrình ilnày illà ilcác iltọa ilđộ ilmới ilcủa ilcác ilbounding

ilbox, ilđã ilđược ilcải ilthiện ilvà ilđiều ilchỉnh ildựa iltrên ilthông iltin iltừ ilmạng ilR. ilCác iltọa ilđộ ilnày

ilsau ilđó ilđược ilđưa ilvào ilmạng iltiếp iltheo, ilmạng ilO il(Output ilNetwork), ilđể iltiếp iltục ilquá

iltrình ilnhận ildạng ilvà ilxử illý ilcác ilkhuôn ilmặt iltrên ilảnh

O-Net

Mạng ilO il(Output ilNetwork) illà ilbước ilcuối ilcùng iltrong ilquá iltrình ilxử illý ilcủa

ilMTCNN. ilMạng ilnày ilthực ilhiện ilcác ilbước iltương iltự ilnhư ilmạng ilR, ilnhưng ilvới ilmục

iltiêu ilcuối ilcùng illà iltrả ilvề ilcác ilthông iltin ilchi iltiết ilhơn ilvề ilcác ilkhuôn ilmặt ilđược ilphát ilhiện

iltrên ilảnh

Tương iltự ilnhư iltrong ilmạng ilR, ilcác ilbounding ilbox ilđã ilđược ilđề ilxuất iltrước ilđó

ilđược ilthay ilđổi ilkích ilthước ilthành il48x48 ilpixel. ilĐiều ilnày ilgiúp ilmạng ilO ilcó ilthể ilxử illý

ilcác ilkhuôn ilmặt ilvới ilđộ ilchính ilxác ilcao ilhơn ilvà iltrích ilxuất ilcác ilđặc iltrưng ilchi iltiết ilhơn iltừ

ilmỗi ilkhuôn ilmặt

Hình il 2.3 il O-Net

Tuy ilnhiên, ilkhác ilvới ilmạng ilR, ilkết ilquả ilđầu ilra ilcủa ilmạng ilO ilkhông ilchỉ illà ilcác

iltọa ilđộ ilcủa ilcác ilbounding ilbox ilnữa. ilThay ilvào ilđó, ilmạng ilO iltrả ilvề ilmột ildictionary

ilchứa il3 ilkeys:

- ilKey il'out[0]': ilChứa il4 iltọa ilđộ ilcủa ilbounding ilbox, ilbao ilgồm iltọa ilđộ ilcủa ilhai

ilgóc ilđối ildiện il(top-left ilvà ilbottom-right) ilcủa ilbounding ilbox. ilĐiều ilnày ilgiúp ilxác

ilđịnh ilvị iltrí ilchính ilxác ilcủa ilbounding ilbox iltrên ilảnh

- ilKey il'out[1]': ilChứa iltọa ilđộ ilcủa il5 ilđiểm illandmark iltrên ilkhuôn ilmặt, ilbao ilgồm

iltọa ilđộ ilcủa ilhai ilmắt, ilmột ilmũi ilvà ilhai ilbên ilcánh ilmôi. ilThông iltin ilnày ilrất ilquan iltrọng

iltrong ilviệc ilxác ilđịnh ilcác ilđặc iltrưng ilchi iltiết ilcủa ilkhuôn ilmặt ilvà ilcó ilthể ilđược ilsử ildụng

iltrong ilcác ilứng ildụng ilnhận ildạng ilvà ilphân iltích ilkhuôn ilmặt

- ilKey il'out[2]': ilChứa ilđiểm ilconfident ilcủa ilmỗi ilbounding ilbox, ilđánh ilgiá ilmức

ilđộ iltin ilcậy ilcủa ilviệc ilphát ilhiện ilkhuôn ilmặt. ilĐiều ilnày ilgiúp ilđánh ilgiá ilđộ ilchính ilxác ilcủa

ilmỗi ilbounding ilbox ilvà illoại ilbỏ ilcác ilkết ilquả ilkhông ilchính ilxác

Tất ilcả ilcác ilthông iltin iltrên ilsẽ ilđược iltổ ilchức ilvà illưu ilvào ilmột ildictionary ilvới il3

ilkeys ilnhư ilmô iltả iltrên. ilDictionary ilnày ilchứa ilcác ilthông iltin ilchi iltiết ilvà ilquan iltrọng ilvề

ilcác ilkhuôn ilmặt ilđược ilphát ilhiện iltrên ilảnh, ilvà ilcó ilthể ilđược ilsử ildụng ilđể ilxử illý ilvà ilphân

iltích ilcác ilkhuôn ilmặt iltrong ilcác ilứng ildụng ilthực iltế

2.1.3 il Mô il hình il nhận il dạng il khuôn il mặt il FaceNet

FaceNet illà ilmột ilhệ ilthống ilnhận ildạng ilkhuôn ilmặt iltiên iltiến ilđược ilphát iltriển

ilbởi ilnhóm ilnghiên ilcứu iltại ilGoogle. ilTrong ilFaceNet, ilmỗi ilkhuôn ilmặt ilđược ilbiểu ildiễn

ildưới ildạng ilmột ilvector ilsố ilhọc, ilđược ilgọi illà ilembedding ilvector, iltrong ilmột ilkhông

ilgian ilđặc iltrưng ilcó ilsố ilchiều ilcố ilđịnh. ilCác ilembedding ilvector ilnày ilđược ilhọc iltrong

ilquá iltrình ilhuấn illuyện ilvà ilđại ildiện ilcho ilcác ilđặc iltrưng ilquan iltrọng ilcủa ilkhuôn ilmặt,

ilgiúp ilphân illoại ilvà ilnhận ildạng ilcác ilđối iltượng iltrong ilkhông ilgian ilđã ilđược ilbiến ilđổi

Trong ilFaceNet, ilviệc iltạo ilra ilcác ilembedding ilvector ilđược ilthực ilhiện ilbởi ilmột

ilmạng ilneural ilsâu, ilthường illà ilmột ilmạng ilCNN il(Convolutional ilNeural ilNetwork)

ilvới ilcấu iltrúc ilphức iltạp. ilTrong ilđó, ilmột ilsố ilkiến ilthức ilcơ ilbản ilvề ilcác ilkhái ilniệm ilnhư

ilInception ilV1 ilvà ilTriplet ilLoss ilcũng ilđược iláp ildụng ilvà ilkết ilhợp ilđể ilcải ilthiện ilhiệu ilsuất

ilcủa ilhệ ilthống

Hình il 2.4 il Khối il Inception

Inception ilV1 illà ilmột ilcấu iltrúc ilmạng ilCNN ilđược ilgiới ilthiệu ilbởi ilGoogle ilvào

ilnăm il2014, ilnổi ilbật ilvới ilcác ilkhối ilInception. ilCác ilkhối ilnày ilcho ilphép ilmạng ilhọc ilđược

iltheo ilcách ilsong ilsong, ilnghĩa illà ilvới ilmột ilđầu ilvào, ilnó ilcó ilthể ilđược ilđưa ilqua ilnhiều illớp

ilconvolution ilkhác ilnhau ilđể iltạo ilra ilcác ilkết ilquả ilkhác ilnhau, ilsau ilđó ilkết ilhợp illại ilthành

ilmột ilđầu ilra. ilQuá iltrình ilhọc ilsong ilsong ilnày ilgiúp ilmạng ilcó ilthể ilhọc ilđược ilnhiều ilchi

iltiết ilvà ilđặc ilđiểm ilhơn, ilthu ilthập ilnhiều ilđặc iltrưng ilhơn ilso ilvới ilcác ilmạng ilCNN iltruyền

ilthống. ilNgoài ilra, ilInception ilV1 ilcũng iláp ildụng ilcác ilkhối ilconvolution il1x1 ilđể ilgiảm

ilkích ilthước ilcủa ilmạng, iltăng iltốc ilđộ ilhuấn illuyện

Triplet ilLoss illà ilmột ilhàm ilmất ilmát ilđược ilsử ildụng iltrong ilquá iltrình ilhuấn illuyện

ilcủa ilFaceNet. ilThay ilvì ilso ilsánh ilgiữa ilđầu ilra ilcủa ilmạng ilvới ilnhãn ilthực iltế ilcủa ildữ illiệu

il(ground iltruth) ilnhư iltrong ilcác ilhàm ilmất ilmát iltruyền ilthống, ilTriplet ilLoss ilđưa ilra ilmột

ilphương ilpháp ilmới ilbằng ilcách ilsử ildụng ilba ilđiểm ildữ illiệu: ilanchor il(mỏ ilneo), ilpositive

il(một ilđiểm ildữ illiệu ilcùng illớp ilvới ilanchor), ilvà ilnegative il(một ilđiểm ildữ illiệu ilthuộc illớp

ilkhác ilvới ilanchor). ilMục iltiêu ilcủa ilTriplet ilLoss illà iltối ilưu ilhóa ilkhoảng ilcách ilgiữa

ilanchor ilvà ilpositive il(độ ilgiống ilnhau ilcao) ilđồng ilthời illàm iltăng ilkhoảng ilcách ilgiữa

ilanchor ilvà ilnegative il(độ ilgiống ilnhau ilthấp). ilĐiều ilnày ilgiúp iltạo ilra ilcác ilembedding

ilvector ilcó ilkhả ilnăng ilphân ilbiệt ilcao ilgiữa ilcác ilkhuôn ilmặt ilcủa ilcác ilngười ilkhác ilnhau ilvà

iltăng ilcường ilhiệu ilsuất ilcủa ilhệ ilthống ilnhận ildạng ilkhuôn ilmặt

Nhữngilkếtilhợp ilcủailcácilkiến ilthức ilvàilcôngilnghệilnhưilInception ilV1ilvà

ilTriplet ilLoss iltrong ilFaceNet ilđã iltạo ilra ilmột ilhệ ilthống ilnhận ildạng ilkhuôn ilmặt ilmạnh

ilmẽ ilvà ilđáng iltin ilcậy, ilcó ilthể ilđược ilsử ildụng iltrong ilnhiều ilứng ildụng ilthực iltế, iltừ ilbảo ilmật

ilđến ilgiao iltiếp ilxã ilhội

Quá iltrình ilhuấn illuyện ilmột ilhệ ilthống ilnhận ildạng ilkhuôn ilmặt ilbằng ilphương

ilpháp ilFaceNet ilbao ilgồm ilcác ilbước ilsau:

Bước il1: ilTrong ilgiai ilđoạn ilhuấn illuyện, ilta ilbắt ilđầu ilbằng ilviệc ilsử ildụng ilmột iltập

ildữ illiệu illớn ilchứa ilrất ilnhiều ilhình ilảnh ilcủa ilcác ilcá ilnhân ilkhác ilnhau, ilmỗi ilcá ilnhân ilsẽ ilcó

ilmột ilsố illượng ilảnh ilnhất ilđịnh. ilMục iltiêu ilcủa ilquá iltrình ilhuấn illuyện illà ilhọc ilcách ilbiểu

ildiễn ilmỗi ilkhuôn ilmặt ilthành ilmột ilvector ilembedding iltrong ilkhông ilgian ilđặc iltrưng ilcó

ilsố ilchiều ilcố ilđịnh

Bước il2: ilĐể ilthực ilhiện ilđiều ilnày, ilta ilxây ildựng ilmột ilmạng ilneural ilsâu il(Deep

ilNeural ilNetwork il- ilDNN) ilđược ilthiết ilkế ilđể iltrích ilxuất ilcác ilđặc iltrưng iltừ ilcác ilhình ilảnh

iltrong iltập ildữ illiệu. ilMạng ilnày ilthường ilcó ilmột illớp ilcuối ilcùng ilchứa ilcác ilembedding

il128-Dimensions, iltức illà ilmỗi ilảnh ilsẽ ilđược ilbiểu ildiễn ilbằng ilmột ilvector il128 ilchiều

ilTrong ilcác ilnghiên ilcứu, ilcó ilthể ilsử ildụng ilcác ilmạng ilnhư ilZeiler&Fergus ilhoặc

ilInceptionV1 illàm ilmô ilhình ilmạng ilDNN

Bước il3: ilSau ilkhi ilxây ildựng ilmạng ilDNN, ilta iltiến ilhành ilhuấn illuyện ilmạng ilnày

ilbằng ilcách iltối ilưu ilhóa ilcác iltham ilsố ilcủa ilmô ilhình. ilQuá iltrình ilnày ilbao ilgồm ilviệc ilsử

ildụng ilhàm ilmất ilmát ilTriplet ilLoss, ilmột ilphương ilpháp ilđo illường ilsự ilkhác ilbiệt ilgiữa

ilcác ilcặp ilembedding. ilĐể iltối ilưu ilhóa ilhiệu ilsuất ilcủa ilmô ilhình, ilta ilcần illựa ilchọn ilcáctripletembeddingmộtcáchcẩnthậnthôngquaphươngphápTripletSelection

ilQuá iltrình ilnày ilgiúp ilđảm ilbảo ilrằngilviệc ilhọc ildiễn ilra ilhiệu ilquả ilnhất, ilvới ilcác

ilembedding ilđược ilchọn ilsao ilcho ilchúng ilđại ildiện ilcho ilcác ilmặt ilkhác ilnhau ilcủa ildữ illiệu

ilđầu ilvào

Sau ilgiai ilđoạn ilhuấn illuyện, ilquá iltrình ilInference ilđược ilthực ilhiện ilđể ilphân illoại

ilhoặc ilnhận ildạng ilkhuôn ilmặt. ilTrong ilquá iltrình ilnày, ilta iltruyền ilảnh ilmặt ilcần ilxử illý ilvào

ilmạng ilFeature ilExtractor ilđã ilđược ilhuấn illuyện, iltừ ilđó ilthu ilđược ilmột ilembedding ilđại

ildiện ilcho ilkhuôn ilmặt ilđó. ilTiếp iltheo, ilta ilsử ildụng ilkhoảng ilcách ilEuclide il(L2) ilđể ilso

ilsánh ilembedding ilmới ilnày ilvới ilcác ilembedding ilđã ilđược iltạo ilra iltừ ilcác ilảnh iltrong iltập

ildữ illiệu ilhuấn illuyện. ilQuá iltrình ilphân illoại ilsẽ iltương iltự ilnhư ilthuật iltoán ilk-NN ilvới ilk=1,

iltrong ilđó ilkết ilquả ilđược ilxác ilđịnh ilbằng ilcách ilchọn ilra ilembedding ilgần ilnhất iltừ iltập ildữ

illiệu ilđã ilcó

Tổng ilkết illại ilthì ilMTCNN ilvà ilFaceNet illà ilhai ilmạng ilrất ilnổi iltiếng iltrong ilviệc

ilxử illý ilbài iltoán ilnhận ildiện ilkhuôn ilmặt il(Face ilRecognition) ilnói ilchung. ilSự ilkết ilhợp

ilgiữa ilchúng ilđem illại ilkết ilquả ilkhá iltốt ilkhi ilđầu ilvào illà ilảnh ilhoặc ilvideo ilchứa ilnhiều

ilkhuôn ilmặt iltrong ilcác ilhoàn ilcảnh ilthực iltế

Trong ilquá iltrình ilkết ilhợp, ilMTCNN il(Multi-task ilCascaded ilConvolutional

ilNetworks) ilđóng ilvai iltrò illà ilmạng ilphát ilhiện ilkhuôn ilmặt ilvà ilcăn ilchỉnh ilchúng il(Face

ilDetection/Alignment). ilMTCNN ilsẽ illàm ilnhiệm ilvụ ilcắt ilcác ilkhuôn ilmặt iltừ ilkhung

ilhình ildưới ildạng ilcác ilbounding ilboxes ilvà ilđiều ilchỉnh ilkích ilthước ilcủa ilchúng ilsao ilcho

ilphù ilhợp ilvới ilshape ilđầu ilvào ilcủa ilmạng ilFaceNet. ilĐiều ilnày ilgiúp ilchuẩn ilbị ildữ illiệu

ilđầu ilvào ilcho ilFaceNet ilmột ilcách ilchính ilxác ilvà ilhiệu ilquả

FaceNet, iltrong ilkhi ilđó, ilđóng ilvai iltrò illà ilmạng iltrích ilxuất ilđặc iltrưng il(Feature

ilExtractor) ilvà ilphân illoại il(Classifier) ilcho iltừng ilbounding ilbox ilchứa ilkhuôn ilmặt

ilFaceNet ilsẽ ilchuyển ilđổi ilmỗi ilkhuôn ilmặt ilthành ilmột ilvector ilembedding iltrong ilkhông

ilgian ilđặc iltrưng. ilSau ilđó, ilsử ildụng ilcác ilembedding ilnày, ilmạng ilsẽ iltiến ilhành ilphân ilbiệt

ilvà ilnhận ildạng ilcác ilkhuôn ilmặt, ilxác ilđịnh ildanh iltính ilcủa iltừng ilcá ilnhân

2.2 il Thu il thập il dữ il liệu il và il huấn il luyện il mô il hình

2.2.1 il Thu il thập il dữ il liệu

Kiến iltrúc ilcủa ilhệ ilthống ilnhận ildiện ilkhuôn ilmặt ilđược ilthực ilhiện ilxây ildựng iltheo ilhaipha,gồmphahuấnluyệnvàphanhậndiện,đượctrìnhbàytrongHình2.1