(Tóm tắt luận văn thạc sĩ) nghiên cứu phương pháp nhận diện khuôn mặt và ứng dụng cho điểm danh sinh viên

1.1.1.1 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - MAI NGỌC HUYNH NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG CHO ĐIỂM DANH SINH VIÊN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8.48.01.04 TÓM TẮT LUẬN ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2023 Đề án tốt nghiệp hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS NGUYỄN NGỌC ĐIỆP Phản biện 1: ……………………………………………………………… Phản biện 2: ……………………………………………………………… Đề án tốt nghiệp bảo vệ trước Hội đồng chấm đề án tốt nghiệp thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm MỞ ĐẦU Nhận diện khuôn mặt lĩnh vực quan trọng xử lý ảnh Và ngày nhận diện sử dụng rộng rãi nhiều lĩnh vực đời sống nhận diện lĩnh vực thương mại, hay phát lĩnh vực an ninh, hay xử lý video, ảnh Một ứng dụng tiêu biểu nhận diện sử dụng phổ biến nhận diện khuôn mặt người ứng dụng điện thoại di động cụ thể Iphone Samsung sử dụng Hiện có nhiều phương pháp nhận diện khác xây dựng để nhận diện người cụ thể giới thực Ta nói tới số phương pháp như: học máy học sâu Các phương pháp học máy truyền thống nhận diện khuôn mặt nhanh độ xác cịn hạn chế khơng nhạy cảm với biến thể khác khuôn mặt (nét mặt, biểu cảm, tư thế, v.v.) hay thay đổi ánh sáng môi trường Gần đây, phương pháp dùng mơ hình mạng nơ ron sâu FaceNet, DeepFace, … đề xuất có độ khả nhận diện khn mặt người tốt Dựa phương pháp học sâu tiên tiến này, tốn nhận diện khn mặt người tiêu chuẩn giải với độ xác cao Tuy nhiên, nhiều thách thức cần áp dụng giải toán nhận diện người thực tế, với nhiều điều kiện phức tạp Ví dụ nhận diện người qua khn mặt đeo trang bị che phần, nhận diện người đám đơng di chuyển, với ánh sáng, góc quay chưa đảm bảo Ngoài ra, việc triển khai mơ hình học sâu để thành ứng dụng thực tế cần nhiều nỗ lực người phát triển Với phát triển giáo dục Việt Nam, số lượng sinh viên trường đại học ngày gia tăng, dẫn đến công tác quản lý khó khăn, phức tạp, địi hỏi hệ thống quản lý thơng minh với ứng dụng trí tuệ nhân tạo Khi số lượng sinh viên lớn, điều kiện môi trường phức tạp, việc xác minh xác danh tính sinh viên thử thách lớn, thời gian, tốn nhân lực Do đó, tốn xác minh sinh viên vào lớp, phòng thi trường đại học toán cấp thiết Đề tài “NGHIÊN CỨU PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT VÀ ỨNG DỤNG CHO ĐIỂM DANH SINH VIÊN” nghiên cứu, thử nghiệm số phương pháp nhận diện khuôn mặt tiên tiến để chọn phương pháp phù hợp, ứng dụng cho việc nhận diện, xác minh sinh viên Nội dung luận án CHƯƠNG Tổng quan toán nhận diện khuôn mặt CHƯƠNG Nghiên cứu phương pháp nhận diện khuôn mặt CHƯƠNG Ứng dụng phương pháp nhận diện khuôn mặt điểm danh sinh viên 2 CHƯƠNG TỔNG QUAN VỀ BÀI TOÁN NHẬN DIỆN KHN MẶT Tổng quan nhận diện khn mặt 2.1.1 Giới thiệu tốn nhận diện khn mặt 2.1 Bài tốn nhận diện khn mặt toán quan trọng lĩnh vực xử lý ảnh trí tuệ nhân tạo Nó liên quan đến việc xác định phân biệt khuôn mặt người hình ảnh video Bài tốn có nhiều ứng dụng thực tế, từ nhận diện khuôn mặt ảnh chụp, video giám sát an ninh ứng dụng nhận diện khuôn mặt điện thoại di động, máy tính hệ thống đăng nhập khn mặt Tuy tốn nhận diện khn mặt nghiên cứu phát triển nhiều năm, đầy thách thức Điều nhận diện khn mặt phải đối mặt với yếu tố biến đổi thay đổi ánh sáng, góc nhìn, biểu cảm thay đổi thời gian Tuy nhiên, với phát triển công nghệ máy học học sâu, phương pháp nhận diện khuôn mặt ngày đạt độ xác cao ứng dụng rộng rãi nhiều lĩnh vực bảo mật, giao tiếp máy-tài nguyên nhận diện cá nhân Hình 2-1 Tổng quan bước cho nhận diện khuôn mặt 2.1.2 Các yêu cầu tổng quan toán nhận diện khn mặt Bài tốn nhận diện khn mặt có số yêu cầu quan trọng để đạt kết tốt Dưới yêu cầu tốn nhận diện khn mặt: - Phát xác định vị trí khn mặt - Tính quán đồng - Trích xuất đặc trưng - Khả nhận diện phân loại - Độ xác tốc độ xử lý 2.1.3 Phạm vi thách thức Phạm vi: Phạm vi ứng dụng: Bài tốn nhận diện khn mặt áp dụng nhiều lĩnh vực, bao gồm an ninh, xác thực người dùng, nhận diện khuôn mặt ảnh video, nhận diện khuôn mặt thời gian thực, nhiều ứng dụng khác Tuy nhiên luận án tập trung vào xác định danh tính sinh viên cách nhận diện phân loại khuôn mặt q trình điểm danh Bài tốn tập trung vào việc phát nhận diện khuôn mặt sinh viên dựa sở liệu xây dựng trước đó, đảm bảo tính xác hiệu suất xử lý thời gian thực Phạm vi đối tượng: Hệ thống nhận diện khn mặt thiết kế để nhận diện khuôn mặt người cụ thể nhận diện phân biệt nhiều khuôn mặt khác sở liệu Thách thức: Khi thực tốn nhận diện khn mặt, có số thách thức quan trọng mà cần vượt qua để đạt kết tốt Dưới số thách thức chính: - Thay đổi ánh sáng - Biến đổi góc độ - Biểu cảm khuôn mặt - Sự thay đổi thời gian - Độc lập gương mặt - Dữ liệu huấn luyện hạn chế 2.2 Vai trò tầm quan trọng hệ thống điểm danh tự động trường đại học Hệ thống điểm danh tự động trường đại học có vai trị tầm quan trọng lớn quản lý theo dõi diện sinh viên khóa học Dưới vai trị tầm quan trọng hệ thống điểm danh tự động: - Tiết kiệm thời gian công sức - Chính xác đáng tin cậy - Theo dõi hiệu suất học tập - Tăng cường an ninh kiểm soát - Tạo điều kiện cho việc nghiên cứu phân tích liệu 2.3 Bài tốn điểm danh sinh viên qua nhận diện khuôn mặt Với phát triển giáo dục Việt Nam, số lượng sinh viên trường đại học ngày gia tăng, dẫn đến cơng tác quản lý khó khăn, phức tạp, địi hỏi hệ thống quản lý thơng minh với ứng dụng trí tuệ nhân tạo Khi số lượng sinh viên lớn, điều kiện môi trường phức tạp, việc xác minh xác danh tính sinh viên thử thách lớn, thời gian, tốn nhân lực Do phương pháp điểm danh sinh viên cũ như: - Giải pháp vân tay - Giải pháp thẻ từ Với nhược điểm lớn phương pháp điểm danh truyền thống Việc điểm danh qua nhận diện khn mặt trở nên cấp thiết lợi ích sau so với phương pháp điểm danh truyền thống: Không cần thiết sử dụng thẻ vân tay, xác thực xác đáng tin cậy, có khả tích hợp vào hệ thống quản lý điểm danh tự động có cách linh hoạt Với ưu điểm bật tốn xác minh sinh viên qua nhận diện khn mặt vào lớp, phòng thi trường đại học tốn cấp thiết Mơ tả tốn: Bài tốn điểm danh sinh viên qua nhận diện khn mặt nhằm tự động xác định danh tính sinh viên lớp học Thay sử dụng phương pháp truyền thống, hệ thống sử dụng kỹ thuật nhận diện khuôn mặt để tự động điểm danh sinh viên Khảo sát số phương pháp nhận diện khuôn mặt 2.4.1 Phương pháp Viola-Jones 2.4 Phương pháp nhận diện khuôn mặt Viola-Jones thuật toán phổ biến hiệu sử dụng để phát khuôn mặt hình ảnh Được giới thiệu Paul Viola Michael Jones vào năm 2001, thuật toán trở thành công cụ quan trọng lĩnh vực nhận diện khuôn mặt Phương pháp Viola-Jones hoạt động theo bước sau: - Tạo tính (features) - Huấn luyện phân lớp AdaBoost - Xác định vị trí khn mặt - Điều chỉnh thơng số AdaBoost - Đánh giá lọc khuôn mặt phát 2.4.2 Phương pháp VGGFace Phương pháp VGGFace phương pháp nhận diện khn mặt dựa mạng nơron tích chập (CNN) phát triển nhóm nghiên cứu Đại học Oxford Nó thiết kế để nhận diện nhúng đặc trưng khuôn mặt vào không gian vector số học Các bước phương pháp VGGFace bao gồm: - Xác định cắt khuôn mặt - Biểu diễn khuôn mặt mạng nơ-ron tích chập VGGFace - Nhúng khn mặt vào khơng gian vector - So sánh nhận diện khuôn mặt 2.4.3 Phương pháp Eigenfaces Eigenfaces phương pháp nhận diện khuôn mặt giới thiệu Sirovich Kirby vào năm 1987 Phương pháp dựa phân tích thành phần (PCA) để giảm số chiều liệu khuôn mặt tạo không gian chứa thành phần quan trọng Các bước phương pháp Eigenfaces là: - Chuẩn bị liệu: - Xây dựng ma trận ảnh - Tính tốn trung bình khn mặt - Tính tốn ma trận hiệp phương sai - Tính tốn vectơ riêng giá trị riêng - Chọn thành phần - Chiếu khn mặt 2.4.4 Đánh giá đề xuất giải pháp nhận diện khuôn mặt Khi nghiên cứu tổng quan giải pháp nhận diện khuôn mặt Viola-Jones, VGGFace Eigenfaces để thực điểm danh tự động, có số khó khăn hạn chế sau đây: Viola-Jones:  Khó khăn việc phát khn mặt với độ xác cao đối diện với tình có nhiễu, ánh sáng yếu góc nhìn khác  Có thể xảy sai sót việc xác định vị trí đặc trưng khn mặt, đặc biệt khn mặt có biến đổi lớn góc, tỷ lệ ánh sáng VGGFace:  Đòi hỏi lượng lớn liệu huấn luyện để đạt độ xác cao Việc thu thập chuẩn bị liệu huấn luyện tốn tốn thời gian  Độ phức tạp mơ hình VGGFace lớn, địi hỏi sức mạnh tính tốn cao tài ngun phần cứng mạnh để triển khai chạy mơ hình cách hiệu Eigenfaces:  Yêu cầu tiền xử lý liệu phức tạp, bao gồm việc chuẩn hóa kích thước độ sáng ảnh  Khả phân biệt đặc trưng mơ hình bị giới hạn đối mặt với biến đổi nghiêng, quay, hay biến dạng ngoại lệ khuôn mặt Đề xuất thực hiện: Để giải vấn đề cải thiện độ xác hiệu suất hệ thống điểm danh tự động, sử dụng xử lý ảnh thuật toán học sâu MTCNN FaceNet Các giải pháp đề xuất bao gồm: 2.5 Kết luận chương Bài tốn nhận diện khn mặt toán quan trọng lĩnh vực xử lý ảnh máy tính Nó đóng vai trị quan trọng nhiều ứng dụng thực tiễn bảo mật, điểm danh tự động, giám sát an ninh, xác thực người dùng thiết bị điện tử, lĩnh vực y tế Trong trình tìm hiểu nghiên cứu tốn này, tiếp cận với phương pháp nhận diện khuôn mặt phổ biến: VGGFace, Eigenfaces, Viola-Jones ứng dụng tốn nhận diện khn mặt đời sống thực Sử dụng MTCNN FaceNet cho toán nhận diện khn mặt có nhiều ưu điểm Đầu tiên, MTCNN FaceNet có khả học đặc trưng phức tạp phụ thuộc vào ngữ cảnh ảnh, giúp tăng độ xác tốn Thứ hai, MTCNN FaceNet có khả tự động học đặc trưng cần thiết từ liệu, giảm thiểu công sức thời gian cần để tinh chỉnh thông số phương pháp nhận diện Tổng quan, sử dụng MTCNN FaceNet phương pháp hiệu để giải tốn nhận diện khn mặt Để đạt kết tốt nhất, cần đầu tư đầy đủ tài nguyên công sức cho việc thu thập chuẩn bị liệu, huấn luyện tinh chỉnh mơ hình deep learning 3.1 CHƯƠNG NGHIÊN CỨU CÁC PHƯƠNG PHÁP NHẬN DIỆN KHN MẶT Nghiên cứu phương pháp phát khn mặt Phát khuôn mặt lĩnh vực quan trọng lĩnh vực nhận dạng khuôn mặt thị giác máy tính Mục tiêu nghiên cứu tìm phương pháp hiệu để nhận diện định vị khn mặt hình ảnh video Có nhiều phương pháp đề xuất nghiên cứu lĩnh vực Một phương pháp tiếp cận sử dụng đặc trưng khuôn mặt, chẳng hạn mắt, mũi miệng, để nhận dạng định vị khuôn mặt Các phương pháp Viola-Jones, LBP HOG sử dụng để trích xuất xác định đặc trưng Trong năm gần đây, mạng nơ-ron tích chập (CNN) trở thành phương pháp mạnh mẽ để phát khuôn mặt Các mạng nơ-ron sâu MTCNN áp dụng để phát khuôn mặt với hiệu suất cao Các mạng CNN có khả tự động học đặc trưng từ liệu đạt kết ấn tượng việc phát khuôn mặt Trong luận văn tập trung nghiên cứu phương pháp phát khuôn mặt phổ biến Viola-Jones MTCNN 3.1.1 Phương pháp Viola-Jones 3.1.1.1 Cấu trúc mơ hình Viola-Jones Mơ hình Viola-Jones phương pháp phổ biến nhận diện đối tượng, đặc biệt nhận diện khuôn mặt Nó sử dụng để phát đặc trưng (features) quan trọng ảnh dựa vào để xác định có mặt đối tượng ảnh Cấu trúc mơ hình Viola-Jones bao gồm hai phần chính: Haar-like features AdaBoost Hình 3-2 Tổng quan mơ hình hoạt động Viola-Jones 3.1.1.2 Các đặc trưng Haar-like Các đặc trưng Haar-like sử dụng việc xác định khn mặt người hình chữ nhật đen trắng Có tổng cộng bốn đặc trưng để nhận diện khuôn mặt người Mỗi đặc trưng Haar-like tạo thành từ kết hợp hai ba hình chữ nhật trắng đen, minh họa đây: Hình 3-3 Đặc trưng Haar-like Để áp dụng đặc trưng vào việc xác định khuôn mặt người, đặc trưng Haarlike mở rộng chia thành tập đặc trưng sau: Đặc trưng cạnh(edge feature) Hình 3-4 Đặc trưng cạnh Đặc trưng đường(line feature) Hình 3-5 Đặc trưng đường Đặc trưng xung quanh tâm(center-surround features) Hình 3-6 Đặc trưng xung quanh tâm 3.1.1.3 Lớp chọn đặc trưng Ada Boost Trong cửa sổ định, có nhiều đặc trưng lấy ra, có số số thực hữu ích việc nhận diện khn mặt Để tìm đặc trưng tốt nhất, thuật toán Adaboost sử dụng Các đặc trưng gán trọng số để tạo hàm đánh giá định, xác định xem cửa sổ có chứa khuôn mặt hay không Mỗi đặc trưng chọn có khả phát nhiều nửa trường hợp ngẫu nhiên 14 Phân loại đa lớp: Mơ hình VGGFace huấn luyện để phân loại khuôn mặt thành nhiều lớp khác Ví dụ, mơ hình huấn luyện để phân loại khuôn mặt thành danh mục người tiếng nhận diện đặc điểm đặc trưng khuôn mặt 3.2.1.2 Phương thức hoạt động VGGFace Kiến trúc VGGNet bao gồm 11 tầng tích chập, tầng chưa tốn tử tuyến tính theo sau nhiều lớp phi tuyến tính (ReLU) Max Pooling Tám khối tích chập khối cuối Fully Connected(FC) Việc sử dụng lớp softmax dánh cho vấn đề phân loại nhiều lớp Tất lớp tích chập theo sau lớp phi tuyến tính (ReLU) Lần nhúng cuối lấy từ lớp fully connected trước Do đó, cho vector có 4096 chiều Nhìn chung có 14 lớp tích chập lớp fully connected Total Depth = 16 lớp Hình 3-12 Kiến trúc mô hình VGGFace Ký hiệu mơ hình VGGFace: • support: kích thước kernel • filt dim: Độ sâu kernel • num flits: độ sâu đầu lớp 3.2.1.2.1 Phân loại khuôn mặt Ban đầu network phân loại khuôn mặt cách kiểm tra nhận diện với N=2.662 cá thể 2,6 triệu ảnh Sự cần thiết bước quy mô nhỏ tập liệu huấn luyện Hàm Loss tiêu chuẩn cross-entropy hàm loss Loss = -log(pk), K: số nhãn Pk: xắc suất softmax 3.2.1.2.2 Nhận diện khuôn mặt sử dụng triplet loss 15 Hàm mát hàm tính tốn tương đồng hay khác biệt hai hình ảnh dựa vào khoảng cách Thông thường, lần huấn luyện hàm mát tính giống hai ảnh lớp khác khác lớp Do việc huấn luyện nhiều thời gian Mơ hình FaceNet khắc phục vấn đề sử dụng Triplet loss (Schroff, Florian, 2015) trình huấn luyện, với đầu vào ba ảnh: ảnh gốc (Anchor), ảnh giống gốc (Positive) ảnh khác gốc (Negative) ChatGPT Mục đích hàm Triplet loss giảm thiểu khoảng cách hai hình ảnh chúng Negative tăng cường khoảng cách chúng Positive Hình 3-13 Quá trình huấn luyện với Triple loss 3.2.2 Phương pháp FaceNet 3.2.2.1 Tổng quan mơ hình FaceNet Mơ hình FaceNet mơ hình học sâu (deep learning) sử dụng để trích xuất đặc trưng khuôn mặt thực nhận diện khn mặt Nó phát triển Google vào năm 2015 đạt kết bật lĩnh vực nhận diện khn mặt Mơ hình FaceNet đạt kết ấn tượng việc nhận diện khuôn mặt sử dụng rộng rãi ứng dụng nhận diện, bảo mật quản lý khuôn mặt Nó đánh dấu bước tiến quan trọng lĩnh vực nhận diện khuôn mặt 3.2.2.2 Kiến trúc mô hình FaceNet FaceNet mạng lưới thần kinh học sâu dùng để trích suất điểm đặc trưng gương mặt người có ảnh Mơ hình công bố vào năm 2015 nhà nghiên cứu Google [21] Hình 3-14 Tạo Vector từ gương mặt 16 FaceNet hoạt động cách lấy hình ảnh khuôn mặt làm đầu vào trả vector đầu có 128 giá trị số, đại diện cho đặc trưng quan trọng khuôn mặt Trong lĩnh vực máy học, vector gọi vector nhúng (embedding vector) Tên gọi xuất phát từ việc tất thông tin quan trọng khuôn mặt "nhúng" vào vector Theo lý thuyết, vector nhúng khuôn mặt thuộc người tương đương 3.2.2.3 Phương thức hoạt động FaceNet 3.2.2.3.1 Trích suất đặc trưng để nhận diện gương mặt Để đạt hiệu nhận diện gương mặt tốt nhất, cần có tập hợp vector nhúng gương mặt từ nhiều góc độ khác cách quay video Để nâng cao khả nhận diện xác mơ hình, chỉnh lại ảnh để đảm bảo thẳng hàng [21] Sau hoàn thành tiền xử lý cho gương mặt, sử dụng mơ hình FaceNet huấn luyện trước TensorFlow Tiếp theo, khai báo đầu vào cho mạng lưới, chuyển đổi ảnh thành vector nhúng lưu chúng vào tệp pickle 3.2.2.3.2 Nhận diện gương mặt 17 Để thực nhận diện gương mặt, phải trích xuất đặc trưng từ gương mặt biểu diễn chúng dạng vector nhúng Sử dụng vector nhúng này, ta chủ yếu áp dụng hai phương pháp sau để xác định danh tính gương mặt [21]:  Có thể sử dụng thuật toán phân loại k-NN, SVM Random Forest để xác định danh tính gương mặt  So sánh khoảng cách hai vector nhúng 3.3 Đề xuất giải pháp nhận diện khuôn mặt để ứng dụng cho toán điểm danh sinh viên Dựa nghiên cứu giải pháp phát nhận diện khuôn mặt Viola-Jones, MTCNN, CNN, VGGFace, FaceNet, Random Forest, em định sử dụng MTCNN FaceNet để giải tốn nhận diện khn mặt điểm danh sinh viên lợi ích sau: Độ xác cao, xác định đặc trưng chất lượng cao, khả mở rộng tương thích,hiệu suất tốc độ xử lý 3.4 Kết luận chương Dựa nghiên cứu phương pháp phát nhận diện khuôn mặt ViolaJones,VGGFace, Random Forest, FaceNet, MTCNN DeepNet, kết luận chung sử dụng FaceNet MTCNN lựa chọn tốt để thực nhận diện khuôn mặt MTCNN sử dụng để phát phân loại điểm đặc trưng khuôn mặt, bao gồm việc tìm kiếm khn mặt điểm mắt, mũi miệng MTCNN giúp xác hiệu việc phát khuôn mặt ảnh chuẩn bị liệu cho việc nhận diện khuôn mặt FaceNet mơ hình deep learning sử dụng để trích xuất đặc trưng từ khn mặt Nó tạo biểu diễn đặc trưng xác độc lập với ánh sáng, góc chụp tỉ lệ kích thước khn mặt Điều giúp cho việc so sánh nhận diện khn mặt cách xác Bằng cách kết hợp sử dụng FaceNet MTCNN, ta sử dụng MTCNN để phát giới hạn khuôn mặt ảnh, sau sử dụng FaceNet để trích xuất đặc trưng so khớp khuôn mặt Phương pháp kết hợp khả xác MTCNN việc phát khn mặt khả xác độc lập FaceNet việc trích xuất so sánh đặc trưng khn mặt Vì vậy, kết luận chung sử dụng FaceNet MTCNN lựa chọn tốt để thực nhiệm vụ nhận diện khuôn mặt 18 CHƯƠNG ỨNG DỤNG CÁC PHƯƠNG PHÁP NHẬN DIỆN KHUÔN MẶT TRONG ĐIỂM DANH SINH VIÊN Thiết kế tổng thể hệ thống điểm danh sinh viên 4.1.1 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt 4.1 Hệ thống thiết kế để nhận diện khn mặt qua bước sau: huấn luyện phát khuôn mặt, huấn luyện nhận diện khuôn mặt FaceNet, phát xác định vị trí khn mặt qua camera, trích chọn đặc trưng khn mặt phân loại xác định khuôn mặt Hình 4-15 Sơ đồ thiết kế hệ thống nhận diện khuôn mặt 4.1.2 Mô hình triển khai dự kiến Hình 4-16 Mô hình triển khai hệ thống