(Đồ án hcmute) nhận diện khuôn mặt ứng dụng trong robot tiếp tân

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA NHẬN DIỆN KHUÔN MẶT ỨNG DỤNG TRONG ROBOT TIẾP TÂN GVHD: PGS.TS LÊ MỸ HÀ SVTH: TRẦN VĂN TÍNH MSSV: 16151090 SKL 0 Tp Hồ Chí Minh, tháng 08/2020 an LỜI CẢM ƠN Tơi muốn bày tỏ lòng biết ơn đến PGS.TS Lê Mỹ Hà người hướng dẫn định hướng nghiên cứu để thực đề tài Thầy không giúp tơi giải vấn đề mà cịn thúc đẩy khuyến khích để tơi hồn thành thành cơng nhiệm vụ Để hồn thành luận án, việc tích lũy kiến thức bốn năm quan trọng, tơi xin chân thành cảm ơn đến quý thầy cô khoa Điện - Điện Tử, khoa Đào tạo Chất lượng cao cung cấp cho kiến thức tảng, để tơi hồn thành đồ án Ngồi ra, tơi xin cảm ơn phịng thí nghiệm hệ thống thông minh (ISLab) thuộc khoa Kỹ thuật Điện – Điện Tử, lab trưởng ISLab Lê Mạnh Cường hỗ trợ sở thiết bị để thực đề tài Đồng thời, biết ơn bạn Nguyễn Hồng Hải Nam giúp đỡ tơi thực mơ hình phần cứng cho đồ án Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình bạn bè khuyến khích, hỗ trợ quan tâm tạo điều kiện thuận lợi cho tơi sớm hồn thành đồ án TPHCM, ngày … tháng … năm 2020 Sinh viên thực Trần Văn Tính i an TÓM TẮT Trong đồ án này, hệ thống có khả tự động nhận diện khn mặt sử dụng thuật toán Machine Learning đề xuất ứng dụng robot tiếp tân Hệ thống nhận diện khuôn mặt có ba bước chính: Đầu tiên, mơ hình Deep Learning dựa tảng CNN có tên MTCNN dùng để nhận dạng chỉnh khuôn mặt Sau đó, khn mặt chỉnh mã hóa thành vector 512-d thơng qua việc nhúng mạng tích chập sâu LResNet100E-IR với thuật tốn ArcFace Cuối cùng, hồi quy softmax sử dụng để phân cụm, xác minh khuôn mặt sở liệu Kết đánh giá mơ hình cho độ xác 92.22 % Hệ thống chạy thực nghiệm với mơ hình robot chế tạo cách tích hợp bo mạch Arduino làm điều khiển hành vi đơn giản Từ khóa: nhận dạng khn mặt, nhận diện khn mặt, MTCNN, ArcFace, Softmax, LResNet100E-IR ABSTRACT In this thesis, a system capable of automatic facial recognition using Machine Learning algorithms is proposed for use in receptionist robots The face recognition system has three main steps: First, a Deep Learning model based on CNN called MTCNN is used to identify and align faces Then the align faces Then the aligned faces will be encoded into 512-d vectors by embedding the LResNet100E-IR deep convolution network with ArcFace algorithm Finally, Softmax classifier is used to cluster and verify faces in the database Model evaluation results for accuracy are 92.22% The system was tested experimentally with robot model built by integrating an Arduino as a controller for simple behaviors Keywords: face deetection, face recognition, MTCNN, ArcFace, Softmax, LResNet100E-IR ii an MỤC LỤC LỜI CẢM ƠN i TÓM TẮT ii ABSTRACT ii CHƯƠNG TỔNG QUAN 1.1Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Giới hạn đề tài .2 1.4 Phương pháp nghiên cứu 1.5 Giới thiệu nội dung .2 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 HỆ THỐNG NHẬN DẠNG KHUÔN MẶT .4 2.2 TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO (AI) 2.2.1 Trí tuệ nhân tạo 2.2.2 MACHINE LEARNING 2.2.3 MẠNG NEURAL .8 2.2.4 DEEP LEARNING 10 2.3 CONVOLUTIONAL NEURAL NETWORK 12 2.3.1 Giới thiệu 12 2.3.2 Kiến trúc Convolutional Neural Network 13 2.4 MTCNN (Multi-task Cascade Convolutional Neural Networks) 20 2.4.1 Multi-task 20 2.4.2 Cấu trúc mạng MTCNN cho nhận diện .21 2.5 Mạng ResNet 25 2.5.1 Khái niệm mạng ResNet 25 2.5.2 ResNet34 29 2.5.3 Mạng PyramidNet 33 2.5.4 Mạng LResNet100E 34 2.6 Hàm mát ArcFace cho nhận dạng khuôn mặt 35 2.7 Hàm Softmax 37 2.7.1 Entropy chéo .37 2.7.2 Hàm mát .38 2.8 Biến đổi hình học xử lý ảnh 39 iii an 2.9 Các phép đánh giá .41 2.9.1 Intersection over Union 41 2.9.2 Loss accuracy 42 2.9.3 Precision Recall .42 CHƯƠNG THIẾT KẾ VÀ XÂY DỰNG PHẦN CỨNG 44 3.1 Sơ đồ khối 44 3.2 Giới thiệu phần cứng sử dụng 44 3.2.1 Máy tính xách tay Lenovo Ideapad L340 44 3.2.2 Camera logitech C270 45 3.2.3 Mơ hình robot .47 3.2.4 Các thiết bị sử dụng robot .49 CHƯƠNG PHẦN MỀM VÀ THUẬT TOÁN 58 4.1 Nhiệm vụ nhận diện khuôn mặt 58 4.2 Nhiệm vụ nhận dạng khuôn mặt (Face recognition) 59 4.3 Môi trường làm việc với Deep Learning 61 4.3.1 Tensorflow 61 4.3.2 MXNet 63 4.3.3 Ngôn ngữ lập trình Python 63 4.3.4 Phần mềm Visual Studio Code 65 4.4 Lưu đồ giải thuật .66 4.4.1 Lưu đồ thu thập liệu đào tạo 66 4.4.2 Lưu đồ giải thuật cho hệ thống 68 CHƯƠNG KẾT QUẢ THỰC NGHIỆM 70 5.1 Thu thập liệu 70 5.1.1 Bộ liệu dùng để đánh giá MTCNN 70 5.1.2 Bộ liệu đào tạo nhận dạng khuôn mặt 70 5.1.3 Bộ liệu đánh giá nhận dạng khuôn mặt 70 5.2 Đào tạo hồi quy Softmax 72 5.3 Nhận diện khuôn mặt 73 5.4 Hệ thống hoạt động 75 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .76 6.1 Kết luận .76 6.1.1 Ưu điểm 76 iv an 6.1.2 Nhược điểm 76 6.2 Hướng phát triển .76 TÀI LIỆU THAM KHẢO .77 v an DANH MỤC HÌNH ẢNH Hình 2.1 Hệ thống nhận dạng khuôn mặt Hình 2.2 Các bước nhận dạng khuôn mặt Hình 2.3 Mối quan hệ AI, Machine Learning, Neural Network Deep Learning Hình 2.4 Cấu tạo mạng Neural Hình 2.5 Một số hàm truyền thông dụng 10 Hình 2.6 So sánh hiệu suất Deep learning với thuật toán khác 11 Hình 2.7 Máy tính nhìn hình ảnh dạng ma trận số 13 Hình 2.8 Cấu trúc mạng CNN 14 Hình 2.9 Đầu vào lọc convolutional layer 14 Hình 2.10 Hoạt động tích chập CNN 15 Hình 2.11 Kết hoạt động tích chập 15 Hình 2.12 Thực nhiều phép tích chập đầu vào 16 Hình 2.13 Hoạt động tích chập cho lọc 16 Hình 2.14 Stride 17 Hình 2.15 Áp dụng padding cho hình ảnh đầu vào 18 Hình 2.16 Ví dụ loại pooling 18 Hình 2.17 Max pooling .19 Hình 2.18 Max pooling cho nhiều lớp 19 Hình 2.19 Thao tác làm phẳng 20 Hình 2.20 Lớp Fully-connected .20 Hình 2.21 Quá trình tổng thể MTCNN .21 Hình 2.22 Mạng P-Net .22 Hình 2.23 Mạng R-Net 23 Hình 2.24 Mạng O-Net 24 Hình 2.25 Mối tương quan độ sâu hiệu suất mạng 26 Hình 2.26 Mô-đun Residual .26 Hình 2.27 Mơ-đun Residual Bottlenecks Residual 27 Hình 2.28 Hình ảnh mô-đun residual xếp chồng lên 28 Hình 2.29 Mơ-đun residual 29 Hình 2.30 Các kiến trúc mạng ResNet 30 Hình 2.31 Convolution bước Conv1 30 Hình 2.32 Max pooling bước Conv1 31 Hình 2.33 Hoạt động khối lớp ResNet 31 Hình 2.34 Hoạt động khối lớp ResNet 32 Hình 2.35 Hoạt động lớp ResNet 32 Hình 2.36 Conv giảm kích thước lớp ResNet lớp ResNet .32 vi an Hình 2.37 Hoạt động khối lớp ResNet 33 Hình 2.38 Mạng ResNet34 33 Hình 2.39 Ví dụ mạng PyramidNet 34 Hình 2.40 khối ResNet kích hoạt trước PyramidNet .34 Hình 2.41 Mơ-đun Residual mạng ResNet100E-IR 35 Hình 2.42 Đào tạo DCNN nhận dạng khuôn mặt với hàm mát softmax 35 Hình 2.43 Đào tạo DCNN để nhận dạng khuôn mặt với hàm mát ArcFace .36 Hình 2.44 Ví dụ mát softmax ArcFace danh tính .37 Hình 2.45 So sánh hàm entropy chéo hàm bình phương khoảng cách 38 Hình 2.46 Mơ hình hồi quy Softmax dạng NN 38 Hình 2.47 Intersection Over Union 42 Hình 3.1 Sơ đồ khối hệ thống .44 Hình 3.2 Máy tính xách tay IdeaPad L340 .44 Hình 3.3 Camera logitech C270 46 Hình 3.4 Mơ hình Joy Robot (Robơ Da Alegria) 47 Hình 3.5 Thi công in 3D 47 Hình 3.6 Lắp ráp phần đầu robot .48 Hình 3.7 Lắp ráp phần thân robot 48 Hình 3.8 Mơ hình robot .49 Hình 3.9 Ảnh Arduino Uno .49 Hình 3.10 Sơ đồ chân Arduino Uno 50 Hình 3.11 Mạch điều khiển 16 Channel PWM PCA9685 51 Hình 3.12 Động Servo SG90 52 Hình 3.13 Mạch điều khiển động L298N 53 Hình 3.14 Led matrix 8×8 MAX7219 54 Hình 3.15 Động DC giảm tốc V1 54 Hình 3.16 Pin 18650 55 Hình 3.17 Sơ đồ nối dây cho robot 56 Hình 4.1 Cách thức MTCNN hoạt động 58 Hình 4.2 Phép biến đổi affine chỉnh khn mặt 59 Hình 4.3 Mơ pre-traned model LResNet100E-IR trích xuất đặc trưng .60 Hình 4.4 Mạng Softmax 61 Hình 4.5 Cơng cụ thực thi phân tán Tensorflow .62 Hình 4.6 Một số thư viện Python 65 Hình 4.7 Giao diện phần mềm Visual Studio Code 66 Hình 4.8 Lưu đồ thu thập liệu 67 Hình 4.9 Lưu đồ mã hóa liệu 68 Hình 4.10 Lưu đồ giải thuật cho hệ thống .69 vii an Hình 5.1 Bộ liệu đánh giá MTCNN .70 Hình 5.2 Tập liệu đào tạo nhận diện khuôn mặt 71 Hình 5.3 Bộ liệu kiểm thử 71 Hình 5.4 Biểu đồ loss accuracy hồi quy softmax 72 Hình 5.5 Confusion matrix 73 Hình 5.6 Nhận dạng mặt nghiêng điều kiện ánh sáng tốt 74 Hình 5.7 Kết chạy real-time với ánh sáng đèn huỳnh quang .74 Hình 5.8 Hệ thống hoạt động 75 viii an DANH MỤC BẢNG Bảng 3.1 Thông số kỹ thuật máy tính IdeaPad L340 43 Bảng 3.2 Yêu cầu sử dụng camera 44 Bảng 3.3 Thông số kỹ thuật camera Logitech C270 44 Bảng 3.4 Thông số kỹ thuật Arduino Uno 48 Bảng 3.5 Thông số kỹ thuật mạc điều khiển 16 Channel PWM PCA9685 49 Bảng 3.6 Thông số kỹ thuật động Servo SG90 50 Bảng 3.7 Thông số kỹ thuật mạch điều khiển động L298N .51 Bảng 3.8 Thông số kỹ thuật Leb matrix 8x8 MAX7219 52 Bảng 3.9 Thông số kỹ thuật động DC giảm tốc V1 .53 Bảng 3.10 Thông số kỹ thuật Pin 18650 53 ix an Hình 4.6 Một số thư viện Python 4.3.4 Phần mềm Visual Studio Code Visual Studio Code trình biên tập code phát triển Microsoft dành cho Windows, Linux vầ MacOS Nó hỗ trợ chức debug, kèm với Git, có syntax highlighting, tự hồn thành code thơng minh, snippets, cải thiện mã nguồn Visual Studio Code dựa Electron, tảng sử dụng để triển khai ứng dụng Node.js máy tính cá nhân chạy động bố trí Blink Mặc dù sử dụng tảng Electron [12] phần mềm khác Atom, thực dựa trình biên tập Visual Studio Online Trong khảo sát vào năm 2019 Stack Overflow, Visual Studio Code xếp hạng trình biên tập mã phổ biến nhất, với 50,7% 87.317 người trả lời tuyên bố sử dụng Visual Studio Code sử dụng với nhiều ngơn ngữ lập trình Thay hệ thống dự án, cho phép người dùng mở nhiều thư mục, sau lưu khơng gian làm việc để tái sử dụng tương lai Điều cho phép hoạt động trình soạn thảo mã không riêng cho ngôn ngữ nào, trái với Microsoft Visual Studio sử dụng tệp giải pháp sln độc quyền tệp dự án dành riêng cho dự án Nó hỗ trợ số ngơn ngữ lập trình tính khác cho ngôn ngữ Các tệp thư mục khơng mong muốn loại trừ khỏi án thơng qua cài đặt Nhiều tính Visual Studio Code không hiển thị thông qua menu giao diện người dùng, 65 an truy cập thông qua bảng lệnh Visual Studio mở rộng thơng qua plugin có sẵn thông qua kho lưu trữ trung tâm Điều bao gồm bổ sung cho trình soạn thảo hỗ trợ ngơn ngữ Một tính đáng ý khả tạo tiện ích mở rộng bổ sung hỗ trợ cho ngơn ngữ, chủ đề, trình gỡ lỗi mới, thực phân tích mã tĩnh, thêm mã hóa, sử dụng giao thức máy chủ ngơn ngữ kết nối với dịch vụ bổ sung Hình 4.7 Giao diện phần mềm Visual Studio Code 4.4 Lưu đồ giải thuật 4.4.1 Lưu đồ thu thập liệu đào tạo Trong trình đào tạo, sau MTCNN áp dụng để phát khn mặt từ hình ảnh, khuôn mặt chỉnh (theo năm mốc) trích xuất với kích thước 112 × 112 Khung hình khn mặt trích xuất lưu thư mục sẵn sàng cho giai đoạn 66 an Hình 4.8 Lưu đồ thu thập liệu Các hình ảnh thu thập thư mục sau mã hóa thành vector với kích thước 512-d lưu vào sở liệu 67 an Hình 4.9 Lưu đồ mã hóa liệu 4.4.2 Lưu đồ giải thuật cho hệ thống Như hình 4.9 mặt trích xuất đặc trưng nhúng 512-d tải trước camera bắt đầu ghi hình Sau đó, MTCNN sử dụng để phát khn mặt khung hình, bounding box lớn 100×100 khn mặt chỉnh lại, sau chúng mã hóa thành vector nhúng 512-d Sau đó, hình ảnh khn mặt vừa mã hóa so sánh với tập huấn luyện sở liệu 68 an Ở đây, hồi quy Softmax áp dụng để phân loại Kỹ thuật cho phép đánh giá xác suất hình ảnh khn mặt từ khung thuộc lớp sở liệu Để tăng thêm độ xác, phần sinh viên kết hợp thêm so sánh khoảng cách cosin khuôn mặt nhúng cở sở liệu hình ảnh khn mặt khung Hình 4.10 Lưu đồ giải thuật cho hệ thống Sau nhận diện khuôn mặt, hệ thống phát lời chào (nếu khuôn mặt khung hình người vừa nhận diện hệ thống tự động bỏ qua) Nếu phím “q” nhấn, kết thúc hệ thống 69 an CHƯƠNG KẾT QUẢ THỰC NGHIỆM 5.1 Thu thập liệu Ba liệu thu thập: Bộ liệu dùng để đánh giá MTCNN, liệu đào tạo nhiệm vụ nhận diện khuôn mặt, liệu đánh giá nhiệm vụ nhận diện khuôn mặt 5.1.1 Bộ liệu dùng để đánh giá MTCNN Bộ liệu gồm 6832 hình ảnh có chứa khn mặt cắt từ video 10 thành viên ISLab chế độ màu RGB Hình 5.1 Bộ liệu đánh giá MTCNN 5.1.2 Bộ liệu đào tạo nhiệm vụ nhận dạng khuôn mặt Để thu thập liệu cho đào tạo, chương trình tự động sử dụng Người yêu cầu lấy mẫu phải xuất trước camera quay đầu chậm tư để camera chụp khn mặt theo góc độ khác nhau, điều kiện sáng khác Trong trình thu thập, liệu lưu tự động vào thư mục có tên người Hình 5.1 cho thấy liệu thu thập Bộ liệu thu thập gồm 10 class – 10 người khác nhau, class có 50 khn mặt người 70 an Hình 5.2 Tập đào tạo nhận diện khuôn mặt 5.1.3 Bộ liệu đánh giá nhiệm vụ nhận diện khuôn mặt Bộ liệu dùng để nhận diện gồm 1000 hình ảnh có chứa khn mặt, người có 100 khung hình chứa khn mặt người nhiều góc độ (chính diện, nghiêng bên trái, nghiên bên phải, ngẩng đầu…) nhiều điều kiện (ánh sáng, khoảng cách đến camera) hình 5.3 Hình 5.3 Bộ liệu kiểm thử 71 an 5.2 Nhận dạng khuôn mặt với MTCNN Kết sau dùng MTCNN với liệu đánh giá: • Số lượng hình ảnh liệu: 6832 • Số mặt MTCNN nhận dạng được: 6472 • Số khn mặt nhận dạng sai (false positive): 105 6472 𝑅𝑒𝑐𝑎𝑙𝑙 = ( ) × 100% = 94.73% 6832 6371 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = ( ) × 100% = 98.44% 6472 6371 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = ( ) × 100% = 93.25% 6832 5.3 Đào tạo hồi quy Softmax Dữ liệu sau nhúng lưu trữ laptop, cấu hình Core-i5 9300H xung nhịp 2.40GHz, RAM 8GB, GPU Geforce GTX 1050 với khả tính tốn 6.1 [20] Code viết Visual Studio Code với Tensorflow framework Mạng đào tạo với batch size 32, tỷ lệ học (learning rate) 0.001 với 10 epoch Kết loss accuracy hình 5.2 Hình 5.4 Biểu đồ loss accuracy hồi quy softmax 72 an • • • • Train_loss: 6.7778𝑒 −5 Train_accuracy: ≈ Test_loss: 2.6516𝑒 −5 Test_accuracy: ≈ 5.3 Nhận diện khuôn mặt Để đánh giá độ xác, confusion matrix tính với liệu kiểm thử hình 5.4 Hình 5.5 Confusion matrix Ở đây, ta dùng confusion matrix để đánh giá mô hình, độ xác tập kiểm thử 98,9% (cao) Các khuôn mặt bị nhận dạng sai mặt nghiêng, mặt điều kiện sáng không tốt thơng tin khn mặt nhiều 73 an Ở điều kiện ánh sáng tốt mặt nghiêng nhận dạng (như hình 5.5) Hình 5.6 Nhận dạng mặt nghiêng điều kiện ánh sáng tốt Hình 5.6 biểu diễn kết kiểm tra hệ thống thời gian thực phòng nghiên cứu ISLab Phòng trang bị đèn huỳnh quang, người lấy hình ảnh đào tạo ngồi trước camera Hình 5.7 Kết chạy real-time với ánh sáng đèn huỳnh quang 74 an 5.4 Hệ thống hoạt động Độ xác hệ thống nhận dạng khn mặt: 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦ℎ𝑡 = 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦𝑑𝑒𝑡𝑒𝑐𝑡𝑖𝑜𝑛 × 𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦𝑟𝑒𝑐𝑜𝑔𝑛𝑖𝑡𝑖𝑜𝑛 = 93.25% × 98.9% = 92.22% Hình 5.8 Hệ thống hoạt động Như hình 5.7, ví dụ có người bắt đầu tiến lại gần robot, người thứ đủ gần robot – robot nhận dạng danh tính người đó, vẫy tay đưa lời chào Khi người thứ qua, người thứ hai tiến lại gần robot – robot nhận dạng danh tính người thứ hai sau vẫy tay đưa lời chào 75 an CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận 6.1.1 Ưu điểm Đề tài sinh viên trình bày việc xây dựng hệ thống nhận diện khuôn mặt ứng dụng robot tiếp tân thuật toán Machine Learning Sinh viên thực tập liệu đào tạo gồm 10 người khác (50 hình ảnh khn mặt góc độ điều kiện sáng khác nhau) mơ hình đánh giá với 100 hình ảnh chứa khn mặt người Độ xác hệ thống đánh giá cao (98,2%), hệ thống nhận diện khuôn mặt nhiều trường hợp khác độ sáng, hướng nghiêng, kích thước khn mặt Hệ thống thực thời gian thực cho kết cao (8 ÷12 FPS) Cùng với đó, kết hợp thuật tốn MTCNN ArcFace có độ ổn định cao MTCNN hoạt động tốt (độ xác tương đốivà nhanh), phát khuôn mặt ổn định điều kiện khác phạm vi độ chiếu sáng ArcFace thuật toán tốt để nhận dạng khuôn mặt với liệu hạn chế để đào tạo trả độ xác cao 6.1.2 Nhược điểm Thuật toán MTCNN thường bị false positive (phát khn mặt khơng có mặt người) khó phát khn mặt cúi xuống Để MTCNN hoạt động tốt nhất, yêu cầu khung hình camera có độ phân giải cao 6.2 Hướng phát triển Hệ thống nhận diện khuôn mặt xây dựng thực nhiều ứng dụng thực tế như: hệ thống điểm danh, chấm công tự động, thực kiểm soát an ninh, … 76 an TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] Ivan Dokmanic, Reza Parhizkar, Juri Ranieri, Martin Vetterli “Euclidean distance matrices: Essential Theory, Algorithm and Application” 15 Aug 2015 ( version 2) H Li, Z Lin, X Shen, J Brandt, G Hua (2015) “A Convolutional Neural Network Cascade for Face Detection,” IEEE Conf on Computer Vision and Pattern Recognition, pp 5325-5334 Y Taigman, M Yang, M Ranzato, and L Wolf Deepface: Closing the gap to human-level performance in face verification In CVPR, 2014 F Schroff, D Kalenichenko, and J Philbin Facenet: A unified embedding for face recognition and clustering In CVPR, 2015 O M Parkhi, A Vedaldi, and A Zisserman Deep face recognition In BMVC, volume 1, page 6, 2015 G Huang, M Ramesh, T Berg, and E Learned Miller, labeled faces in the wild: A database for studying face recognition in unconstrained environments, Technical Report 07-49, UMass, 2007 Neeraj Kumar, Alexander C Berg, Peter N Belhumeur, and Shree K Nayar, Attribute and Simile Classifiers for Face Verification, International Conference on Computer Vision (ICCV), 2009 Navaneeth Bodla, Jingxiao Zheng, Hongyu Xu, Jun-Cheng Chen, Carlos Castillo, Rama Chellappa, Deep Heterogeneous Feature Fusion for TemplateBased Face Recognition, arXiv preprint arXiv:1702.04471, 2017 Yann LeCun, Yoshua Bengio, and Geoffrey Hinton “Deep learning” In: Nature 521.7553 (2015), pages 436–444 (cited on pages 21, 126, 128) K He, X Zhang, S Ren, and J Sun Deep residual learning for image recognition In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 770–778, 2016 Castle, N (n.d.) What is Artificial Intelligence? Retrieved from https://www.datascience.com/blog/what-is-artificial-intelligence “Microsoft’s new Code editor is built on Google’s Chromium” Ars Technica Y Guo, L Zhang, Y Hu, X He, and J Gao Ms-celeb-1m: A dataset and benchmark for large-scale face recognition In European Conference on Computer Vision, pages 87–102 Springer, 2016 Q Cao, L Shen, W Xie, O M Parkhi, and A Zisserman Vggface2: A dataset for recognising faces across pose and age arXiv:1710.08092, 2017 C J Parde, C Castillo, M Q Hill, Y I Colon, S Sankaranarayanan, J.-C Chen, and A J O’Toole Deep convolutional neural network features and the original image arXiv:1611.01751, 2016 77 an [16] R Ranjan, C D Castillo, and R Chellappa L2-constrained softmax loss for discriminative face verification arXiv:1703.09507, 2017 [17] ArcFace: Additive Angular Margin Loss for Deep Face Recognition, 2019 Feb [18] N Srivastava, G E Hinton, A Krizhevsky, I Sutskever, and R Salakhutdinov Dropout: a simple way to prevent neural networks from overfitting Journal of machine learning research, 15(1):1929–1958, 2014 [19] https://machinelearningcoban.com/2017/02/17/softmax/ [20] https://developer.nvidia.com/cuda-gpus [21] https://users.soict.hust.edu.vn/trungtt/uploads/slides/CG05_ModelingTrans pdf [22] https://www.instructables.com/id/Joy-Robot-Rob%C3%B4-Da-Alegria-OpenSource-3D-Printed-A/ [23] https://mc.ai/understanding-and-visualizing-resnets/ [24] D Han, J Kim, and J Kim Deep pyramidal residual networks arXiv:1610.02915, 2016 [25] K He, X Zhang, S Ren, and J Sun Identity mappings in deep residual networks In ECCV, 2016 [26] K He, X Zhang, S Ren, and J Sun Delving deep into rectifiers: Surpassing human-level performance on imagenet classification In Proceedings of the IEEE international conference on computer vision, pages 1026–1034, 2015 78 an S an K L 0 ... Văn Tính i an TĨM TẮT Trong đồ án này, hệ thống có khả tự động nhận diện khn mặt sử dụng thuật tốn Machine Learning đề xuất ứng dụng robot tiếp tân Hệ thống nhận diện khn mặt có ba bước chính:... sử dụng nhận diện khn mặt để mở khóa thiết bị di động; Facebook sử dụng hệ thống gán tag mặt bạn bè để kết nối cộng đồng; công ty tài sử dụng nhận diện khn mặt để xác thực toán thay cho thẻ cứng;... đánh giá MTCNN 70 5.1.2 Bộ liệu đào tạo nhận dạng khuôn mặt 70 5.1.3 Bộ liệu đánh giá nhận dạng khuôn mặt 70 5.2 Đào tạo hồi quy Softmax 72 5.3 Nhận diện khuôn mặt