Đề tài đếm và nhận dạng khuôn mặt sử dụng deep learning

Đề tài:Đếm nhận dạng khuôn mặt sử dụng Deep learning SVTH: Đỗ Bùi Thanh Xuyên Nguyễn Xuân Hiếu Nội dung Tổng quan đề tài Xây dựng chương trình Tổng quan đề tài 1.1 Đặt vấn đề: Thiết kế hệ thống đếm nhận diện khuôn mặt • Hệ thống đếm nhận diện khuôn mặt chương trình máy tính tự động xác định nhận dạng khuôn mặt người từ ảnh khung hình video kĩ thuật số, từ ứng dụng việc đếm số người tham gia hay số người quen v.v • Thực cách so sánh đặc điểm khuôn mặt chọn với liệu xây dựng sẵn database • Ứng dụng nhiều lĩnh vực như: giáo dục, an ninh, v.v • Sử dụng Deep learning, OpenCV, Python Tổng quan đề tài • Đếm xác người vào dựa công nghệ học sâu: Face detection, face tracking, face recognition • Nhận biết người quen, người lạ, nhân viên • Phát triển them tính mới: điểm danh, v.v 1.2 Giới thiệu thư viện • OpenCV: (Open Computer Vision) thư viện mã nguồn mở hàng đầu cho xử lý thị giác máy tính, machine learning, xử lý ảnh OpenCV đươc viết C/C++, có tốc độ tính tốn nhanh, sử dụng với ứng dụng liên quan đến thời gian thực.  Một số ứng dụng: • Nhận dạng ảnh • Xử lý hình ảnh • Phục hồi hình ảnh/video • Thực tế ảo • Các ứng dụng khác 1.2 Giới thiệu thư viện • DliB: Là thư viện phần mềm mã nguồn mở chạy nhiều tảng viết ngôn ngữ C++ bơi Davis King Dlib hỗ trợ nhiều công việc khác threading, networking, machine learning, computer vision, v.v Trong lĩnh vực computer vision, dlib có api giúp thực hiện: • Facial landmark detection • Correlation tracking • Deep metric learning 1.2 Giới thiệu thư viện • Pickle: phần thư viện python theo mặc định Pickle cung cấp khả lưu đối tượng Python quy trình • Numpy: thư viện lõi phục vụ cho khoa học máy tính Python Nó cung cấp đối tượng mảng đa chiều hiệu suất cao công cụ để làm việc với mảng Bên cạnh đó, NumPy sử dụng nơi chứa liệu chung đa chiều hiệu Các kiểu liệu tùy ý xác định cách sử dụng NumPy, cho phép NumPy tích hợp liền mạch nhanh chóng với nhiều loại sở liệu 1.2 Giới thiệu thư viện • Face Recognition: thư viện Python công bố lần đầu vào ngày 13 tháng năm 2017 Thư viện công cụ vô hữu dụng cho ứng dụng nhỏ với độ xác lên đến 99.38% Tuy khả nhận dạng face-recognition bị hạn chế bơi điều kiện bên phụ thuộc vào độ phân giải ảnh thư viện mạnh hữu dụng cho project nhận dạng khuôn mặt 2.1 Nhận diện khn mặt • Cấu trúc Các thư mục • Dataset: chứa hình ảnh khn mặt mẫu kèm id • Examples: chưa ví dụ • Output: lưu trữ ảnh video xử lý • Input: chứa ảnh video chưa xử lý Các file python: • build_dataset.py • encode_faces.py • recognizer_faces.py 2.1 Nhận diện khn mặt • Bước 1: Xây dựng dataset Lấy liệu từ ảnh sẵn có Lấy liệu từ camera 2.1 Nhận diện khn mặt • Bước 2: Xác định khn mặt 2.1 Nhận diện khn mặt • Bước 2: Mã hóa ảnh thành dạng vecto encode_faces.py: chuyển đổi liệu ảnh dataset thành dạng vecto 2.1 Nhận diện khn mặt • Bước 3: Nhận dạng khn mặt Ảnh Chad Smith recognizer_faces.py 128 vecto đặc trưng sinh bơi mạng CNN Ảnh Will Ferrel 128 vecto đặc trưng sinh bơi mạng CNN So sánh vecto đặc trưng Will Ferrel Ảnh khác Will Ferrel 128 vecto đặc trưng sinh bơi mạng CNN II, xây dựng chương trình 2.2 People counting • Xử lý ảnh kỹ thuật số (digital image processing-DIP) phát triển nhanh chóng với phát triển cơng nghệ học máy(Machine learning) • DIP xử lý thơng qua công nghệ đám mây bỏ qua yêu cầu phần cứng nên tiết kiệm chi phí ưa chuộng cơng nghệ rẻ linh hoạt • DIP có nhiều ứng dụng đời sống, ứng dụng phổ biến nhận diện khuôn mặt đếm số lượng hành khách áp dụng nhiều cửa hàng, siêu thị,bảo tàng, trạm ga tàu,… • Trong chủ đề chúng em tìm hiểu cách triển khai đếm người openCV People counting • Ta sử dụng thư viện opencv , numpy dlib Bước 1: thực lấy hình ảnh từ webcam hàm videoCapture thư viện opencv Tạo object detector nhận diện khuôn mặt People counting • Bước 2: tạo vịng lặp để xử lý hình ảnh thu từ camera ta biết video chuỗi cách ảnh trình chiếu liên tục Ta thực chuyển đổi hình ảnh thu đc từ webcam thành video để nhận diện khuôn mặt xác cần chuyển đổi color image thành grayscale image Sử dụng hàm cvtColor opencv với tham số đầu vào hình ảnh cần chuyển đổi frame, hàm chuyển đổi BGR2Gray People counting • Ta lấy hình ảnh khn mặt từ webcame dựa vào nhận diện đối tượng dectector object Hình ảnh khn mặt thu ảnh gray • Đối tượng khn mặt gồm có thơng số chiều cao , chiều rộng , tọa độ vị trí x,y People counting Bước 3: tạo biến đếm để kiểm soát số lượng khn mặt khung hình với khn mặt nhận ta vẽ hình chữ nhật từ thông số chiều dài, chiều rộng tọa độ thu Và tăng số số lượng khuôn mặt nhận diện thêm THANK YOU ! ... networking, machine learning, computer vision, v.v Trong lĩnh vực computer vision, dlib có api giúp thực hiện: • Facial landmark detection • Correlation tracking • Deep metric learning 1.2 Giới... với liệu xây dựng sẵn database • Ứng dụng nhiều lĩnh vực như: giáo dục, an ninh, v.v • Sử dụng Deep learning, OpenCV, Python Tổng quan đề tài • Đếm xác người vào dựa công nghệ học sâu: Face detection,... OpenCV: (Open Computer Vision) thư viện mã nguồn mở hàng đầu cho xử lý thị giác máy tính, machine learning, xử lý ảnh OpenCV đươc viết C/C++, có tốc độ tính tốn nhanh, sử dụng với ứng dụng liên