Xử lý ảnh nhận dạng khuôn mặt

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI TP.HCM Khoa: Công nghệ thông tin - - BÁO CÁO CÁ NHÂN XỬ LÝ ẢNH Đề tài: NHẬN DẠNG KHUÔN MẶT Giảng viên hướng dẫn: PGS TS Lê Hoàng Thái Sinh viên thực hiện: Lê Đình Triều Mã số sinh viên: N18DCCN229 Lớp: D18CQCN01-N TP.HCM, Tháng 05 / 2021 MỤC LỤC I Giới thiệu đề tài II Bài toán III Giới thiệu mạng Nơ ron tích chập (Convolution Neural Networks) Khái niệm mạng nơ ron tích chập Mơ hình mạng nơ ron tích chập IV Nguyên lý hoạt động toán Các bước hoạt động Phát khuôn mặt (Face Detection): Tiền xử lý (Preprocessing): Xác minh khuôn mặt (Face Verification) V Triển khai ứng dụng nhận dạng khuôn mặt Jupyter Notebook Cài đặt môi trường Triển khai Juputer Notebook Kết đánh giá VI VII Ứng dụng toán 11 Ngăn chặn tội phạm cửa hàng bán lẻ 11 Tương lai công nghệ 12 I Giới thiệu đề tài - Nhận dạng khuôn mặt (Face Recognition) phương pháp sinh trắc học hiệu bắt đầu ứng dụng rộng rãi gần Nhờ ưu việt tiện lợi Nhận dạng khuôn mặt, công nghệ ứng dụng áp dụng ngày rộng rãi ngành điện thoại di động ngành cơng nghiệp sinh trắc II Bài tốn - III Nhiều công nghệ sinh trắc học sử dụng, Giới thiệu mạng Nơ ron tích chập (Convolution Neural Networks) Khái niệm mạng nơ ron tích chập Mạng nơ ron tích chập mạng truyền thẳng đặc biệt Mạng nơ ron tích chập mơ hình học sâu phổ biến tiên tiến Hầu hết hệ thống nhận diện xử lý ảnh sử dụng mạng nơ ron tích chập tốc độ xử lý nhanh độ xác cao Trong mạng nơ ron truyền thống, tầng coi chiều, mạng nơ ron tích chập, tầng coi chiều, gồm: chiều cao, chiều rộng chiều sâu (Hình 1.) Mạng nơ ron tích chập có hai khái niệm quan trọng: kết nối cục chia sẻ tham số Những khái niệm góp phần giảm số lượng trọng số cần huấn luyện, tăng nhanh tốc độ tính tốn Hình Các tầng (layer) CNN chiều Hình Hình minh họa ví dụ sử dụng CNN để phân lớp lồi vật Mơ hình mạng nơ ron tích chập Có ba tầng để xây dựng kiến trúc cho mạng nơ ron tích chập: - Tầng tích chập Tầng gộp (pooling layer) Tầng kết nối đầy đủ (fully-connected layer) Tầng kết nối đầy đủ giống mạng nơ ron thông thường, tầng chập thực tích chập nhiều lần tầng trước Tầng gộp làm giảm kích thước mẫu khối × tầng trước Ở mạng nơ ron tích chập, kiến trúc mạng thường chồng ba tầng để xây dựng kiến trúc đầy đủ Ví dụ minh họa kiến trúc mạng nơ ron tích chập đầy đủ: Hình Ví dụ cấu trúc LeNet-5 IV Nguyên lý hoạt động tốn Các bước hoạt động Hình Các bước thực tốn Nhận dạng khn mặt Phát khn mặt (Face Detection): Hình Phát khn mặt Trích xuất đặc trưng khn mặt sử dụng CNN - - Ảnh đầu vào gồm nhiều người, với gương mặt diện tương đối diện để hệ thống nhận dạng Sau phát vị trí kích thước nhiều khuôn mặt, chúng cắt ra, lưu vào sở liệu để tiến hành q trình tiền xử lý Sử dụng CNNs để trích xuất đặc trung gương mặt, sau lưu vào máy đặc trưng để tiến hành bước xác minh sau Tiền xử lý (Preprocessing): - Chuẩn hố kích thước ảnh khn mặt sở liệu, ảnh nhận dạng cần kích thước định trước - Làm giảm nhiễu, điều chỉnh độ sáng tối làm tăng chất lượng ảnh Xác minh khuôn mặt (Face Verification) Ở bước xác minh khn mặt, hệ thống đối chiếu hình ảnh đưa vào với tập liệu có máy, điện thoại hệ thống chấm công Khi đối chiếu đặc trung trích xuất, trùng khớp (Accuracy) hệ thống cho thực mở khóa máy (trên điện thoại) xác minh nhân viên (ở hệ thống chấm cơng) Hình Mơ hình FaceNet - V Triển khai ứng dụng nhận dạng khuôn mặt Jupyter Notebook Cài đặt môi trường Cài đặt Anaconda Hình Cài đặt Anaconda Cài đặt OpenCV - Hình Sử dụng Anaconda cài đặt thư viện OpenCV Hình Sử dụng Terminal cài đặt OpenCV Triển khai Juputer Notebook Tải Model train Hình Code tải pretrain models nhận dạng khuôn mặt Import thư viện OpenCV faceCascade Hình Import thư viện OpenCV Chạy chương trình với Webcam laptop Hình 10 Chạy chương trình sử dụng Webcam Kết đánh giá a Yêu cầu nhận dạng khn mặt Đánh giá: Chương trình chạy tốt Webcam, nhận dạng mặt người - Hình 11 Nhận dạng khuôn mặt người b Yêu cầu nhận dạng khn mặt người thật ảnh Hình 12 Nhận dạng nhiều khuôn mặt lúc 10 - Kết quả: Chương trình nhận dạng gương mặt: Người thật Ảnh điện thoại Đánh giá: Chương trình mạng CNN túy, nhận dạng Đặc trung mặt người, chương trình nhận dạng mặt người, khơng phân biệt khn mặt thật hay ảnh tĩnh VI Ứng dụng tốn Cơng nghệ Nhận dạng khuôn mặt áp dụng rộng rãi thiết bị di động nhờ tính tiện dụng hiệu phương pháp Ngăn chặn tội phạm cửa hàng bán lẻ - Camera nhận dạng khuôn mặt sử dụng để xác định thông tin tội phạm đến người bán hàng người có tiền sử gian lận vào cửa hàng bán lẻ, để họ kịp thời phịng tránh Hình ảnh cá nhân tội phạm kết hợp với liệu có ập tức thông báo đến chủ cửa hàng bán lẻ có tội phạm đột nhập vào khu mua sắm - Hệ thống nhận dạng khuôn mặt giảm hoàn toàn tội phạm bán lẻ Theo liệu chúng tôi, nhận diện khuôn mặt giảm cố phía bên ngồi xuống cịn 34%, quan trọng hơn, giảm tới 91% cố bạo lực cửa hàng bán lẻ Các hệ thống điểm danh khuôn mặt - Tại số trường cao đẳng đại học nước ngồi, lớp học thường có số lượng sinh viên tham gia đơng mà khó kiểm sốt liệu sinh viên có thực tham gia lớp học hay không Nếu mà dùng cách điểm danh truyền thống cách kí vào danh sách có khả sinh viên kí hộ lẫn nhau, điểm danh tên người lại thời gian - Tuy nhiên, cơng nghệ Nhận dạng khn mặt giải vấn đề Để vào lớp điểm danh, sinh viên phải quét nhận dạng khuôn mặt để khớp với liệu lưu trường Vì trừ bạn có anh em sinh đơi, cúp lớp khơng cịn điều dễ dàng Thanh toán online - Alipay mắt hệ thống nhận diện gương mặt “Smile to Pay” giới cửa hàng KFC Hàng Châu, Trung Quốc 11 - - Ant Financial, đơn vị điều hành tảng toán điện tử Alipay dùng trang mua sắm trực tuyến Tmall Taobao Alibaba, vừa triển khai ứng dụng thương mại hệ thống toán nhận diện gương mặt - Việc ứng dụng “Smile to Pay”, sử dụng công nghệ Face++ startup Megvii phát triển, cho thấy Trung Quốc, quốc gia đông dân giới, trở thành môi trường thử nghiệm ứng dụng dịch vụ VII Tương lai cơng nghệ Có nhiều hướng phát triển cho chương trình này, phát triển mặt ứng dụng mặt thuật toán (để cải thiện hiệu phát mặt người) Có thể xây dựng ứng dụng cần đến phát mặt người mà không cần nhận dạng Ví dụ hệ thống ghép hình, ghép khn mặt phát vào ảnh khác (chẳng hạn ghép khuôn mặt người sử dụng cho khuôn mặt người tiếng) Ngồi phát triển chương trình theo hướng nhận dạng khuôn mặt, xây dựng hệ thống để học đặc trưng người cần nhận dạng Khi thực hiện, ta đưa qua ảnh qua chương trình phát mặt người để phát nhanh khn mặt có ảnh, sau so sách khn mặt với khn mặt mà chương trình “học” từ trước, so sánh đặc trưng hai khn mặt, trùng đưa thông tin khuôn mặt nhận dạng Hiện công nghệ nhận dạng khuôn mặt xu hướng Sự ứng dụng công nghệ không riêng lĩnh vực an ninh, bảo mật mà nhiều dịch vụ phủ điện tử, sức khỏe, bán hàng Xu hướng kết hợp phương pháp sinh trắc phát triển rộng rãi Ngày nay, kết hợp phương pháp Nhận dạng vân tay, Nhận dạng khuôn mặt 2D 3D, nhận dạng mống mắt phát triển rộng rãi 12 ... nhận dạng khuôn mặt Đánh giá: Chương trình chạy tốt Webcam, nhận dạng mặt người - Hình 11 Nhận dạng khn mặt người b Yêu cầu nhận dạng khuôn mặt người thật ảnh Hình 12 Nhận dạng nhiều khn mặt lúc... trình nhận dạng gương mặt: Người thật Ảnh điện thoại Đánh giá: Chương trình mạng CNN túy, nhận dạng Đặc trung mặt người, chương trình nhận dạng mặt người, không phân biệt khuôn mặt thật hay ảnh. .. trình phát mặt người để phát nhanh khuôn mặt có ảnh, sau so sách khn mặt với khn mặt mà chương trình “học” từ trước, so sánh đặc trưng hai khn mặt, trùng đưa thơng tin khuôn mặt nhận dạng Hiện