ĐỒ án cơ sở 5 đề tài NGHIÊN cứu và xây DỰNG hệ THỐNG điểm DANH BẰNG NHẬN DIỆN GƯƠNG mặt

ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỒ ÁN CƠ SỞ ĐỀ TÀI: NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG ĐIỂM DANH BẰNG NHẬN DIỆN GƯƠNG MẶT Sinh viên thực : CHU VĂN HOÀNG : LÊ THỊ THÙY LINH Giảng viên hướng dẫn : THS.PHAN TRỌNG THANH Đà nẵng, tháng năm 2020 - 17IT3 - 17IT3 ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỒ ÁN CƠ SỞ ĐỀ TÀI: NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG ĐIỂM DANH BẰNG NHẬN DIỆN GƯƠNG MẶT Đà Nẵng, tháng năm 2020 LỜI CẢM ƠN Lời đầu tiên, chúng em xin cảm ơn đến toàn thể quý thầy cô giáo khoa Công nghệ thông tin truyền thông Những người đồng hành chúng em năm bước vào ngưỡng Đại học, giúp chúng em học cách tự lập tự tìm tịi thứ định hướng học tập Chúng em xin gửi lời cảm ơn đến Thầy Phan Trọng Thanh, thầy giúp đỡ chúng em việc giải đáp tìm hiểu thơng tin liên quan đến học phần mà chúng em gặp nhiều vướng mắc, từ đưa hướng giải để chúng em chọn đề tài phù hợp với khả Kiến thức vơ hạn mà tiếp nhận kiến thức thân người tồn hạn chế định Do đó, q trình hồn thành báo cáo này, chắn khơng tránh khỏi thiếu sót Chúng em mong nhận góp ý đến từ thầy để viết hồn thiện Kính chúc thầy sức khỏe thành công đường nghiệp giảng dạy NHẬN XÉT (Của giảng viên hướng dẫn) ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ……………………………………………………………………………… DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat MỞ ĐẦU AI – Artificial Intelligence là khoa học làm cho máy móc trở nên thơng minh, với mục tiêu cuối cho phép người máy sở hữu khả tương tự người Trên thực tế, AI có tác động đáng kể đến sống chúng ta, cách cải thiện sức khỏe, an toàn suất người Ví dụ, ứng dụng AI vào việc nhận dạng giọng nói giúp điều khiển thiết bị thơng minh dễ dàng hơn, phân tích video thơng minh giúp đường phố an toàn Việc triển khai công nghệ AI quan trọng để thúc đẩy chất lượng phạm vi ứng dụng IoT nói chung Các cơng nghệ AI tùy biến cao cho nhiệm vụ riêng lẻ ứng dụng đòi hỏi nghiên cứu chuyên ngành cấu trúc chuyên biệt. Deep Learning, hình thức học máy dựa liệu đào tạo tạo điều kiện cho nhận dạng mẫu nâng cao hình ảnh, video nhận dạng đối tượng / hoạt động Các thuật tốn áp dụng rộng rãi cho loạt ứng dụng dựa nhận dạng mẫu DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DANH MỤC HÌNH Hình 1: Face Recognition 11 Hình 2: Guido van Rossum - Nhà sáng lập Python 12 Hình 3: Ngơn ngữ Python 13 Hình Thông tin sinh viên 14 Hình Thơng tin ngày điểm danh .15 Hình Quá trình xử lý ảnh 15 Hình OpenCV 17 Hình Tensorflow .18 Hình Biểu đồ lượt star repos github sử dụng TF 18 Hình 10 Thống kê nhu cầu tensorflow nhà tuyển dụng 19 Hình 11 Matplotlib 19 Hình 12 Scikit-learn 20 Hình 13 Phương pháp truyền thống 22 Hình 14 Nhận diện 3D .23 Hình 15 Tìm kiếm khuôn mặt đại diện (face clustering) 25 Hình 16 Facenet 26 Hình 17 Triple loss 27 Hình 18 Fretrain model 28 Hình 19 Mơ hình MTCNN 28 Hình 20 12-calibration-net 29 Hình 21 24-calibraton-net 29 Hình 22 48-calibration-net 30 Hình 23 MTCNN .30 Hình 24 P-Net 31 Hình 25 R-Net 32 Hình 26 O-Net 33 Hình 27 Kết thuật tốn 34 Hình 28 Sơ đồ hệ thống .35 Hình 29 Tạo môi trường cho Project 36 Hình 30 Data Collection 37 Hình 31Cắt ảnh (Data Collection) .38 Hình 32 Lưu hình ảnh vào thư mục với tên thư mục tương ứng với Name 39 Hình 33 Find face and crop 39 Hình 34 Train Facenet .39 Hình 35 Lưu file your_model.pkl vào thư mục models .41 Hình 36 Giao diện train 42 Hình 37: Face Recognition 44 Hình 38 GUI system 45 DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DANH MỤC CỤM TỪ VIẾT TẮT STT Cụm từ Viết tắt MTCNN Multi-task Cascaded Convolutional Networks DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat Mục Lục CHƯƠNG : GIỚI THIỆU 10 1.1 Giới thiệu đề tài 10 1.2 Vấn đề cần giải 10 1.3 Đề xuất nội dung thực 11 1.4 Chức dự kiến .11 CHƯƠNG : NGHIÊN CỨU TỔNG QUAN 12 2.1 Tổng quan Python .12 2.1.1 Giới thiệu 12 2.1.2 Đặc điểm 13 2.2 Tổng quan SQLite .14 2.2.1 SQLite 14 2.2.2 Chức SQLite 14 2.3 Tổng quan trình xử lý ảnh 15 2.3.1 Xử lý ảnh ? 15 2.3.2 Các trình xử lý ảnh 15 2.4 Tổng quan thư viện cài đặt 17 2.4.1 OpenCV 17 2.4.2 Tensorflow .18 2.4.3 Matplotlib 19 2.4.4 Pillow 19 2.4.5 Scipy 20 2.4.6 Scikit-learn 20 2.5 Hệ thống nhận diện gương mặt .20 2.5.1 Các ứng dụng phổ biến 20 2.5.2 Các loại hệ thống xác thực 21 2.5.3 Các phương pháp xác thực gương mặt 22 2.5.4 Các toán khác Face .24 2.5.5 Thuật toán nhận dạng Facenet 25 2.5.6 Các pretrain model facenet 27 2.6 MTCNN 28 2.6.1 Tổng quan thư viện 28 2.5.2 Cấu trúc CNNs 29 2.6.3 Cách thức hoạt dộng .30 CHƯƠNG 3: SƠ ĐỒ HỆ THỐNG 35 CHƯƠNG : TRIỂN KHAI XÂY DỰNG 36 DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat 4.1 Khởi tạo enviroment dự án Anaconda 36 4.2 Cài đặt thư viện 36 4.3 Chuẩn bị ảnh khuôn mặt để train (Data Collection) 37 4.4 Training liệu .39 4.5 Nhận dạng gương mặt 43 4.6 Giao diện hệ thống 45 CHƯƠNG : KẾT LUẬN 46 TÀI LIỆU THAM KHẢO .47 DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat CHƯƠNG : GIỚI THIỆU 1.1 Giới thiệu đề tài Đề tài : Tìm hiểu, nghiên cứu thực xây dựng hệ thống nhận diện gương mặt Bối cảnh thực đề tài: Ngày nay, với tiến vượt bậc khoa học kỹ thuật nói chung, mơn khoa học xử lý ảnh thu thành tựu lớn lao chứng tỏ vai trị khơng thể thiếu với ứng dụng sâu rộng khoa học kỹ thuật đời sống xã hội Một phận khoa học xử lý ảnh lĩnh vực thị giác máy tính thu hút nhiều quan tâm nhà nghiên cứu xử lý ảnh với mục tiêu xây dựng nên giới hệ thống thị giác kỳ diệu người mơ hệ thống máy tính, đem lại khả cảm nhận thị giác cho hệ thống môi trường xung quanh Mơ ước hệ thống máy tính hồ nhập vào giới người với đầy đủ giác quan thị giác đóng vai trị quan trọng thực hố với đóng góp nghiên cứu nhà khoa học phạm vi toàn giới Đồng thời việc phát triển thiết bị phần cứng phƣơng diện thu nhận, hiển thị, tốc độ xử lý mở nhiều hướng cho cơng nghệ xử lý ảnh Nó giải tốn giám sát tự động phục vụ quan, ngân hàng, kho bạc, việc giám sát giao thông tự động, phục vụ bãi đỗ xe, trạm thu phí tự động việc phát nhận dạng mặt người phục vụ công tác quân sự, an ninh 1.2 Vấn đề cần giải Hệ thống nhận dạng khn mặt là một ứng dụng máy tính tự động xác định nhận dạng người từ bức hình ảnh kỹ thuật số hoặc khung hình video từ nguồn video Một cách để thực điều so sánh các đặc điểm khn mặt chọn trước từ hình ảnh một cơ sở liệu về khuôn mặt Hệ thống thường sử dụng các hệ thống an ninh và so sánh với dạng sinh trắc học khác hệ thống nhận dạng vân tay hay trịng mắt Từ thu thập, phân tích tài liệu nhận dạng khn mặt, tìm hiểu phương pháp nhận dạng khn mặt, nghiên cứu công cụ xây dựng hệ thống DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat Tương tự R-Net chia làm layers bước cuối,cung cấp đầu tọa độ bounding boxes, độ tin tưởng O-Net lấy bounding boxes từ R-Net làm đầu vào đánh dấu tọa độ mốc khn mặt Hình 26 O-Net DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat Ở bước này, thuật toán đưa kết đầu khác bao gồm: xác suất khuôn mặt nằm bounding box, tọa độ bounding box tọa độ mốc khn mặt (vị trí mắt, mũi, miệng) Hình 27 Kết thuật tốn DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat CHƯƠNG 3: SƠ ĐỒ HỆ THỐNG Hình 28 Sơ đồ hệ thống DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat DO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.matDO.an.co.so.5.de.tai.NGHIEN.cuu.va.xay.DUNG.he.THONG.diem.DANH.BANG.NHAN.DIEN.GUONG.mat CHƯƠNG : TRIỂN KHAI XÂY DỰNG 4.1 Khởi tạo enviroment dự án Anaconda conda create -n yourenvname python=x.x anaconda Trong đó: yourenvname tên enviroment mà bạn cần tạo, x.x phiên python (3.7) mà project bạn sử dụng Kích hoạt (Activate) enviroment: activate yourenvname Hình 29 Tạo mơi trường cho Project 4.2 Cài đặt thư viện tensorflow