(Đồ án hcmute) thiết kế hệ thống điểm danh bằng nhận diện khuôn mặt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG THẾT KẾ HỆ THỐNG ĐIỂM DANH BẰNG NHẬN DIỆN KHN MẶT GVHD: THS NGUYỄN ĐÌNH PHÚ SVTH: LƯU MẠNH THƯỜNG MSSV: 16141081 SVTH: ĐỖ VĂN MINH MẨN MSSV: 16141058 SKL 0 Tp Hồ Chí Minh, tháng 08/2020 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ HỆ THỐNG ĐIỂM DANH BẰNG NHẬN DIỆN KHUÔN MẶT SVTH: Lưu Mạnh Thường MSSV: 16141081 SVTH: Đỗ Văn Minh Mẫn MSSV: 16141058 Khóa: 16 Ngành: Cơng nghệ kỹ thuật Điện tử, truyền thơng Tp Hồ Chí Minh, tháng năm 2020 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THẾT KẾ HỆ THỐNG ĐIỂM DANH BẰNG NHẬN DIỆN KHUÔN MẶT SVTH: Lưu Mạnh Thường MSSV: 16141081 SVTH: Đỗ Văn Minh Mẫn MSSV: 16141058 Khóa: 16 Ngành: Công nghệ kỹ thuật Điện tử, truyền thông GVHD: ThS.Nguyễn Đình Phú Tp Hồ Chí Minh, tháng năm 2020 i an CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** Tp Hồ Chí Minh, ngày - tháng - năm 2014 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Họ tên sinh viên: Ngành: Giảng viên hướng dẫn: Ngày nhận đề tài: MSSV: MSSV: Lớp: ĐT: Ngày nộp đề tài: Tên đề tài: Các số liệu, tài liệu ban đầu: Nội dung thực đề tài: Sản phẩm: TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN ii an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: MSSV: Họ tên Sinh viên: MSSV: Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông Tên đề tài: Họ tên Giáo viên hướng dẫn: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 20… Giáo viên hướng dẫn (Ký & ghi rõ họ tên) iii an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: MSSV: Họ tên Sinh viên: MSSV: Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông Tên đề tài: Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 20… iv an Giáo viên phản biện (Ký & ghi rõ họ tên) v an LỜI CẢM ƠN Đầu tiên nhóm thực đề tài xin cảm ơn chân thành đến thầy Nguyễn Đình Phú Thầy tận tình hướng dẫn nhóm từ vấn đề nhỏ nhặt việc hoàn thành tốt đề tài Nhóm xin gửi lời cảm ơn chân thành đến thầy cô khoa Điện- Điện Tử khoa đào tạo Chất Lượng Cao tạo điều kiện tốt cho em hoàn thành đề tài Những kiến thức thầy dạy, áp dụng vào đề tài Đồ Án Tốt Nghiệp nhiều, từ kiến thức nhỏ nhặt học lớn Một lần nhóm xin gửi lời cảm ơn đến tất Thầy Cơ, khơng có Thầy Cơ nhóm khó hồn thành đề tài Tiếp theo nhóm xin cảm ơn Anh Chị khóa bạn sinh viên tạo điều kiện giúp đỡ, từ tài liệu liên quan đến đề tài kinh nghiệm sống thực tế Nhóm xin cảm ơn tập thể bạn lớp 16141CL1 lớp 16141CL2 chia sẻ giúp đỡ nhiều để nhóm hồn thành đề tài Nhóm Thực Hiện Lưu Mạnh Thường Đỗ Văn Minh Mẫn vi an TĨM TẮT Hiện nay, cơng nghệ nhận diện khuôn mặt ngày phát triển mạnh, ứng dụng ngày nhiều xã hội Chúng ta sử dụng cơng nghệ nhận diện khuôn mặt cho hệ thống bảo mật smartphone, hay sử dụng để nhận diện truy bắt tội phạm, đặc biệt ứng dụng rộng rãi hệ thống chấm công, điểm danh quan hay trường học Chính tính ứng dụng cao cơng nghệ nhận diện khn mặt nên nhóm định chọn đề tài “Điểm danh nhận diện khuôn mặt” với mong muốn tìm hiểu thiết kế mơ hình nhận dạng khn mặt thu nhỏ, để ứng dụng cho việc điểm danh lớp học thực tập khoảng 25 sinh viên vii an MỤC LỤC CHƯƠNG GIỚI THIỆU 1.1 GIỚI THIỆU 1.2 MỤC TIÊU ĐỀ TÀI 1.3 GIỚI HẠN ĐỀ TÀI 1.4 PHƯƠNG PHÁP NGHIÊN CỨU .2 1.5 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU 1.6 BỐ CỤC QUYỂN BÁO CÁO .3 CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 KỸ THUẬT PHÁT HIỆN KHUÔN MẶT QUA ẢNH .4 2.1.1 Phát khuôn mặt dựa vào Haar-Like AdaBoost 2.1.2 Đặc trưng Haar 2.1.3 Ảnh tích hợp ( Intergral image) 2.1.4 Adaboost 10 2.1.5 Cascade of Classifer 12 2.2 NHẬN DIỆN KHUÔN MẶT DỰA VÀO LBPH (LOCAL BINARY PATTERN HISTOGRAM) 14 2.2.1 Lý thuyết LBP .14 2.2.2 Huấn luyện thuật toán 15 2.2.3 Áp dụng thuật toán LBP lên ảnh 15 2.2.4 Trích xuất biểu đồ Histogram .19 2.2.5 Thực nhận dạng khuôn mặt 19 2.3 NGÔN NGỮ PYTHON VÀ THƯ VIỆN OPEN CV 20 2.3.1 Hệ điều hành Raspbian 20 2.3.2 Ngôn ngữ Python .21 2.3.3 Thư viện Open CV 23 2.3.4 Công tụ lập trình Thonny Python IDE .24 viii an Đồ án tốt nghiệp 4.1.2 Kết thực nghiệm từ việc nhận diện khuôn mặt Khởi động phần mềm máy tính tiến hành kiểm tra ảnh nhiều trường hợp khác Hình 4.2 Khn mặt chuẩn Khi ta đặt vị trí với lúc tranning cường độ ánh sáng thích hợp kết xem chuẩn Hình xem chuẩn với vị trí Tranning trước Và so sánh kết tên Man Khoa đào tạo Chất Lượng Cao an 68 Đồ án tốt nghiệp Hình 4.3 Đúng khn mặt đặt xa kết No have img Hình 4.4 Đúng khn mặt điều kiện ánh sáng Khoa đào tạo Chất Lượng Cao an 69 Đồ án tốt nghiệp 4.1.3 Kết thực tế hiển thị LCD Ban đầu camera chưa hay chưa phát khn mặt thơng báo sau Hình LCD lúc chưa phát khuôn mặt Sau sinh viên đứng trước camera camera nhện diện LCD thơng báo sau Hình 4.6: LCD lúc phát bạn Mẫn vào sớm Khoa đào tạo Chất Lượng Cao an 70 Đồ án tốt nghiệp Hình 4.7: Phát bạn Thường vào trễ 4.1.4 Kết gửi lên trang tính Excel Giao diện trang tính Excel Hình 4.8: Bảng kết lưu vào trang tính Excel Khoa đào tạo Chất Lượng Cao an 71 Đồ án tốt nghiệp Người quản lí tải trang Excel để làm liệu quản lí sinh viên theo bước hình Hình 4.9: Tải file Excel lưu liệu máy Hình 4.10: File Excel sau tải máy 4.2 ĐÁNH GIÁ HỆ THỐNG 4.2.1 Hoạt động hệ thống Đầu tiên ta cấp nguồn cho Raspberry Pi Tiếp theo ta kết nối cổng Enthernet Raspberry Pi với cổng LAN máy tính thơng qua dây cáp LAN Sau từ máy tính ta mở phần mềm Remote Dekstop Connnection lên sau gõ địa IP Raspberry đăng nhâp vào giao diện Rasbian Khoa đào tạo Chất Lượng Cao an 72 Đồ án tốt nghiệp Hình 4.11: Giao diện đăng nhập IP cần kết nối Remote Desktop Connection Sau kết nối xong giao diện: Hình 4.12: Đăng nhập vào giao diện Raspberry Pi Tên tài khoản đăng nhập mặc định Pi Khoa đào tạo Chất Lượng Cao an 73 Đồ án tốt nghiệp Mật đặng nhập mặc định Raspberry (Ta thay đổi) Hình 4.13: Giao diện sau kết nối thành cơng Sau ta mở trình duyệt thornny lên mở file face recog.py để tiến hành gán ID chụp ảnh lấy mẫu người cần nhận diện Hình 4.14: Giao diện chụp ảnh lấy mẫu Số 1: Khung chụp ảnh người nhận diện Khoa đào tạo Chất Lượng Cao an 74 Đồ án tốt nghiệp Số 2: Gán ID cho người nhận diện Tiếp theo ta mở chạy file face-regconotion-tranning.py tranning tập ảnh mẫu (nếu chụp hình lấy mẫu bỏ qua bước này) Hình 4.15: Giao diện lúc tranning Sau ta mở file reg_det.py để chạy chương trình nhận dạng quan sát kết nhận dạng thơng qua cửa số khung hình, sinh viên xem có nhận dạng hay khơng thơng qua hình LCD 16x2 mơ hình Khoa đào tạo Chất Lượng Cao an 75 Đồ án tốt nghiệp Hình 4.16: Giao diện nhận diện khuôn mặt Đồng thời ta đăng nhập vào Google Drive để mở trang tính Excel lên quản lí thơng tin sinh viên, người nhận diện biết thơng tin thông qua LCD 16x2 4.2.2 Kiểm tra hoạt động hệ thống Dưới bảng thống kê lại lần nhận diện Bảng 4.1: Bảng thống kê kết chương trình Tên Số lần nhận diện Số lần nhận diện Tỷ lệ xác Thường 20 19 95% Mẫn 20 18 90% Khang 20 18 95% Hào 20 19 95% Người khác 20 10% Khoa đào tạo Chất Lượng Cao an 76 Đồ án tốt nghiệp Độ xác thuật tốn bị ảnh hưởng cường độ ánh sáng khoảng cách khuôn mặt đến camera, khoảng cách khuôn mặt lúc nhận dạng phải gần khoảng cách khn mặt lúc tranning có kết xác Ngồi cảnh quan phía sau khn mặt ảnh hưởng đến độ xác thuật tốn Khoa đào tạo Chất Lượng Cao an 77 Đồ án tốt nghiệp CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương kết luận tổng kết lại vấn đề giải đề tài, đồng thời đề hướng pháp triển xa (hoàn thiện hơn) cho đề tài 5.1 KẾT LUẬN Dựa vào nghiên cứu sở lý thuyết triển khai thực hiện, nhóm thực đề tài xây dựng thành công hệ thống, có đầy đủ chức mục tiêu ban đầu đề ra, khuôn mặt người nhận diện xác thơng qua webcam logitech, LCD trang tính Excel hiển thị đủ thơng tin cần thiết cho người nhận dạng cụng người quản lí Ưu điểm:  Phần cứng thiết kế gọn gàng dễ dàng lắp đặt  Hệ thống nhận diện xác  Hệ thống phát triển tồn diện cho người dùng dể dàng giám sát  Hệ thống trang tính Excel xây dựng dựa vào Google Sheets phổ thông hỗ trợ giao tiếp sẵn với thư viện open CV nên dễ dàng nâng cấp phát triển Nhược điểm:  Hệ thống thiết kế mức độ mơ hình nên số lượng thiết bị module hạn chế  Dữ liệu tham khảo dựa tài liệu nên khơng có tính xác thực Cần có thời gian để thử nghiệm đưa liệu xác phụ hợp  Tốc độ xử lí chậm nên thời gian xử lý lâu  Độ xác khoảng 90% phụ thuộc vào nhiều yếu tố đặc trưng khuôn mặt người yếu tố ngoại cảnh  Camera nhận diện ảnh 2D nên tính bảo mật chưa cao Khoa đào tạo Chất Lượng Cao an 78 Đồ án tốt nghiệp 5.2 HƯỚNG PHÁT TRIỂN Hiện mạch đơn điều khiển Module Raspberry Pi Để nhận dạng gửi liệu đến cho LCD trang tính Excel, tương lai mạch phát triển thêm hệ thống sử dụng kết nhận dạng để điều khiển mạch động lực ứng dụng vào thực tế Ví dụ nhà thơng minh chống trộm vào nhà Có thể kết hợp với board Arduino để điều khiển nhiều thiết bị Khoa đào tạo Chất Lượng Cao an 79 Đồ án tốt nghiệp TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Thanh Hải, “Giáo Trình Xử lý ảnh”, NXB ĐHQG TP.HCM 2014 [2] Nguyễn Duy Thảo, “Giáo Trình Xử lý ảnh”, Đại học Sư Phạm Kỹ Thuật TP.HCM 2015 [3] Nguyễn Đình Phú,”Giáo Trình Thực Hành Vi Xử Lý, Đại học Sư Phạm Kỹ Thuật TP.HCM 2016 [4] Võ Minh Huân,”Lập trình vi điều khiển với Raspberry”, Nhà xuất Thanh Niên Tiếng Anh [4] P Viola and M Jones, "Robust real-time face detection [J]" International Journal of Computer Visio vol 57 no pp 137-154 [5] XueMei Zhao and ChengBing Wei "A Real-time Face Recognition System Based on the Improved LBPH Algorithm" IEEE 2nd International Conference on Signal and Image Processing 2017 [6] P Viola and M Jones "Robust real time object detection" Proceedings of International Journal of Computer Vision pp 137-154 2004 Khoa đào tạo Chất Lượng Cao an 80 Đồ án tốt nghiệp Khoa đào tạo Chất Lượng Cao an 81 S an K L 0 ... thiệu thiết kế hệ thống, thiệt bị cần cho hệ thống Chương 3: Thiết kế hệ thống Sẽ trình bày cách thiết kế để làm hệ thống nhận diện khuôn mặt Chương 4: Kết đánh giá Đánh giá lại kết hệ thống. .. rãi hệ thống chấm công, điểm danh quan hay trường học Chính tính ứng dụng cao cơng nghệ nhận diện khn mặt nên nhóm định chọn đề tài ? ?Điểm danh nhận diện khn mặt? ?? với mong muốn tìm hiểu thiết kế. .. nay, công nghệ nhận diện khuôn mặt ngày phát triển mạnh, ứng dụng ngày nhiều xã hội Chúng ta sử dụng công nghệ nhận diện khuôn mặt cho hệ thống bảo mật smartphone, hay sử dụng để nhận diện truy