Thiết kế hệ thống nhận diện khuôn mặt phục vụ cho hệ thống điểm danh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CNKT ĐIỆN TỬ - VIỄN THÔNG THIẾT KẾ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT PHỤC VỤ CHO HỆ THỐNG ĐIỂM DANH GVHD: ThS LÊ MINH THÀNH SVTH: NGUYỄN HỒNG QN SKL009256 Tp Hồ Chí Minh, tháng 7/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI: THIẾT KẾ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT PHỤC VỤ CHO HỆ THỐNG ĐIỂM DANH Giảng viên hướng dẫn: ThS LÊ MINH THÀNH Sinh viên thực hiện: NGUYỄN HỒNG QN MSSV: 18161136 Lớp: 18161CLVT2A TP Hồ Chí Minh, tháng 07 năm 2022 LỜI CẢM ƠN Lời nói đầu tiên, người thực đồ án xin cảm ơn thầy Lê Minh Thành – giảng viên khoa Điện-Điện tử, trường đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh hướng dẫn cho em đề tài Trong lúc thực hiện, em thầy hướng dẫn tận tình hướng tiếp cận tài liệu góp ý mang tính thực tiễn cho đề tài mà em chọn Một lần nữa, xin cám ơn thầy tận tâm hướng dẫn cho em thực đồ án tốt nghiệp Em xin cảm ơn gia đình ln tạo điều kiện, quan tâm, giúp đỡ động viên em suốt trình học tập hoàn thành đồ án tốt nghiệp Em xin cảm ơn đến bạn khoa đào tạo chất lượng cao nói chung bạn ngành Điện tử - Viễn thơng nói riêng, chia sẻ trao đổi kiến thức cần thiết cho việc nghiên cứu phát triển đề tài Xin chân thành cảm ơn TP Hồ Chí Minh, ngày 25 tháng 07 năm 2022 Người thực đề tài Nguyễn Hồng Qn Tóm Tắt Với việc không ngừng phát triển xã hội nay, công nghệ tiên tiến dần áp dụng vào đời sống ngày Một số cơng nghệ trí tuệ nhân tạo Trí tuệ nhân tạo áp dụng rộng rãi nhiều lĩnh vực khác nhau, từ mô tính tốn mơ hình tốn lớn, dần trở thành cơng cụ tiện ích cho người Một số có việc áp dụng trí tuệ nhân tạo để nhận diện khuôn mặt người nhằm phục vụ cho việc điểm danh Cũng vậy, người thực đồ án định xây dựng mơ hình nhận diện khn mặt trí tuệ nhân tạo để phục cho việc điểm danh Trong đồ án này, người thực đề tài trình bày lý thuyết việc áp dụng thuật tốn để nhận diện khn mặt Haar Cascade hay LBP… Hệ thống tiến hành theo ba bước Bước thứ trình bày cách hệ thống nhận biết khuôn mặt nhân viên Bước thứ hai trích lưu đặc trưng khn mặt người nhân viên Bằng cách trích đặc trưng khn mặt, hệ thống so sánh nhận diện nhân viên Bước cuối cách hệ thống thông báo cho nhân viên việc điểm danh có thành cơng hay khơng Ở người thực đồ án sử dụng hình LCD để hiển thị thông tin tên mã nhân viên để thông báo Sau mô trường hợp khác nhau, nhằm đánh giá xác hiệu suất hoạt động hệ thống Trong q trình thực hệ thống có độ xác chưa cao thời gian hoạt động cịn chậm Rất mong nhận xét, ý kiến đóng góp từ phía hội đồng để báo cáo hồn thiện CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** Tp Hồ Chí Minh, ngày 16 tháng 07 năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Hoàng Quân MSSV: 18161136 Ngành: kỹ thuật công nghệ Điện tử - Viễn thông Lớp: 18161CLVT2A Giảng viên hướng dẫn: ThS Lê Minh Thành ĐT: 0869344550 Ngày nhận đề tài: 15/04/2022 Ngày nộp đề tài: 25/07/2022 Tên đề tài: THIẾT KẾ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT PHỤC VỤ CHO HỆ THỐNG ĐIỂM DANH Các số liệu, tài liệu ban đầu: − Kiến thức ngôn ngữ Python, Tkinter − Kiến thức MySQL, Arduino, Google Firebase − Kiến thức thuật toán Haar Cascade, LBP Nội dung thực đề tài: − Nghiên cứu thuật tốn phát hiện, nhận diện khn mặt − Kết nối thiết kế phần cứng − Chạy đánh giá kết hệ thống Sản phẩm: Hệ thống nhận diện khuôn mặt phục vụ cho việc điểm danh TRƯỞNG NGÀNH GIÁO VIÊN HƯỚNG DẪN CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: Nguyễn Hồng Qn MSSV: 18161136 Ngành: kỹ thuật cơng nghệ Điện tử - Viễn thông Họ tên Giáo viên hướng dẫn: ThS Lê Minh Thành Tên đề tài: THIẾT KẾ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT PHỤC VỤ CHO HỆ THỐNG ĐIỂM DANH NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… Ưu điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… Khuyết điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… Đề nghị cho bảo vệ hay không? ……………………………………………………………………………………… ……………………………………………………………………………………… Đánh giá loại: ……………………………………………………………………………………… Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày 29 tháng 07 năm 2022 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Nguyễn Hồng Qn MSSV: 18161136 Ngành: kỹ thuật cơng nghệ Điện tử - Viễn thông Họ tên Giáo viên hướng dẫn: ThS Lê Minh Thành Tên đề tài: THIẾT KẾ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT PHỤC VỤ CHO HỆ THỐNG ĐIỂM DANH NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… Ưu điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… Khuyết điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… 10 Đề nghị cho bảo vệ hay không? ……………………………………………………………………………………… ……………………………………………………………………………………… 11 Đánh giá loại: ……………………………………………………………………………………… 12 Điểm: ……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày 29 tháng 07 năm 2022 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) MỤC LỤC MỤC LỤC i MỤC LỤC HÌNH iii MỤC LỤC BẢNG .v CÁC TỪ VIẾT TẮT vi CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu 1.2 Mục tiêu đề tài 1.3 Giới hạn .2 1.4 Bố cục đề tài CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan tốn phát khn mặt 2.1.1 Giới thiệu thuật toán Haar cascade 2.1.2 Đặc trưng Haar-like .4 2.2 Tổng quan toán nhận diện khuôn mặt 2.2.1 Thuật toán LBP .9 2.3 Tổng quan MySQL .13 2.3.1 Định nghĩa 13 2.3.2 Đặc điểm MySQL .13 2.4 Chuẩn giao tiếp I2C 14 2.4.1 Giới thiệu I2C 14 2.4.2 Cấu tạo liệu 14 2.4.3 Cách thức hoạt động 15 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 16 i 3.1 Yêu cầu thiết kế .16 3.2 Sơ đồ đặc tả 16 3.3 Sơ đồ khối 17 3.4 Thiết kế khối 18 3.4.1 Thiết kế khối máy ảnh .18 3.4.2 Thiết kế khối xử lý trung tâm 20 3.4.3 Thiết kế khối nhận .22 3.4.4 Thiết kế khối hiển thị .22 3.4.5 Thiết kế khối nguồn 23 3.5 Thiết kế phần mềm 24 3.5.1 Phương pháp phát khuôn mặt 24 3.5.2 Phương pháp trích xuất đặc trưng .28 3.5.3 Phương pháp nhận diện khuôn mặt 28 3.6 Lưu đồ giải thuật 29 3.6.1 Lưu đồ chương trình 29 3.6.2 Lưu đồ mơ hình khởi động hệ thống tự động .30 CHƯƠNG 4: KẾT QUẢ 32 4.1 Mơ hình phần cứng 32 4.2 Đánh giá hệ thống 40 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .48 5.1 Kết luận 48 5.2 Hướng phát triển 48 TÀI LIỆU THAM KHẢO 49 ii MỤC LỤC HÌNH Hình 2.1 Đặc trưng Haar-like thể khuôn mặt Hình 2.2 Các đặc trưng Haar-like Hình 2.3 Đặc trưng cạnh Hình 2.4 Đặc trưng đường .6 Hình 2.5 Đặc trưng xung quanh tâm Hình 2.6 Cách tính Integral ảnh điểm (x,y) Hình 2.7 Ví dụ cách tính nhanh tổng điểm vùng D ảnh Hình 2.8 Mô tả lọc Haar Cascade Hình 2.9 Các tham số LBP 10 Hình 2.10 Áp dụng thuật tốn LBP để lấy đặc trưng khuôn mặt 11 Hình 2.11 Trích xuất hình ảnh thành biểu đồ 12 Hình 2.12 Cấu trúc liệu truyền I2C 15 Hình 3.1 Sơ đồ đặc tả hệ thống 16 Hình 3.2 Sơ đồ khối hệ thống 17 Hình 3.3 Camera giám sát module camera phổ biến 18 Hình 3.4 Thơng tin địa IP mà khối máy ảnh truyền liệu .20 Hình 3.5 Sơ đồ hoạt động khối xử lý trung tâm 20 Hình 3.6 Giao diện khối xử lý trung tâm 22 Hình 3.7 Minh họa hiển thị thông tin lên LCD 23 Hình 3.8 Mơ tả q trình kết nối LCD2004 Esp8266 23 Hình 3.9 Kết phát khn mặt .26 iii Hình 4.9 Nhân viên chưa lưu thơng tin hệ thống trả kết “Nguoi la” Hình 4.10 Thơng tin “Nguoila” Firebase 37 Hình 4.11 LCD hiển thị thông báo “Nguoila” ➢ Cách thêm chỉnh sửa thông tin Nếu người quản lý muốn điều chỉnh hay thêm thông tin nhân viên cần trở lại giao diện truy cập vào nút nhân viên có giao diện quản lý thơng tin nhân viên lên hình 4.12 Nơi điền thơng tin Các tin điều khiển Hình 4.12 Giao diện hệ thống lưu thông tin 38 Bảng thông tin Các thông tin họ tên, mã nhân viên, chức vụ thông tin liên lạc khác lưu trữ vào MySQL thể hình 4.13 4.14 Sau lưu thông tin, người quản lý cần chọn vào thơng tin nhân viên tiến hành lấy ảnh Máy ảnh lấy 100 hình khn mặt dạng ảnh đen trắng hình 4.15 Bởi việc lấy nhiều ảnh khn mặt trích xuất cho nhiều đặc trưng cụ thể việc nhận diện trở nên xác với khuôn mặt người Cuối hệ thống thơng báo lưu ảnh thành cơng hình 4.16 Sau chọn nút “Trích xuất đặc trưng” để hệ thống tiến hành trích đặc trưng gương mặt mà hệ thống lấy mẫu Hình 4.13 Thơng báo lưu thơng tin nhân viên thành cơng Hình 4.14 Thơng tin lưu trữ lại MySQL 39 Hình 4.15 Quá trình thu thập hình ảnh Hình 4.16 Quá trình lưu hình ảnh thành cơng 4.2 Đánh giá hệ thống Từ kết đạt được, người thực đề tài tiến hành khảo sát độ xác việc nhận diện khuôn mặt hệ thống qua hình 4.17 để thuận tiện cho việc biết thông tin 10 nhân viên người thực đề tài quy ước qua việc đặt tên bảng 4.1 40 Bảng 4.1 Bảng quy ước tên nhân viên Họ tên Mẫu thử B.HuuTai A V.BangTranh B T.HuuTai C V.HoangKiet D N.VuDang E D.ThaiDuong F N.GiaKhen G H.PhuongThao H L.KhanhLinh I N.HoangQuan J Từ kết ma trận hình 4.17 thấy hệ thống khơng nhận diện hồn tồn xác Cụ thể mẫu thử B cho kết 70% giống với nó, có tận 30% giống với mẫu thử C hay với mẫu thử E đưa kết giống 50% với 50% cịn lại giống với mẫu thử D Từ điều nói lên hệ thống nhận diện gương mặt cịn hạn chế mặt xác mẫu thử có đặc trưng tương đồng với số mẫu thử khác Với kết người thực đề tài tính tốn hệ thống đạt độ xác nhận diện trung bình phép tính sau: ∑ độ xác trung bình = 90+70+80+90+50+80+90+90+90+90 10 41 = 82% Với kết độ xác trung bình cho việc nhận diện cho thấy hệ thống người thực đề tài hoạt động tương đối xác Hình 4.17 Kết ma trận nhầm lẫn Để tính tốn tổng thời gian từ lúc hệ thống nhận diện tới thông tin điểm danh hiển thị lên LCD, người thực đề tài đưa phép tính sau: 𝛴 = ∆𝑡1 + ∆𝑡2 + 𝑡𝑐𝑜𝑚𝑝 (4.1) Trong đó: ∆𝑡1 khoảng thời gian khối máy ảnh nhận diện khuôn mặt đưa liệu hình ảnh qua khối xử lý trung tâm ∆𝑡2 khoảng thời gian khối xử lý trung tâm nhận thông tin khuôn mặt gửi thông tin lên Firebase cho khối nhận lấy hiển thị LCD 42 𝑡𝑐𝑜𝑚𝑝 khoảng thời gian khối xử lý trung tâm xử lý liệu hình ảnh truyền thông tin người nhận diện lên Firebase ➢ Khoảng thời gian ∆𝒕𝟏 Để tính khoảng thời gian trung bình từ lúc khối máy ảnh khởi động cho trình phát nhận diện khn mặt tới truyền liệu hình ảnh cho khối xử lý trung tâm người thực đề tài thực nghiệm 10 lần lấy mẫu nhận diện khuôn mặt bảng 4.2 sau: Bảng 4.2 Khảo sát thời gian truyền liệu hình ảnh từ khối máy ảnh sang khối xử lý trung tâm Số Thời gian truyền liệu hình ảnh từ khối lần máy ảnh sang khối xử lý trung tâm (đơn vị: giây) 10.59 11.24 10.26 9.56 10.82 11.52 12.08 10.51 10.45 43 10 11.22 Trung bình: 10.825 giây Trong bảng 4.2 trên, người thực đề tài tính khoảng thời gian trung bình mà khối máy ảnh truyền liệu sang khối xử lý trung tâm phép tính sau: ∑ ∆𝑡1 = 10.59+11.24+10.26+9.56+10.82+11.52+12.08+10.51+10.45+11.22 10 = 10.825 giây Có thể thấy khoảng thời gian từ việc truyền liệu hình ảnh từ khối máy ảnh sang khối xử lý trung tâm trung bình 10.825 giây, hệ thống cần có khoảng thời gian lấy địa IP từ khối máy ảnh hiển thị lên hình nhận diện khối xử lý nên trình khiến cho hệ thống nhiều thời gian để xử lý ➢ Khoảng thời gian ∆𝒕𝟐 Sau nhận diện nhân viên, khối xử lý trung tâm gửi lên Firebase thông tin bao gồm họ tên, mã nhân viên với thời gian trạng thái điểm danh lên Google Firebase, khối nhận lấy thông tin hiển thị lên LCD Người thực đề tài tiến hành khảo sát 10 lần thời gian khối nhận lấy thông tin từ Firebase đưa lên LCD để hiển thị bảng 4.3 Bảng 4.3 Khảo sát thời gian hiển thị thông tin điểm danh lên LCD Số Thời gian hiển thị thông tin điểm danh lên lần LCD (đơn vị: giây) 1.53 1.48 2.16 2.03 44 1.72 1.53 1.64 2.01 1.58 10 1.61 Trung bình: 1.669 giây Trong bảng 4.3 trên, người thực đề tài tính khoảng thời gian trung bình mà khối máy ảnh truyền liệu sang khối xử lý trung tâm phép tính sau: ∑ ∆𝑡2 = 1.53+1.48+2.16+2.03+1.72+1.53+1.64+2.01+1.58+1.61 10 = 1.729 giây Khoảng thời gian trung bình mà khối nhận đưa liệu lên khối hiển thị khoảng 1.669 giây Điều khối nhận vừa đảm nhận vai trò lấy liệu từ Firebase liệu đưa lên khối hiển thị cho biết thơng tin tình trạng điểm danh khoảng thời gian xử lý khoảng thời gian định ➢ Khoảng thời gian 𝒕𝒄𝒐𝒎𝒑 Đây khoảng thời gian khối xử lý trung tâm xử lý liệu hình ảnh từ khối máy ảnh so sánh đặc trưng khuôn mặt nhận diện với đặc trưng lưu đưa kết nhận diện Để khảo sát thời gian khối xử lý trung tâm hoạt động người thực đề tài đưa bảng khảo sát 4.4 sau: 45 Bảng 4.4 Khảo sát thời gian khối xử lý trung tâm xử lý liệu hình ảnh Số Thời gian khối xử lý trung tâm xử lý lần liệu hình ảnh (đơn vị: giây) 1.52 1.68 1.23 1.25 2.24 2.01 2.15 1.53 1.32 10 1.48 Trung bình: 1.666 giây Trong 4.4 trên, người thực đề tài tính khoảng thời gian trung bình 𝑡𝑐𝑜𝑚𝑝 phép tính sau: ∑ 𝑡𝑐𝑜𝑚𝑝 = 1.52 + 1.68 + 1.23 + 1.25 + 2.24 + 2.01 + 2.15 + 1.53 + 1.32 + 1.28 = 1.666 giây 10 Có thể thấy khối xử lý trung tâm cần trung bình 1.666 giây để xử lý liệu hình ảnh nhận từ khối máy ảnh đưa thông tin nhận diện lên Firebase Điều chứng tỏ khối xử lý trung tâm hoạt động ổn định sau xử lý liệu hình ảnh từ khối máy ảnh 46 Sau tính giá trị cần thiết người thực đề tài áp dụng công thức 4.1 để tính khoảng thời gian mà hệ thống xử lý tồn từ q trình phát khn mặt qua khối máy ảnh đưa liệu thông tin điểm danh lên LCD sau: 𝛴 = ∆𝑡1 + ∆𝑡2 + 𝑡𝑐𝑜𝑚𝑝 = 10.825 + 1.729 + 1.666 = 14.22 𝑔𝑖â𝑦 Có thể thấy tồn q trình hệ thống thực khoảng thời gian 14.22 giây trình nhận diện khối máy ảnh khoảng thời gian 10.825 giây để kết nối với khối xử lý trung tâm qua đường truyền không dây, điều dẫn đến hệ thống khoảng thời gian đáng kể để xử lý tồn q trình 47 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Đề tài xây dựng hệ thống nhận diện khuôn mặt hồn chỉnh từ việc áp dụng thuật tốn phát hiện, trích xuất đặc trưng phát khn mặt cho hệ thống Ngoài ra, người thực đề tài phát triển thêm ứng dụng nhỏ cách sử dụng kết từ việc nhận việc đưa vào vấn đề điểm danh Tuy nhiên, hệ thống điểm danh chưa hoàn thiện chức năng, thời gian hiển thị thơng tin cịn hạn chế số lượng điểm danh cịn 5.2 Hướng phát triển Sau nghiên cứu xong đề tài, người thực đề tài thực đề xuất thêm hướng phát triển hệ thống sau: • Phát triển hệ thống nhận diện theo hướng cải tiến phần mềm sử dụng thuật tốn khác để hệ thống cải tiến độ xác nhận diện Ngồi phát triển hệ thống nhận diện thiết bị độc lập điện thoại máy tính nhúng • Hệ thống thay đổi máy ảnh để truyền liệu hình ảnh qua khối xử lý trung tâm nhanh ảnh rõ nét • Xây dựng ứng dụng điểm danh thực tế 48 TÀI LIỆU THAM KHẢO [1] B Innovators, "Giải pháp điểm danh an ninh học đường" [2] B Innovators, "Giải pháp nhận diện khuôn mặt" [3] M J Paul Viola, "Rapid Object Detection using a Boosted Cascade of Simple," Cambridge, 2001 [4] A L d A G M Winanda Taqiyyah Imran, "FACE IMAGE DETECTION USING HAAR CASCADE CLASSIFIER," Makassar [5] M N H T W & M S A Md Abdur Rahim, "Face Recognition using Local Binary Patterns (LBP)," Global Journals Inc (USA), Bangladesh, 2013 [6] C S M A Y W a L C Di Huang, "Local Binary Patterns and Its Application to Facial Image Analysis: A Survey" [7] J Chang-yeon, "Face Detection using LBP features," CS 229 Final Project Report, 2008 [8] S M T H E Williams, "Learning MySQL", 2018 [9] J B Jonathan Valdez, "Understanding the I2C Bus," Texas, 2015 [10] R K K Anagha S Dhavalikar, "Facial Expression Recognition Using Euclidean Distance Method," 2014 [11] M H A A Farrukh Sayeed, "Face Recognition using Segmental Euclidean Distance," DESIDOC, 2011 [12] D D C Tanuj Nagaria, "Face Recognition using Euclidean Distance Correlation Algorithm," IRJET, India, 2019 49 [13] "Using ESP32-CAM with Arduino IDE," OLIMEX, 2020 [14] J W Shipman, "Tkinter 8.5 reference: aGUI for," New Mexico, 2013 [15] D Love, "Tkinter GUI Programming by," Packt, BIRMINGHAM MUMBAI, 2018 50 S K L 0