Với đồ án này là đi xây dựng hệ thống khóa cửa thông minh bằng nhận diện khuôn mặt, cần xác định mục tiêu là vấn đề bảo mật cho lối ra vào của một địa điểm nhất định, cụ thể hơn là bộ khóa cửa cho một căng hộ. Yêu cầu đặt ra cho bộ khóa này gồm những tiêu chí sau: • Khả năng nhận dạng có độ chính xác cao. • Đáp ứng được tính an toàn và bảo mật • Cho phép người sử dụng lưu trữ khuôn mặt vào dữ liệu của hệ thống. • Tốc độ mở ổ khóa nhanh, chính xác. • Sản phẩm có tính thẩm mỹ. • Thuận tiện cho người sử dụng.
BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ NÔNG NGHIỆP & PTNT TRƯỜNG ĐẠI HỌC THUỶ LỢI KHOA ĐIỆN – ĐIỆN TỬ TRƯƠNG TUẤN ANH – LỚP 60TĐH2 NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHĨA CỬA THƠNG MINH BẰNG NHẬN DIỆN KHUÔN MẶT NGÀNH: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HĨA GIÁO VIÊN HƯỚNG DẪN: TS NGƠ QUANG VĨ HÀ NỘI – 2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập - Tự Do - Hạnh Phúc o0o NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Trương Tuấn Anh Hệ đào tạo: Chính quy Ngành: Kỹ thuật điều khiển Tự động hóa Lớp: 60TĐH2 Khoa: Điện - Điện Tử TÊN ĐỀ TÀI: NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHĨA CỬA THƠNG MINH BẰNG NHẬN DIỆN KHN MẶT CÁC TÀI LIỆU CƠ BẢN: [1] Tìm hiểu tổng quan khóa cửa thơng minh [2] Giới thiệu mạch thu phát Wifi BLE ESP32-CAM Ai-Thinker, hướng dẫn cài đặt với Arduino IDE [3] Lập trình ESP32 Smartconfig thiết lập wifi qua app [4] Phần mềm lập trình Arduino IDE gì? < https://dientutuonglai.com/arduino-ide-lagi.html> [5] Cơng nghệ AI nhận diện khuôn mặt NỘI DUNG CÁC PHẦN THUYẾT MINH VÀ TÍNH TỐN: Nội dung Tỷ lệ Chương 1: Tổng quan đề tài 20% Chương 2: Nghiên cứu quy trình xử lý ảnh cơng nghệ Chương 3: Thiết kế hệ thống xử lý ảnh Chương 4: Kết thực nghiệm hệ thống HÌNH ẢNH VÀ BẢNG BIỂU: Đồ án có 48 hình ảnh bảng biểu 30% 40% 10% GIÁO VIÊN HƯỚNG DẪN TỪNG PHẦN: Phần Họ tên Giáo viên hướng dẫn Tồn phần TS Ngơ Quang Vĩ NGÀY GIAO NHIỆM VỤ KHĨA LUẬN TỐT NGHIỆP: Ngày……tháng……năm 2022 Trưởng mơn Giảng viên hướng dẫn (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) TS Phạm Đức Đại TS Ngơ Quang Vĩ Sinh viên hồn thành nộp Đồ án tốt nghiệp cho Hội đồng thi tốt nghiệp Ngày tháng năm 2023 Sinh viên làm Đồ án tốt nghiệp (Ký ghi rõ họ tên) Trương Tuấn Anh Nhiệm vụ Đồ án tốt nghiệp Hội đồng thi tốt nghiệp Khoa thông qua Ngày tháng năm 2023 Chủ tịch Hội đồng (Ký ghi rõ họ tên) LỜI CAM ĐOAN Em tên Trương Tuấn Anh, lớp 60TĐH2 xin cam đoan đồ án kết nghiên cứu, tìm hiểu thân em hướng dẫn Ts Ngơ Quang Vĩ Những nhận định, kết quả, hình ảnh đồ án tốt nghiệp thành từ nghiên cứu trực tiếp, nghiêm túc, độc lập thân em Nó mang tính trung thực không chép từ nguồn hình thức Việc tham khảo nguồn tài liệu thực trích dẫn ghi nguồn tài liệu tham khảo quy định Nếu có sai phạm em xin chịu hồn tồn trách nhiệm chịu kỷ luật môn từ phía nhà trường đề Sinh viên thực Ký ghi rõ họ tên Trương Tuấn Anh i LỜI CẢM ƠN Sau gần năm học tập rèn luyện ngơi trường Đại học Thủy Lợi em hoàn thành đồ án, đồ án tốt nghiệp dấu mốc vô quan trọng sinh viên nói chung thân em nói riêng Để hồn thành đồ án này, trước hết em xin gửi cảm ơn chân thành đến thầy, cô giáo khoa Điện – Điện Tử trường Đại Học Thủy Lợi truyền đạt kiến thức, kinh nghiệm cho em bạn sinh viên khác suốt thời gian theo học trường Trong trình thực đồ án em gặp nhiều khó khăn bảo tận tinh thầy cơ, bạn bè gia đình giúp em vượt qua để hồn thành đồ án Đặc biệt hơn, em xin gửi lời cảm ơn sâu sắc đến thầy Ts Ngô Quang Vĩ hướng dẫn bảo, giảng giải tận tình, đưa định hướng giúp em gặp vấn đề khó khăn suốt q trình làm đồ án Một lần em xin chân thành cảm ơn! ii MỤC LỤC DANH MỤC HÌNH ẢNH v DANH MỤC BẢNG BIỂU vii DANH MỤC CÁC TỪ VIẾT TẮT VÀ GIẢI THÍCH CÁC THUẬT NGỮ viii LỜI NÓI ĐẦU CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Nội dung nghiên cứu 1.3.1 Tổng quan loại khóa thông minh 1.3.2 Ưu nhược điểm loại khóa thơng minh CHƯƠNG NGHIÊN CỨU QUY TRÌNH XỬ LÝ ẢNH VÀ CÔNG NGHỆ 2.1 Giới thiệu vài khái niệm xử lý ảnh 2.1.1 Điểm ảnh 2.1.2 Độ phân giải 2.1.3 Mức xám ảnh 2.2 Các bước xử lý ảnh 2.3 Hệ thống xử lý ảnh 10 2.4 Công nghệ sinh trắc học 11 2.4.1 Xác thực sinh trắc học 11 2.4.2 Các loại xác thực sinh trắc học phổ biến 11 2.4.3 Ưu nhược điểm công nghệ sinh trắc học 14 2.5 Cơ sở lý thuyết nhận diện khuôn mặt 15 2.5.1 Giới thiệu 15 2.5.2 Lịch sử nhận diện khuôn mặt 15 2.5.3 Nguyên lý hoạt động 16 2.5.4 Thuật toán 16 2.6 Các chuẩn giao tiếp sử dụng 18 2.6.1 Chuẩn giao tiếp UART 18 2.6.2 Chuẩn giao tiếp SPI 21 iii CHƯƠNG THIẾT KẾ HỆ THỐNG XỬ LÝ ẢNH 26 3.1 Thiết kế sơ đồ khóa 26 3.1.1 Khối xử lý trung tâm 26 3.1.2 Khối chấp hành 31 3.1.3 Khối cảnh báo 33 3.1.4 Khối nguồn 34 3.1.5 Khối cảm biến 36 3.1.6 Nguyên lý hoạt động hệ thống 37 3.2 Lấy địa IP thiếp lập Wifi cho mơ hình 39 3.2.1 Kích hoạt ESP32-CAM lấy địa IP 39 3.2.2 Thiết lập Wifi cho mơ hình 42 3.3 Cách lưu trữ khuôn mặt 44 3.3.1 Phân vùng lại nhớ ESP32 45 3.3.2 Thu thập liệu khuôn mặt để lưu trữ 47 3.4 Thi cơng mơ hình 48 CHƯƠNG KẾT QUẢ THỰC NGHIỆM HỆ THỐNG 50 4.1 Kết đạt 50 4.2 Kết mô hình 50 4.3 Kết thực nghiệm 52 4.3.1 Kết chưa bật nhận diện khuôn mặt 52 4.3.2 Kết bật nhận diện khuôn mặt 53 KẾT LUẬN VÀ KIẾN NGHỊ 56 TÀI LIỆU THAM KHẢO 58 iv DANH MỤC HÌNH ẢNH Hình 2.1 Điểm ảnh ảnh màu Hình 2.2 Sự khác biệt độ phân giải Hình 2.3 Hệ màu RBG Hình 2.4 Các bước xử lý ảnh Hình 2.5 Quá trình xử lý ảnh 10 Hình 2.6 Ảnh nhận diện vân tay 12 Hình 2.7 Ảnh nhận diện qua võng mạc 13 Hình 2.8 Ảnh nhận diện khuôn mặt 14 Hình 2.9 Ảnh nhận dạng 3D 18 Hình 2.10 Giao tiếp UART 19 Hình 2.11 Dữ liệu truyền UART 20 Hình 2.12 Giao tiếp SPI 22 Hình 2.13 Master có chân slave select 24 Hình 2.14 Master có chân slave select 24 Hình 3.1 Sơ đồ khối hệ thống 26 Hình 3.2 Module ESP32-CAM 27 Hình 3.4 Sơ đồ chân ESP32-CAM 29 Hình 3.5 Module Relay 5V 32 Hình 3.6 Khóa điện tử LY - 01 33 Hình 3.7 Cịi Buzzer 34 Hình 3.8 Nguồn adapter 12V – 2A 35 Hình 3.9 Module hạ áp LM2596S – 3A 36 Hình 3.10 Lưu đồ thuật tốn 38 Hình 3.11 Logo phần mềm Arduino 39 Hình 3.12 Thao tác để mở thư viện 40 Hình 3.13 Add thư viện ESP32 40 Hình 3.14 Cài thư viện cho ESP32 41 v Hình 3.15 Chọn chế độ board cho ESP32 41 Hình 3.16 Kết nối ESP32 mạch nạp 41 Hình 3.17 Lấy địa IP 42 Hình 3.18 Mơ hình hoạt động Smartconfig 43 Hình 3.19 Thiếp lập thành công wifi 44 Hình 3.20 Thêm tệp vào thư mục chứa lược đồ phân vùng khác 45 Hình 3.21 Thư mục board 46 Hình 3.22 Dữ liệu esp32wrover 46 Hình 3.23 Phân vùng lưu 46 Hình 3.24 Sử dụng sketch để học lưu lại khn mặt 47 Hình 3.25 Thêm thư viện flash.h 47 Hình 3.26 Thay đổi vùng lưu liệu khuôn mặt 47 Hình 3.27 Thêm phần đọc liệu từ flash 48 Hình 3.28 Sơ đồ đấu nối mạch khóa 48 Hình 3.29 Kết mạch khóa 49 Hình 4.1 Ảnh mơ hình mặt trước 51 Hình 4.2 Ảnh mơ hình mặt bên 51 Hình 4.3 Ảnh mơ hình bên 52 Hình 4.4 Hình ảnh tải lên 53 Hình 4.6 Nhận diện có người lạ xâm nhập 54 Hình 4.7 Nhận diện mở khóa thành cơng 54 Hình 4.8 Hình ảnh người nhận diện thành cơng 55 vi DANH MỤC BẢNG BIỂU Bảng 3.1 Thông số ESP32-CAM 27 Bảng 3.2 Chân thẻ SD ESP32-CAM 30 Bảng 4.1 So sánh với loại khóa 55 vii • Sử dụng nhận dạng lưu để điều khiển thiết bị kết nối với ESP32 3.3.1 Phân vùng lại nhớ ESP32 Phải phân vùng lại ESP32 để tạo vùng lưu trữ khuôn mặt nhận dạng, thêm tệp vào thư mục chứa lược đồ phân vùng khác Ở em cài sẵn file rzo_partitions nên kết sau: Hình 3.20 Thêm tệp vào thư mục chứa lược đồ phân vùng khác Lược đồ phải thêm vào thiết bị ESP tệp cấu hình trình quản lý bảng - board.txt Thêm ba dịng sau bên tùy chọn phân vùng có cho bảng Esp32wrover tệp board.txt [3] Tìm thư mực theo hình ảnh để tới tệp board.txt 45 Hình 3.21 Thư mục board Tại tiếp tục tìm đến phần liệu esp32wrover.name để thêm dòng code vào tệp liệu esp32wrover dịng 201 hình bên dưới: Hình 3.22 Thêm phần liệu esp32wrover Đóng mở lại IDE để xác nhận lược đồ phân vùng ‘Face Recognition’ có sẵn menu cơng cụ Hình 3.23 Phân vùng lưu 46 3.3.2 Thu thập liệu khuôn mặt để lưu trữ Để giải vấn đề CameraWebServer IDE không lưu khuôn mặt đăng ký bị điện Trong Arduino IDE tạo CameraWebSever sử dụng sketch để học lưu lại khn mặt [13] Hình 3.24 Sử dụng sketch để học lưu lại khuôn mặt Trong tab thứ hai (app_httpd.cpp) thực thay đổi sau: Sau #include “fr_forward.h” thêm: #include “fr_flash.h”; Hình 3.25 Thêm thư viện flash.h Thay đổi vùng lưu liệu cho khuôn mặt dịng: int8_t left_sample_face = enroll_face_id_to_flash(&id_list, aligned_face) Hình 3.26 Thay đổi vùng lưu liệu khn mặt Thêm dịng: read_face_id_from_flash(&id_list); 47 Hình 3.27 Thêm phần đọc liệu từ flash Flash chạy, liệu khuôn mặt đăng ký lưu vào phân vùng nhớ flash 3.4 Thi cơng mơ hình Hình 3.28 Sơ đồ đấu nối mạch khóa Theo sơ đồ ghép nối khóa cửa hình 3.27, khối nguồn cấp toàn điện áp cho vi điều khiển với linh kiện khác Các linh kiện kết nối với theo thứ tự chân sau: • Điện áp 12V cấp nguồn cho chân com relay • Điện áp nguồn vào 12V nối với hai chân In - In + mô-đun LM2596S để hạ áp đầu xuống 5V nhằm cấp nguồn cho vi điều khiển đầu vào relay 48 • Chân Vcc khóa nối với chân NC (thường đóng) realy • Chân In relay nối với chân GPIO 12 vi điều khiển • Chân GPIO 13 nối với chân + cịi Buzzer Hình 3.29 Kết mạch khóa 49 CHƯƠNG KẾT QUẢ THỰC NGHIỆM HỆ THỐNG 4.1 Kết đạt Nghiên cứu xây dựng hệ thống khóa cửa thơng minh nhận diện khn mặt, em thiết kế thi công thử nghiệm thực tế Mạch điện hệ thống đặt hộp kín, cấp nguồn trực tiếp nguồn adapter 12V, vi điều khiển Esp32-cam truy cập vào wifi cục địa điểm gắn cố định Một địa IP có dạng 192.168.0.xxx (kết nối với wifi nhà mạng) app Esptouch smartphone in hình điện thoại Người sử dụng lúc cần dùng thiết bị di động hay máy tính kết nối với Wifi truy cập vào địa IP để theo dõi, giám sát hình ảnh camera gửi lên Khi có người vào tầm quét camera muốn mở cửa, camera chụp lại khuôn mặt người bắt đầu so sánh đối chiếu với khuôn mặt đăng ký từ trước Nếu kết đưa trùng khớp hình dịng chữ “Hello friend x” (x thứ tự người lưu khn mặt) đồng thời gửi tín hiệu từ chân GPIO 12 vi điều khiển Esp32-cam đến chân In Relay Ngay khóa mở cịi kêu báo hiệu cho chủ nhà biết có người nhà Ngược lại kết không trùng khớp hình chữ “Intruder Alert (cảnh báo có kẻ xâm nhập).” cho chủ nhà qua phần làm cho tên trộm muốn đột nhập vào nhà biết khó mà lui 4.2 Kết mơ hình Sau q trình thi cơng lắp ráp hệ thống em hồn thành sản phẩm đóng hộp nhựa có kích thước nhỏ gọn 200*120*55mm 50 Hình 4.1 Ảnh mơ hình mặt trước Hình 4.2 Ảnh mơ hình mặt bên 51 Hình 4.3 Ảnh mơ hình bên 4.3 Kết thực nghiệm 4.3.1 Kết chưa bật nhận diện khuôn mặt Sau hệ thống kết nối Wifi có địa IP hiển thị qua app hình điện thoại, tiếp dán địa vào trang trình duyệt Ở em bật chế độ start stream để hiển thị hình ảnh xung quanh Hình 4.4 hình ảnh camera thu đưa lên nhờ trang trình duyệt web 52 Hình 4.4 Hình ảnh tải lên 4.3.2 Kết bật nhận diện khn mặt Khi bật tính nhận diện khn mặt lên “Face Detection” “Face Recognition” xuất khung vàng để nhận diện xác minh khuôn mặt Hệ thống đối chiếu so sánh với liệu khuôn mặt đăng ký từ trước, kết trùng khớp khóa mở xuất dòng chữ màu xanh “Hello friend x” (x số thứ tự khuôn mặt lưu) Ngược lại kết đưa không trùng khớp khóa khơng mở hình hiển thị dịng chữ màu đỏ “Intruder Alert” (Cảnh báo có kẻ xâm nhập) Dưới số kết em thử nghiệm vài thành viên gia đình kết cho thấy hệ thống hoạt động cách xác ổn định Hình ảnh 4.6 kết trả khơng trùng khớp vào khóa đóng 53 Hình 4.6 Nhận diện có người lạ xâm nhập Hình 4.7 hình 4.8 kết trả trùng khớp, hệ thống nhận diện khn mặt xác mở khóa thành cơng Hình 4.7 Nhận diện mở khóa thành cơng 54 Hình 4.8 Hình ảnh người nhận diện thành cơng Bảng 4.1 So sánh với loại khóa Các loại khóa thị trường Hệ thống khóa cửa em • Chi phí chế tạo thấp, gọn nhẹ • Chi phí lắp đặt, bảo trì cao • Dễ dàng sử dụng lắp đặt • Tốc độ mở số khóa cịn chậm • Tích hợp nhiều chức • Rất loại khóa hiển thị • Tốc độ mở khóa nhanh xác • Đáp ứng tính bảo mật hình ảnh người sử dụng • Một vài loại chưa có tính bảo mật • Hiển thị hình ảnh người sử dụng lên trình duyệt Web 55 KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Sau khoảng thời gian nghiên cứu, bắt tay vào thực thiết kế thử nghiệm, hệ thống thực mở khóa cửa nhận dạng khn mặt Sau q trình thử nghiệm khóa cho thấy hoạt động ổn định, sai số khả nhận dạng chấp nhận Bên cạnh vốn kiến thức hạn chế nên đồ án em khơng thể tránh thiếu sót mong thầy, góp ý để đồ án em hồn thiện Ưu điểm • Tốc độ mở khóa nhanh • Khả nhận diện xác • Mơ hình thử nghiệm nhiều lần hoạt động ổn định thực tế, đạt mục tiêu đề • Tự động cấu hình wifi cho mơ hình • Chi phí thấp • Lưu trữ hiển thị khuôn mặt người sử dụng Web Khuyết điểm Bên cạnh ưu điểm vừa kể trên, q trình vận hành cịn xuất khuyết điểm sau: • Sản phẩm chưa có yếu tố thẩm mỹ cao • Hoạt động chưa hồn tồn hiệu với mắt kính thường nơi có ánh sáng chiếu • Mơ hình cịn yếu nhận dạng ảnh động Kiến Nghị Trong thời gian tới em cố gắng tìm hiểu, nghiên cứu để mơ hình hồn thiện như: 56 • Sản phẩm độc lập: Có thể cài đặt sử dụng sản phẩm độc lập, có nút bấm, có hình hiển thị hình ảnh mà khơng cần sử dụng đến trình duyệt • Phát triển hệ thống cảnh báo gửi tin nhắn hình ảnh cho chủ nhà có người muốn mở cửa • Cải thiện phần cứng giúp mơ hình nhỏ gọn phù hợp thực tế, đặc biệt phải bổ sung nguồn dự phịng trường hợp điện • Chú trọng vấn đề an ninh mạng • Thay module giúp cải thiện khả nhận diện chất lượng hình ảnh tăng tính bảo mật cho hệ thống • Có thể hoạt động tốt nơi thiếu sáng 57 TÀI LIỆU THAM KHẢO [1] Công nghệ AI nhận diện khuôn mặt < https://vinlifetech.vn/tin-tuc/cong-nghe-ai-nhandien-khuon-mat-p55.html> [2] Chuẩn giao thức SPI [3] ESP32-CAM Face Recognition for Home Automation < https://robotzero.one/esp32face-door-entry/> [4] ESP32-CAM Development Board < https://hshop.vn/products/kit-rf-thu-phat-wifi-bleesp32-cam > [5] ESP32- CAM điều bạn nên biết module [6] Giới thiệu mạch thu phát Wifi BLE ESP32-CAM Ai-Thinker, hướng dẫn cài đặt với Arduino IDE< https://nshopvn.com/blog/gioi-thieu-mach-thu-phat-wifi-ble-esp32-cam-aithinker-huong-dan-su-dung > [7] Giao tiếp UART gì? < https://dientutuonglai.com/giao-tiep-uart-la-gi.html> [8] Hệ thống nhận diện gương mặt hoạt động nào? [9] Kiến thức giao tiếp UART [10] Lập trình ESP32 Smartconfig thiết lập wifi qua app [11] Nguồn Power Adaptor AC-DC 12V 2A < Nguồn Power Adaptor AC-DC 12V 2A – Hshop.vn> [12] Mở khóa cửa sử dụng nhận dạng khn mặt với ARDUINO & ESP32 [13] Phần mềm Arduino IDE gì? < https://vn.got-it.ai/blog/phan-mem-arduino-ide-lagi-chi-tiet-nhat> [14] Phần mềm lập trình Arduino IDE gì? < https://dientutuonglai.com/arduino-ide-lagi.html> 58 [15] Website LinhKien3M: < https://chotroihn.vn/ > [16] Tìm hiểu OV2640 camera cho ESP32 [17] Tìm hiểu tổng quan khóa thông minh < https://anylock.vn/tim-hieu-tongquan-ve-khoa-cua-thong-minh-d-1189> [18] Xác thực sinh trắc học gì? Các loại sinh trắc học phổ biến? < What is biometric authentication? Types of biometric authentication (tino.org)> 59 ... sử dụng) Cụ thể là: Nghiên cứu, xây dựng hệ thống khóa cửa thơng minh nhận diện khuôn mặt 1.2 Mục tiêu đề tài Với đồ án xây dựng hệ thống khóa cửa thông minh nhận diện khuôn mặt, cần xác định mục... bảo vệ nhà Nhận thấy tầm qua trọng vấn đề nên em lựa chọn đề tài: ? ?Nghiên cứu, xây dựng hệ thống khóa cửa thơng minh nhận diện khuôn mặt? ?? để làm đề tài nghiên cứu cho đồ án lần Hệ thống đơn giản,... hệ thống tiếp nhận tín hiệu xử lý tức • Khóa mật mã: dùng mật mã để thay cho chìa khóa mở cửa • Khóa nhận dạng khuôn mặt: Hệ thống nhận diện trực tiếp khuôn mặt, cho phép mở cửa nhận dạng xác