Đồ án thiết kế dùng esp32 cam nhận diện khuôn mặt mở khóa cửa tự động và thông báo lên telegram

2 BỘ GIÁO DỤC ĐÀO TẠO TRƯỜNG ĐH BÁCH KHOA HÀ NỘI CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do Hạnh phúc NHIỆM VỤ ĐỒ ÁN THIẾT KẾ Họ và tên sinh viên Khóa Trường Điện Điện tử Ngành KS ĐK TĐH 1. đây là đồ án thiết kế sử dụng esp32 cam để mở khóa cửa thông qua nhận diện khuôn mặt

BỘ GIÁO DỤC & ĐÀO TẠO CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐH BÁCH KHOA HÀ NỘI Độc lập – Tự - Hạnh phúc NHIỆM VỤ ĐỒ ÁN THIẾT KẾ Họ tên sinh viên: Khóa………… Tên đề tài: Trường Điện-Điện tử Ngành: KS ĐK & TĐH …………………………………………………………………………… Nội dung đề tài: …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… Cán hướng dẫn: Phần Họ tên cán …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… Thời gian giao đề tài: Thời gian hoàn thành:…………………………… Ngày tháng … năm 2022 LÃNH ĐẠO BỘ MÔN CÁN BỘ HƯỚNG DẪN SINH VIÊN THỰC HIỆN (Ký ghi rõ họ tên) Lời mở đầu Bất ngày quan tâm đến bảo mật an ninh cho ngơi nhà Trước người ta chủ yếu sử dụng khóa khí, loại khóa gặp vấn đề lớn tính bảo mật không cao thường dễ dàng bị phá loại chìa khóa đa Tuy nhiên năm gần công nghệ phát triển việc sử dụng IoT ngày tăng khóa kỹ thuật số đời phát triển phổ biến để bước thay cho khóa khí Khóa kỹ thuật số không yêu cầu tác động vật lý mà dùng công nghệ nhận dạng tần số vô tuyến (RFID)hay xác thực vân tay, khn mặt, giọng nói, sử dụng mật khẩu…Những thông tin sinh trắc học người thường tạo bảo vệ an tồn cho ngơi nhà người sử dụng Là sinh viên trường kỹ thuật chúng em nhận thấy xu hướng Vì chúng em muong muốn tìm hiểu phát triển sản phẩm theo xu hướng để ứng dụng sống Dựa vào tìm hiểu học nhóm chúng em định chọn đề tài “Sử dụng ESP32 CAM thiết kế khóa cửa nhận diện khuôn mặt” Hệ thống đơn giản, dễ dàng lắp đặt sử dụng, giúp người dùng bảo vệ ngơi nhà tốt Trong trình thực đề tài này, vốn kiến thức cịn hạn chế nên khơng tránh khỏi thiếu sót Vì nhóm mong có đóng góp ý kiến, phê bình hướng dẫn thêm từ thầy để nhóm hồn thiện đề tài Cuối em xin chân thành cảm ơn thầy Ths Lê Cơng Cường giúp đỡ nhóm nhiều q trình tìm hiểu, thiết kế hồn thành đồ án thiết kế Hà Nội, ngày tháng năm 2022 Sinh viên thực Mục lục Lời mở đầu Mục lục Danh mục hình ảnh CHƯƠNG Tổng quan hệ thống nhận diện khuôn mặt 1.1 Xác thực sinh trắc học 1.2 Hệ thống xử lý ảnh 1.3 1.2.1 Một số khái niệm xử lý ảnh 1.2.2 Các bước xử lý ảnh 10 Hệ thống nhận diện khuôn mặt 11 1.3.1 Nguyên lý hoạt động 12 1.3.2 Thuật toán 12 1.3.3 Ưu điểm nhược điểm 14 CHƯƠNG Thiết kế hệ thống 15 2.1 Giới linh kiện hệ thống 15 2.1.1 Module ESP32 CAM 15 2.1.2 Module Relay với Opto cách ly kích H/L 5VDC 16 2.1.3 Khóa điện tử LY-03 17 2.1.4 Cảm biến chuyển động PIR HC-SR501 18 2.2 Sơ dồ khối hệ thống 18 2.3 Thiết kế mạch PCB 20 2.3.1 Mạch nạp code 20 2.3.2 Mạch relay 21 2.3.3 Mạch nguồn 21 2.3.4 Led báo header 22 2.3.5 Mạch PCB 23 CHƯƠNG Triển khai hệ thống 24 3.1 Thiết lập wifi cho hệ thống 24 3.2 Hiện thị hình ảnh nhận diện khn mặt 25 3.3 Gửi thông báo lên telegram 28 CHƯƠNG Kết luận hướng phát triển 30 4.1 Kết luận 30 4.2 Hạn chế 30 4.3 Hướng phát triển 30 Tài liệu tham khảo 31 Danh mục hình ảnh Hình 1-1 Quá trình xử lý ảnh Hình 1-2 Điểm ảnh ảnh trắng đen Hình 1-3 Điểm ảnh ảnh màu Hình 1-4 Ví dụ độ phân giải ảnh Hình 1-5 Hệ màu RGB 10 Hình 1-6 Các bước xử lý ảnh 10 Hình 1-7 Các điểm khuôn mặt 12 Hình 1-8 Nhận dạng 3D 14 Hình 2-1 Module ESP32 CAM 15 Hình 2-2 Sơ đồ chân module ESP32 CAM 16 Hình 2-3 Module Relay với Opto cách ly kích H/L 5VDC 17 Hình 2-4 Khóa điện tử LY-03 18 Hình 2-5 Cảm biến PIR HC-SR501 18 Hình 2-6 Sơ đồ khối hệ thống 19 Hình 2-7 Sơ đồ mạch hệ thống 19 Hình 2-8 Kết nối linh kiện thực tế 20 Hình 2-9 Mạch nạp code 20 Hình 2-10 Mạch relay 21 Hình 2-11 Mạch nguồn 22 Hình 2-12 Led báo 22 Hình 2-13 Header 22 Hình 2-14 Mạch PCB 23 Hình 3-1 Mơ hình hoạt động Smartconfig 24 Hình 3-2 App IOS 25 Hình 3-3 Esp32 CAM kết nối wifi thành cơng 25 Hình 3-4 Mơ ta hoạt động nhận diện 26 Hình 3-5 IP thu sau tải code lên 26 Hình 3-6 Các tùy chỉnh web 27 Hình 3-7 Hình ảnh thực tế thành viên nhóm 27 Hình 3-8 Thao tác tạo bot telegram 28 Hình 3-9 Tin nhắn bot gửi đến người dùng 29 CHƯƠNG Tổng quan hệ thống nhận diện khuôn mặt 1.1 Xác thực sinh trắc học Sinh trắc học (hay Biometrics) đặc điểm thể chất hành vi đo lường cho phép thiết lập xác minh danh tính cá nhân Xác thực sinh trắc học hình thức bảo mật đo lường đối sánh tính sinh trắc học người dùng để xác minh người cố gắng truy cập vào hệ thống, thiết bị cụ thể phép làm Đặc điểm sinh trắc học đặc điểm vật lý sinh học dành riêng cho cá nhân dễ dàng so sánh với đặc điểm phép lưu sở liệu Nếu tính sinh trắc học người dùng cố gắng truy cập vào hệ thống, thiết bị khớp với tính người dùng phê duyệt quyền truy cập vào thiết bị cấp Xác thực sinh trắc học phát triển dùng phổ biến kiểm soát điểm truy cập cửa vào, bảo mật điện thoại thơng minh máy tính Một số loại xác thực sinh trắc học phổ biến kể đến là: - Qt vân tay: Đây loại xác thực sinh trắc học phổ biến Khi đặt ngón tay lên phần cảm biến vân tay, thiết bị qt hình ảnh ngón tay đưa vào hệ thống xử lý Hệ thống chuyển liệu vừa nhận sang dạng số đối chiếu đặc điểm vân tay với liệu lưu trữ hệ thống Nếu khớp thì lớp khóa hay bảo mật mở - Nhận diện khuôn mặt: Hệ thống nhận dạng khn mặt ứng dụng máy tính tự động xác định nhận dạng người từ hình ảnh kỹ thuật số khung hình video từ nguồn video Một cách để thực điều so sánh đặc điểm khn mặt chọn trước từ hình ảnh sở liệu khuôn mặt - Nhận diện qua mắt: Cơ chế nhận diện mống mắt thiết bị (hoặc cảm biến) thực nhờ máy chiếu bước sóng nhìn thấy tia (hay camera) hồng ngoại tầm gần (Near Infrared – NIR) vào mắt người Mục đích việc chiếu tia đặc biệt vào mắt nhằm giúp xác định xác vị trí phận mắt (đồng tử, mí mắt, lông mi…) chi tiết cấu trúc mống mắt để so sánh với liệu phê duyệt trước 1.2 Hệ thống xử lý ảnh Con người thu nhận thơng tin qua giác quan, thị giác đóng vai trị quan trọng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ họa phát triển cách mạnh mẽ có nhiều ứng dụng sống Xử lý ảnh đồ họa đóng vai trò quan trọng tương tác người máy Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý kết luận Hình 1-1 Quá trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c1, c2, …, cn) Do đó, ảnh xử lý ảnh xem ảnh n chiều Các vấn đề xử lý ảnh: - Thu nhận ảnh, chụp ảnh số hóa ảnh + Hệ thống chụp ảnh tín hiệu ảnh + Hệ thống số hóa ảnh: lấy mẫu, lượng tử hóa - Phân tích ảnh thị giác máy tính + Cải thiện nâng cấp ảnh, sửa lỗi, khôi phục ảnh + Phân tách đặc trưng: tách biên, phân vùng ảnh + Biểu diễn xử lý đặc trưng hình dạng đối tượng ảnh + Nhận dạng đối tượng ảnh, phân tích cảnh hiểu cảnh - Mã hóa, nén ảnh + Các phương pháp nén chuẩn nén 1.2.1 Một số khái niệm xử lý ảnh 1.2.1.1 Điểm ảnh Gốc ảnh (ảnh tự nhiên) ảnh liên tục không gian độ sáng Để xử lý máy tính, ảnh cần phải số hóa Số hóa ảnh biến đổi gần ảnh liên tục thành tập điểm phù hợp với ảnh thật vị trí (khơng gian) độ sáng (mức xám) Khoảng cách điểm ảnh thiết lập cho mắt người không phân biệt ranh giới chúng Mỗi điểm gọi điểm ảnh (PEL: Picture Element) hay gọi tắt Pixel Trong khuôn khổ ảnh hai chiều, pixel ứng với cặp tọa độ (x, y) Điểm ảnh (Pixcel) phần tử ảnh số tọa độ (x, y) với độ xám màu định Kích thước khoảng cách điểm ảnh chọn thích hợp cho mắt người cảm nhận liên tục không gian mức xám (hoặc màu) ảnh số gần ảnh thật Mỗi phần tử ma trận gọi phần tử ảnh Hình 1-2 Điểm ảnh ảnh trắng đen Hình 1-3 Điểm ảnh ảnh màu 1.2.1.2 Độ phân giải Độ phân giải (Resolution) thước đo chi tiết rõ ràng nhỏ ảnh, tính số điểm ảnh đơn vị khoảng cách Hình 1-4 Ví dụ độ phân giải ảnh Như ảnh thấy kích thước độ phân giải khác nhau, độ phân giải thấp mờ Như ảnh hiểu chiểu rộng có 175 điểm ảnh chiều cao có 256 điểm ảnh 1.2.1.3 Mức xám Mức xám điểm ảnh cường độ sáng gán giá trị số điểm - Các thang mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256 mức phổ dụng Nguyên nhân từ kỹ thuật máy tính dùng byte (8bit) để biểu diễn mức xám Mức xám dùng byte biểu diễn, 28 = 256, tức từ đến 255) - Ảnh đen trắng: Là ảnh có hai màu đen, trắng (khơng chứa màu khác) với mức xám điểm ảnh khác - Ảnh nhị phân: Ảnh có hai mức đen trắng phân biệt, tức điểm ảnh ảnh nhị phân - Ảnh màu: Trong khuôn khổ lý thuyết màu (Red, Blue, Green) để tạo nên giới màu, người ta thường dùng byte để mô tả mức màu, giá trị màu: 28*3 = 224 ≈ 16,7 triệu màu Hình 1-5 Hệ màu RGB 1.2.2 Các bước xử lý ảnh Hình 1-6 Các bước xử lý ảnh Sơ đồ bao gồm phần sau: - Phần thu nhận ảnh (Image Acquisition) Ảnh nhận qua camera màu đen trắng Camera thường dùng loại qt dịng; ảnh tạo có dạng hai chiều Chất lượng ảnh thu nhận phụ thuộc vào thiết bị thu, môi trường (ánh 10 sáng, thời tiết) - Tiền xử lý (Image Processing): Sau thu nhận, ảnh bị nhiễu, độ tương phản thấp nên cần đưa vào tiền xử lý để nâng cao chất lượng Chức tiền xử lý lọc nhiễu, nâng độ tương phản để làm ảnh rõ, nét - Phân đoạn (Segmentation) hay phân vùng ảnh: tách ảnh đầu vào thành vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Ví dụ: để nhận dạng chữ (hoặc mã vạch) phong bì thư cho mục đích phân loại bưu phẩm, cần chia câu, chữ, địa tên người thành từ, chữ, số (hoặc vạch) riêng biệt để nhận dạng Đây phần phức tạp khó khăn xử lý ảnh dễ gây lỗi, làm độ xác ảnh Kết nhận dạng ảnh phụ thuộc nhiều vào công đoạn - Biểu diễn ảnh (Image Representation): Đầu ảnh sau phân đoạn chứa điểm ảnh vùng ảnh (ảnh phân đoạn) cộng với mã liên kết với vùng lân cận Việc chọn tính chất để thể ảnh gọi trích chọn đặc trưng (Feature Selection) gắn với việc tách đặc tính ảnh dạng thông tin định lượng làm sở để phân biệt lớp đối tượng với đối tượng khác phạm vi ảnh nhận Ví dụ: nhận dạng ký tự phong bì thư, miêu tả đặc trưng ký tự giúp phân biệt ký tự với ký tự khác - Nhận dạng ảnh nội suy ảnh (Image Recognition and Interpretation): Nhận dạng ảnh trình xác định ảnh Quá trình thường thu cách so sánh với mẫu chuẩn học (hoặc lưu từ trước) Nội suy phán đoán theo ý nghĩa sở nhận dạng Ví dụ: loạt chữ số nét gạch ngang phong bì thư nội suy thành mã điện thoại Có nhiều cách phân loại ảnh khác ảnh Theo lý thuyết nhận dạng, mơ hình tốn học ảnh phân theo hai loại nhận dạng ảnh bản: + Nhận dạng theo tham số + Nhận dạng theo cấu trúc Một số đối tượng nhận dạng phổ biến áp dụng khoa học công nghệ nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn (text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người… - Cơ sở tri thức (Knowledge Base): Như nói trên, ảnh đối tượng phức tạp đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu Trong nhiều khâu xử lý phân tích ảnh ngồi việc đơn giản hóa phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận xử lý ảnh theo cách người Trong bước xử lý đó, nhiều khâu xử lý theo phương pháp trí tuệ người Vì vậy, sở tri thức phát huy 1.3 Hệ thống nhận diện khuôn mặt Hệ thống nhận diện khuôn mặt hay nhận dạng khuôn mặt loại ứng dụng có khả xác định hình ảnh khn mặt người dựa đặc điểm mà sở liệu lưu trữ trước 11 + IN: chân tín hiệu, nhận tín hiệu để kích relay + Nếu dùng module kích mức mức cao chân IN cấp điện module kích, ngược lại khơng Tương tự với module kích mức thấp - chân nối với thiết bị điện công suất cao + COM: nối với nguồn , nối với cực dương hiệu điện chiều, nối với dây nóng hiệu điện xoay chiều + NO: nối với chân thiết bị điện, nối với cực dương hiệu điện chiều, nối với dây nóng hiệu điện xoay chiều + NC: khơng kết nối Hình 2-3 Module Relay với Opto cách ly kích H/L 5VDC Thông số kỹ thuật: - Sử dụng điện áp nuôi 5VDC - Dòng tiêu thụ khoảng 80mA/1 relay - Điện đóng ngắt tối đa: AC250V ~ 10A DC30V ~ 10A - Có đèn báo đóng ngắt Relay - Có thể chọn mức tín hiệu kích qua jumper - Kích thước: x 2,6 x 1,9 cm 2.1.3 Khóa điện tử LY-03 Khóa chốt điện từ LY-03 có chức hoạt động ổ khóa cửa sử dụng Solenoid để kích đóng mở điện, sử dụng nhiều nhà thông minh loại tủ, cửa phịng, cửa kho…khóa sử dụng điện áp 12VDC, loại thường đóng (cửa đóng) với chất lượng tốt, độ bền cao Khóa chốt điện từ sử dụng chung với mạch chức tạo thành hệ thống thơng minh 17 Hình 2-4 Khóa điện tử LY-03 Thơng số kỹ thuật: - Vật liệu: Thép không gỉ - Nguồn điện: 12V DC - Dịng điện làm việc: 0.8A - Cơng suất: 9.6W - Yêu cầu nguồn cấp: 12VDC/1A - Kích thước: 54 x 38 x 28 mm - Thời gian cấp nguồn: Nhỏ 10s - Trọng lượng: 150g 2.1.4 Cảm biến chuyển động PIR HC-SR501 Cảm biến thân nhiệt chuyển động PIR (Passive infrared sensor) HCSR501 sử dụng để phát chuyển động vật thể phát xạ hồng ngoại (con người, vật, vật phát nhiệt, ), cảm biến chỉnh độ nhạy để giới hạn khoảng cách bắt xa gần cường độ xạ vật thể mong muốn Hình 2-5 Cảm biến PIR HC-SR501 2.2 Sơ dồ khối hệ thống 18 Hình 2-6 Sơ đồ khối hệ thống Nguyên lý hoạt động hệ thống - Cảm biến chuyển động phát chuyển động cửa đóng mở gửi tín hiệu ESP32 CAM Camera module thực nhận dạng hình ảnh hiển thị web - Web cho phép thực tùy chỉnh độ phân giải, độ sáng, màu sắc… camera thực đăng ký khuôn mặt người dùng - ESP32 CAM tiếp nhận liệu khuôn mặt người dùng đăng ký, lưu trữ lại Khi có người tiếp hành xác thực khn mặt tiếp nhận hình ảnh, tiến hành xử lý theo chương trình cài đặt đối chiếu với liệu đăng ký lưu trữ để đưa tín hiệu tới relay Ngồi cịn xử lý tín hiệu từ cảm biến gửi tín nhắn đến telegram - Telegram nơi người dùng nhận tín nhắn có phát chuyển động cửa có người đóng, mở - Relay nhận tín hiệu từ ESP32 CAM để kích mở khóa cửa - Khóa cửa thực đóng mở cửa dựa theo kết so sánh khuôn mặt với liệu đăng ký Nếu kết trả xác liệu mở khóa ngược lại Hình 2-7 Sơ đồ mạch hệ thống 19 Hình 2-8 Kết nối linh kiện thực tế 2.3 Thiết kế mạch PCB Mạch PCB hệ thống thiết kế để thu gọn kích thước hệ thống với việc tích hợp mạch nguồn, nạp code relay vào chung mạch 2.3.1 Mạch nạp code Hình 2-9 Mạch nạp code Mạch sử dụng CH340C model IC Ch340, lại IC sử dụng để chuyển đổi tín hiệu USB thành UART Thơng số kỹ thuật CH340C: - Giao diện thiết bị USB tốc độ đầy đủ, tương thích USB 2.0 20 - Tốc độ truyền từ 50bps đến 2Mbps - Nguồn 5V 3.3V - Gói SOP-16 2.3.2 Mạch relay Hình 2-10 Mạch relay Mạch relay sử dụng opto cách ly quang PC817 relay SRD-05VDC-SLC 5V, chọn kích tín hiệu mức cao Ưu điểm mạch cách ly hoàn toàn điện vi điều khiển với relay tải Điều giúp vi điều khiển loại số nhiễu không mong muốn hoạt động, dẫn đến mạch hoạt động ổn định Thông số kỹ thuật PC817: - Dịng điện thuận diode để kích mở transistor: 50mA (max=1A) - Điện áp rơi diode 1,2V-1,4V - Điện áp đánh thủng diode: 6V - Tổn hao công suất diode: 70mW - Tần số đóng cắt: 80 KHz - Dòng qua Collector hoạt động ổn định: 20mA (max=50mA) - Điện áp rơi transistor: 0,1V-0,2V - Tiêu hao công suất transistor: 150mW Thông số kỹ thuật SRD-05VDC-SL-C 5V: - Phân loại: Relay - Điện áp điều khiển: 5VDC - Dòng điện tối đa qua tiếp điểm: 10A 2.3.3 Mạch nguồn 21 Hình 2-11 Mạch nguồn Mạch nguồn sử dụng nguồn 12VDC từ adapter qua LM7805 để giảm áp xuống 5V, IC mạch dùng nhôm để tản nhiệt Các tụ dùng để lọc nhiễu lọc nguồn Thông số kỹ thuật LM7805: - Điện áp ngõ 5V - Điện áp ngõ vao 7V- 18VDC - Dịng ngõ trung bình: 500mA (max 1A) - Nhiệt độ hoạt động: 0°C – 125°C 2.3.4 Led báo header Hình 2-12 Led báo Hình 2-13 Header 22 Mạch led báo để báo hiệu có nạp code header để kết nối module ESP32 CAM 2.3.5 Mạch PCB Dưới mạch PCB có kích thước mạch 55 x 57 mm với linh kiện có thị trường Hình 2-14 Mạch PCB 23 CHƯƠNG Triển khai hệ thống 3.1 Thiết lập wifi cho hệ thống Thơng thường ta hay lập trình WiFi.begin(ssid, password) để cài đặt tên password cho mạch Tuy nhiên ta sử dụng wifi khác, lại phải sửa lại wifi code nạp lại chương trình Điều khó bất tiện hệ thống khó phát triển thị trường Có cách để giải vấn đề là: - Dùng AP mode: dùng ESP32 CAM phát wifi sau dùng web browser truy cập vào ip esp, scan wifi xung quanh chọn nhập mật để chuyển esp thành thiết bị nhận wifi - Dùng Smartconfig: sử dụng gói SDK để bạn truyền wifi pass từ app xuống ESP32 mà khơng cần phải thao tác khác Trong hệ thống nhóm em sử dụng Smartconfig Hình 3-1 Mơ hình hoạt động Smartconfig Tiến trình Smartconfig sau: - ESP chế độ lắng nghe gói tin UDP - Smartphone app gửi gói tin UDP mã hóa - ESP nhận tin, kiểm tra độ dài liệu từ suy kí tự, ghép nối chúng lại tạo chuỗi SSID PASS - ESP chuyển sang STA mode đăng nhập vào mạng wifi với thông tin - App nhận thông tin ESP đăng nhập vào, lưu địa IP thiết bị lại để giao tiếp Một số hàm sử dụng dùng Smartconfig: - WiFi.mode(WIFI_AP_STA): chuyển ESP32 sang Station mode (Để chạy SmartConfig cần chuyển ESP32 sang Station mode) - WiFi.beginSmartConfig(): start SmartConfig 24 - WiFi.smartConfigDone(): kiểm tra smartconfig xong hay chưa Hình 3-2 App IOS Hình 3-3 Esp32 CAM kết nối wifi thành cơng 3.2 Hiện thị hình ảnh nhận diện khuôn mặt Mô tả hoạt động: - Nhâ ̣n diê ̣n ảnh vào: camera thực hiê ̣n nhâ ̣n da ̣ng hình ảnh đưa vào với đô ̣ phân giả thấ p để có thể xử lí phù hơ ̣p với tài nguyên của phầ n cứng - Trình duyê ̣t tiế p nhâ ̣n hình ảnh: cho phép thực hiê ̣n đăng kí hoă ̣c xác thực khuôn mă ̣t của người dùng để mở cửa - Xử lí hình ảnh: Sau tiế p nhâ ̣n hiǹ h ảnh, tiế n hành xử lí hình ảnh theo các chương trình cài đă ̣t và đố i chiế u với dữ liê ̣u xem đã có hay chưa 25 - Đóng mở cửa: Phu ̣ thuô ̣c vào viê ̣c kiể m tra dữ liê ̣u để đố i sánh kế t quả Nế u kế t quả trả về chính xác dữ liê ̣u thì có thể mở cửa ngược lạc Đồng thời web hiển thị kết xác nhận thành cơng thất bại Hình 3-4 Mơ ta hoạt động nhận diện Code hệ thống chia thành phần code cho thiết lập wifi, xử lý liệu camera tín hiệu module relay, code lại dành cho web page, camera index camera pins - thư viện sử dụng để hỗ trợ code #include "esp_camera.h" , #include , #include "camera_pins.h" - ESP32 CAM mà nhóm sử dụng AI-THINKER nên sử dụng #define CAMERA_MODEL_AI_THINKER - Một số setting trước nạp code: + Upload Speed: “921600” + Flash Frequency: “80MHz” + Flash Mode: “QIO” + Partition Scheme: “Hue APP (3MB No OTA/1MB SPIFFS)” + Core Debug Level: “None” Hình 3-5 IP thu sau tải code lên Lấy địa IP vào web để truy cập vào trình duyệt phát camera trực tiếp Tại ta có tùy chỉnh độ phân giải, màu, độ sáng cho camera… 26 Hình 3-6 Các tùy chỉnh web Để bắt đầu hiển thị hình ảnh ta bấm start stream, để đăng ký khn mặt ta bấm enroll face giữ yên vài giây đến hình hiển thị khung màu xanh Người đăng ký tương ứng với subject Sau đăng ký xong xong, người dùng muốn xác thực khn mặt, hình hiển thị khung xanh xác thực xác cịn hiển thị khung đỏ xác thực khơng Hình 3-7 Hình ảnh thực tế thành viên nhóm 27 3.3 Gửi thông báo lên telegram Telegram Messenger dịch vụ nhắn tin tức thời thoại qua IP dựa đám mây Chúng ta dễ dàng cài đặt điện thoại thông minh (Android iPhone) máy tính (PC, Mac Linux) Telegram cho phép bạn tạo bot mà bạn tương tác Bot ứng dụng bên thứ ba chạy bên Telegram Người dùng tương tác với bot cách gửi cho chúng tin nhắn, lệnh yêu cầu nội tuyến ESP32 CAM tương tác với bot Telegram để gửi tin nhắn đến tài khoản telegram bạn Bất chuyển động phát hiện, bạn nhận thông báo điện thoại thông minh (miễn bạn có quyền truy cập Internet) Để tạo bot telegram bạn cần tải xuống, cài đặt telegram sau mở app tìm kiếm botfather thực thao tác sau để tạo bot Hình 3-8 Thao tác tạo bot telegram Một bot tạo có tên (do người dùng tự đặt) ID, bot token riêng Ta sử dụng ID bot token để tìm tạo kết nối với bot thư viện sử dụng để hỗ trợ code #include #include , #include Khi có kết nối wifi ESP32 CAM thực tìm bot gửi thơng báo đến người dùng “bot started up” Khi cảm biến chuyển động phát chuyển động mở cửa gửi tín hiệu đến cho ESP32 CAM, module xử lý tín hiệu yêu cầu bot gửi tin nhắn “Motion Detected” 28 Hình 3-9 Tin nhắn bot gửi đến người dùng 29 CHƯƠNG Kết luận hướng phát triển 4.1 Kết luận Qua trình làm đề tài “Sử dụng ESP32 CAM thiết kế khóa cửa nhận diện khn mặt” nhóm thu kết sau: - Cách làm việc phối hợp nhóm để đạt hiệu cao - Tìm hiểu kiến thức liên quan đến xử lý ảnh lập trình ESP32 CAM - Biết cách sử dụng thư viện hỗ trợ lập trình ESP32 CAM - Nắm cách sử dụng PlatformIO thiết kế mạch PCB 4.2 Hạn chế Trong q trình làm đề tài nhóm nhận thấy hạn chế như: - Vì lần đầu sử dụng ESP32 CAM nên kiến thức nhóm hạn chế, sử dụng thư viện chưa thành thạo - Hệ thống yếu hiển thị ảnh góc ánh sáng khác - Hệ thống bảo mật - Quá trình xử lý ảnh cịn nhiều vấn đề đặc biệt q trình làm camera ESP32 CAM nhóm gặp trục trặc nên phần đăng ký, xác thực khuôn mặt chưa thể thực - Mơ hình xây dựng cịn thiếu tính thẩm mĩ , chưa thực tối ưu 4.3 Hướng phát triển Sau nhóm đề xuất số cải tiến thực tương lại hệ thống: - Khắc phục hạn chế tồn kể - Tăng tính bảo mật cho hệ thống cách thêm tính quét vân tay, mật khẩu, thẻ từ, camera 3D… - Tối ưu hóa hệ thống để thực sản phẩ m đô ̣c lâ ̣p có thể đươ ̣c cài đă ̣t thành mô ̣t thiế t bi,̣ có đèn màn hiǹ h hiể n thi ̣hoă ̣c nút bấ m, mà không cầ n sử du ̣ng tới trình duyê ̣t - Phần telegram cải tiến thêm tính chụp ảnh, đóng mở khóa cửa từ xa qua tin nhắn - Tăng độ hiệu camera để hoạt động tốt 30 Tài liệu tham khảo [1] https://khuenguyencreator.com/hoc-lap-trinh-mcu/lap-trinh-esp32/ [2] https://viblo.asia/p/tuan-1-gioi-thieu-xu-ly-anh-yMnKMdEQ57P [3] https://microcontrollerslab.com/esp32-wi-fi-manager-asyncwebserver/ [4]https://www.electroniclinic.com/esp32-cam-face-recognition-door-locksystem-circuit-and-programming/ [5] https://easyelectronicsproject.com/esp32-projects/esp32cam-face-recognitionlock/ [6] https://www.techtonions.com/esp32-using-smartconfig/ [7] https://iotcircuithub.com/esp32-cam-telegram-wifi-door-lock/ [8] https://randomnerdtutorials.com/esp32-door-status-telegram/ [9] https://randomnerdtutorials.com/telegram-esp32-motion-detection-arduino/ 31 ... đến telegram - Telegram nơi người dùng nhận tín nhắn có phát chuyển động cửa có người đóng, mở - Relay nhận tín hiệu từ ESP32 CAM để kích mở khóa cửa - Khóa cửa thực đóng mở cửa dựa theo kết... phân giải, độ sáng, màu sắc… camera thực đăng ký khuôn mặt người dùng - ESP32 CAM tiếp nhận liệu khuôn mặt người dùng đăng ký, lưu trữ lại Khi có người tiếp hành xác thực khn mặt tiếp nhận hình ảnh,... với liệu lưu trữ hệ thống Nếu khớp thì lớp khóa hay bảo mật mở - Nhận diện khuôn mặt: Hệ thống nhận dạng khuôn mặt ứng dụng máy tính tự động xác định nhận dạng người từ hình ảnh kỹ thuật số khung