IoT và ứng dụng đề tài hệ thống mở khoá cửa bằng nhận diện khuôn mặt sử dụng arduino và esp 32 CAM

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG -🙞🙜🕮🙞🙜 - IoT Ứng dụng ĐỀ TÀI: Hệ thống mở khoá cửa nhận diện khuôn mặt sử dụng Arduino Esp-32 CAM Họ tên: Mã sinh viên: Lớp: Giảng viên: Nguyễn Tài Tuyên Hà Nội, ngày 15 tháng 12  năm 2022 MỞ ĐẦU Khoa học công nghệ ngày càng đạt được những thành tựu to lớn, kéo theo đó là sự phát triển vượt bậc các ngành nghề có ứng dụng khoa học kỹ thuật Những năm gần đây, khái niệm về Internet of thing (IoT) không còn xa lạ cuộc sống của chúng ta nữa Nhất là hiện nay, các thiết bị IoT đã được sử dụng tràn ngập, rộng rãi khắp thế giới Điều đó cho ta thấy được lợi ích của các thiết bị này thế nào cuộc sống người Bên cạnh sự phát triển của IoT, trí tuệ nhân tạo cũng phát triển vượt bậc thời gian vừa qua Bằng chứng là khắp các ngành nghề đều có những ứng dụng sử dụng trí tuệ nhân tạo để nhằm tạo suất lao động tốt hơn, độ chính xác máy cao Các sản phẩm trí tuệ nhân tạo có tính đột phá, điều mà những năm về trước người chỉ có thể xem là viễn tưởng Việc kết hợp một sản phẩm IoT có ứng dụng của trí tuệ nhân tạo là tất yếu cũng là xu hướng hiện Với đề tài “Hệ thống mở khố cửa nhận diện khn mặt sử dụng Arduino Esp-32 CAM ” của em thực hiện, chính là sự kết hợp đó với mong muốn tìm hiểu và phát triển một sản phẩm công nghệ theo xu hướng ứng dụng hiệu quả cuộc sống CHƯƠNG 1: GIỚI THIỆU Mục lục Lí chọn đề tài: Công nghệ nhận diện khuôn mặt: CHƯƠNG : Giới thiệu module Esp32-CAM CHƯƠNG 3: Phân tích thiết kế hệ thống Tổng quan hoạt động 10 Tổng quan chức 10 CHƯƠNG 4: Quy trình tiến hành 11 Nhận diện khuôn mặt 11 Phân vùng lại nhớ thu thập liệu khuôn mặt để lưu trữ: 14 TÀI LIỆU THAM KHẢO 15 Chương 1: Giới thiệu đề tài Lí chọn đề tài: Trong thời đại phát triển hiện nay, vấn đề bảo mật và an ninh là một vấn đề cực kì quan trọng và cần thiết cuộc sống, ta có thể thấy được hàng loạt các công nghệ có liên quan và ảnh hưởng đến vấn đề này thúc đẩy đời song phát triển mạnh mẽ Từ vấn đề an ninh của các quan, trụ sở cho tới việc đảm bảo an toàn các thiết bị , nhà cửa, công trình,…Điển hình một thiết lập một hệ thống bảo vệ nhà cửa tránh sự xâm nhập của người lạ cũng vấn đề trộm cướp Hệ thống đó có thể là một ổ khóa thông minh được người dùng cài đặt mật khẩu là những số, kí tự, hay bằng vân tay, giọng nói, khuôn mặt,… Như đã nêu ở trên, những địa điểm đó đều cần có sự bảo mật được đặt lên hàng đầu thì một chiếc khóa cửa bảo vệ lối vào để phát hiện, ngăn chặn xâm nhập của người lạ là vô cùng cần thiết Trong đề tài này, ta sẽ nói về một hệ thống bảo vệ đóng mở cửa bằng phương pháp nhận diện dựa công nghệ sinh trắc, cụ thể đó là hệ thống mở cửa bằng nhận diện khuôn mặt Công nghệ nhận dạng khuôn mặt Nhận dạng khn mặt là một ứng dụng máy tính tự động xác định nhận dạng người từ bức hình ảnh kỹ thuật số hoặc khung hình video từ nguồn video Một cách để thực điều so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh một cơ sở liệu về khn mặt Hệ thống thường sử dụng các hệ thống an ninh và so sánh với dạng sinh trắc học khác hệ thống nhận dạng vân tay hay tròng mắt  Nhận dạng trùn thớng Một số thuật tốn nhận dạng khuôn mặt xác định đặc điểm khuôn mặt cách trích xuất ranh giới, đặc điểm, từ hình ảnh khn mặt đối tượng Ví dụ, thuật tốn phân tích vị trí tương đối, kích thước, và/hoặc hình dạng mắt, mũi, gị má, cằm. Những tính sau sử dụng để tìm kiếm hình ảnh khác với tính phù hợp. Các thuật tốn bình thường hóa sưu tập hình ảnh khn mặt sau nén liệu khn mặt, lưu liệu hình ảnh hữu ích cho việc nhận dạng khn mặt Một hình ảnh mẫu sau so sánh với liệu khn mặt. Một hệ thống thành công sớm nhất dựa kỹ thuật phù hợp với mẫu áp dụng cho tập hợp đặc điểm khuôn mặt bật, cung cấp dạng đại diện khuôn mặt nén Các thuật tốn nhận dạng chia thành hai hướng chính, là hình học, nhìn vào tính phân biệt, hoặc trắc quang (đo sáng), sử dụng phương pháp thống kê để 'chưng cất' hình ảnh thành giá trị so sánh giá trị với mẫu để loại bỏ chênh lệch Các thuật toán nhận dạng phổ biến bao gồm Principal Component Analysis (Phép phân tích thành phần chính) sử dụng khn mặt riêng, Linear Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph Matching sử dụng thuật tốn Fisherface, các mơ hình Markov ẩn, Multilinear Subspace Learning (Luyện nhớ không gian đa tuyến) sử dụng đại diện căng, theo dõi liên kết động thần kinh  Nhận dạng 3D Một xu hướng lên, tuyên bố cải thiện độ xác, nhận dạng khuôn mặt ba chiều Kỹ thuật sử dụng cảm biến 3D để nắm bắt thơng tin hình dạng khn mặt Thơng tin sau sử dụng để xác định tính đặc biệt bề mặt khuôn mặt, chẳng hạn đường viền hốc mắt, mũi cằm Một lợi nhận dạng khn mặt 3D là khơng bị ảnh hưởng thay đổi ánh sáng kỹ thuật khác Nó xác định khn mặt từ loạt góc nhìn, có góc nhìn nghiêng. Các điểm liệu ba chiều từ khn mặt cải thiện lớn độ xác cho nhận dạng khuôn mặt Nghiên cứu 3D tăng cường phát triển cảm biến tinh vi giúp nắm bắt hình ảnh chụp khn mặt 3D tốt Các cảm biến hoạt động cách chiếu ánh sáng có cấu trúc lên gương mặt Hàng chục nhiều cảm biến hình ảnh đặt lên chip CMOS-mỗi cảm biến thu phần khác hình ảnh Ngay kỹ thuật 3D hồn hảo gặp khó khăn sắc thái biểu cảm gương mặt Để đạt mục tiêu nhóm Technion (viện cơng nghệ Israel Haifa) áp dụng công cụ từ hình học metric để giải biểu lộ cảm xúc phép đẳng cự Một cơng ty có tên Vision Access tạo giải pháp vững cho nhận dạng khuôn mặt 3D Công ty sau mua lại cơng ty truy cập sinh trắc học Bioscrypt Inc Công ty phát triển phiên gọi 3D FastPass Chương 2: Giới thiệu module Esp32-CAM - - - a Giới thiệu ESP32 – CAM và các thông số kĩ thuật ESP32-CAM có module camera cỡ nhỏ hoạt động hệ thống độc lập với kích thước 27x40.5x4.5mm dòng chế độ deep sleep lên đến 6mA ESP32-CAM đóng gói DIP-16 (Dual In-line Package) lắp trực tiếp vào bo mạch chủ, cung cấp cho khách hàng chế độ kết nối với độ tin cậy cao, thuận tiện cho việc ứng dụng thiết bị IoT khác Module cần phải lập trình với ESP-IDF khơng hỗ trợ Arduino IDE Hình 2.1 Module ESP32- CAM Thông số kỹ thuật: Tên Mô tả Điện áp cung cấp 5V SPI Flash Mặc định 32MB RAM 520KB SRAM + 4MB PSRAM Bộ nhớ Khe cắm thẻ micro SD lên đến 4GB Bluetooth Chuẩn Bluetooth 4.2 BR/EDR BLE WiFi 802.11 b/g/n Interface UART, SPI, I2C, PWM IO Port Tốc độ truyền UART 115200bps(Mặc định) Camera + Đầu nối FPC + Hỗ trợ camera OV2640(bán kèm theo board) camera OV7670 + JPEG(chỉ hỗ trợ OV2640), BMP, GRAYSCALE + Đèn led Dải quang phổ 2412 ~2484MHz Antenna Onboard PCB antenna, gain 2dBi Transmit Power 802.11b: 17±2 dBm (@11Mbps) 802.11g: 14±2 dBm (@54Mbps) 802.11n: 13±2 dBm (@MCS7) Receiving Sensitivity CCK, Mbps : -90dBm CCK, 11 Mbps: -85dBm Mbps (1/2 BPSK): -88dBm 54 Mbps (3/4 64-QAM): -70dBm MCS7 (65 Mbps, 72.2 Mbps): -67dBm Tiêu thụ điện + Tắt đèn flash: 180mA@5V + Bật đèn flash bật độ sáng tối đa: 310mA@5V + Deep-sleep: 6mA@5V + Moderm-sleep: 20mA@5V + Light-sleep: 6.7mA@5V Bảo mật WPA/WPA2/WPA2-Enterprise/WPS Nhiệt độ hoạt động -20 ℃ ~ 85 ℃ Môi trường bảo quản -40 ℃ ~ 90 ℃ , < 90%RH Hình 2.2 Hình ảnh các chân ESP32 Cam - ESP32-Cam khơng có đầu nối USB kèm với đầu nối microUSB tích hợp, ta cần FTDI để tải mã lên thông qua chân U0R U0T (chân nối tiếp) Hình 2.3 Hình ảnh FTDI b Ứng dụng thực tế thực tế Sử dụng rộng rãi ứng dụng IoT: thiết bị thông minh nhà, giám sát điều khiển không dây, nhận dạng không dây QR, tín hiệu hệ thống định vị khơng dây,… c Sử dụng đề tài - Module ESP32 CAM có tích hợp một camera nhỏ cho phép chúng ta nhận tín hiệu vào là hình ảnh, video sau đó xử lí các hình ảnh đó theo chương trình của chúng ta Sau xử lí các dữ liệu thu vào, thiết bị sẽ gửi một tín hiệu tới cho thiết bị relay cho phép đóng/mở cửa Chương 3: Phân tích thiết kế hệ thống Tổng quan hoạt động Hình 3.1 mô tả hoạt động của bộ khóa Mô tả hoạt động: - Nhận diện ảnh vào: camera thực hiện nhận dạng hình ảnh đưa vào với độ phân giả thấp để có thể xử lí phù hợp với tài nguyên của phần cứng - Trình duyệt tiếp nhận hình ảnh: cho phép thực hiện đăng kí, xóa khuôn mặt hoặc phát hiện khuôn mặt của chủ nhà để mở cửa - Xử lí hình ảnh: Sau tiếp nhận hình ảnh, tiến hành xử lí hình ảnh theo các chương trình cài đặt và đối chiếu với dữ liệu xem đã có hay chưa - Đóng mở cửa: Phụ thuộc vào việc kiểm tra dữ liệu để đối sánh kết quả Nếu kết quả trả về chính xác dữ liệu thì có thể mở cửa Trả về kết quả hiển thị trình duyệt đã xác nhận thành công Tổng quan về chức Hình 3.2 Các chức của bộ khóa 10 Mô tả chức năng: - Đăng kí khuôn mặt: dùng để đăng kí dữ liệu khuôn mặt vào, được lưu bộ nhớ của ổ khóa, để lần tiếp theo mở của sẽ tiến hành đối chiếu với dữ liệu này - Đăng kí tên người dùng: kết hợp với việc đăng kí khuôn mặt ta cần phải đăng kí một cái tên để sử dụng - Xóa dữ liệu: nếu người sử dụng đến chức xóa dữ liệu của một thành viên nào đó khỏi bộ nhớ thì sẽ mất tất cả dữ liệu về thành viên đó, đồng nghĩa với việc không thể tiếp tục đăng nhập vào cửa được nữa - Chức đóng/mở: tùy thuộc vào kết quả xử lí của vi xử lí sẽ cho kết quả là đóng hay mở cửa Chương 4: Quy trình tiến hành I Các thiết bị cần thiết - Esp32-CAM AI Thinker - USB TTL để kết nối esp32-cam với máy tính - khố điện, module relay II Quy trình Nhận diện khn mặt - Chạy chương trình CameraWebServer Arduino, chỉnh sửa điền thông tin cần thiết 11 - Kết nối Esp-CAM với FTDI hình vẽ, sau kết nối với máy tính - Sau điền thơng tin mục Tools bắt đầu tiến hành tải mã lên 12 - Sau tải lên hoàn tất, ngắt kết nối GPIO0 khỏi GND ấn đặt lại Esp32-CAM Khi trạng thái kết nối Wifi, địa IP máy chủ hiển thị hình 13 - Nhấn vào địa IP, hệ thống nhận diện khuôn mặt bắt đầu hoat động - Bật tuỳ chọn nhận diện góc dưới, nhấn nút Enroll Face để đăng kí khn mặt Phân vùng lại nhớ thu thập liệu khuôn mặt để lưu trữ: Gồm bước là:  Tạo sơ đồ phân vùng phép lưu trữ liên tục  Sửa đổi CameraWebServer để lưu liệu khuôn mặt vào phân vùng  Sử dụng nhận dạng lưu để điều khiển thiết bị kết nối với ESP32 Bổ sung: thơng báo gửi điện thoại qua Telegram 14 Tài liệu tham khảo https://ptiteduvn.sharepoint.com/sites/NHM09-LPD19-021/Shared %20Documents/General/DeCuong-IoT-va-Ungdung.pdf https://ptiteduvn.sharepoint.com/sites/NHM09-LPD19-021/Shared %20Documents/General/Internet-of-things-a-hands-on-approach.pdf https://electronicsinnovation.com/esp32-cam-face-recognition-and-videostreaming-with-arduinoide/ https://robotzero.one/esp32-face-door-entry/ https://iotcircuithub.com/esp32-cam-telegram-wifi-door-lock/ 15