ĐỒ ÁN: MỞ CỬA BẰNG NHẬN DIỆN KHUÔN MẶT SỬ DỤNG ESP32CAM

GỒM LÝ THUYẾT, SƠ ĐỒ KHỐI, VÀ CÁCH LẮP MẠCH, CODE mạch chạy thực tế thành công, giáo viên đã chấm và đạt điểm, thực hiện bởi sinh viên trường Đại học Sư phạm Kỹ thuật Đại học Đà Nẵng. Có thắc mắc vui lòng liên hệ qua gmail: hoangphuongnl2001gmail.com

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN – ĐIỆN TỬ BÁO CÁO ĐỒ ÁN ĐỀ TÀI: MỞ CỬA BẰNG NHẬN DIỆN KHUÔN MẶT SỬ DỤNG ESP32-CAM Giảng viên hướng dẫn: Phan Ngọc Kỳ Sinh viên thực hiện: - Lê Hoàng Phương MSV: 1911505410145 - Phạm Đình Ngọc Hịa MSV: 1911505410118 Lớp: 19DT1 Đà Nẵng, 12/2022 MỞ ĐẦU MỤC LỤC Khoa học công nghệ ngày đạt được những thành tựu to lớn, kéo theoI: đó sựTHIỆU phát triển vượt bậc các ngành nghề có ứng dụng CHƯƠNG GIỚI khoa học kỹ thuật Những năm gần đây, khái niệm về Internet of thing I (IoT) Tởng khơng quan cịn xa lạ cuộc sống của chúng ta nữa Nhất các thiết bị IoT đã được sử dụng tràn ngập, rộng rãi khắp thế Línay, chọn đề tài: giới Điều đó cho thấy được lợi ích của các thiết bị thế Vấn đề cần giả ta quyết: cuộc sống người NộiBên dungcạnh thựcsựhiện: phát triển của IoT, trí tuệ nhân tạo cũng phát triển II.vượt Công nghệ sinh trắc vừa nhận dạng bằng khuôn mặt các ngành nghề bậc thời gian qua Bằng chứng khắp đều đangnghệ có những sửmật dụng trí tuệ nhân tạo để nhằm tạo Công sinh ứng trắc dụng bảo suất lao động tốt hơn, độ chính xác máy cao Các sản phẩm trí tuệ Công nhận dạngđiều khuôn nhân tạo nghệ có tính đột phá, mà mặt những năm về trước người chỉ có CHƯƠNG II : NGHIÊN CỨU TỔNG QUAN thể xem viễn tưởng Việcnhận kết hợp sản phẩm I Hệ thống diệnmột khuôn mặt IoT có ứng dụng của trí tuệ nhân tạo tất yếu cũng xu hướng Với đề tài “Bộ khóa cửa nhận Bài toán nhận diện mặt người diện bằng khuôn mặt” của nhóm chúng em thực hiện, chính Những số củamuốn hình tìm ảnhhiểu khn mặt triển mợt sản phẩm cơng kết hợp đótham với mong phát nghệ theo xuxử hướng Ý tưởng lí bàinhưng toán ứng dụng hiệu cuộc sống II Tìm hiểu tổng quát về ESP32 4 4 5 8 8 9 CPU bộ nhớ 10 Timers and Watchdogs 11 System Clocks 12 Radio 12 Wifi 12 Bluetooh 13 Thiết bị ngoại vi Cảm biến 14 III Bộ khóa cửa đóng mở bằng nhận diện khuôn mặt 14 Module ESP32 CAM 14 Module Relay 18 Ổ khóa điện từ LY-01 20 CHƯƠNG III: PHÂN TÍCH THIẾT KẾ HỆ THỚNG I Tởng quan hoạt đợng 21 21 II Tổng quan về chức 22 Chức 22 CHƯƠNG IV: CODE 24 CHƯƠNG V : KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 31 I Kết luận 31 II Hướng phát triển 31 CHƯƠNG I: GIỚI THIỆU I Tổng quan Lí chọn đề tài: Trong thời đại phát triển nay, vấn đề bảo mật an ninh mợt vấn đề quan trọng cần thiết cuộc sống, ta có thể thấy được hàng loạt các công nghệ có liên quna ảnh hưởng đến vấn đề thúc đẩy đời song phát triển mạnh mẽ Từ vấn đề an ninh của các quan, trụ sở việc đảm bảo an tồn các thiết bị , nhà cửa, cơng trình,…Điển mợt thiết lập mợt hệ thớng bảo vệ nhà cửa tránh xâm nhập của người lạ cũng vấn đề trộm cướp Hệ thống đó có thể một ổ khóa thông minh được người dùng cài đặt mật khẩu những số, kí tự, hay bằng vân tay, giọng nói, khuôn mặt,… Như đã nêu ở trên, những địa điểm đó đều cần có bảo mật được đặt lên hàng đầu mợt chiếc khóa cửa bảo vệ lối vào để phát hiện, ngăn chặn xâm nhập của người lạ vô cùng cần thiết Trong đề tài này, chúng ta sẽ nói về một hệ thống bảo vệ đóng mở cửa bằng phương pháp nhận diện dựa công nghệ sinh trắc, cụ thể đó hệ thống mở cửa bằng nhận diện khuôn mặt Vấn đề cần giả quyết: Với đề tài chúng ta xác định mục tiêu vấn đề bảo mật cho lối vào của một địa điểm Cụ thể bộ khóa cửa cho một hộ Yêu cầu đặt cho bộ khóa gồm các tiêu chí: - Nhận diện có độ chính xác cao - Cho phép người sử dụng lưu khuôn mặt vào dữ liệu vào hệ thống - Tốc độ mở khóa nhanh, có người dùng muốn mở cửa (khóa điện sẽ thức đóng mở ổ khóa) camera tiến hành nhận diện khn mặt - Sản phẩm có tính thẩm mỹ Nội dung thực hiện: Sử dụng các kiến thức đã học học phần môn vi điều khiển trí tuệ nhân tạo để tìm hiểu, xây dựng cấu trúc hoạt đợng phần cứng của ổ khóa, khả nhận diện khuôn mặt của ổ khóa - Tiến hành thiết lập sơ đồ khới hệ thớng - Xử lí các quá trình nhận diện, cho phép đóng mở cửa - Thực lắp đặt phần cứng viết nạp code theo yêu cầu chức II Công nghệ sinh trắc nhận dạng bằng khuôn mặt Công nghệ sinh trắc bảo mật Được biết đến một công nghệ áp dụng các đặc tính sinh học, vật lí hay các các đặc điểm đặc trưng , riêng biệt của các cá thể, cá nhân dáng đi, giọng nói, vân tay, khuôn mặt,… để nhận biết, nhận dạng Trong tiếng anh Biometric có nghĩa sinh trắc học Công nghệ sinh trắc được đung việc xác nhận thông tin về một cá nhân hay than nhân một cách hiệu chính xác Hình 1.1 Sơ đờ khới logic chính của hệ thống sinh trắc học Công nghệ nhận dạng khuôn mặt Nhận dạng khuôn mặt một ứng dụng máy tính tự động xác định hoặc nhận dạng mợt người đó từ mợt bức hình ảnh kỹ tḥt sớ hoặc mợt khung hình video từ mợt nguồn video Một những cách để thực điều so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh mợt sở dữ liệu về khuôn mặt Hệ thống thường được sử dụng các hệ thống an ninh có thể được so sánh với các dạng sinh trắc học khác các hệ thớng nhận dạng vân tay hay trịng mắt ❖ Nhận dạng truyền thống Một số thuật toán nhận dạng khuôn mặt xác định các đặc điểm khuôn mặt bằng cách trích xuất các ranh giới, hoặc đặc điểm, từ mợt hình ảnh khn mặt của đới tượng Ví dụ, một thuật toán có thể phân tích các vị trí tương đới, kích thước, và/hoặc hình dạng của mắt, mũi, gò má, cằm Những tính sau đó được sử dụng để tìm kiếm các hình ảnh khác với các tính phù hợp Các thuật toán bình thường hóa mợt bợ sưu tập các hình ảnh khuôn mặt sau đó nén dữ liệu khuôn mặt, chỉ lưu dữ liệu hình ảnh hữu ích cho việc nhận dạng khn mặt Mợt hình ảnh mẫu sau đó được so sánh với các dữ liệu khuôn mặt Một những hệ thống thành công sớm nhất dựa các kỹ thuật phù hợp với mẫu áp dụng cho một tập hợp các đặc điểm khuôn mặt nổi bật, cung cấp một dạng đại diện của khuôn mặt được nén Các thuật toán nhận dạng có thể được chia thành hai hướng chính, hình học, đó nhìn vào tính phân biệt, hoặc trắc quang (đo sáng), sử dụng phương pháp thống kê để 'chưng cất' mợt hình ảnh thành những giá trị so sánh các giá trị với các mẫu để loại bỏ chênh lệch Các thuật toán nhận dạng phổ biến bao gồm Principal Component Analysis (Phép phân tích thành phần chính) sử dụng các khuôn mặt riêng, Linear Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph Matching sử dụng tḥt toán Fisherface, các mơ hình Markov ẩn, Multilinear Subspace Learning (Luyện nhớ không gian đa tuyến) sử dụng đại diện căng, theo dõi liên kết động thần kinh ❖ Nhận dạng 3D Một xu hướng nổi lên, tuyên bố cải thiện được độ chính xác, nhận dạng khuôn mặt ba chiều Kỹ thuật sử dụng các cảm biến 3D để nắm bắt thơng tin về hình dạng của khn mặt Thơng tin sau đó được sử dụng để xác định các tính đặc biệt bề mặt của một khuôn mặt, chẳng hạn các đường viền của hốc mắt, mũi cằm Một lợi thế của nhận dạng khuôn mặt 3D nó không bị ảnh hưởng bởi những thay đổi ánh sáng các kỹ thuật khác Nó cũng có thể xác định một khuôn mặt từ mợt loạt các góc nhìn, đó có góc nhìn nghiêng Các điểm dữ liệu ba chiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng khuôn mặt Nghiên cứu 3D được tăng cường bởi phát triển của các bộ cảm biến tinh vi giúp nắm bắt hình ảnh chụp khn mặt 3D được tốt Các cảm biến hoạt động bằng cách chiếu ánh sáng có cấu trúc lên gương mặt Hàng chục hoặc nhiều nữa các bợ cảm biến hình ảnh có thể được đặt lên cùng một chip CMOS-mỗi cảm biến sẽ thu một phần khác của hình ảnh Ngay mợt kỹ tḥt 3D hoàn hảo cũng có thể gặp khó khăn bởi các sắc thái biểu cảm gương mặt Để đạt được mục tiêu đó một nhóm Technion (viện công nghệ Israel Haifa) đã áp dụng các công cụ từ hình học metric để giải qút các biểu lợ cảm xúc phép đẳng cự Một công ty có tên Vision Access tạo một giải pháp vững chắc cho nhận dạng khuôn mặt 3D Công ty sau đó đã được mua lại bởi công ty truy cập sinh trắc học Bioscrypt Inc Công ty đã phát triển một phiên được gọi 3D FastPass CHƯƠNG II : NGHIÊN CỨU TỞNG QUAN I Hệ thớng nhận diện khuôn mặt Bài toán nhận diện mặt người Hệ thống nhận dạng mặt người một hệ thống nhận vào mợt ảnh hoặc đoạn video (mợt dịng gờm các ảnh liên tục) Qua quá trình xử lí, tính toán hệ thống xác định vị trí mặt người có ảnh xác định người số những người mà hệ thớng biết (qua quá trình học) hoặc người lạ Những tham số của hình ảnh khuôn mặt Khuôn mặt người vốn dĩ đa dạng Điều khiến cho hình ảnh thu được của khng mặt rất phong phú, có thể chỉ một số tham sớ cho các hình ảnh như: - Góc quay xung quanh trục thẳng đứng: tham số ảnh hưởng tới tính đối xứng của khuôn mặt, đồng thời che lấp mợt mắt làm thay đởi hình ảnh hiển thị của những chi tiết khác khuôn mặt - Góc quay xung quanh trục nằm ngang: ứng với tư thế ngẩng hay cúi đầu của đối tượng thu nhập trước máy quay, tham số ảnh hưởng tới diện của một số chi tiết quan trọng khuôn mặt đôi mắt, vùng trán hay vùng miệng - Góc quay xung quanh trục nối liền khuôn mặt với máy quay: tham số không biểu đến những chi tiết khuôn mặt có thể khôi phục về vị trí thẳng đứng bằng phép xử lí quay hình - Kích thước khn mặt - Tỉ lệ của các chiều của khuôn mặt - Cảm xúc của khuôn mặt: tham số làm thay đổi hình ảnh hiển thị của những chi tiết khn mặt Ý tưởng xử lí toán Việc giải quyết toán tổng quát vô cùng khó khăn chưa có mợt giải pháp tồn vẹn Đã có rất nhiều phương pháp đã đề xuất được phát triển những năm gần Mỗi phương pháp có hướng tiếp cận riêng nhằm giải quyết bàitoán theo những tiêu chí cụ thể.Có thể phân nhóm thành hai hướng tiếp cận chính: - Những phương pháp dựa hình ảnh khn mặt (image-based approaches) - Những phương pháp dựa cấu trúc hình học của khn mặt (geomatrical- based approaches) Hướng tiếp cận thứ nhất tìm cách xây dựng những bộ phân lớp được huấn luyệntrên một tập mẫu (bao gồm những ảnh khuôn mặt đã được chuẩn hóa những ảnh bất kỳ không chứa khuôn mặt được gọi ảnh không-phải-là-mặt) có sẵn Những bộ phân lớp sau huấn luyện sẻ được sử dụng để xác định xem vùng ảnh cửasổ quét bất kỳ thuộc lớp khuôn mặt hay lớp khôngphải-là-mặt Hướng tiếp cận thứ hai cố gắng phát những chi tiết đặc trưng cho khuôn mặtnhư: mắt, mũi, miệng,… có tồn bợ ảnh hoặc vùng ảnh cửa sở quét Những chi tiết sau phát sẽ được so khớp với mợt mơ hình khn mặt mẫudựa cấu trúc hình học của khn mặt nói chung, từ đó dự đoán xem vùng ảnh đó khuôn mặt hay khuôn mặt II Tìm hiểu tổng quát về ESP32 ESP32 chip kết hợp Wi-Fi Bluetooth 2,4 GHz được thiết kế với TSMC 40 nm công suất cực thấpCông nghệ Nó được thiết kế để đạt được công suất hiệu suất RF tốt nhất, thể mạnh mẽ, linh hoạt vàđộ tin cậy nhiều ứng dụng các kịch điện Dịng chip ESP32 bao gờm ESP32-D0WD-V3, ESP32-D0WDQ6-V3, ESP32-D0WD, ESP32-D0WDQ6,ESP32-D2WD, ESP32-S0WD ESP32- Hình 2.3: ESP32-CAM Schematic b Ứng dụng thực tế thực tế Sử dụng rộng rãi các ứng dụng IoT: các thiết bị thông minh nhà, giám sát điều khiển không dây, nhận dạng không dây QR, tín hiệu hệ thống định vị không dây,… c Sử dụng đề tài - Module ESP32 CAM có tích hợp một camera nhỏ cho phép chúng ta nhận tín hiệu vào hình ảnh, video sau đó xử lí các hình ảnh đó theo chương trình của chúng ta - Sau xử lí các dữ liệu thu vào, thiết bị sẽ gửi một tín hiệu tới cho thiết bị relay cho phép đóng/mở cửa Module Relay Rơ-le một công tắc (khóa K) Nhưng khác với công tắc ở một chỗ bản, rơ-le được kích hoạt bằng điện thay dùng tay người Chính lẽ đó, rơ-le được dùng làm cơng tắc điện tử! Vì rơ-le mợt cơng tắc nên nó có trạng thái: đóng mở 18 Trên thị trường chúng ta có loại module rơ-le: module rơ-le đóng ở mức thấp (nối cực âm vào chân tín hiệu rơ-le sẽ đóng), module rơ-le đóng ở mức cao (nối cực dương vào chân tín hiệu rơ-le sẽ đóng) Nếu sơ sánh giữa module rơ-le có cùng thông sớ kỹ tḥt hầu hết kinh kiện của nó đều giống nhau, chỉ khác ở chỗ cái transitor của module Chính cái transistor nên sinh loại module rơ-le đấy (có loại transistor NPN - kích ở mức cao, PNP - kích ở mức thấp) Hình 2.3 Module relay SRD-05VDG-SL-C Rơ-le bình thường gờm có chân Trong đó có chân để kích, chân lại nối với đồ dùng điện công suất cao chân dùng để kích - ▪ ▪ +: cấp hiệu điện thế kích tối ưu vào chân - : nối với cực âm S: chân tín hiệu, tùy vào loại module rơ-le mà nó sẽ làm nhiệm vụ kích rơ-le Nếu bạn dùng module rơ-le kích ở mức cao chân S bạn cấp điện thế dương vào module rơ-le của bạn sẽ được kích, ngược lại không Tương tự với module rơ-le kích ở mức thấp chân cịn lại nới với đờ dùng điện cơng suất cao: 19