ĐỒ án CHUYÊN NGÀNH 2 đề tài mô HÌNH mở KHÓA cửa BẰNG NHẬN DIỆN KHUÔN mặt

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VIỆT HÀN Khoa Khoa Học Máy Tính ĐỒ ÁN CHUYÊN NGÀNH TÊN ĐỀ TÀI: MƠ HÌNH MỞ KHĨA CỬA BẰNG NHẬN DIỆN KHUÔN MẶT Sinh viên thực hiện: LƯƠNG VIẾT NHẬT NGUYỄN ĐỨC NGỌC KỲ Lớp: 17IT1 Giảng viên hướng dẫn: PGS.TS NGUYỄN THANH BÌNH Đà Nằng, tháng 05 năm 2021 TRƯỜNG ĐAI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THƠNG VIỆT HÀN Khoa Khoa Học Máy Tính ĐỒ ÁN CHUN NGÀNH TÊN ĐỀ TÀI: MƠ HÌNH MỞ KHĨA CỬA BẰNG NHẬN DIỆN KHN MẶT Sinh viên: LƯƠNG VIẾT NHẬT NGUYỄN ĐỨC NGỌC KỲ Mã:17IT021 Mã:17IT016 Giảng viên hướng dẫn: PGS.TS NGUYỄN THANH BÌNH Đà Năng, tháng 05 năm 2021 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN LỜI CẢM ƠN Nhóm em xin chân thành cảm ơn TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN tạo điều kiện cho nhóm em thực đề tài Nhóm em xin gửi lời cảm ơn chân thành đến tất thầy cô giảng dạy chúng em suốt thời gian qua Cảm ơn đến thầy (cơ) PGS.TS.NGUYẼN THANH BÌNH hướng dẫn nhóm em thực đề tài Bên cạnh đó, để hồn thành khóa học này, nhóm em nhận nhiều giúp đỡ, lời động viên quý báu bạn bè, anh chị thân hữu, nhóm em xin hết lịng cảm ơn Tuy nhiên, thời gian hạn hẹp, nỗ lực mình, đề tài khó tránh khỏi thiếu sót Nhóm em mong nhận thơng cảm, bảo tận tình thầy cô bạn Sinh viên, LƯƠNG VIẾT NHẬT, NGUYỄN ĐỨC NGỌC KỲ MỤC LỤC NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN III LỜI CẢM ƠN IV MỤC LỤC V DANH MỤC CÁC TỪ VIẾT TẮT .VII DANH MỤC HÌNH VẼ .VIII NO TABLE OF FIGURES ENTRIES FOUND VIII MỞ ĐẦU 1 Giới thiệu Mục tiêu đề tài .2 Nội dung kế hoạch thực Bố cục báo cáo .2 CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tổng quan ngôn ngữ , phần mềm liên quan 1.1.1 Ngôn ngữ thực hiện: C, C++ .4 1.1.2 Phần mềm Proteus .6 1.2 Tổng quan thuật toán áp dụng vào đề tài 14 1.2.1 Công nghệ sinh trắc nhận dạng khuôn mặt .14 a) Công nghệ sinh trắc bảo mật 14 b) Công nghệ nhận dạng khuôn mặt 15 c) Phân tích kết cấu da 16 1.2.2 Xử lí ảnh đầu vào 16 a) Xử lí video đầu vào 17 b) Nhận dạng khuôn mặt .17 1.3 Kết chương 18 CHƯƠNG 2: PHÂN TÍCH HỆ THỐNG .19 ❖ Thiết kế chi tiết 19 2.1 Tổng quan hoạt động 20 2.2 Tổng quan chức 22 2.2.1 Chức .22 2.2.2) Phân tích kiện .22 a Đăng kí khn mặt 22 b Xóa người dùng liệu 23 2.2.3 Chức đóng/mở ổ khóa 23 2.3 Kết chương 23 CHƯƠNG 3: TRIỂN KHAI XÂY DựNG 24 3.1 Các thiết bị phần cứng 24 3.1.1 Module ESP32 CAM 24 a Giới thiệu ESP32 - CAM thông số kĩ thuật 24 b ứng dụng thực tế thực tế 26 3.1.2 Module Relay 26 3.1.3 Ổ khóa điện tư LY-01 27 3.1.4 Thiết kế mơ hình phần cứng 28 3.2 Cách kết nối khóa tới trình duyệt 30 3.2.1 WebSockets ' '.’ 30 3.2.2 Kết nối WebSockets 31 3.2.3 Mô hình phần mềm: 32 KẾT LUẬN 32 Kết đạt 32 Hạn chế: .32 Hướng phát triển 32 TÀI LIỆU THAM KHẢO I PHỤ LỤC I DANH MỤC CÁC TỪ VIẾT TẮT _• VIẾT TẮT NỘI DUNG AI Artificial Intelligence, trí tuệ nhân tạo IOT Internet of things DANH MỤC HÌNH VẼ HÌNH: 1.1 CÁCH GỠ BỎ PROTEUS 15 HÌNH:1.2 GỠ BỎ TỒN BỘ PROTEUS 16 HÌNH: 1.3 CÀI ĐẶT PROTEUS 17 HÌNH: 1.4 CÁCH CÀI PROTEUS 17 HÌNH: 1.5 QUÁ TRÌNH CÀI PROTEUS 18 HÌNH: 1.6 HỒN THÀNH CÀI ĐẶT PROTEUS 18 HÌNH: 1.7 THIẾT LẬP PROTEUS 19 HÌNH: 1.8 THIẾT LẬP PROTEUS 20 HÌNH: 1.9 THIẾT LẬP PROTEUS 21 HÌNH: 1.10 THIẾT LẬP PROTEUS 22 HÌNH: 1.11 Sơ ĐÔ KHÔI LOGIC CHINH CUA HÊ THÔNG SINH TRĂC HOC 23 HÌNH: 2.1 Sơ ĐỒ THỰC HIỆN 27 HÌNH: 2.2 Sơ ĐỒ LÀM VIỆC .28 HÌNH: 2.3 MƠ TA HOẠT ĐƠNG CUA BƠ KHOA 28 HÌNH: 2.4 CAc CHỨC NĂNG CUA BÔ KHOA 30 HÌNH: 3.1 MODULE ESP32- CAM 32 HÌNH: 3.2 HINH ANH CAC CHÂN ESP32 CAM 34 HÌNH: 3.3 MODULE RELAY SRD-05VDG-SL-C 35 HÌNH: 3.4 ổ KHOA ĐIÊN TỨ LY-01 36 HÌNH 3.5 Sơ ĐỒ LẮP ĐẶT CÁC THIẾT B| .36 HÌNH 3.6: HÌNH ẢNH THỰC TẾ KHI LẮP ĐẶT 37 HÌNH: MƠ HÌNH HOÀN THIỆN 38 HÌNH:3.6 MƠ HÌNH HỒN THIỆN 39 HÌNH 3.7: MƠ HÌNH PHẦN MỀM TRÊN TRÌNH DUYỆT 42 MỞ ĐẦU Giới thiệu Khoa học công nghệ ngày đạt thành tựu to lớn, kéo theo phát triển vượt bậc ngành nghề có ứng dụng khoa học kỹ thuật Những năm gần đây, khái niệm Internet of thing (loT) khơng cịn xa lạ sống Nhất nay, thiết bị loT sử dụng tràn ngập, rộng rãi khắp giới Điều cho ta thấy lợi ích thiết bị sống người Bên cạnh phát triển loT, trí tuệ nhân tạo phát triển vượt bậc thời gian vừa qua Bằng chứng khắp ngành nghề có ứng dụng sử dụng trí tuệ nhân tạo để nhằm tạo suất lao động tốt hơn, độ xác máy cao Các sản phẩm trí tuệ nhân tạo có tính đột phá, điều mà năm trước người xem viễn tưởng Việc kết hợp sản phẩm loT có ứng dụng trí tuệ nhân tạo tất yếu xu hướng Với đề tài “Bộ khóa cửa nhận diện khn mặt” nhóm chúng em thực hiện, kết hợp với mong muốn tìm hiểu phát triển sản phẩm công nghệ theo xu hướng ứng dụng hiệu sống Trong thời đại phát triển nay, vấn đề bảo mật an ninh vấn đề quan trọng cần thiết sống, ta thấy hàng loạt cơng nghệ có liên quna ảnh hưởng đến vấn đề thúc đẩy đời song phát triển mạnh mẽ Từ vấn đề an ninh quan, trụ sở việc đảm bảo an toàn thiết bị , nhà cửa, cơng trình, Điển thiết lập hệ thống bảo vệ nhà cửa tránh xâm nhập người lạ vấn đề trộm cướp Hệ thống khóa thơng minh người dùng cài đặt mật số, kí tự, hay vân tay, giọng nói, khn mặt, Như nêu trên, địa điểm cần có bảo mật đặt lên hàng đầu khóa cửa bảo vệ lối vào để phát hiện, ngăn chặn xâm nhập người lạ vô cần thiết Trong đề tài này, nói hệ thống bảo vệ đóng mở cửa phương pháp nhận diện dựa cơng nghệ sinh trắc, cụ thể hệ thống mở cửa nhận diện khuôn mặt Mục tiêu đề tài Với đề tài xác định mục tiêu vấn đề bảo mật cho lối vào địa điểm Cụ thể khóa cửa cho hộ Yêu cầu đặt cho khóa gồm tiêu chí: - Nhận diện có độ xác cao - Cho phép người sử dụng lưu khuôn mặt vào liệu vào hệ thống - Tốc độ mở khóa nhanh, có người dùng muốn mở cửa (khóa điện thức đóng mở khóa) camera tiến hành nhận diện khn mặt - Sản phẩm có tính thẩm mỹ Nội dung kế hoạch thực Nội dung thực đề tài: Sử dụng kiến thức học học phần mơn vi điều khiển trí tuệ nhân tạo để tìm hiểu, xây dựng cấu trúc hoạt động phần cứng khóa, khả nhận diện khn mặt khóa - Tiến hành thiết lập sơ đồ khối hệ thống - Xử lí trình nhận diện, cho phép đóng mở cửa Thực lắp đặt phần cứng viết nạp code theo yêu cầu chức Kế hoạch thực đề tài: - Tìm hiểu đề tài Tìm kiếm cơng cụ, tài liệu học Phân tích, thiết kế Thực Viết báo cáo Bố cục báo cáo Sau phần Mở đầu, báo cáo trình bày ba chương, cụ thể sau: Chương Tổng quan đề tài Trong chương này, báo cáo trình bày khái niệm, đặc điểm, Chương Phân tích thiết kế hệ thống Nội dung chương bao gồm: phân tích chức mơ hình, thiết kế hệ thống cho mơ hình CHƯƠNG 3: TRIỂN KHAI XÂY DỰNG 3.1 Các thiết bị phần cứng 3.1.1 Module ESP32 CAM a Giới thiệu ESP32 - CAM thông số kĩ thuật - - - ESP32-CAM có module camera cỡ nhỏ hoạt động hệ thống độc lập với kích thước 27x40.5x4.5mm dòng chế độ deep sleep lên đến 6mA ESP32-CAM đóng gói DIP-16 (Dual In-line Package) lắp trực tiếp vào bo mạch chủ, cung cấp cho khách hàng chế độ kết nối với độ tin cậy cao, thuận tiện cho việc ứng dụng thiết bị loT khác Module cần phải lập trình với ESP-IDF khơng hỗ trợ Arduino IDE ESP32-CAM Hình: 3.1 Module ESP32- CAM Thơng số kỹ thuật: Tên Điện áp cung cấp 5V Mô tả Tên Mô tả SPI Flash RAM Mặc định 32MB 520KB SRAM + 4MB PSRAM Bộ nhớ Bluetooth Khe cắm thẻ micro SD lên đến 4GB Chuẩn Bluetooth 4.2 BR/EDR BLE WiFi 802.11 b/g/n Interface UART, SPI, I2C, PWM IO Port Tốc độ truyền UART 115200bps(Mặc định) Camera + Đầu nối FPC + Hỗ trợ camera OV2640(bán kèm theo board) camera OV7670 + JPEG(chỉ hỗ trợ OV2640), BMP, GRAYSCALE + Đèn led Dải quang phổ 2412 ~2484MHz Antenna Onboard PCB antenna, gain 2dBi Transmit Power 802.11b: 17±2 dBm (@11Mbps) 802.11g: 14±2 dBm (@54Mbps) 802.11n: 13±2 dBm (@MCS7) Receiving Sensitivity CCK, Mbps : -90dBm CCK, 11 Mbps: -85dBm Mbps (1/2 BPSK): -88dBm 54 Mbps (3/4 64-QAM): -70dBm MCS7 (65 Mbps, 72.2 Mbps): -67dBm Tiêu thụ điện + Tắt đèn flash: 180mA@5V + Bật đèn flash bật độ sáng tối đa: 310mA@5V + Deep-sleep: 6mA@5V + Moderm-sleep: 20mA@5V + Light-sleep: 6.7mA@5V Bảo mật WPA/WPA2/WPA2-Enterprise/WPS Nhiệt độ hoạt động -20 c ~ 85 c Môi trường bảo quản -40 c ~ 90 c , < 90%RH ưo l/O l/o 1/0 1/0 1/0 HS2 DATA1 HS2DATA0 HS2 CLK HS2-CMD HS2 DATA3 HS2 DATA2 POW POW GPIO4 Hình: 3.2 Hình ảnh chân ESP32 Cam GPIO2 GPIO14 GPIO15 GPIO13 GPIO12 GND b Ứng dụng thực tế thực tế Sử dụng rộng rãi ứng dụng loT: thiết bị thông minh nhà, giám sát điều khiển khơng dây, nhận dạng khơng dây QR, tín hiệu hệ thống định vị không dây, c Sử dụng đề tài - Module ESP32 CAM có tích hợp camera nhỏ cho phép nhận tín hiệu vào hình ảnh, video sau xử lí hình ảnh theo chương trình - Sau xử lí liệu thu vào, thiết bị gửi tín hiệu tới cho thiết bị relay cho phép đóng/mở cửa 3.1.2 Module Relay Rơ-le cơng tắc (khóa K) Nhưng khác với cơng tắc chỗ bản, rơle kích hoạt điện thay dùng tay người Chính lẽ đó, rơ-le dùng làm cơng tắc điện tử! Vì rơ-le cơng tắc nên có trạng thái: đóng mở Trên thị trường có loại module rơ-le: module rơ-le đóng mức thấp (nối cực âm vào chân tín hiệu rơ-le đóng), module rơ-le đóng mức cao (nối cực dương vào chân tín hiệu rơ-le đóng) Nếu sơ sánh module rơle có thơng số kỹ thuật hầu hết kinh kiện giống nhau, khác chỗ transitor module Chính transistor nên sinh loại module rơ-le (có loại transistor NPN - kích mức cao, PNP - kích mức thấp) Hình: 3.3 Module relay SRD-05VDG-SL-C Rơ-le bình thường gồm có chân Trong có chân để kích, chân cịn lại nối với đồ dùng điện cơng suất cao chân dùng để kích - ■ ■ +: cấp hiệu điện kích tối ưu vào chân - : nối với cực âm S: chân tín hiệu, tùy vào loại module rơ-le mà làm nhiệm vụ kích rơ-le Nếu bạn dùng module rơ-le kích mức cao chân S bạn cấp điện dương vào module rơ-le bạn kích, ngược lại khơng Tương tự với module rơ-le kích mức thấp chân cịn lại nối với đồ dùng điện công suất cao: - COM: chân nối với chân đồ dùng điện, khun bạn nên mắc vào chân lửa (nóng) dùng hiệu điện xoay chiều cực dương hiệu điện chiều - ON NO: chân bạn nối với chân lửa (nóng) dùng điện xoay chiều cực dương nguồn dòng điện chiều - OFF NC: chân bạn nối chân lạnh (trung hòa) dùng điện xoay chiều cực âm nguồn dùng điện chiều 3.1.3 Ổ khóa điện từ LY-01 Khóa chốt điện từ LY-01 có chức hoạt động ổ khóa cửa sử dụng Solenoid để kích đóng mở điện, sử dụng nhiều nhà thông minh loại tủ, cửa phịng, cửa kho, , Khóa chốt điện tù sử dụng điện áp 12VDC, loại thường đóng (cửa đóng) với chất lượng tốt, độ bền cao Khóa sử dụng chung với mạch chức tạo thành hệ thống thông minh Hình: 3.4 khóa điện từLY-01 THƠNG SỐ KĨ THUẬT - Vật liệu: Thép không gỉ Nguồn điện: 12V DC Dịng điện: 0.8A Kích thước: L54xD38xH28 3.1.4 Thiết kế mơ hình phần cứng Sơ đồ lắp đặt thiết bị: Hình 3.5 sơ đồ lắp đặt thiết bị Hình ảnh thực tế lắp đặt : Hình 3.6: Hình ảnh thực tế lắp đặt Mơ hình hồn thiện: Hình: Mơ hình hồn thiện Hình:3.6 Mơ hình hồn thiện 3.2 Cách kết nối khóa tới trình duyệt 3.2.1 WebSockets WebSokets cơng nghệ hỗ trợ giao tiếp hai chiều client server cách sử dụng TCP Socket để tạo kết nối hiệu tốn Mặc dù thiết kế để chuyên sử dụng cho ứng dụng web, lập trình viên đưa chúng vào loại ứng dụng - - WebSockets xuất HTML5, kỹ thuật Reverse Ajax WebSockets cho phép kênh giao tiếp song song hai chiều hỗ trợ nhiều trình duyệt (Firefox, Google Chrome Safari) Kết nối mở thông qua HTTP request (yêu cầu HTTP), gọi liên kết WebSockets với header đặc biệt Kết nối trì để bạn viết nhận liệu JavaScript bạn sử dụng TCP socket đơn Dữ liệu truyền tải thông qua giao thức HTTP (thường dùng với kĩ thuật Ajax) chứa nhiều liệu không cần thiết phần header Một header request/response HTTP có kích thước khoảng 871 byte, với WebSocket, kích thước byte (sau kết nối) 3.2.2 Kết nối WebSockets WebSocket đóng vai trị trung gian vận chuyển từ phía máy ảnh đến trình duyệt tiến hành xử lí liệu hình ảnh - Gửi danh sách khn mặt tới trình duyệt: static esp_err_t send_face_list(WebsocketsClient &client){ client.send("delete_faces"); // tell browser to delete all faces face_id_node *head = st_face_list.head; char add_face[64]; for (int i = 0; i < st_face_list.count; i++) // loop current faces { sprintf(add_face, "listface:%s", head->id_name); client.send(add_face); //send face to browser head = head->next; } } - Xóa tất khn mặt tới trình duyệt: static esp_err_t delete_all_faces(WebsocketsClient &client) { delete_face_all_in_flash_with_name(&st_face_list); Client send(" delete_faces"); } 3.2.3 Mơ hình phần mềm: Hình 3.7: Mơ hình phần mềm trình duyệt KẾT LUẬN Kết đạt Qua trình báo cáo làm đồ án lần nhóm học được: - Cách làm việc nhóm để đạt hiệu cao - Nâng cao kiến thức ngơn ngữ lập trình C, C++ - Hiểu thêm vê Ai - Vì tình hình dịch bệnh, nhóm học cách làm việc từ xa thành thạo phần mềm làm việc từ xa như: teamviewer, thành viên nhóm chủ động, tự giác cao Hạn chế: - Vì kiến thức mới, có phần nâng cao, nên cịn nhiều vấn đề chưa tự giải phải nhờ anh chị, thầy giúp đỡ - Mơ hình xây dựng thiếu tính thẩm mĩ - Vì mơ hình nên áp dụng thực tế cần có thiết bị khác Hướng phát triển Với hạn chế tồn nêu trên, hướng nghiên cứu dự kiến sau: Tìm hiểu thiết bị phần cứng, xây dựng mơ hình lớn áp dụng đời thực TÀI LIỆU THAM KHẢO [1] ESP32-CAM Video Streaming Web Server, " https://randomnerdtutorials.com/esp32-cam-video-streaming-webserver-camera-home-assistant/" [2] cộng đồng adruino , " http://arduino.vn/reference/howto," [3] [4] Tham khảo linh kiện cần mua tại, "http://arduino.vn/" WebSocke, "https://www.websocket.org/ " 2018 [5] [6] Hệ thống nhận diện khuôn mặt, " https://vi.wikipedia.org/wiki/he-thongnhan-dien-khuon-mat/ " ESP32 cam VideoStrem Web Server," https://randomnedr.com/" PHỤ LỤC ... 19 2. 1 Tổng quan hoạt động 20 2. 2 Tổng quan chức 22 2. 2.1 Chức .22 2. 2 .2) Phân tích kiện .22 a Đăng kí khn mặt 22 b Xóa người... hệ thống mở cửa nhận diện khuôn mặt Mục tiêu đề tài Với đề tài xác định mục tiêu vấn đề bảo mật cho lối vào địa điểm Cụ thể khóa cửa cho hộ Yêu cầu đặt cho khóa gồm tiêu chí: - Nhận diện có độ... VIỆT HÀN Khoa Khoa Học Máy Tính ĐỒ ÁN CHUN NGÀNH TÊN ĐỀ TÀI: MƠ HÌNH MỞ KHĨA CỬA BẰNG NHẬN DIỆN KHN MẶT Sinh viên: LƯƠNG VIẾT NHẬT NGUYỄN ĐỨC NGỌC KỲ Mã:17IT 021 Mã:17IT016 Giảng viên hướng dẫn: