(TIỂU LUẬN) đồ án CHUYÊN NGÀNH 2 đề tài mô HÌNH mở KHÓA cửa BẰNG NHẬN DIỆN KHUÔN mặt

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VIỆT HÀN Khoa Khoa Học Máy Tính ĐỒ ÁN CHUYÊN NGÀNH TÊN ĐỀ TÀI: MƠ HÌNH MỞ KHĨA CỬA BẰNG NHẬN DIỆN KHUÔN MẶT Sinh viên thực hiện: LƯƠNG VIẾT NHẬT NGUYỄN ĐỨC NGỌC KỲ Lớp: 17IT1 Giảng viên hướng dẫn: PGS.TS NGUYỄN THANH BÌNH Đà Nẵng, tháng 05 năm 2021 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THƠNG VIỆT HÀN Khoa Khoa Học Máy Tính ĐỒ ÁN CHUN NGÀNH TÊN ĐỀ TÀI: MƠ HÌNH MỞ KHĨA CỬA BẰNG NHẬN DIỆN KHN MẶT Sinh viên: LƯƠNG VIẾT NHẬT NGUYỄN ĐỨC NGỌC KỲ Mã:17IT021 Mã:17IT016 Giảng viên hướng dẫn: PGS.TS NGUYỄN THANH BÌNH Đà Nẵng, tháng 05 năm 2021 NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN LỜI CẢM ƠN Nhóm em xin chân thành cảm ơn TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN tạo điều kiện cho nhóm em thực đề tài Nhóm em xin gửi lời cảm ơn chân thành đến tất thầy cô giảng dạy chúng em suốt thời gian qua Cảm ơn đến thầy (cô) PGS.TS.NGUYỄN THANH BÌNH hướng dẫn nhóm em thực đề tài Bên cạnh đó, để hồn thành khóa học này, nhóm em nhận nhiều giúp đỡ, lời động viên quý báu bạn bè, anh chị thân hữu, nhóm em xin hết lòng cảm ơn Tuy nhiên, thời gian hạn hẹp, nỗ lực mình, đề tài khó tránh khỏi thiếu sót Nhóm em mong nhận thơng cảm, bảo tận tình thầy bạn Sinh viên, LƯƠNG VIẾT NHẬT, NGUYỄN ĐỨC NGỌC KỲ MỤC LỤC NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN III LỜI CẢM ƠN IV MỤC LỤC V DANH MỤC CÁC TỪ VIẾT TẮT .VII DANH MỤC HÌNH VẼ .VIII NO TABLE OF FIGURES ENTRIES FOUND VIII MỞ ĐẦU .1 Giới thiệu .1 Mục tiêu đề tài Nội dung kế hoạch thực Bố cục báo cáo .2 CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tổng quan ngôn ngữ , phần mềm liên quan 1.1.1 Ngôn ngữ thực hiện: C, C++ .4 1.1.2 Phần mềm Proteus .6 1.2 Tổng quan thuật toán áp dụng vào đề tài 14 1.2.1 Công nghệ sinh trắc nhận dạng khuôn mặt 14 a) Công nghệ sinh trắc bảo mật 14 b) Công nghệ nhận dạng khuôn mặt 15 c) Phân tich kết cấu da 16 1.2.2 Xử li ảnh đầu vào 16 a) Xử li video đầu vào 17 b) Nhận dạng khuôn mặt .17 1.3 Kết chương 18 CHƯƠNG 2: PHÂN TÍCH HỆ THỐNG .19  Thiết kế chi tiết 19 2.1 Tổng quan hoạt động .20 2.2 Tổng quan chưc 22 2.2.1 Chức 22 2.2.2) Phân tich kiện 22 a Đăng ki khuôn mặt .22 b Xóa người dùng liệu 23 2.2.3 Chức đóng/mơ khóa .23 2.3 Kết chương 23 CHƯƠNG 3: TRIỂN KHAI XÂY DỰNG .24 3.1 Các thiết bị phần cưng 24 3.1.1 Module ESP32 CAM 24 a Giới thiệu ESP32 – CAM thông số ki thuật 24 b Ưng ddng thực tế thực tế 26 3.1.2 Module Relay 26 3.1.3 Ơ khóa điện tư LY-01 .27 3.1.4 Thiết kế mơ hình phần cứng 28 3.2 Cách kết nối khoa tới trinh duyệt 30 3.2.1 WebSockets .30 3.2.2 Kết nối WebSockets 31 3.2.3 Mơ hình phần mềm: 32 KẾT LUẬN 32 1.Kết đạt 32 2.Hạn chế: 32 Hướng phát triển .32 TÀI LIỆU THAM KHẢO I PHỤ LỤC I DANH MỤC CÁC TỪ VIẾT TẮT VIẾT TẮT NỘI DUNG AI Artificial Intelligence, tri tuệ nhân tạo IOT Internet of things DANH MỤC HÌNH VẼ HÌNH: 1.1 CÁCH GỠ BỎ PROTEUS 15 HÌNH:1.2 GỠ BỎ TỒN BỘ PROTEUS 16 HÌNH: 1.3 CÀI ĐẶT PROTEUS 17 HÌNH: 1.4 CÁCH CÀI PROTEUS 17 HÌNH: 1.5 QUÁ TRÌNH CÀI PROTEUS 18 HÌNH: 1.6 HỒN THÀNH CÀI ĐẶT PROTEUS 18 HÌNH: 1.7 THIẾT LẬP PROTEUS 19 HÌNH: 1.8 THIẾT LẬP PROTEUS .20 HÌNH: 1.9 THIẾT LẬP PROTEUS .21 HÌNH: 1.10 THIẾT LẬP ̀̀̀ PROTEUS .22 HÌNH: 1.11 SƠ ĐỜ̀C̀ .23 KHÔI LOGIC CHINH CUA HÊ THƠNG SINH TRĂC HO HÌNH: 2.1 SƠ ĐỒ THỰC HIỆN 27 H Ơ ÔĐỒ HOAVIỆC HÌNH ÌNH:: 2.2 2.3 SM TALÀM ̉̀ ̉̀ 28 ̉̀ ̉̀ ̉̀ ̀ HÌNH: 2.4 CẢ̀ ̉̀ ̉̀ ̉̀ KHO ̉̀ HÌNH: 3.1 MODULE ESP32- CAM 32 HÌNH: 3.2 HỈ̀̀ C CHÂN ESP32 CAM 34 ANHRELAY CA SRD-05VDG-SL-C 35 HÌNH: 3.3 MNH ODULE HÌNH: 3.4 Ơ KHỎ̀̀ LY-01 36 A ĐIÊN HÌNH 3.5 SƠ ĐỒ LẮP ĐẶTTƯ CÁC THIẾT BỊ .36 HÌNH 3.6: HÌNH ẢNH THỰC TẾ KHI LẮP ĐẶT 37 HÌNH: MƠ HÌNH HỒN THIỆN .38 HÌNH:3.6 MƠ HÌNH HOÀN THIỆN 39 HÌNH 3.7: MƠ HÌNH PHẦN MỀM TRÊN TRÌNH DUYỆT .42 MỞ ĐẦU Giới thiệu Khoa học công nghệ ngày đạt thành tựu to lớn, keo theo phát triển vượt bậc ngành nghề có ứng ddng khoa học ky thuật Những năm gần đây, khái niệm Internet of thing (IoT) khơng cịn xa lạ sống Nhất nay, thiết bị IoT sử ddng tràn ngập, rộng rãi khắp giới Điều cho ta thấy lợi ich thiết bị sống người Bên cạnh phát triển IoT, tri tuệ nhân tạo phát triển vượt bậc thời gian vưa qua Bằng chứng khắp ngành nghề có ứng ddng sử ddng tri tuệ nhân tạo để nhằm tạo suất lao động tốt hơn, độ chinh xác máy cao Các sản phâm tri tuệ nhân tạo có tinh đột phá, điều mà năm trước người xem viên tương Việc kết hợp sản phâm IoT có ứng ddng tri tuệ nhân tạo tất yếu xu hướng Với đề tài “Bơ kho cư nhân diên băng khn mặt nhóm chúng em thực hiện, chinh kết hợp với mong muốn tìm hiểu phát triển sản phâm công nghệ theo xu hướng ứng ddng hiệu cuộcTrong sống thời đại phát triển nay, vấn đề bảo mật an ninh vấn đề quan trọng cần thiết sống, ta thấy hàng loạt cơng nghệ có liên quna ảnh hương đến vấn đề thúc đời song phát triển mạnh me Tư vấn đề an ninh quan, trd sơ việc đảm bảo an toàn thiết bị , nhà cửa, cơng trình,…Điển thiết lập hệ thống bảo vệ nhà cửa tránh xâm nhập người lạ vấn đề trộm cướp Hệ thống khóa thơng minh người dùng cài đặt mật khâu số, ki tự, hay vân tay, giọng nói, khn mặt,… Như nêu trên, địa điểm cần có bảo mật đặt lên hàng đầu khóa cửa bảo vệ lối vào để phát hiện, ngăn chặn xâm nhập người lạ vô cần thiết Trong đề tài này, se nói hệ thống bảo vệ đóng mơ cửa phương pháp nhận diện dựa cơng nghệ sinh trắc, cd thể hệ thống mơ cửa nhận diện khuôn mặt Mục tiêu đề tài - Đăng ki thất bại, reload trang b Xoa dung liệu Tên ca sử ddng Xóa người dùng liệu Tác nhân Người dùng Sự kiện kich hoạt Người dùng Click button xóa Lng kiện chinh: - Người dùng chọn user cần xóa - Nhấn nút xóa - Thành công, reload lại danh sách người dùng Luông kiện phd: - Xóa thất bại, giữ nguyên kết 2.2.3 Chưc đong/mơ ổ khoa Tên ca sử ddng Tác nhân Sự kiện kich hoạt Luông kiện chinh: - Xử li ảnh đối chiếu với CSDL - Gửi tin hiệu đóng/mơ tới - Thành cơng mơ cửa Luông kiện phd: - Thất bại, giữ nguyên kết Đóng mơ khóa Ơ khóa Xử li đối chiếu hình ảnh 2.3 Kết chương Trên chương với cách thực hoạt động, chức mơ hình, cịn lại thiếu triển khai xây dựng mơ hình, mời thầy bạn đến với chương Chương 3: Triển khai xây dựng CHƯƠNG 3: TRIỂN KHAI XÂY DỰNG 3.1 Các thiết bị phần cưng 3.1.1 Module ESP32 CAM a Giới thiệu ESP32 – CAM thông số kĩ thuật - - - ESP32-CAM có module camera cỡ nhỏ hoạt động hệ thống độc lập với kich thước 27x40.5x4.5mm dòng chế độ deep sleep lên đến 6mA ESP32-CAM đóng gói DIP-16 (Dual In-line Package) lắp trực tiếp vào bo mạch chủ, cung cấp cho khách hàng chế độ kết nối với độ tin cậy cao, thuận tiện cho việc ứng ddng thiết bị IoT khác Module cần phải lập trình với ESP-IDF khơng hỗ trợ Arduino IDE Hình: 3.1 Module ESP32CAM Thơng số kỹ thuật: Tên Điện áp cung cấp Mô tả 5V Tên Mô tả SPI Flash Mặc định 32MB RAM 520KB SRAM + 4MB PSRAM Bộ nhớ Khe cắm thẻ micro SD lên đến 4GB Bluetooth Chuân Bluetooth 4.2 BR/EDR BLE WiFi 802.11 b/g/n Interface UART, SPI, I2C, PWM IO Port Tốc độ truyền UART 115200bps(Mặc định) Camera + Đầu nối FPC + Hỗ trợ camera OV2640(bán kèm theo board) camera OV7670 + JPEG(chỉ hỗ trợ OV2640), BMP, GRAYSCALE + Đèn led Dải quang phô 2412 ~2484MHz Antenna Onboard PCB antenna, gain 2dBi Transmit Power 802.11b: 17±2 dBm (@11Mbps) 802.11g: 14±2 dBm (@54Mbps) 802.11n: 13±2 dBm (@MCS7) Receiving Sensitivity CCK, Mbps : -90dBm CCK, 11 Mbps: -85dBm Mbps (1/2 BPSK): -88dBm 54 Mbps (3/4 64-QAM): -70dBm MCS7 (65 Mbps, 72.2 Mbps): -67dBm Tiêu thd điện + Tắt đèn flash: 180mA@5V + Bật đèn flash bật độ sáng tối đa: 310mA@5V + Deep-sleep: 6mA@5V + Moderm-sleep: 20mA@5V + Light-sleep: 6.7mA@5V Bảo mật WPA/WPA2/WPA2-Enterprise/WPS Nhiệt độ hoạt động -20 ℃ ~ 85 ℃ Môi trường bảo quản -40 ℃ ~ 90 ℃ , < 90%RH Hình: 3.2 Hình anh chân ESP32 Ćm b Ứng dụng thực tế thực tế Sử ddng rộng rãi ứng ddng IoT: thiết bị thông minh nhà, giám sát điều khiển không dây, nhận dạng không dây QR, tin hiệu hệ thống định vị không dây,… c Sử ddng đề tài - Module ESP32 CAM có tich hợp camera nhỏ cho phep nhận tin hiệu vào hình ảnh, video sau xử li hình ảnh theo chương trình - Sau xử li liệu thu vào, thiết bị se gửi tin hiệu tới cho thiết bị relay cho phep đóng/mơ cửa 3.1.2 Module Relay Rơ-le cơng tăc (khóa K) Nhưng khác với công tắc chỗ bản, rơle kich hoạt điện thay dùng tay người Chinh le đó, rơ-le dùng làm cơng tắc điện tử! Vì rơ-le cơng tắc nên có trạng thái: đóng mơ Trên thị trường có loại module rơ-le: module rơ-le đóng mức thấp (nối cực âm vào chân tin hiệu rơ-le se đóng), module rơ-le đóng mức cao (nối cực dương vào chân tin hiệu rơ-le se đóng) Nếu sơ sánh module rơle có thơng số ky thuật hầu hết kinh kiện giống nhau, khác chỗ transitor module Chinh transistor nên sinh loại module rơ-le (có loại transistor NPN - kich mức cao, PNP - kich mức thấp) Hình: 3.3 Module reĺy SRD05VDG-SL-C Rơ-le bình thường gơm có chân Trong có chân để kich, chân cịn lại nối với đô dùng điện công suất cao chân dùng để kich - +: cấp hiệu điện kich tối ưu vào chân - : nối với cực âm S: chân tin hiệu, tùy vào loại module rơ-le mà se làm nhiệm vd kich rơ-le Nếu bạn dùng module rơ-le kich mức cao chân S bạn cấp điện dương vào module rơ-le bạn se kich, ngược lại khơng Tương tự với module rơ-le kich mức thấp chân cịn lại nối với dùng điện cơng suất cao: - COM: chân nối với chân dùng điện, khun bạn nên mắc vào chân lửa (nóng) dùng hiệu điện xoay chiều cực dương hiệu điện chiều - ON NO: chân bạn se nối với chân lửa (nóng) dùng điện xoay chiều cực dương ngn dịng điện chiều - OFF NC: chân bạn se nối chân lạnh (trung hòa) dùng điện xoay chiều cực âm nguôn dùng điện chiều 3.1.3 Ổ khoa điện tư LY-01 Khóa chốt điện tư LY-01 có chức hoạt động khóa cửa sử ddng Solenoid để kich đóng mơ điện, sử ddng nhiều nhà thông minh loại tủ, cửa phịng, cửa kho,…, Khóa chốt điện tư sử ddng điện áp 12VDC, loại thường đóng (cửa đóng) với chất lượng tốt, độ bền cao Khóa sử ddng chung với mạch chức tạo thành hệ thống thơng minh Hình: 3.4 Ơ kho điên ̣ư LY01 THƠNG SƠ KI THT - Vật liệu: Thep khơng gỉ Ngn điện: 12V DC Dịng điện: 0.8A Kich thước: L54xD38xH28 3.1.4 Thiết kế mô hinh phần cưng Sơ đồ lăp đặt thiết bị: Hình 3.5 sơ lăp đặ ̣hiếế bị Hinh ảnh thực tế lăp đặt : Hình 3.6: Hình anh ̣hực ̣ế lăp đặ Mơ hinh hồn thiện: Hình: Mơ hình hồn ̣hiên Hình:3.6 Mơ hình hồn ̣hiên 3.2 Cách kết nối khoa tới trinh duyệt 3.2.1 WebSockets WebSokets công nghệ hỗ trợ giao tiếp hai chiều client server cách sử ddng TCP socket để tạo kết nối hiệu it tốn kem Mặc dù thiết kế để chuyên sử ddng cho ứng ddng web, lập trình viên đưa chúng vào loại ứng ddng - - WebSockets xuất HTML5, ky thuật Reverse Ajax WebSockets cho phep kênh giao tiếp song song hai chiều hỗ trợ nhiều trình duyệt (Firefox, Google Chrome Safari) Kết nối mơ thông qua HTTP request (yêu cầu HTTP), gọi liên kết WebSockets với header đặc biệt Kết nối trì để bạn viết nhận liệu JavaScript bạn sử ddng TCP socket đơn Dữ liệu truyền tải thông qua giao thức HTTP (thường dùng với ki thuật Ajax) chứa nhiều liệu không cần thiết phần header Một header request/response HTTP có kich thước khoảng 871 byte, với WebSocket, kich thước byte (sau kết nối) - 3.2.2 Kết nối băng WebSockets WebSocket đóng vai trị trung gian vận chuyển tư phia máy ảnh đến trình duyệt tiến hành xử li liệu hình ảnh - Gửi danh sách khn mặt tới trình duyệt: static esp_err_t send_face_list(WebsocketsClient &client){ client.send("delete_faces"); // tell browser to delete all faces face_id_node *head = st_face_list.head; char add_face[64]; for (int i = 0; i < st_face_list.count; i++) // loop current faces { sprintf(add_face, "listface:%s", head->id_name); client.send(add_face); //send face to browser head = head->next; } } - Xóa tất khn mặt tới trình duyệt: static esp_err_t delete_all_faces(WebsocketsClient &client) { delete_face_all_in_flash_with_name(&st_face_list); client.send("delete_faces"); } 3.2.3 Mô hinh phần mềm: Hình 3.7: Mơ hình phần mềm ̣rên ̣rình duyế KẾT LUẬN 1.Kết đạt Qua trình báo cáo làm án lần nhóm học được: - Cách làm việc nhóm để đạt hiệu cao - Nâng cao kiến thức ngôn ngữ lập trình C, C++ - Hiểu thêm vê Ai - Vì tình hình dịch bệnh, nhóm học cách làm việc tư xa thành thạo phần mềm làm việc tư xa như: teamviewer, thành viên nhóm chủ động, tự giác cao 2.Hạn chế: - Vì kiến thức mới, có phần nâng cao, nên cịn nhiều vấn đề chưa tự giải phải nhờ anh chị, thầy cô giúp đỡ - Mô hình xây dựng thiếu tinh thâm mi - Vì mơ hình nên áp ddng thực tế cần có thiết bị khác Hướng phát triển Với hạn chế tôn nêu trên, hướng nghiên cứu dự kiến sau: Tìm hiểu thiết bị phần cứng, xây dựng mơ hình lớn áp ddng đời thực TÀI LIỆU THAM KHẢO [1] ESP32-CAM Video Streaming Web Server, " https://randomnerdtutorials.com/esp32-cam-video-streaming-webserver-camera-home-assistant/" [2] cộng đông adruino , " http://arduino.vn/reference/howto," [3] Tham khảo linh kiện cần mua tại, "http://arduino.vn/" [4] WebSocke, "https://www.websocket.org/ " 2018 [5] [6] Hệ thống nhận diện khuôn mặt, " https://vi.wikipedia.org/wiki/he-thongnhan-dien-khuon-mat/ " ESP32 cam VideoStrem Web Server," https://randomnedr.com/" PHỤ LỤC ... 19 2. 1 Tổng quan hoạt động .20 2. 2 Tổng quan chưc 22 2. 2.1 Chức 22 2. 2 .2) Phân tich kiện 22 a Đăng ki khuôn mặt .22 b Xóa người... hệ thống mơ cửa nhận diện khuôn mặt Mục tiêu đề tài Với đề tài xác định mdc tiêu vấn đề bảo mật cho lối vào địa điểm Cd thể khóa cửa cho hộ Yêu cầu đặt cho khóa gơm tiêu chi: - Nhận diện có độ... ĐỒ THỰC HIỆN 27 H Ơ ÔĐỒ HOAVIỆC HÌNH ÌNH:: 2. 2 2. 3 SM TALÀM ̉̀ ̉̀ 28 ̉̀ ̉̀ ̉̀ ̀ HÌNH: 2. 4 CẢ̀ ̉̀ ̉̀ ̉̀ KHO ̉̀ HÌNH: 3.1 MODULE ESP 32- CAM 32 HÌNH: