Hệ thống nhận diện khuôn mặt sinh viên bằng aduino mạng kết nối vạn vật

Các ứng dụng IOT đang ngày càng được phát triển rộng dãi trên mọi lĩnh vực từ đời sông , kinh tế , giáo dục ... Nắm bắt điều đó tôi đã xây dựng hệ thống IOT nhận diện khuôn mặt , sản phẩm được xây dựng trên Aduino.

TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN VÀ KINH TẾ SỐ BÀI TẬP LỚN MẠNG KẾT NỐI VẠN VẬT ĐỀ TÀI : XÂY DỰNG HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN TẠI GIẢNG ĐƯỜNG A2 BẰNG ARDUINO Giảng viên hướng dẫn : TH.S Nguyễn Thanh Hương Sinh viên thực : Nguyễn Xuân Dương Mã sinh viên : 11181128 Hà Nội, Năm 2021 MỤC LỤC LỜI MỞ ĐẦU CHƯƠNG 1: LỊCH SỬ HÌNH THÀNH VÀ PHÁT TRIỂN CỦA CÁC ỨNG DỤNG IOT…………………………………………………………………………… Khái Niệm Lịch Sử Hình Thành Và Phát Triển Các Ứng Dụng Phổ Biến Của Mạng Kết Nối Vạn Vật(IOT) 3.1) Hệ Thống Nhà Thông Minh………………………………………… 3.2) Hệ Thống Ứng Dụng Tổ Chức……………………………………… a) Y Tế Và Chăm Sóc Sức Khỏe………………… …………… b) Vận Chuyển…………………………………… …………… c) Giao Tiếp………………… ………………………………… 3.3) Hệ Thống Ứng Dụng Công Nghiệp………………………………… Xu Hướng Và Đặc Điểm…………….……………………………………… 4.1) Xu Hướng……………………………………………………………… 4.2) Đặc Điểm……………………………………………………………… CHƯƠNG 2: TỔNG QUAN VỀ GIẢNG ĐƯỜNG A2 TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN Giới Thiệu Xây Dựng Bài Toán CHƯƠNG 3: TỔNG QUAN VỀ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN TẠI GIẢNG ĐƯỜNG A2 1) Mục Đích Xây Dựng Hệ Thống 2) Lợi Ích Của Hệ Thống…………………………………………………………9 3) Yêu Cầu Của Hệ Thống Nhận Diện Khuôn Mặt a Yêu Cầu Bảo Mật Thông Tin Các Bạn Sinh Viên b Yêu Cầu Hệ Thống Và Các Bạn Sinh Viên CHƯƠNG 4: QUÁ TRÌNH XÂY DỰNG HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN TẠI GIẢNG ĐƯỜNG A2 1) Cài Đặt Công Cụ Và Môi Trường Xây Dựng Hệ Thống a) Cài Đặt Arduino IDE b) Cài Đặt ESP32………………………………………… 2) Tìm Hiểu Và Cài Đặt ESP32 Cam - board Trên Arduino IDE MỤC LỤC a) Tổng Quan Về Module ESP32 b) Cài Đặt ESP32 Cam - board Arduino IDE 3) Thiết Kế Hệ Thống Nhận Diện Khuôn Mặt Tại Giảng Đường A2 a) Khảo Sát Thực Tế………………… b) Thiết Kế Sơ Đồ Lắp Đặt Hệ Thống 4) Xây Dựng Hệ Thống……………………………………………… a) Lược Đồ Phân Vùng Lưu Trữ Liên Tục………………… b) Chụp Dữ Liệu Khuôn Mặt Để Lưu Trữ Liên Tục………………… c) Kích Hoạt Nhận Dạng Khn Mặt………………… d) Khởi Động Hệ Thống………………… e) Xóa Một Khn Mặt Khỏi Hệ Thống Máy Chủ………………… 5) Quy Trình Vận Hành Hệ Thống…………………………………………… a) Cách Thức Hoạt Động….………………… b) Quy Trình Vận Hành Hệ Thống Các Máy Chủ………………… CHƯƠNG 5: KẾT LUẬN 1) Những Kết Quả Đạt Được 2) Hướng Phát Triển Trong Tương Lai DANH SÁCH CÁC HÌNH ẢNH Hình 1: ESP Cam thiết bị ngoại vi……………………………………………….15 Hình 2: Thơng số kỹ thuật ESP Cam……………………………………………… 16 Hình 3: Bộ lập trình FTDI……………………………………………………………….16 Hình 4: Chi tiết module AI - Thinker ……………………………………………… 17 Hình 5: Kết nối ESP Cam lập trình FTDI ……………………………………… 20 Hình 6: Thiết lập địa IP cục máy chủ ESP Cam…………………………… 22 Hình 7: Sơ đồ khối giảng đường A2…………………………………………………….23 Hình 8: Sơ đồ tịa nhà A2……………………………………………………………… 23 Hình 9: Sơ đồ tầng G giảng đường A2………………………………………………… 24 Hình 10: Thiết kế hệ thống lắp đặt tầng G………………………………………………25 Hình 11: Quy trình phân tích hệ thống…………………………………………… 37 Hình 12: Sơ đồ vận hành hệ thống………………………………………………………39 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN LỜI MỞ ĐẦU Cách mạng công nghiệp 4.0 diễn với tốc độ nhanh chóng Số hóa dần sử dụng để điều hành quản trị việc sản xuất kinh doanh nhằm đạt hiệu tối ưu thời gian ngắn Các giải pháp số hóa giúp giảm chi phí vận hành, linh hoạt việc định hiệu quản trị sản xuất từ tạo giá trị cạnh tranh cho doanh nghiệp Những năm đầu thập niên hồn thiện nữa, cơng nghệ thiết lập, ứng dụng hoàn toàn triển khai thực tế Có thể vào thời khắc tháng 12 năm 2029, không nghi ngờ phát minh mà ngày tưởng tượng Nhưng tại, sau xu hướng công nghệ thập kỷ mới: điện toán đám mây (CLOUD COMPUTING); Chuỗi khối (Blockchain) ; Trí Tuệ Nhân Tạo(AI); Dữ liệu lớn(Big Data) không nhắc đến Mạng kết nối vạn vật(IOT) Mạng kết nối vạn vật(IOT) hệ thống mạng lưới thiết bị kết nối internet,có thể thu thập trao đổi liệu Ngày giới có hàng chục tỷ thiết bị, ứng dụng IOT cài đặt với vô số ngành nghề sử dụng khác như: Cơng nghiệp sản xuất, dầu khí-khai khống, giao thơng, bảo hiểm, nơng nghiệp, lượng, quốc phịng, sở hạ tầng, khách sạn, chăm sóc sức khỏe, giáo dục,….Trong số ngành nghề lĩnh vực hệ thống ứng dụng IOT liên quan đến giáo dục phát triển lắp đặt chậm cả, nhiên vài năm tới ứng dụng IOT giáo dục dự báo phát triển mạnh IOT giúp làm cho giáo dục dễ tiếp cận mặt địa lý, vị trí khả Có vơ số hội để tích hợp giải pháp IOT vào mơi trường học đường đặc biệt môi trường giảng đường đại học Nhận thức điều em vận dụng kiến thức học sử dụng ARDUINO để xây dựng hệ thống nhận diện khuôn mặt sinh viên trường đại học Kinh Tế Quốc Dân(”Ngôi trường em theo học”) Là sinh viên trường đại học Kinh Tế Quốc Dân em nhận thấy với số lượng sinh viên lên tới gần 25.000 người việc có kẽ xấu vào điều tránh khỏi, chưa kể tới việc học hộ, thi hộ,…nói chung có nhiều vấn đề hệ thống nhận dạng khuôn mặt sinh viên giải pháp em nghỉ để nhận biết bạn sinh viên trường Khi hoàn thành xong hệ thống em xin chân thành Trang | MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN cảm ơn cô giáo, TH.S Nguyễn Thanh Hương người trực tiếp hướng dẫn em trình xây dựng hệ thống CHƯƠNG 1: LỊCH SỬ HÌNH THÀNH VÀ PHÁT TRIỂN CỦA CÁC ỨNG DỤNG IOT Trang | MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN Internet vạn vật (IOT) mô tả mạng lưới đối tượng vật lý - "sự vật" đối tượng - nhúng với cảm biến, phần mềm cơng nghệ khác nhằm mục đích kết nối trao đổi liệu với thiết bị hệ thống khác qua Internet Khái Niệm Internet of Things (IOT) hệ thống thiết bị máy tính, máy móc, vật thể, động vật người có liên quan đến nhau, cung cấp định danh có khả để truyền liệu qua mạng mà không cần tương tác người với người hay người với máy tính Thing Internet of Things (Mạng lưới vạn vật kết nối) người có cấy ghép để giám sát hoạt động tim, động vật với chip sinh học (có khả tự động nhận truyền tín hiệu radio), tơ có cảm biến lắp sẵn để cảnh báo cho người lái áp suất lốp thấp vật thể khác tự nhiên hay người làm mà gán địa IP có khả truyền liệu qua mạng IOT bao gồm hội tụ đến đỉnh cao công nghệ không dây, hệ thống điện vi mô (MEMS), microservice (một kiểu kiến trúc phần mềm, chia phần mềm thành dịch vụ nhỏ) Internet Điều phá vỡ tường silo công nghệ vận hành (OT) công nghệ thông tin (IT), cho phép phân tích liệu phi cấu trúc để có hiểu biết, cải thiện hiệu Lịch Sử Hình Thành Và Phát Triển Khái niệm mạng lưới thiết bị thơng minh thảo luận vào đầu năm 1982, với máy bán hàng tự động Coca-Cola sửa đổi Đại học Carnegie Mellon trở thành thiết bị kết nối internet đầu tiên, khơng hiểu hàng tồn kho liệu đồ uống nạp có lạnh hay không Bài báo năm 1991 Mark Weiser máy tính phổ biến, "Máy tính kỷ 21", địa điểm học thuật UbiComp PerCom tạo tầm nhìn đương đại IOT Năm 1994, Reza Raji mô tả khái niệm IEEE Spectrum "[di chuyển] gói liệu nhỏ đến tập hợp lớn nút, để tích hợp tự động hóa thứ từ thiết bị gia dụng đến toàn nhà máy" Từ năm 1993 đến 1997, số công ty đề xuất giải pháp Microsoft's at Work Novell's NEST Lĩnh vực đạt động lực Bill Joy hình dung giao tiếp thiết bị với thiết bị phần khuôn khổ Trang | MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN "Sáu trang web" ơng, trình bày Diễn đàn Kinh tế Thế giới Davos năm 1999 Thuật ngữ "Internet of things" đặt Kevin Ashton Procter & Gamble, sau Trung tâm Auto-ID MIT, vào năm 1999, ơng thích cụm từ "Internet for things" Tại thời điểm đó, ơng coi nhận dạng tần số vô tuyến (RFID) điều cần thiết Internet vạn vật, cho phép máy tính quản lý tất thứ riêng lẻ Định nghĩa Internet vạn vật "chỉ đơn giản thời điểm mà nhiều 'thứ đối tượng' kết nối với Internet người", Cisco Systems ước tính IOT "sinh ra" từ năm 2008 đến năm 2009, với tỷ lệ vạn vật / người ngày tăng từ 0,08 năm 2003 lên 1,84 năm 2010 Mặc dù đến năm 1999 khái niệm Internet of Things gọi tên, công nghệ phát triển nhiều thập kỷ Ví dụ, thiết bị Internet máy Coke Carnegie Melon University vào đầu năm 1980 Các lập trình viên kết nối với máy thông qua Internet, kiểm tra trạng thái máy xem xem máy có đồ uống lạnh hay khơng Nếu có đồ uống, họ đến để lấy Các Ứng Dụng Phổ Biến Của Mạng Kết Nối Vạn Vật(IOT) Bộ ứng dụng mở rộng cho thiết bị IOT thường chia thành không gian tiêu dùng, thương mại, công nghiệp sở hạ tầng 3.1) Hệ Thống Nhà Thông Minh Các thiết bị IOT phần khái niệm lớn tự động hóa gia đình, bao gồm hệ thống chiếu sáng, sưởi ấm điều hịa khơng khí, phương tiện hệ thống an ninh hệ thống camera Các lợi ích lâu dài bao gồm tiết kiệm lượng cách tự động đảm bảo tắt đèn thiết bị điện tử cách làm cho cư dân nhà biết cách sử dụng Nhà thông minh nhà tự động dựa tảng trung tâm điều khiển thiết bị thiết bị thơng minh Ví dụ, cách sử dụng HomeKit Apple, nhà sản xuất kiểm sốt sản phẩm phụ kiện gia đình họ ứng dụng thiết bị iOS iPhone Apple Watch Trang | MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN Đây ứng dụng chuyên dụng ứng dụng gốc iOS Siri Điều chứng minh trường hợp Lenovo Smart Home Essentials, dịng thiết bị nhà thơng minh điều khiển thông qua ứng dụng Home Apple Siri mà khơng cần kết nối Wi-Fi Ngồi cịn có trung tâm nhà thông minh chuyên dụng cung cấp dạng tảng độc lập để kết nối sản phẩm nhà thông minh khác chúng bao gồm Amazon Echo, Google Home, HomePod Apple SmartThings Hub Samsung Ngoài hệ thống thương mại, có nhiều hệ sinh thái mã nguồn mở, khơng độc quyền; bao gồm Home Assistant, OpenHAB Domoticz 3.2) Hệ Thống Ứng Dụng Tổ Chức a) Y Tế Và Chăm Sóc Sức Khỏe Internet of Medical Things (IOMT) ứng dụng IOT cho mục đích liên quan đến y tế sức khỏe, thu thập phân tích liệu để nghiên cứu giám sát IOMT gọi "Chăm sóc sức khỏe thơng minh", công nghệ để tạo hệ thống chăm sóc sức khỏe số hóa, kết nối nguồn lực y tế sẵn có dịch vụ chăm sóc sức khỏe Các thiết bị IOT sử dụng để kích hoạt hệ thống theo dõi sức khỏe từ xa thông báo khẩn cấp Các thiết bị theo dõi sức khỏe bao gồm từ máy đo huyết áp nhịp tim đến thiết bị tiên tiến có khả theo dõi thiết bị cấy ghép chuyên dụng, chẳng hạn máy tạo nhịp tim, thiết bị đeo tay điện tử Fitbit máy trợ thính tiên tiến Một số bệnh viện bắt đầu triển khai "giường thơng minh" phát họ có người bệnh nhân cố gắng đứng dậy Nó tự điều chỉnh để đảm bảo áp lực hỗ trợ thích hợp áp dụng cho bệnh nhân mà không cần tương tác tay y tá Một báo cáo năm 2015 Goldman Sachs thiết bị IOT chăm sóc sức khỏe "có thể tiết kiệm cho Hoa Kỳ 300 tỷ đô la chi phí chăm sóc sức khỏe hàng năm cách tăng doanh thu giảm chi phí." Hơn nữa, việc sử dụng thiết bị di động để hỗ trợ theo dõi y tế dẫn đến việc tạo 'm-health', sử dụng số liệu thống kê sức khỏe phân tích " Các cảm biến chuyên dụng trang bị khơng gian sống để theo dõi sức khỏe phúc lợi chung người cao tuổi, đồng Trang | MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN thời đảm bảo việc điều trị thích hợp thực hỗ trợ người lấy lại khả vận động bị thông qua liệu pháp Các cảm biến tạo mạng lưới cảm biến thơng minh thu thập, xử lý, truyền phân tích thơng tin có giá trị môi trường khác nhau, chẳng hạn kết nối thiết bị giám sát nhà với hệ thống bệnh viện Các thiết bị tiêu dùng khác để khuyến khích sống lành mạnh, chẳng hạn cân kết nối máy theo dõi tim đeo, khả với IOT Nền tảng IOT theo dõi sức khỏe từ đầu đến cuối có sẵn cho bệnh nhân trước sinh bệnh nhân mãn tính, giúp người quản lý số sức khỏe yêu cầu thuốc định kỳ b) Vận Chuyển IoT hỗ trợ tích hợp truyền thông, điều khiển xử lý thông tin hệ thống giao thông vận tải khác Ứng dụng IOT mở rộng đến tất khía cạnh hệ thống giao thông (tức phương tiện, sở hạ tầng người lái xe người dùng) Tương tác động thành phần hệ thống giao thông cho phép giao tiếp phương tiện nội bộ, điều khiển giao thông thông minh, đỗ xe thơng minh, hệ thống thu phí điện tử, hậu cần quản lý đội xe, kiểm soát phương tiện, an toàn hỗ trợ đường c) Giao Tiếp Trong hệ thống giao tiếp xe cộ, giao tiếp xe với thứ (V2X), bao gồm ba thành phần chính: giao tiếp phương tiện với phương tiện (V2V), phương tiện giao tiếp với sở hạ tầng (V2I) phương tiện liên lạc với người (V2P) V2X bước để lái xe tự động sở hạ tầng đường kết nối 3.3) Hệ Thống Ứng Dụng Công Nghiệp Cịn gọi IIOT, thiết bị IOT cơng nghiệp thu nhận phân tích liệu từ thiết bị kết nối, công nghệ vận hành (OT), vị trí người.Kết hợp với thiết bị giám sát công nghệ vận hành (OT), IIoT giúp điều chỉnh giám sát hệ thống cơng nghiệp Ngồi ra, việc triển khai tương tự thực để cập nhật hồ sơ tự động vị trí tài sản kho lưu trữ cơng nghiệp kích thước tài sản thay đổi từ vít nhỏ Trang | MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN Hình 10: Thiết kế hệ thống lắp đặt tầng G  Hệ Thống tầng đến 10:  Đầu tiên hệ thống máy chủ lắp đặt vận hành phòng quản trị mạng tầng tòa nhà A2(máy chủ 2)  Tại cửa vào phòng học lắp đặt hệ thống camera giám sát Ngoài tầng lắp đặt camera quan sát lối vào thư viện 4) Xây Dựng Hệ Thống Trang | 25 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN Giải thích cách lưu hình ảnh đăng ký đèn flash bo mạch để chúng sống sót sau ESP32 tắt nguồn sử dụng nhận dạng lưu để điều khiển thiết bị kết nối với ESP32 Có ba bước  Tạo lược đồ phân vùng phép lưu trữ liên tục  Sửa đổi phác thảo ví dụ CameraWebServer để lưu liệu khuôn mặt vào phân vùng  Sử dụng nhận dạng lưu để điều khiển thiết bị kết nối với ESP32 a) Lược Đồ Phân Vùng Lưu Trữ Liên Tục  Tạo lược đồ phân vùng với nhớ lưu trữ liên tục on-board flash bo mạch  Cài đặt phân vùng phù hợp với phiên thư viện phần cứng Arduino ESP32 Đường link cài đặt: https://robotzero.one/wp-content/uploads/2019/04/partitions.csv  Thêm tệp vừa cài đặt vào thư mục chứa lược đồ phân vùng khác Tùy vào cách cài đặt Arduino IDE mà có cách thêm tệp khác  Arduino IDE cài đặt từ Windows Store: C > Users > *your-user-name* > Documents > ArduinoData > packages > esp32 > hardware > esp32 > 1.0.4 > tools > partitions  Arduino IDE cài đặt từ trang web Arduino: C > Users > *your-user-name* > AppData > Local > Arduino15 > packages > esp32 > hardware > esp32 > 1.0.4 > tools > partitions  Lược đồ phải thêm vào thiết bị ESP tệp cấu hình trình boards manager configuration file boards.txt  Arduino IDE installed from the Windows Store: C > Users > *your-user-name* > Documents > ArduinoData > packages > esp32 > hardware > esp32 > 1.0.4  Arduino IDE cài đặt từ trang web Arduino: C > Users > *your-user-name* > AppData > Local > Arduino15 > packages > esp32 > hardware > esp32 > 1.0.4 Trang | 26 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHN MẶT SINH VIÊN  Thêm ba dịng sau vào bên tùy chọn phân vùng có cho esp32wrover board tệp boards.txt esp32wrover.menu.PartitionScheme.rzo_partition=Face Recognition (2621440 bytes with OTA) esp32wrover.menu.PartitionScheme.rzo_partition.build.partitions=rzo_partitions esp32wrover.menu.PartitionScheme.rzo_partition.upload.maximum_size=2621440  Tạo board mới: rzo.name=Nhân Diên Khuon Mat // Đặt Tên Vùng Lưu Trữ rzo.upload.tool=esptool_py rzo.upload.maximum_size=1310720 rzo.upload.maximum_data_size=2621440 rzo.upload.wait_for_upload_port=true # Tạo Vùng Lưu Trữ Tối Đa rzo.serial.disableDTR=true rzo.serial.disableRTS=true rzo.build.mcu=esp32 rzo.build.core=esp32 rzo.build.variant=esp32 rzo.build.board=ESP32_DEV rzo.build.f_cpu=240000000L rzo.build.flash_size=4MB rzo.build.flash_freq=40m rzo.build.flash_mode=dio rzo.build.boot=dio rzo.build.partitions=default rzo.build.defines= rzo.menu.PSRAM.disabled=Disabled rzo.menu.PSRAM.disabled.build.defines= rzo.menu.PSRAM.enabled=Enabled rzo.menu.PSRAM.enabled.build.defines=-DBOARD_HAS_PSRAM -mfix-esp32-psram-cache-issue # Xây Dựng Lược Đồ Phân Vùng Trang | 27 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN rzo.menu.PartitionScheme.default=Default rzo.menu.PartitionScheme.default.build.partitions=default rzo.menu.PartitionScheme.minimal=Minimal (2MB FLASH) rzo.menu.PartitionScheme.minimal.build.partitions=minimal rzo.menu.PartitionScheme.no_ota=No OTA (Large APP) rzo.menu.PartitionScheme.no_ota.build.partitions=no_ota rzo.menu.PartitionScheme.no_ota.upload.maximum_size=2097152 rzo.menu.PartitionScheme.huge_app=Huge APP (3MB No OTA) rzo.menu.PartitionScheme.huge_app.build.partitions=huge_app rzo.menu.PartitionScheme.huge_app.upload.maximum_size=3145728 rzo.menu.PartitionScheme.min_spiffs=Minimal SPIFFS (Large APPS with OTA) rzo.menu.PartitionScheme.min_spiffs.build.partitions=min_spiffs rzo.menu.PartitionScheme.min_spiffs.upload.maximum_size=1966080 rzo.menu.PartitionScheme.fatflash=16M Fat rzo.menu.PartitionScheme.fatflash.build.partitions=ffat rzo.menu.PartitionScheme.rzo_partition=Face Recognition (2621440 bytes with OTA) rzo.menu.PartitionScheme.rzo_partition.build.partitions=rzo_partition rzo.menu.PartitionScheme.rzo_partition.upload.maximum_size=2621440 rzo.menu.CPUFreq.240=240MHz (WiFi/BT) rzo.menu.CPUFreq.240.build.f_cpu=240000000L rzo.menu.CPUFreq.160=160MHz (WiFi/BT) rzo.menu.CPUFreq.160.build.f_cpu=160000000L rzo.menu.CPUFreq.80=80MHz (WiFi/BT) rzo.menu.CPUFreq.80.build.f_cpu=80000000L rzo.menu.CPUFreq.40=40MHz (40MHz XTAL) rzo.menu.CPUFreq.40.build.f_cpu=40000000L rzo.menu.CPUFreq.26=26MHz (26MHz XTAL) rzo.menu.CPUFreq.26.build.f_cpu=26000000L rzo.menu.CPUFreq.20=20MHz (40MHz XTAL) rzo.menu.CPUFreq.20.build.f_cpu=20000000L rzo.menu.CPUFreq.13=13MHz (26MHz XTAL) rzo.menu.CPUFreq.13.build.f_cpu=13000000L rzo.menu.CPUFreq.10=10MHz (40MHz XTAL) rzo.menu.CPUFreq.10.build.f_cpu=10000000L # Cài Đặt Chế Độ Sáng camera quan sát rzo.menu.FlashMode.qio=QIO rzo.menu.FlashMode.qio.build.flash_mode=dio rzo.menu.FlashMode.qio.build.boot=qio rzo.menu.FlashMode.dio=DIO rzo.menu.FlashMode.dio.build.flash_mode=dio rzo.menu.FlashMode.dio.build.boot=dio rzo.menu.FlashMode.qout=QOUT rzo.menu.FlashMode.qout.build.flash_mode=dout rzo.menu.FlashMode.qout.build.boot=qout rzo.menu.FlashMode.dout=DOUT rzo.menu.FlashMode.dout.build.flash_mode=dout rzo.menu.FlashMode.dout.build.boot=dout Trang | 28 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN # Tần Suất sáng rzo.menu.FlashFreq.80=80MHz rzo.menu.FlashFreq.80.build.flash_freq=80m rzo.menu.FlashFreq.40=40MHz rzo.menu.FlashFreq.40.build.flash_freq=40m # Kích Thước Vùng Sáng rzo.menu.FlashSize.4M=4MB (32Mb) rzo.menu.FlashSize.4M.build.flash_size=4MB rzo.menu.FlashSize.2M=2MB (16Mb) rzo.menu.FlashSize.2M.build.flash_size=2MB rzo.menu.FlashSize.2M.build.partitions=minimal rzo.menu.FlashSize.16M=16MB (128Mb) rzo.menu.FlashSize.16M.build.flash_size=16MB rzo.menu.FlashSize.16M.build.partitions=ffat # Tốc Độ Tải Lên rzo.menu.UploadSpeed.921600=921600 rzo.menu.UploadSpeed.921600.upload.speed=921600 rzo.menu.UploadSpeed.115200=115200 rzo.menu.UploadSpeed.115200.upload.speed=115200 rzo.menu.UploadSpeed.256000.windows=256000 rzo.menu.UploadSpeed.256000.upload.speed=256000 rzo.menu.UploadSpeed.230400.windows.upload.speed=256000 rzo.menu.UploadSpeed.230400=230400 rzo.menu.UploadSpeed.230400.upload.speed=230400 rzo.menu.UploadSpeed.460800.linux=460800 rzo.menu.UploadSpeed.460800.macosx=460800 rzo.menu.UploadSpeed.460800.upload.speed=460800 rzo.menu.UploadSpeed.512000.windows=512000 rzo.menu.UploadSpeed.512000.upload.speed=512000 #Mức Độ Gỡ Lỗi rzo.menu.DebugLevel.none=None rzo.menu.DebugLevel.none.build.code_debug=0 rzo.menu.DebugLevel.error=Error rzo.menu.DebugLevel.error.build.code_debug=1 rzo.menu.DebugLevel.warn=Warn rzo.menu.DebugLevel.warn.build.code_debug=2 rzo.menu.DebugLevel.info=Info rzo.menu.DebugLevel.info.build.code_debug=3 rzo.menu.DebugLevel.debug=Debug Trang | 29 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN rzo.menu.DebugLevel.debug.build.code_debug=4 rzo.menu.DebugLevel.verbose=Verbose rzo.menu.DebugLevel.verbose.build.code_debug=5  Trong Arduino IDE, lược đồ có sẵn cho borad board thêm định nghĩa vào:  Đóng mở lại IDE để xác nhận lược đồ phân vùng 'Nhận dạng khn mặt' có sẵn menu Cơng cụ b) Chụp Dữ Liệu Khuôn Mặt Để Lưu Trữ Liên Tục CameraWebServer IDE không lưu khuôn mặt đăng ký theo cách tồn điện Để sửa đổi để sử dụng phân vùng mới, số thay đổi cần thực đoạn code Trong Arduino IDE, tạo CameraWebServer Sketch hoạt động máy chủ từ hướng dẫn trước cách lưu với tên tệp chẳng hạn CameraWebServerPermanent  Trong Arduino IDE hiển thị tab hình sau :  Trong tab thứ hai (app_httpd.cpp), thực thay đổi sau Trang | 30 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN Sau #include "fr_osystem.h" (xung quanh dòng 24), thêm: #include "fr_flash.h";  Thay đổi int8_t left_sample_face = register_face (& id_list, align_face); (& id_list, align_face); (xung quanh dòng 178) đến: int8_t left_sample_face = enroll_face_id_to_flash(&id_list, aligned_face);  Sau face_id_init (& id_list, FACE_ID_SAVE_NUMBER, ENROLL_CONFIRM_TIMES); (xung quanh dòng 636) thêm: read_face_id_from_flash(&id_list);  Flash chạy Sketch theo cách tương tự trước Dữ liệu khuôn mặt đăng ký lưu vào phân vùng nhớ flash c) Kích Hoạt Nhận Dạng Khn Mặt  Khởi động Arduino IDE, tạo Sketch 10 11 12 13 14 15 16 17 18 19 20 21 22 #include "esp_camera.h" #include "fd_forward.h" #include "fr_forward.h" #include "fr_flash.h" #define relayPin 12 // pin sử dụng unsigned long currentMillis = 0; unsigned long openedMillis = 0; long interval = 5000; // mở khóa mili giây #define ENROLL_CONFIRM_TIMES #define FACE_ID_SAVE_NUMBER static inline mtmn_config_t app_mtmn_config() { mtmn_config_t mtmn_config = {0}; mtmn_config.type = FAST; mtmn_config.min_face = 80; mtmn_config.pyramid = 0.707; mtmn_config.pyramid_times = 4; mtmn_config.p_threshold.score = 0.6; mtmn_config.p_threshold.nms = 0.7; Trang | 31 MẠNG KẾT NỐI VẠN VẬT 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN mtmn_config.p_threshold.candidate_number = 20; mtmn_config.r_threshold.score = 0.7; mtmn_config.r_threshold.nms = 0.7; mtmn_config.r_threshold.candidate_number = 10; mtmn_config.o_threshold.score = 0.7; mtmn_config.o_threshold.nms = 0.7; mtmn_config.o_threshold.candidate_number = 1; return mtmn_config; } mtmn_config_t mtmn_config = app_mtmn_config(); static face_id_list id_list = {0}; dl_matrix3du_t *image_matrix = NULL; camera_fb_t * fb = NULL; dl_matrix3du_t *aligned_face = dl_matrix3du_alloc(1, FACE_WIDTH, FACE_HEIG HT, 3); 39 40 void setup() { 41 Serial.begin(115200); // Tốc độ boaud 42 // đặt chế độ ban đầu vào cho chân relay led 43 digitalWrite(relayPin, LOW); 44 pinMode(relayPin, OUTPUT); 45 46 camera_config_t config; 47 config.ledc_channel = LEDC_CHANNEL_0; 48 config.ledc_timer = LEDC_TIMER_0; 49 config.pin_d0 = 5; 50 config.pin_d1 = 18; 51 config.pin_d2 = 19; 52 config.pin_d3 = 21; 53 config.pin_d4 = 36; 54 config.pin_d5 = 39; 55 config.pin_d6 = 34; 56 config.pin_d7 = 35; 57 config.pin_xclk = 0; 58 config.pin_pclk = 22; 59 config.pin_vsync = 25; 60 config.pin_href = 23; 61 config.pin_sscb_sda = 26; Trang | 32 MẠNG KẾT NỐI VẠN VẬT 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN config.pin_sscb_scl = 27; config.pin_pwdn = 32; config.pin_reset = -1; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_JPEG; config.frame_size = FRAMESIZE_SVGA; config.jpeg_quality = 12; config.fb_count = 1; esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera init failed with error 0x%x", err); return; } // thả xuống kích thước khung hình để có tốc độ khung hình ban đầu cao sensor_t * s = esp_camera_sensor_get(); s->set_framesize(s, FRAMESIZE_QVGA); face_id_init(&id_list, FACE_ID_SAVE_NUMBER, ENROLL_CONFIRM_TIMES); 82 read_face_id_from_flash(&id_list); // Đọc liệu khuôn mặt từ đèn flash bo mạch 83 } 84 85 void rzoCheckForFace() { 86 currentMillis = millis(); 87 if (run_face_recognition()) { // chức nhận dạng khuôn mặt trả true 88 Serial.println("Face recognised"); 89 digitalWrite(relayPin, HIGH); //đóng(tiếp điện ) relay 90 openedMillis = millis(); //thời gian relay thoát 91 } 92 if (currentMillis - interval > openedMillis){ // thời gian đến thời gian nhận diện khuôn mặt >5s 93 digitalWrite(relayPin, LOW); //mở relay 94 } 95 } 96 97 bool run_face_recognition() { 98 bool faceRecognised = false; // mặc định Trang | 33 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN 99 int64_t start_time = esp_timer_get_time(); 100 fb = esp_camera_fb_get(); 101 if (!fb) { 102 Serial.println("Camera capture failed"); 103 return false; 104 } 105 106 int64_t fb_get_time = esp_timer_get_time(); 107 Serial.printf("Get one frame in %u ms.\n", (fb_get_time - start_time) / 1000); // dịng bình luận 108 109 image_matrix = dl_matrix3du_alloc(1, fb->width, fb->height, 3); 110 uint32_t res = fmt2rgb888(fb->buf, fb->len, fb->format, image_matrix->item); 111 if (!res) { 112 Serial.println("to rgb888 failed"); 113 dl_matrix3du_free(image_matrix); 114 } 115 116 esp_camera_fb_return(fb); 117 118 box_array_t *net_boxes = face_detect(image_matrix, &mtmn_config); 119 120 if (net_boxes) { 121 if (align_face(net_boxes, image_matrix, aligned_face) == ESP_OK) { 122 123 int matched_id = recognize_face(&id_list, aligned_face); 124 if (matched_id >= 0) { 125 Serial.printf("Match Face ID: %u\n", matched_id); 126 faceRecognised = true; // hàm trả true 127 } else { 128 Serial.println("No Match Found"); 129 matched_id = -1; 130 } 131 } else { 132 Serial.println("Face Not Aligned"); 133 } 134 135 free(net_boxes->box); 136 free(net_boxes->landmark); 137 free(net_boxes); Trang | 34 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN 138 } 139 140 dl_matrix3du_free(image_matrix); 141 return faceRecognised; 142.} 143 144.void loop() { 145 rzoCheckForFace(); 146.}  Code hàm rzoCheckForFace () đoạn code thay đổi thành hàm yêu cầu khuôn mặt nhận dạng  Khi flash chạy Sketch này, ‘Khuôn mặt nhận dạng’ hình camera giám sát nối tiếp khn mặt phù hợp tìm thấy d) Khởi Động Hệ Thống  Sketch kết hợp với relay module Mosfet sử dụng để bật tắt thiết bị điện  Truy cập máy chủ để phát trực tuyến camera giám sát mạng cục bộ, mở trình duyệt nhập địa IP ESP32-CAM, chọn nút bắt đầu để tiến hành giám sát nhận diện khn mặt e) Xóa Một Khn Mặt Khỏi Hệ Thống Máy Chủ Khởi động Arduino IDE, tạo sketch #include "esp_camera.h" #include "fd_forward.h" #include "fr_forward.h" #include "fr_flash.h" #define ENROLL_CONFIRM_TIMES #define FACE_ID_SAVE_NUMBER static face_id_list id_list = {0}; void setup() { Serial.begin(115200); face_id_init(&id_list, FACE_ID_SAVE_NUMBER, ENROLL_CONFIRM_TIMES); Trang | 35 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN read_face_id_from_flash(&id_list); / /Đọc liệu khuôn mặt từ đèn flash bo mạch Serial.println("Faces Read"); while ( delete_face_id_in_flash(&id_list) > -1 ){ Serial.println("Deleting Face"); } Serial.println("All Deleted"); } void loop() { } 5) Quy Trình Vận Hành Hệ Thống a) Cách Thức Hoạt Động  Hệ thống nhận diện khuôn mặt sinh viên trường Đại Học Kinh Tế Quốc Dân vào giảng đường A2 hệ thống nhận diện khuôn mặt trực tiếp qua camera quan sát  Hệ thống nhận diện sử dụng sinh trắc học để định vị đặc điểm khuôn mặt bạn sinh viên qua camera quan sát Sau so sánh thơng tin vừa nhận diện với liệu lưu trữ hệ thống máy chủ để tìm kết phù hợp Trường hợp khơng tìm thấy kết phù hợp hệ thống máy chủ hiển thị cảnh báo có người lạ vào tòa nhà  Nguyên lý hoạt động hệ thống:  Lấy mẫu: camera quan sát  Phát hiện: nhận dạng đặc điểm khuôn mặt sinh viên  Phân tích: liệu trích xuất từ mẫu  So sánh: liệu vừa thu tiến hành so sánh với liệu lưu trữ hệ thống máy chủ  Kết quả: hệ thống đưa thơng tin có phải sinh viên trường đại học kinh tế quốc dân hay không  Lưu trữ: cuối hệ thống lưu trữ danh sách sinh viên vào giảng đường A2  Khi bạn sinh viên di chuyển vào giảng đường A2 lọt vào tầm ngắm camera quan sát, hệ thống tự động xác định vị trí khn mặt thực thuật tốn để trích dẫn liệu khn mặt Trong q trình di Trang | 36 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN chuyển vào giảng đường A2 bạn sinh viên giúp hệ thống dễ dàng nhận diện khuôn mặt Sau sơ đồ quy trình phân tích liệu: Hình 11: Quy trình phân tích hệ thống  Tóm lại, hệ thống phân tích 68 đặc điểm sinh trắc khuôn mặt khoảng cách mắt, khoảng cách từ trán đến cằm, chiều dài, chiều rộng mặt,… tạo nên “chìa khóa” cho khn mặt bạn sinh viên lưu lại phần mềm hệ thống dạng thuật tốn Mỗi có đối tượng, máy qt phân tích liệu xem khn mặt có khớp với thuật tốn lưu hay chưa Tồn quy trình diễn vịng 0.2 giây b) Quy Trình Vận Hành Hệ Thống Các Máy Chủ  Hệ thống nhận diện khuôn mặt sinh viên trường Đại Học Kinh Tế Quốc Dân gồm máy chủ (máy chủ 1,máy chủ 2) kết nối với Sever Chính  Tại Sever Chính: cài đặt VMS(Sever) liệu ID khuôn mặt sinh viên trường Đại Học Kinh Tế Quốc Dân  Toàn hệ thống bao phủ Internet  Hệ thống sử dụng cáp quang (Fttp) để kết nối với camera quan sát Trang | 37 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHN MẶT SINH VIÊN Hình 12: Sơ đồ vận hành hệ thống CHƯƠNG 5: KẾT LUẬN Trang | 38 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN 1) Những Kết Quả Đạt Được  Kinh nghiệm rút cho thân: Quá trình xây dựng hệ thống nhận diện khn mặt bạn sinh viên trường Đại Học Kinh Tế Quốc Dân Arduino giúp em có thêm hiểu biết việc xây dựng hệ thống , ứng dụng Internet of Things  Kết đạt hệ thống:  Hệ thống hoạt động thành công tiết kiệm nhiều thời gian bạn sinh viên vào tòa nhà A2 học tập tham gia hoạt động ngoại khóa  Ngăn ngừa nhiều kẻ xấu đột nhập vào tịa nhà A2  Khắc phục hồn tồn tình hình học hộ, thi hộ 2) Hướng Phát Triển Trong Tương Lai  Hệ thống nhận diện khuôn mặt dần hoạt động tốt, nhiên mức độ bảo mật thông tin hệ thống chưa thực tốt nên thời gian tới em cần khắc phục lỗi  Hiện tại, hệ thống vào hoạt động giảng đường A2 Trong tương lai dự kiến em phát triển hệ thống rộng giảng đường lại khu vực ký túc xá trường Trang | 39 ... giám sát kết nối với hệ thống máy chủ Trang | 24 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHN MẶT SINH VIÊN Hình 10: Thiết kế hệ thống lắp đặt tầng G  Hệ Thống tầng đến 10:  Đầu tiên hệ thống máy... 5: KẾT LUẬN Trang | 38 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN 1) Những Kết Quả Đạt Được  Kinh nghiệm rút cho thân: Q trình xây dựng hệ thống nhận diện khn mặt bạn sinh viên. .. 13 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN DIỆN KHUÔN MẶT SINH VIÊN 2) Tìm Hiểu Và Cài Đặt ESP32-Cam board Trên Arduino IDE a) Tổng Quan Về module ESP32 Trang | 14 MẠNG KẾT NỐI VẠN VẬT HỆ THỐNG NHẬN