Điểm danh bằng nhận diện khuôn mặt và tự động đưa dữ liệu lên web

Dương Quang ThiệnKhoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đă NẵngTóm tắt – Trong cuộc câch mạng công nghiệp 4.0 thì trí tuệnhđn tạo vă IOT lă câc công nghệ chủ chốt

1 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM 2020 ĐIỂM DANH BẰNG NHẬN DIỆN KHUÔN MẶT VÀ TỰ ĐỘNG ĐƯA DỮ LIỆU LÊN WEB STUDENT ATTENDANCE SYSTEM USING FACE RECOGNITION AND AUTOMATICALLY SEND DATA TO WEBSITE Nguyễn Văn Khương, Phan Thế Nhân, Phạm Văn Sang, Nguyễn Văn Xuân Mỹ, Trần Văn Mới Lớp 18TDH2, Khoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng GVHD: ThS Dương Quang Thiện Khoa Điện – Điện tử, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng Tóm tắt – Trong cách mạng cơng nghiệp 4.0 trí tuệ Abstract - During the 4.0 industrial revolution, AI nhân tạo IOT công nghệ chủ chốt, việc nghiên cứu phát and IoT are the key technologies, the research and triển công nghệ giúp bắt kịp với xu công development of these technologies help students keep up nghệ, với mong muốn thiết kế hệ thống điểm danh nhận with the technology trend, with the desire to design a diện khuôn mặt giúp tiết kiệm thời gian điểm danh nâng cao student attendance system using face recognition system, chất lượng dạy học, nhóm tác giả lên ý tưởng thực which helps to save time marking attendance and improve đề tài Khi hồn thành giám sát, tự động the quality of teaching and learning Once completed, we điểm danh sinh viên hiển thị kết thông qua giao diện can automatically mark the attendance of students and website Thông tin lớp học, sinh viên lưu trữ xử lý display results through the website interface Class and server chung Hệ thống xây dựng công nghệ trí student information is stored and processed on a server tuệ nhân tạo nhận diện, Google Cloud IoT Core giao thức The system is built on face recognition AI technology, MQTT Dự án đời nhằm ứng dụng tiến khoa học kỹ Google Cloud IoT Core, and MQTT protocol The project thuật thời đại 4.0 vào giáo dục, loại bỏ yếu điểm was created to apply scientific and technical advances in việc điểm danh truyền thống, giúp tiết kiệm thời gian cho giáo the 4.0 era into education, eliminate the disadvantages of viên học sinh, chủ động quản lý thời gian lớp, hỗ trợ việc the traditional student attendance system, save time for học tập trở nên nghiêm túc, kỹ luật công teachers and students, supports learning to become more disciplined and fairer Từ khóa - AI; IoT; MQTT; Nhận diện; Google Cloud IoT Core; ESP32; MobileNet Key words - AI; IoT; MQTT; Face recognition; Google Cloud IoT Core; ESP32; MobileNet Đặt vấn đề biện pháp để việc điểm danh trở nên nhẹ nhàng, nhanh chóng, xác hiệu Biện pháp Chúng ta sống xã hội ngày phát triển ứng dụng thành cơng nghệ 4.0 vào q trình điểm mạnh mẽ với tiến không ngừng khoa học kỹ danh Và công nghệ nhận diện khuôn mặt thuật kéo theo đời các hệ thống giám sát phương thức hiệu để thay việc điểm danh nhận diện từ xa Và việc ứng dụng cơng nghệ tiên tiến truyền thống Đó lý nhóm tác giả thực đề tài để nâng cao đời sống người điều cần thiết “Điểm danh nhận diện khuôn mặt tự động đưa liệu lên web” Ứng dụng công nghệ nhận diện khuôn mặt phổ biến nhiều lĩnh vực bảo mật, chấm công Trong đề tài vấn đề đặt xây dựng nhân viên, toán trực tuyến, điểm danh sinh viên… hệ thống camera nhận diện sinh viên theo lớp học giúp người tiết kiệm nhiều thời gian công phần Mỗi lớp học phần có liệu riêng để nhận sức đem lại suất, hiệu cao Con biết sinh viên lớp đó, sinh viên khơng thuộc người n tâm tính xác, thuận tiện mà lớp học hệ thống khơng nhận dạng Kết nhận nhận diện khuôn mặt mang lại, không cần phải dạng hệ thống lưu trữ với thời gian thực hiển thời gian để chấm công công nhân khu công thị lên website quản lý lớp học phần Điều giúp giáo nghiệp, hay phải ghi nhớ nhiều mật bảo mật viên quản lý sinh viên dễ dàng thời gian ứng dụng toán điện thoại Công nghệ nhận vào lớp sinh viên hiển thị rõ ràng diện khuôn mặt mang lại hiệu thiết thực tốn thời thời gian để điểm danh mặt đời sống Kết nghiên cứu khảo sát Ngày việc áp dụng công nghệ vào lĩnh vực giáo dục trở nên phổ biến nhằm nâng cao chất lượng 2.1 Xây dựng hệ thống nhận diện khuôn mặt sử dụng giáo dục Nhưng Việt Nam việc điểm danh vào deep learning buổi học đa phần lại thực cách thủ cơng gây lãng phí thời gian buổi học Vì cần có 2.1.1 Giới thiệu Nguyễn Văn Khương, Phan Thế Nhân, Phạm Văn Sang, Nguyễn Văn Xuân Mỹ, Trần Văn Mới Deep learning (Học sâu) mảng nhỏ trí tuệ nhân tạo dùng để mạng nơ tron với nhiều lớp ẩn Kể từ Deep learning xuất hiện, cơng nghệ trí tuệ nhân tạo thực bùng nổ phát triển với tốc độ chóng mặt Hiện Deep learning ứng dụng rộng rãi sống ngày như: Cơng nghệ nhận diện giọng nói, nhận diện chữ viết tay, cơng nghệ xử lý hình ảnh điện thoại thông minh mà ta dùng ngày Ngồi Deep learning cịn ứng dụng vơ số lĩnh vực như: quản lý thông tin khách hàng, y học, cơng nghiệp Trong đề tài nhóm tác giả xây dựng mơ hình Hình 1: Cấu trúc Depthwise Separable tích chập [1] mạng Deep learning dùng để nhận diện ESP32 Depthwise tích chập: kênh (DK×DK) tích chập 2.1.2 Mơ hình mạng CNN sử dụng đề tài khơng gian Ví dụ hình trên, ta có kênh (cụm có khối hộp, cụm thứ phân tách khối hộp thành Mạng CNN (Convolution Neural Network – mạng nơ ma trận (m x n), cụm thứ tích chập khơng gian có tron tích chập) tập hợp lớp tích chập chồng lên kích thước (k x k), cụm thứ kết sau tích chập, sử dụng hàm kích hoạt phi tuyến ReLU cụm thứ ghép kết tích chập lại), Tanh để kích hoạt trọng số nút Mỗi có (DK × DK) tích chập khơng gian tương lớp sau thơng qua hàm kích hoạt tạo ứng với kênh [1] thông tin trừu tượng cho lớp tiếp theo.[3] Pointwise tích chập: đơn giản tích chập có kích Với mơ hình CNN phổ biến, có độ xác thước (1x1) (như hình trên) cao, chúng có điểm hạn chế chung khơng phù hợp với ứng dụng di động hay hệ Với M số lượng kênh đầu vào, N số lượng kênh thống nhúng có khả tính toán thấp Nếu muốn sử đầu ra, Dk kích thước kernel, Df kích thước đồ dụng mơ hình cho ứng dụng thời gian thực, ta đặc trưng, tính được: cần phải có cấu hình mạnh mẽ (GPU / TPU) hệ thống nhúng (Raspberry Pi, Nano pc, etc) Chi phí tính tốn Depthwise tích chập là: hay ứng dụng chạy điện thoại thơng minh, ta cần có mơ hình "nhẹ" Mơ hình MobileNet đời Dk Dk M Df Df nhằm đáp ứng điều Chi phí tính tốn Pointwise tích chập là: Bảng 1: Mơ hình mạng CNN sử dụng đề tài M N Df Df Lớp Loại Tổng chi phí tính tốn Depthwise Separable tích chập là: Đầu vào (Ma trận hình ảnh qua xử lý) Dk Dk M Df Df +M N Df Df Pointwise 1x1 filter Nếu không sử dụng Depthwise Separable Pointwise Bias ( Hàm kích hoạt ReLU) tích chập mà sử dụng phép tích chập bình thường, chi phí tính tốn là: Depthwise 3x3 filter Dk Dk M N Df Df Depthwise Bias ( Hàm kích hoạt ReLU) Do đó, chi phí tính toán giảm: Pointwise 1x1 filter Dk Dk M Df Df + M N Df Df = + Pointwise Bias ( Hàm kích hoạt ReLU) Dk Dk M N Df Df N Dk Pool Giả sử, chọn kích thước kernel Dk = 3, FC giảm từ đến lần phép tính nhân nên giảm chi phí tính tốn nhiều 10 Đầu ( Hàm kích hoạt Softmax) Theo so sánh kết việc sử dụng mạng 30 lớp sử dụng tích chập mạng 30 lớp sử dụng Depthwise Depthwise separable tích chập: depthwise Separable tích chập (MobileNet) tập liệu tích chập theo sau pointwise tích chập hình ImageNet, có bảng kết bên bên dưới: HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHĨM SRT NĂM 2020 Hình 2: Kết việc sử dụng tích chập chia hai trình là: Depthwise Separable tích chập [1]  Truyền liệu (publisher): Device (client) - Cloud MobileNet giảm 1% độ xác, số lượng (server) bao gồm loại topic: tham số mơ hình số lượng phép tính tốn giảm rất nhiều, gần xấp xỉ 90% Một số đáng kinh ngạc + State:[4] [1] - Format topic: /devices/{device-id}/state Nhờ vào việc sử dụng Depthwise Separable tích chập, mơ hình MobileNet cho kết tính tốn tốt gần ngang - Mục đích sử dụng: gửi liệu liên quan đến với mạng CNN phổ biến số lượng tham số nhỏ trạng thái thiết bị, không bao gồm số phép tính tốn Mơ hình lựa mơi trường xung quanh Ví dụ trạng thái hoạt chọn tối ưu đáp ứng ESP32 dòng chip với tốc động thiết bị, phiên firmware độ xử lý hạn chế - Tần suất gửi liệu: không thường xuyên, 2.2 Xây dựng hệ thống Internet of Things sử dụng khuyến khích khoảng thời gian gói nhanh tảng Google Cloud IoT core 10 giây/thiết bị (GCIC giới hạn không gửi nhanh tần suất gói/giây/thiết bị 2.2.1 Giới thiệu loại topic này) Google Cloud Platform (GCP) thuật ngữ chung - Dung lượng gói tin tối đa: 64 KB cho tập hợp dịch vụ cung cấp Google dựa tảng đám mây Cơ sở hạ tầng khách - Persistence (lưu trữ theo thời gian): 10 gói hàng đám mây hóa, cách sử dụng cơng tin cuối lưu trữ GCIC Có thể cấu nghệ sở hạ tầng mà nội Google sử dụng hình để chuyển tiếp gói tin đến Cloud Pub/Sub Các thành phần cung cấp dạng dịch vụ topic (khơng bắt buộc) từ đầu, sử dụng chúng để phát triển nhanh chóng + Telemetry (hay telemetry events)[4] Google Cloud IoT Core (GCIC) dịch vụ quản - Format topic: /devices/{device-id}/events lý với thành phần “Device Management” (Quản lý thiết bị) “Communication Broker” (Quản lý truyền - Mục đích sử dụng: gửi tất liệu thông) kiện, ví dụ liệu đo đạc từ cảm biến, liệu trạng thái điều khiển thiết bị,… Tóm  Device Management: Đây thành phần cho phép lại topic dùng để gửi loại liệu tổ chức việc kết nối quản lý thiết bị thông thường với tần suất gói tin lớn IoT với GCIC Các thiết bị kết nối tới Google Cloud IoT Core xem “device” Nhóm - Tần suất gửi liệu: thường xuyên “device” lại với nhau, có “registry” ô chứa đại diện cho “device” Việc khởi tạo - Dung lượng gói tin tối đa: 256 KB quản lý “device” với “registry” phụ thuộc vào cách tổ chức - Persistence: tất gói tin gửi đến GCIC  Communication Broker: thành phần cung tự động chuyển tiếp đến topic cấp giao thức truyền thơng để dịch vụ Cloud Pub/Sub (topic phải truyền nhận liệu với GCIC, GCIC hỗ trợ loại đăng ký trình tạo registry) giao thức phổ biến MQTT (sử dụng TLS) HTTPS Và thành phần có tên Data Broker có  Nhận liệu (subscriber): Cloud (server) -> nhiệm vụ chuyển tiếp, phân phối luồng liệu đến Device (client) bao gồm loại topic: dịch vụ khác để thực lưu trữ xử lý có tên gọi Cloud Pub/Sub + Configuration:[4] Google IoT Core sử dụng kết nối TLS1.2 cho tầng vận - Format topic: /devices/{device-id}/config chuyển JWT cho tầng ứng dụng để mã hóa xác thực danh tính thiết bị Điều có nghĩa cần phải tạo - Mục đích sử dụng: gửi yêu cầu cập nhật cấu cặp khóa bất đối xứng Public key – Private key Quy hình đặc biệt đến thiết bị, ví dụ cập nhật trình sử dụng cặp khóa sau: firmware mới, khởi động thiết bị, kích hoạt tính đặc biệt thay đổi  Thiết bị IoT (Khách) sử dụng Private key để tạo thuộc tính thiết bị phần chữ ký cho JWT Mã JWT đến Google IoT Core cần kết nối để chứng minh - Tần suất gửi liệu: khơng thường xun, danh tính cho thiết bị khuyến khích khoảng thời gian gói  Google IoT Core (Chủ) sử dụng Public key để nhanh 10 giây/thiết bị (GCIC giới hạn giải mã xác nhận danh tính thiết bị [2] không gửi nhanh tần suất gói/giây/ thiết bị loại topic này) 2.2.2 Tương tác MQTT với Google Cloud IoT Core - Dung lượng gói tin tối đa: 64 KB - Persistence (lưu trữ theo thời gian): 10 gói tin cuối lưu trữ GCIC + Command:[4] - Format topic: /devices/{device-id}/commands/# (yêu cầu phải có hậu tố wildcard #) Để dễ hình dung, đứng vai trị thiết bị (Device) - Mục đích sử dụng: gửi liệu thông Nguyễn Văn Khương, Phan Thế Nhân, Phạm Văn Sang, Nguyễn Văn Xuân Mỹ, Trần Văn Mới thường đến thiết bị, ví dụ yêu cầu điều khiển trạng thái ngoại vi, thay đổi tính năng,… - Tần suất gửi liệu: thường xuyên - Dung lượng gói tin tối đa: 256 KB - Persistence (lưu trữ theo thời gian): không lưu trữ mà chuyển tiếp đến subscriber mà thơi Như nhận thấy rằng, GCIC quy định rõ ràng loại gói tin nên tổ chức gửi nhận topic khác Cũng vai trò thiết bị với topic trên, phân loại theo mục đích sử dụng thực tế (đây cách hiểu tường minh rút từ lý thuyết trên) là:  Các liệu liên quan đến nội thiết bị, Hình 5: Mặt bên thiết bị thường sử dụng nhà sản xuất tần suất gửi 3.3 Kết phần mềm thấp bao gồm: State (publish) Config (subscribe)  Các liệu liên quan đến tính thiết bị q trình vận hành, dùng để tương tác thiết bị với ứng dụng người dùng bao gồm: Telemetry (publish) Command (subscribe) Một số kết đạt đề tài 3.1 Tổng quan hệ thống Sinh viên Thiết bị Máy chủ Hình 6: Webserver camera Lấy mẫu Thao tác Thao tác lần lưu với thiết website vào bị Lọc nhớ thiết web sinh viên bị Server điểm danh Tiến hành Gửi theo mã sinh nhận diện liệu mã viên vào sinh viên gửi lên buổi học lên máy chủ Hình 3: Tổng quan hệ thống 3.2 Kết phần cứng Hình 4: Mặt trước thiết bị Hình 7: Giao diện website 3.4 Chạy thử nghiệm Nhóm tiến hành cho chạy thử nghiệm hệ thống với lớp Máy điện II ngày 25/07/2020 giám sát thầy Dương Quang Thiện Q trình thử nghiệm: Nhóm tiến hành lấy mẫu khuôn mặt 20 sinh viên lớp sau tiến hành điểm danh cho sinh viên lấy mẫu Kết thử nghiệm:  Hệ thống có khả nhận diện sinh viên hiển thị tên sinh viên điểm danh lên website Một số nhược điểm:  Chất lượng hình ảnh camera cịn thấp  Tốc độ xử lý phụ thuộc vào tốc độ internet Kết luận 4.1 Kết luận HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM 2020 Sau q trình nghiên cứu trí tuệ nhân tạo có nhiều phịng học việc trang bị phịng học IOT nhóm cho đời sản phẩm thiết bị camera thiết bị đắt đỏ điểm danh thời gian nghiên cứu hạn chế khoảng tháng Sản phẩm cho thấy lợi ích 4.2.2 Trong trường hợp mạng wifi nhanh ổn định việc ứng dụng IOT trí tuệ nhân tạo đời sống Nếu mạng wifi nhanh ổn định gửi Tuy sản phẩm chưa hồn hảo cịn tồn liệu hình ảnh lên máy chủ xử lý Khi nhiều vấn đề đề tài tảng để nhóm cải thiết bị đóng vai trị nhận truyền tín hiệu, giúp tăng thiện sản phẩm dự án sau chất lượng tốc độ xử lý cho thiết bị việc xử lý, lưu trữ máy hình ảnh camera tốc độ xử lý chủ thuận tiện hơn, giúp hệ thống hoạt động đồng bộ, nhanh ổn đinh Tuy nhiên liệu hình ảnh Đồng thời qua việc nghiên cứu nhóm học hỏi thời gian thực lớn nên tốc độ internet cịn nhiều cơng nghệ kĩ rào cản lớn Đây vấn đề chung hệ thống IoT mềm Tài liệu tham khảo 4.2 Đề xuất số phương án đưa vào ứng dụng [1] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry 4.2.1 Trong trường hợp mạng wifi không nhanh Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Trong trường hợp bình thường tốc độ internet Hartwig Adam “MobileNets: Efficient Convolutional Neural Networks thường chậm, không đáp ứng việc gửi liệu[2] hình ảnh thời gian thực lên máy chủ nên nhóm em đã[3] for Mobile Vision Applications”, 2017 chọn phương pháp lưu trữ xử lý hình ảnh sinh viên thiết bị Phương pháp đảm bảo[4] Cơng ty TNHH Kỹ thuật TAPIT, Đà Nẵng “Xây dựng hệ thống tốc độ xử lý kéo theo áp dụng cho quy mơ trường học số lượng sinh viên lớn dẫn đến Internet of Thing sử dụng tảng Google Cloud IoT Core” Denny Britz “Understanding Convolutional Neural Networks for NLP”, November 7, 2015 Google Cloud IoT Core documentation “https://cloud.google.com/iot/docs” phải dùng thiết bị lưu trữ nhiều liệu, tốc độ xử lý nhanh Việc làm tăng giá thành Và trường học Nguyễn Văn Khương, Phan Thế Nhân, Phạm Văn Sang, Nguyễn Văn Xuân Mỹ, Trần Văn Mới Thông tin tác giả Nguyễn Văn Khương: - Lớp 18TDH2, khoa Điện- Điện Tử, Trường Đại học Sư phạm Kỹ thuật- ĐHĐN; - Lĩnh vực quan tâm: Vi điều khiển, AI, IoT, SCADA; - Điện thoại: 0368656214 Trần Văn Mới: - Lớp 18TDH2, khoa Điện- Điện Tử, Trường Đại học Sư phạm Kỹ thuật- ĐHĐN; - Lĩnh vực quan tâm: PLC, IoT, vi điều khiển ; - Điện thoại: 0399525566 Phan Thế Nhân: - Lớp 18TDH2, khoa Điện- Điện Tử, Trường Đại học Sư phạm Kỹ thuật- ĐHĐN; - Lĩnh vực quan tâm: PLC, IoT, vi điều khiển; - Điện thoại: 0347536531 Phạm Văn Sang: - Lớp 18TDH2, khoa Điện- Điện Tử, Trường Đại học Sư phạm Kỹ thuật- ĐHĐN - Lĩnh vực quan tâm: Vi điều khiển, IoT, PLC, SCADA - Điện thoại: 0935644460 Nguyễn Văn Xuân Mỹ: - Lớp 18TDH2, khoa Điện – Điện, trường Đại Học Sư Phạm Kỹ Thuật – ĐHĐN - Lĩnh vực quan tâm; PLC, IoT,Vi điều khiển - Điện thoại: 0363339920