Ứng dụng công nghệ nhận dạng trên nền rảng fpga cho lớp học thông minh

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng công nghệ nhận dạng tảng FPGA cho lớp học thông minh LÊ BÁ CƯỜNG Cuong.LB202727M@sis.hust.edu.vn Ngành Kỹ thuật điều khiển Tự động hóa Khoa Tự động hóa Giảng viên hướng dẫn: PGS.TS Nguyễn Quang Địch Trường: Điện – Điện tử Hà Nội, 04/2023 Chữ ký GVHD ĐỀ TÀI LUẬN VĂN Tên đề tài tiếngg Việt: t: Ứng dụng công nghệ nhận dạng tảng FPGA cho lớp học thông minh Tên đề tài tiếngg Anh: h: Applying recognition technology based on FPGA platform for smart classrooms Giảng viên hướng dẫn (Ký ghi rõ họ tên) PGS.TS Nguyễn Quang Địch BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Lê Bá Cường Đề tài luận văn: Ứng dụng công nghệ nhận dạng tảng FPGA cho lớp học thông minh Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa Mã số SV: 20202727M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 28/04/2023 với nội dung sau: - Chỉnh sửa lại bố cục luận văn - Cập nhật thông tin trích dẫn - Sửa số lưu đồ thuật tốn, đánh số phương trình - Làm rõ đối tượng lớp học thông minh Ngày Giáo viên hướng dẫn tháng năm 2023 Tác giả luận văn PGS.TS Nguyễn Quang Địch CHỦ TỊCH HỘI ĐỒNG TS Dương Minh Đức Lê Bá Cường MỤC LỤC Chương MỞ ĐẦU 1.1 Lý chọn đề tài 1.2 Đối tượng phạm vi nghiên cứu 1.3 Mục đích nghiên cứu 1.4 Tình hình nghiên cứu 1.5 Ý nghĩa khoa học thực tiễn đề tài Chương CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT 2.2 Cấu trúc hệ thống nhận dạng khuôn mặt 2.1.1 Phát khuôn mặt 2.1.2 Căn chỉnh khuôn mặt 11 2.1.3 Trích xuất đặc trưng khn mặt 12 2.1.4 Xác minh khuôn mặt 14 Chương CÔNG NGHỆ FPGA VÀ ỨNG DỤNG CHO TRÍ TUỆ NHÂN TẠO 16 3.1 Giới thiệu 16 3.2 Tổng quan công nghệ FPGA 17 3.2.1 Lịch sử đời phát triển 17 3.2.2 Cấu trúc FPGA 18 3.3 Nghiên cứu trình triển khai ứng dụng AI tảng FPGA Xilinx 19 3.3.1 Tìm hiểu kiến trúc phần cứng chip FPGA Zynq UltraScale™+ MPSoC 20 3.3.2 Quá trình triển khai ứng dụng AI tảng FPGA Xilinx 21 Chương PHÁT TRIỂN HỆ THỐNG NHẬN DẠNG KHN MẶT CHO BÀI TỐN ĐIỂM DANH 38 4.1 Xây dựng yêu cầu kỹ thuật đề xuất giải pháp kỹ thuật cho toán 38 4.2 Thiết kế hệ thống 39 4.2.1 Thiết kế bo mạch phần cứng 39 4.2.2 Thiết kế phần mềm hệ thống 47 4.3 Triển khai hệ thống đánh giá kết thu 60 Chương KẾT LUẬN 67 5.1 Kết luận nghiên cứu 67 5.2 Đề xuất hướng nghiên cứu tương lai 67 DANH MỤC TÀI LIỆU THAM KHẢO 68 PHỤ LỤC 69 DANH SÁCH HÌNH ẢNH Hình 1 Hệ thống nhận dạng hành động ứng dụng thi cử Hình Hệ thống điểm danh nhận dạng khuôn mặt Hình Hệ thống nhận dạng cảm xúc trí tuệ nhân tạo Hình Tổng quan hệ thống lớp học thông minh Hình Hình ảnh sản phẩm AI camera Hanet Hình Sản phẩm AI camera BKAV Hình 2.1 Cấu trúc hệ thống nhận dạng khuôn mặt Hình 2.2 Phát khn mặt 10 Hình 2.3 Căn chỉnh khn mặt 11 Hình 2.4 Trích xuất đặc trưng khn mặt 12 Hình 2.5 Cấu trúc mơ hình Resnet20 cho trích xuất vector đặc trưng 13 Hình 2.6 Xác minh khn mặt 14 Hình 2.7 Xác minh khn mặt mơ hình phân loại 14 Hình 2.8 Xác minh khn mặt so sánh vector đặc trưng 15 Hình 3.1 Thị phần FPGA giới năm 2019 17 Hình 3.2 Cấu trúc FPGA 18 Hình 3.3 Chip FPGA Zynq UltraScale™+ MPSoC Xilinx 19 Hình 3.4 Kiến trúc phần cứng chip FPGA Zynq UltraScale™+ MPSoC 20 Hình 3.5 Quá trình triển khai ứng dụng AI tảng FPGA Xilinx 22 Hình 3.6 Cấu hình phần cứng cho triển khai ứng dụng AI 23 Hình 3.7 Cấu hình khối xử lý học sâu DPU phần mềm Vivado 24 Hình 3.8 Cấu hình khối xử lý video VCU phần mềm Vivado 26 Hình 3.9 Thiết lập cấu hình phần cứng phần mềm Vivado 27 Hình 3.10 Kết nối khối xử lý học sâu DPU 27 Hình 3.11 Kết nối khối xử lý video VCU 28 Hình 3.12 Khối kết nối AXI Connect 28 Hình 3.13 Khối tạo xung nhịp 28 Hình 3.14 Cấu hình phần cứng chung 30 Hình 3.15 Cấu hình phân vùng rootfs 31 Hình 3.16 Tùy chỉnh device-tree cho phần cứng tự thiết kế 32 Hình 3.17 Cấu hình kernel 32 Hình 3.18 Cơng cụ Vitis AI hệ điều hành linux 33 Hình 3.19 Q trình lượng tử hóa mơ hình Vitis AI Quantizer 34 Hình 3.20 Q trình biên dịch mơ hình cơng cụ Vitis AI Compiler 35 Hình 3.21 Luồng thực thi mơ hình AI DPU 36 Hình 3.22 Hình ảnh Vitis Analyzer Xilinx 37 Hình 4.1 Sơ đồ khối hệ thống điểm danh nhận dạng khuôn mặt 39 Hình 4.2 Kria K26 SOM 42 Hình 4.3 Sơ đồ khối kết nối vật lý Carrier Board 42 Hình 4.4 Các Connector kết nối SOM Carrier Board 43 Hình 4.5 Khối phần cứng cho giao tiếp ethernet 44 Hình 4.6 Khối phần cứng cho giao tiếp với thẻ nhớ 44 Hình 4.7 Khối giao tiếp USB 45 Hình 4.8 Hình ảnh 3D Carrier Board mặt top 45 Hình 4.9 Hình ảnh 3D Carrier Board mặt bottom 46 Hình 4.10 Hình ảnh 3D SOM mặt top 46 Hình 4.11 Hình ảnh 3D SOM mặt bottom 46 Hình 4.12 Hình ảnh 3D Carrier Board kết nối với SOM 47 Hình 4.13 Hình ảnh mạch thật 47 Hình 4.14 Cấu trúc phần mềm hệ thống 48 Hình 4.15 Cơ chế hoạt động phần mềm nhận dạng chế độ thu mẫu 48 Hình 4.16 Cơ chế hoạt động phần mềm chế độ xác thực 49 Hình 4.17 Tính phần mềm ứng dụng 50 Hình 4.18 Giao diện đăng nhập phần mềm ứng dụng 51 Hình 4.19 Giao diện chế độ xác thực 52 Hình 4.20 Giao diện chế độ lấy mẫu 53 Hình 4.21 Giao diện cập nhật liệu cá nhân 53 Hình 4.22 Lưu đồ thuật tốn chương trình 55 Hình 4.23 Lưu đồ thuật tốn luồng nhận lệnh điều khiển 55 Hình 4.24 Lưu đồ thuật tốn luồng đọc ảnh 55 Hình 4.25 Lưu đồ thuật toán luồng thực thi nhận dạng khn mặt 56 Hình 4.26 Lưu đồ thuật tốn luồng streaming hình ảnh kết lên máy chủ 56 Hình 4.27 Lưu đồ thuật tốn luồng gửi thơng tin kết lên máy chủ 57 Hình 4.28 Lưu đồ thuật tốn chương trình 57 Hình 4.29 Lưu đồ thuật tốn luồng nhận lệnh điều khiển 58 Hình 4.30 Lưu đồ thuật toán luồng đọc ảnh 58 Hình 4.31 Lưu đồ thuật toán luồng thu mẫu liệu 59 Hình 4.32 Hình ảnh lắp đặt camera 60 Hình 4.33 Hình ảnh chế độ thu mẫu liệu 60 Hình 4.34 Kết nhận dạng điều kiện không bị che khuất 61 Hình 4.35 Kết nhận dạng trường hợp khn mặt bị che khuất phần 61 Hình 4.36 Kết nhận dạng khung hình có nhiều khn mặt 61 Hình 4.37 Khoảng cách nhận dạng 2m 62 Hình 4.38 Khoảng cách nhận dạng 3m 62 Hình 4.39 Khoảng cách nhận dạng 4m 62 Hình 4.40 Hình ảnh giao diện trình thử nghiệm 65 Hình 4.41 Hình ảnh email thơng báo check-in thành công 65 Hình 4.42 Hình ảnh email thơng báo check-out thành cơng 65 Hình 4.43 Hình ảnh email nhắc nhở khung thời gian check-in 66 Hình 4.44 Hình ảnh email thơng báo thời gian xuất 66 DANH SÁCH BẢNG Bảng 2.1 Kết thực thi số mơ hình cho tốn phát khn mặt….10 Bảng 4.1 Yêu cầu kỹ thuật giải pháp kỹ thuật hệ thống…………………… 47 Bảng 4.2 Ưu nhược điểm số phương án phát triển phần cứng…………… 49 Bảng 4.3 Thông số kỹ thuật Kria K26 SOM…………………………………………50 Bảng 4.4 Mô tả giao thức kết nối vật lý Carrier Board………………………… 51 Bảng 4.5 Khả nhận dạng độ xác khoảng cách khác nhau.….72 Bảng 4.6 Hiệu tài nguyên tiêu thụ SOM……………………………… 72 Bảng 4.7 So sánh hiệu giá thành với số sản phẩm AI Camera 72 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt AI (Artificial Intelligence) FPGA (Field-Programmable Gate Array) CPU (Central Processing Unit) GPU (Graphic Processing Unit) FPS (Frame Per Second) FaceID (Face Identification) HOG (Histogram Oriented Gradient) CV (Computer Vision) MCU (MicroController Unit) ASIC (Application-Specific Integrated Circuit) ASPD (Application - Specific Standard Products) DPU (Deep learning Processing Unit) VCU (Video Codecs Unit) SOM (System On Module) SoC (System on Chip) UDP (User Datagram Protocol) RTSP (Real Time Streaming Protocol) IP core (Intellectual property core) RAM (Random Access Memory) ROM (Read Only Memory) PL (Programmable Logic) PS (Processing System) BSP (Board Support Package) Từ viết đầy đủ Trí tuệ nhân tạo Mảng cổng dạng trường khả trình Khối xử lý trung tâm Khối xử lý đồ họa Khung hình giây Nhận dạng khuôn mặt Biểu đồ định hướng gradient Thị giác máy tính Khối vi điều khiển Mạch tích hợp chuyên dụng Sản phẩm chuẩn chuyên dụng Khối xử lý học sâu Khối xử lý video Hệ thống mô-đun Hệ thống chip Giao thức liệu người dung Giao thức truyền tin thời gian thực Lõi sở hữu trí tuệ Bộ nhớ truy cập ngẫu nhiên Bộ nhớ đọc Logic khả trình Xử lý hệ thống Gói bo mạch hỗ trợ LỜI CẢM ƠN Trước tiên, em xin gửi lời cảm ơn chân thành đến thầy PGS.TS Nguyễn Quang Địch hướng dẫn em tận tình suốt thời gian em làm luận văn Thầy truyền đạt lại cho em kiến thức, kinh nghiệm nghiên cứu giúp đỡ em nhiều để em hoàn thành tốt luận văn cao học Tiếp theo, em xin gửi lời cảm ơn chân thành đến tất thầy cô giáo Đại học Bách Khoa Hà Nội trực tiếp giảng dạy suốt khóa học, người bạn quan tâm, động viên, chia sẻ kiến thức kinh nghiệm chuyên ngành suốt trình học tập rèn luyện em Em xin cảm ơn giúp đỡ, động viên quý báu từ gia đình, người tạo điều kiện nghiên cứu giúp đỡ, động viên em trình nghiên cứu trường Cuối cùng, em xin gửi lời cảm tới tất anh chị em đồng nghiệp Viện Hàng không Vũ trụ Viettel tạo điều kiện cho em học hỏi nghiên cứu công nghệ phục vụ cho trình thực luận văn cao học Do thời gian kiến thức có hạn nên khơng tránh khỏi thiếu sót định Em mong nhận đóng góp q báu thầy bạn Sau cùng, em xin gửi lời chúc sức khỏe, hạnh phúc đến thầy cơ, gia đình bạn bè Em xin trân trọng cảm ơn! TÓM TẮT NỘI DUNG LUẬN VĂN Nội dung luận văn trình bày ứng dụng công nghệ nhận dạng tảng FPGA cho lớp học thơng minh Trong đó, cơng nghệ nhận dạng nghiên cứu công nghệ nhận dạng khuôn mặt Luận văn trình bày trình triển khai ứng dụng AI tảng FPGA bao gồm trình lập trình phần cứng, tùy chỉnh hệ điều hành, phát triển ứng dụng Và cuối cùng, tác giả trình bày trình phát triển thiết bị AI Camera có tính nhận dạng khn mặt áp dụng cho hệ thống điểm danh lớp học thơng minh Q trình phát triển AI Camera bao gồm: thiết kế bo mạch phần cứng thiết kế phần mềm hệ thống gồm phần mềm nhúng AI Camera phần mềm ứng dụng máy chủ Mục đích: Mục đích luận văn ứng dụng công nghệ nhận dạng tảng phần cứng với nhiều ưu điểm bật khả thực thi song song, độ bảo mật, tiết kiệm điện FPGA để phát triển nên thiết bị áp dụng hệ thống lớp học thơng minh Mục tiêu: Phát triển thiết bị AI Camera có khả nhận dạng khn mặt đẻ ứng dụng cho tốn điểm danh lớp học thơng minh Công cụ sử dụng: Tác giả sử dụng công cụ Vivado để lập trình phần cứng tảng FPGA Xilinx đồng thời sử dụng công cụ Petalinux Vitis AI để tùy chỉnh hệ điều hành phát triển ứng dụng AI tảng FPGA Xilinx Bên cạnh đó, tác giả cịn sử dụng Altium để thiết kế bo mạch phần cứng phần mềm QT-Creactor để phát triển phần mềm ứng dụng máy chủ Kết đạt được: Bên cạnh việc hoàn thiện việc phát triển thiết bị AI Camera tảng FPGA Xilinx có tính nhận dạng khuôn mặt bao gồm thiết kế phần cứng phần mềm tác giả cịn phát triển phần mềm ứng dụng có tính quản lý hệ thống điểm danh lớp học thông minh Định hướng phát triển: Trong hướng nghiên cứu tiếp theo, tác giả mong muốn áp dụng nhiều cơng nghệ nhận dạng khác như: nhận dạng cử chỉ, nhận dạng cảm xúc… tảng FPGA để tạo nên hệ thống lớp học thơng minh hồn chỉnh Học viên Lê Bá Cường Chương MỞ ĐẦU 1.1 Lý chọn đề tài Trí tuệ nhân tạo xu hướng phát triển cách mạng 4.0 Trí tuệ nhân tạo ứng dụng vào nhiều lĩnh vực đời sống như: y tế, giáo dục, kinh tế mang lại hiệu tương đối tốt hứa hẹn áp dụng sâu rộng hiệu tốt lĩnh vực đời sống kinh tế Với phát triển công nghệ thông tin nay, việc áp dụng trí tuệ nhân tạo vào lĩnh vực đời sống - xã hội khơng cịn q khó khăn trước Nhiều thiết bị thông minh đời nhằm tự động hóa hệ thống cần phải giám sát, quản lý người, nhờ giảm thiểu khối lượng công việc mà người phải làm, giảm thiểu chi phí nhân cơng đảm bảo hoạt động sản xuất, nghiên cứu khám phá môi trường nguy hiểm mà người chưa thể đặt chân đến Trong bối cảnh tồn cầu hố, quốc gia tập trung nâng cao mức độ chất lượng hệ thống giáo dục Việc toàn cầu hóa thúc đẩy tiến khoa học cơng nghệ kỹ thuật, cho phép người dùng truy cập trao đổi thông tin lúc từ nơi giới Đặc biệt Giáo dục, cơng nghệ đóng vai trị vơ quan trọng cho phát triển bền vững Với xu hướng cạnh tranh ngày nay, bạn trẻ cần kỹ vượt ngồi kiến thức mơn học đòi hỏi tập trung, khả tư sáng tạo Mơ hình lớp học thơng minh mơ hình sáng tạo, đại nhằm tạo cung cấp nội dung giảng, nâng cao khả học tập học sinh, cung cấp khả kiểm soát học sinh, sinh viên yếu tố chuyên cần, cảm xúc thái độ môn học, giám sát trình kiểm tra, thi cử để loại bỏ hành vi gian lận… Mơ hình lớp học thơng minh giải pháp cho phép tăng cường khả tương tác đa chiều giáo viên với học sinh, học sinh với học sinh qua việc dạy nhóm, học nhóm, thảo luận nhóm thơng qua phần mềm quản lý lớp học Đây mơ hình ứng dụng cơng nghệ tiên tiến phục vụ việc học tập giảng dạy, giúp giảng trở nên trực quan, sinh động, khơi gợi hứng thú học tập học sinh Công nghệ áp dụng lớp học thông minh bao gồm cơng nghệ nhận dạng như: nhận dạng giọng nói, nhận dạng cử chỉ, hành động, cảm xúc, nhận dạng khn mặt x Nhận dạng giọng nói: Là cơng nghệ thực chức nhận dịch (hoặc hiểu thực hiện) với liệu đầu giọng nói người Nhận dạng giọng nói gồm thuật ngữ voice recognition speech recognition o Speech recognition việc xác định từ ngữ giọng nói dịch chúng sang mã máy Trong lớp học thông minh, speech recognition chủ yếu ứng dụng để điều khiển bật tắt thiết bị mà không cần thao tác trực tiếp bật đèn, bật máy chiếu, bật điều hòa x Chế độ xác thực Hình 4.22 Lưu đồ thuật tốn chương trình Hình 4.23 Lưu đồ thuật tốn luồng nhận lệnh điều khiển Luồng hoạt động chương trình mơ tả hình 4.22 Đầu tiên, chương trình khởi tạo mơ-đun hệ thống bao gồm mơ-đun: Đọc hình ảnh từ usb camera, nhận dạng khuôn mặt, nhận lệnh điều khiển từ máy chủ, gửi kết tới máy chủ… Nếu tất mô-đun khởi tạo thành công, luồng thực thi bắt đầu trạng thái chờ có nhận lệnh thiết lập chế độ hoạt động cho phép bắt đầu hoạt động, ngược lại có mơ-đun khởi tạo khơng thành cơng chương trình hiển thị lỗi tương ứng kết thúc để tiến hành trình bảo trì phần mềm Hình 4.24 Lưu đồ thuật tốn luồng đọc ảnh 55 Luồng nhận lệnh điều khiển mơ tả hình 4.23 có nhiệm vụ nhận tin điều khiển từ máy chủ để thiết lập trạng thái hoạt động cho phần mềm nhúng Luồng đọc ảnh mơ tả hình 4.24 có nhiệm vụ đọc hình ảnh từ usb camera đẩy vào hàng đợi để luồng nhận dạng xử lý Trong trường hợp hàng đợi bị đầy, hình ảnh đọc từ camera không đẩy vào hàng đợi Luồng thực thi mơ tả hình 4.25 có nhiệm vụ lấy hình ảnh từ hàng đợi sau xử lý nhận dạng khn mặt khung hình đẩy kết xử lý vào hàng đợi hàng đợi Trong trường hợp hàng đợi rỗng luồng thực thi phải đợi có hình ảnh đẩy vào hàng đợi Trong trường hợp hàng đợi bị đầy liệu hình ảnh xử lý không đẩy vào hàng đợi Hình 4.25 Lưu đồ thuật tốn luồng thực thi nhận dạng khn mặt Hình 4.26 Lưu đồ thuật tốn luồng streaming hình ảnh kết lên máy chủ 56 Luồng streaming lên máy chủ mô tả hì nh 4.26 có nhiệm vụ lấy hình ảnh kết nhận dạng từ hàng đợi gửi lên máy chủ qua đường RTSP sử dụng chuẩn nén H264/H265 Hình 4.27 Lưu đồ thuật tốn luồng gửi thơng tin kết lên máy chủ Luồng gửi thông tin lên máy chủ mơ tả hình 4.27có nhiệm vụ lấy thông tin kết nhận dạng từ hàng đợi gửi lên máy chủ thông qua socket UDP Thông tin kết nhận dạng bao gồm liệu nhận dạng cá nhân khung hình tại, số lần nhận dạng cá nhân ngày x Chế độ thu mẫu Hình 4.28 Lưu đồ thuật tốn chương trình 57 Chương trình khởi tạo mô-đun hệ thống bao gồm mơ-đun: Đọc hình ảnh, nhận lệnh điều khiển từ máy chủ, thu mẫu liệu … Nếu mô-đun khởi tạo thành công, luồng thực thi bắt đầu trạng thái chờ, ngược lại hệ thống hiển thị mã lỗi kết thúc để tiến hành trình bảo trì phần mềm Hình 4.29 Lưu đồ thuật toán luồng nhận lệnh điều khiển Khi khởi tạo xong, hệ thống hoạt động trạng thái chờ Luồng nhận lệnh điều khiển chế độ thu mẫu mơ tả hình 4.29 có nhiệm vụ nhận tin điều khiển từ máy chủ để thiết lập thông tin bắt đầu trình thu mẫu Hình 4.30 Lưu đồ thuật tốn luồng đọc ảnh 58 Luồng đọc ảnh mơ tả hình 4.30 có nhiệm vụ đọc hình ảnh từ usb camera video tùy vào cấu hình nguồn ảnh thu mẫu từ phần mềm ứng dụng gửi xuống đẩy vào hàng đợi để luồng nhận dạng xử lý Để tránh tràn nhớ giảm độ trễ xử lý, hàng đợi cấu hình với số kích thước tối đa cố định Trong trường hợp hàng đợi bị đầy, hình ảnh đọc từ camera không đẩy vào hàng đợi Hình 4.31 Lưu đồ thuật tốn luồng thu mẫu liệu Luồng thu mẫu liệu mô tả hình 4.31 tiến hành đọc hình ảnh từ hàng đợi 1(được đẩy vào từ luồng đọc ảnh), sau tiến hành phát khn mặt có khung hình, trích xuất đặc trưng khn mặt thành vector lưu chúng vào sở liệu Sau số lượng vector đặc trưng đủ (mỗi người khoảng 100 vector) phần mềm nhúng gửi tin tới phần mềm ứng dụng để thơng báo q trình thu liệu kết thúc 59 4.3 Triển khai hệ thống đánh giá kết thu Phần 4.3 trình bày việc triển khai hệ thống điểm danh phịng thí nghiệm với tập sở liệu 13 người Các cá nhân lấy mẫu theo phương pháp khác Cơ sở liệu bổ sung q trình vận hành thực tế Hình 4.32 Hình ảnh lắp đặt camera Hình 4.33 Hình ảnh chế độ thu mẫu liệu Xây dựng phương án thử nghiệm hệ thống: x Phương án 1: thử nghiệm độ xác q trình hoạt động - Kịch thử nghiệm: Với phương án thử nghiệm độ xác, tác giả đề xuất vài kịch thử nghiệm để kiểm tra khả nhận dạng hệ thống trường hợp sau: o o o o Khả nhận dạng điều kiện bình thường (nhìn trực diện vào camera) Khả nhận dạng trường hợp khuôn mặt bị che khuất phần Khả nhận dạng nhiều khn mặt có khung hình Khả nhận dạng khn mặt khoảng cách khác 60 - Kết kịch thử nghiệm thể hình đây: Hình 4.34 Kết nhận dạng điều kiện khơng bị che khuất Hình 4.35 Kết nhận dạng trường hợp khuôn mặt bị che khuất phần Hình 4.36 Kết nhận dạng khung hình có nhiều khn mặt 61 Hình 4.37 Khoảng cách nhận dạng 2m Hình 4.38 Khoảng cách nhận dạng 3m Hình 4.39 Khoảng cách nhận dạng 4m 62 - Đánh giá: o Trong điều kiện lý tưởng với ánh sáng đủ khuôn mặt không bị che khuất phần nào, kết nhận dạng tốt với độ tương đồng vector đặc trưng vector sở liệu cao (0.75) o Trong điều kiện khuôn mặt bị che phần, kết nhận dạng thể độ tương đồng vector đặc trưng vector sở liệu thấp (0.61) o Ở khoảng cách xa, kích thước khuôn mặt nhỏ dẫn đến đặc trưng khuôn mặt ít, mơ hình phát khn mặt mơ hình trích xuất đặc trưng hoạt động hiệu dẫn đến khả nhận dạng giảm dần với thể độ tương đồng vector đặc trưng vector sở liệu giảm dần o Trong điều kiện có nhiều khn mặt khung hình, hệ thống nhận dạng Bảng 4.5 Khả nhận dạng độ xác khoảng cách khác nha Khoảng cách 2m 2.5m 3m 3.5m 4m Khả nhận dạng 0.6 0.58 95% 95% 69% 86% 67% 83% 47% 67% 40% 63% Độ xác 0.6 0.58 99% 99% 99% 99% 99% 99% 99% 99% 99% 98% Bảng 4.5 thể khả nhận dạng độ xác hệ thống khoảng cách khác Ở khoảng cách xa, khả nhận dạng giảm dần lúc này, kích thước khn mặt nhỏ đặc trưng khn mặt trích xuất Ngưỡng nhận dạng cao khả nhận dạng giảm dần nhiên độ xác đảm bảo đáp ứng 99% Bảng 4.6 Hiệu tài nguyên tiêu thụ SOM Năng lượng tiêu thụ 7.45 W LUT 45% Tài nguyên tiêu thụ LUT RAM BRAM URAM 11% 74% 75% DSP 55% Nhiệt độ đường giao 42.7 °C Bảng 4.6 thể lượng tiêu thụ, tài nguyên tiêu thụ nhiệt độ hoạt động SOM Trong đó, lượng tiêu thụ SOM thấp khoảng 7.45W, nhiệt độ hoạt động khoảng 42.7 °C tài nguyên tiêu thụ khoảng 60% Bảng 4.7 so sánh hiệu giá thành thiết bị AI camera tác giả phát triển số thiết bị AI camera Về độ xác khoảng cách nhận dạng tương đồng Về tốc độ thực thi, thiết bị AI camera tác giả có tốc độ thực thi nhanh 20% so với thiết bị AI camera Hanet nhanh gấp đôi so với 63 thiết bị AI camera BKAV Gía thành tín sản xuất đơn đắt gấp đơi so với giá thành sản xuất hàng loạt Hanet AI camera nhược điểm, nhiên với việc sản xuất hàng loạt tối ưu chi phí Về nguồn cấp, thiết bị Hanet sử dụng nguồn cấp 9V-2A đó, thiết bị AI Camera BKAV tác giả sử dụng nguồn 12V-1A Bảng 4.7 So sánh hiệu giá thành với số sản phẩm AI camera Độ xác Khoảng cách nhận dạng Tốc độ thực thi Độ phân giải Giá thành Nguồn cấp Hanet Camera 99% 1-4m BKAV Camera 99% 2-5m My Camera 99% 1-4m fps 2K (2048X1080) 3.5 triệu (Sản xuất hàng loạt) 9V-2A 3fps 4K(3840X2160) Bán theo giải pháp fps HD(1280X720) triệu(sản xuất đơn chiếc) 12V-1A 12V-1A x Phương án 2: Thử nghiệm tính hệ thống Với phương án thử nghiệm tính hệ thống, tác giả xây dựng điều kiện thử nghiệm kịch thử nghiệm sau: Điều kiện thử nghiệm: Khung thời gian check-in từ 00 phút đến 30 phút Khung thời gian nhắc nhở check-in từ 20 phút đến 25 phút Khung thời gian check-out từ 17 30 phút đến 21 00 phút Khung thời gian thông báo điểm danh từ 21 00 phút đến 21h30 phút Kịch thử nghiệm: Một số cá nhân check-in check-out thời gian quy định Một số cá nhân check-in sau nhận email nhắc nhở (8 20 phút) Một số cá nhân check-in quy định không check-out Với điều kiện kịch thử nghiệm trên, hệ thống điểm danh cho kết thể hình từ 4.40 đến 4.44 - Đánh giá tính nhận dạng sau: o Cá nhân check-in sau nhận email là: Cao Thành Đạt – Thể thời gian check-in lần lúc 26 phút 14 giây o Cá nhân check-in không check-out là: Nguyễn Minh Tân - Thể xuất lần ngày vào lúc 10 phút 42 giây o Các cá nhân lại check-in check-out theo quy định o Các cá nhân check-in check-out theo quy định đánh dấu ‘v’ Ở cột check-in check-out liệt kê danh sách cột checked-in checked-out Trong trường hợp không check-in không check-out theo quy định đánh dấu ‘x’ o o o o o o o 64 Hình 4.40 Hình ảnh giao diện trình thử nghiệm Hình 4.41 Hình ảnh email thơng báo check-in thành cơng Hình 4.42 Hình ảnh email thơng báo check-out thành cơng 65 Hình 4.43 Hình ảnh email nhắc nhở khung thời gian check-in Hình 4.44 Hình ảnh email thơng báo thời gian xuất 66 Chương KẾT LUẬN 5.1 Kết luận nghiên cứu Ngày nay, với phát triển mạnh mẽ trí tuệ nhân tạo Việc ứng dụng trí tuệ nhân tạo vào đời sống - xã hội ngày đẩy mạnh Công nghệ nhận dạng công nghệ phát triển mạnh mẽ khả ứng dụng vào nhiều lĩnh vực sống, đặc biệt lĩnh vực giáo dục chất lượng giáo dục cải thiện, kéo theo nhiều lĩnh vực khác lên Bên cạnh phát triển trí tuệ nhân tạo, tảng phần cứng bước phát triển để đáp ứng khối lượng tính tốn khổng lồ mơ hình trí tuệ nhân tạo với u cầu phải xử lý đáp ứng thời gian thực mang tính bảo mật thơng tin cao, cơng nghệ FPGA xu hướng phần cứng tương lai, ưu điểm vượt trội khả tính toán song song, tiết kiệm lượng, khả tùy chỉnh phần cứng, hệ điều hành theo ứng dụng độ bảo mật cao Việc kết hợp hai công nghệ mang vuợt trội việc triể khai ứng dụng trí tuệ nhân tạo để ứng dụng vào nhiều lĩnh vực đời sống Một kết kết hợp hai công nghệ mà tác giả triển khai luận văn thiết bị AI camera với tính điểm danh ứng dụng lớp học thơng minh xa tính khác nhận dạng hành động, cảm xúc… bối cảnh cần phải đẩy mạnh tự động hóa quy trình kiểm soát giám sát 5.2 Đề xuất hướng nghiên cứu tương lai Trong phạm vi luận văn, tác giả tìm hiểu triển khai phần nhỏ công nghệ nhận dạng để ứng dụng lớp học thơng minh Tuy nhiên cịn số hạn chế luận văn mà tác giả cần khắc phục: x Khả nhận dạng khuôn mặt trường hợp bị che khuất ánh sáng yếu hệ thống chưa tốt Tác giả mong muốn nghiên cứu, phát triển mơ hình nhận dạng có khả nhận dạng điều kiện tốt x Quá trình thu thập mẫu liệu diễn chưa thực tiện lợi, số lượng hình ảnh thu mẫu liệu nhiều Tác giả mong muốn nghiên cứu, triển khai mơ hình sinh liệu từ tập liệu nhỏ, từ cần thu mẫu người từ – 10 hình ảnh để giảm bớt trình chuẩn bị mẫu liệu Sau cải thiện số hạn chế luận văn, tác giả tập trung nghiên cứu triển khai cơng nghệ nhận dạng khác, qua tạo nên hệ thống lớp học thơng minh hồn chỉnh 67 DANH MỤC TÀI LIỆU THAM KHẢO [1] Ollivier, S., Li, S., Tang, Y., Cahoon, S., Caginalp, R., Chaudhuri, C., Zhou, P., Tang, X., Hu, J and Jones, A.K., 2022 Sustainable AI Processing at the Edge IEEE Micro, 43(1), pp.19-28 [2] Andrejevic, M and Selwyn, N., 2020 Facial recognition technology in schools: Critical questions and concerns Learning, Media and Technology, 45(2), pp.115128 [3] Galligan, C., Rosenfeld, H., Kleinman, M and Parthasarathy, S., 2020 Cameras in the classroom: Facial recognition technology in schools University of Michigan [4] Li, L., Mu, X., Li, S and Peng, H., 2020 A review of face recognition technology IEEE access, 8, pp.139110-139120 [5] Liu, Y., Jourabloo, A., Ren, W and Liu, X., 2017 Dense face alignment In Proceedings of the IEEE International Conference on Computer Vision Workshops (pp 1619-1628) [6] Adnan, S., Ali, F and Abdulmunem, A.A., 2020, November Facial feature extraction for face recognition In Journal of Physics: Conference Series (Vol 1664, No 1, p 012050) IOP Publishing [7] Ushiroyama, A., Watanabe, M., Watanabe, N and Nagoya, A., 2022, January Convolutional neural network implementations using Vitis AI In 2022 IEEE 12th Annual Computing and Communication Workshop and Conference (CCWC) (pp 0365-0371) IEEE 68 PHỤ LỤC [1] Chương trình phần mềm nhúng: https://bitbucket.org/bacuongle/fface-id [2] Chương trình phần mềm ứng dụng: https://bitbucket.org/bacuongle/sface-id [3] Hệ điều hành AI camera: https://drive.google.com/file/d/1JCod57J1kwltEs9QjWyKDenNoTD4OVQy/view?usp =share_link [4] Link video demo: https://drive.google.com/file/d/1C9WH7lWVmE8u5GDH5VkzGAzdA9W84-pR/view 69