(Luận văn thạc sĩ) nghiên cứu, thiết kế và chế tạo thiết bị hỗ trợ dạy học thủ ngữ cho trẻ em thông qua cánh tay robot

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO THIẾT BỊ HỖ TRỢ DẠY HỌC THỦ NGỮ CHO TRẺ EM THÔNG QUA CÁNH TAY ROBOT MÃ SỐ: SV2022-172 CHỦ NHIỆM ĐỀ TÀI: TRƯƠNG NGHỆ NHÂN SKC008034 Tp Hồ Chí Minh, tháng 10/2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TP.HCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN NGHIÊN CỨU, THIẾT KẾ VÀ CHẾ TẠO THIẾT BỊ HỖ TRỢ DẠY HỌC THỦ NGỮ CHO TRẺ EM THƠNG QUA CÁNH TAY ROBOT SV2022-172 Thuộc nhóm ngành khoa học: Công nghệ Kỹ thuật Sinh viên thực hiện: Trương Nghệ Nhân Nam, Nữ: Nam Dân tộc: Kinh Lớp, khoa: 18161CLDT2B – Đào tạo Chất lượng cao Năm thứ: 4/Số năm đào tạo: Ngành học: CNKT Điện tử - Viễn thông Người hướng dẫn: PGS TS Lê Mỹ Hà TP.Hồ Chí Minh, tháng 10 năm 2022 MỤC LỤC MỤC LỤC i DANH MỤC BẢNG BIỂU iv DANH MỤC TỪ VIẾT TẮT v THÔNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI vi Chương MỞ ĐẦU 1.1 Giới thiệu .1 1.2 Mục tiêu đề tài 1.3 Đối tượng phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Bố cục Chương CƠ SỞ LÝ THUYẾT 2.1 Các nghiên cứu thực 2.1.1 Cánh tay robot Aslan 2.1.2 Nhận diện ngơn ngữ kí hiệu dựa YoloV5 2.1.3 Nhận diện ngơn ngữ kí hiệu sử dụng MediaPipe Long Short-Term Memory 2.2 Ngơn ngữ kí hiệu Việt Nam 2.3 Học sâu (Deep Learning) .6 2.4 Phát vật thể (Object Detection) .7 2.4.1 Giới thiệu 2.4.2 Mạng xương sống CSPDarknet 2.4.3 You Only Look Once (YOLO) 2.5 Nhận dạng hành động (Action Recognition) 11 2.5.1 Giới thiệu 11 2.5.2 Recurrent Neural Network (RNNs) 12 2.5.3 Gated Recurrent Units (GRUs) 13 2.5.4 Thư viện MediaPipe Hand 14 2.6 Các phương pháp đánh giá 14 2.7 Giới thiệu phần cứng 16 2.7.1 Arduino Nano 16 i 2.7.2 Động Servo 17 2.7.3 Động bước Nema 17 tỉ số 3969/289 17 2.7.4 Module Adafruit PWM/Servo driver PCA9685 18 2.7.5 Module driver A4988 18 2.7.6 Màn hình cảm ứng điện dung Waveshare LCD (C) 18 2.7.7 Webcam Logitech C310 19 Chương THIẾT KẾ HỆ THỐNG 20 3.1 Thiết kế phần cứng 20 3.1.1 Thiết kế phần cứng khí 20 3.1.2 Thiết kế mạch điều khiển 26 3.2 Phần mềm thuật toán 38 3.2.1 Kiến trúc mạng mơ hình nhận diện cử tĩnh YoloV5 38 3.2.2 Kiến trúc mạng mơ hình nhận diện cử động 39 3.2.3 Thiết kế giao diện 42 3.2.4 Các Framework xây dựng mơ hình mạng 46 Chương THI CÔNG VÀ THỰC NGHIỆM 49 4.1 Thi công phần cứng 49 4.1.1 Lắp ráp cánh tay giả 49 4.1.2 Thi công board mạch 50 4.2 Các thực nghiệm cho nhận diện cử tĩnh 53 4.2.1 Thu thập tăng cường liệu 53 4.2.2 Huấn luyện mơ hình YoloV5 55 4.3 Các thực nghiệm cho nhận diện cử động 55 4.3.1 Huấn luyện mơ hình GRUs 55 4.3.2 Thu thập liệu 56 4.4 Xây dựng giao diện tương tác 58 Chương KẾT QUẢ - NHẬN XÉT - ĐÁNH GIÁ 61 5.1 Kết 61 5.1.1 Mơ hình phần cứng hệ thống 61 5.1.2 Mơ hình phát cử tĩnh 63 5.1.3 Mơ hình nhận diện cử động 65 5.1.4 Giao diện tương tác với người học 67 ii 5.2 Nhận xét đánh giá 71 5.3 Tài liệu hướng dẫn sử dụng 73 5.4 Dự tốn chi phí thi công 74 Chương KẾT LUẬN VÀ KIẾN NGHỊ 76 6.1 Kết luận 76 6.2 Kiến nghị 76 TÀI LIỆU THAM KHẢO 77 PHỤ LỤC 79 MINH CHỨNG SẢN PHẨM ĐỀ TÀI 86 iii DANH MỤC BẢNG BIỂU Bảng 2.1 Phân tích hiệu suất mơ hình YoloV3, YoloV5s SSD–MobileV2 [16] 11 Bảng 3.1 Bảng thống kê thông số linh kiện sử dụng mơ hình 29 Bảng 3.2 Bảng trạng thái độ phân giải vi bước 33 Bảng 3.3 Bảng liệt kê thông số mơ hình mạng nhận diện cử tĩnh .39 Bảng 3.4 Bảng liệt kê thông số mô hình mạng nhận diện cử động 40 Bảng 3.5 Bảng quy ước mã hóa dấu bảng chữ Việt Nam .44 Bảng 4.1 Bảng thống kê linh kiện sử dụng board mạch điều khiển 51 Bảng 4.2 Bảng thống kê góc Servo ký tự thủ ngữ 52 Bảng 4.3 Ánh xạ nhãn cử động ngơn ngữ kí hiệu 56 Bảng 5.1 Các thông số kết q trình huấn luyện mơ hình YoloV5 64 Bảng 5.2 Bảng so sánh hiệu suất phân loại ba mơ hình nhận diện hành động phổ biến 67 Bảng 5.3 Bảng mô tả kết dùng chức “Phiên dịch” 70 Bảng 5.4 Kết thu sau thực 20 lần liên tục ký tự thủ ngữ 71 Bảng 5.5 Bảng so sánh số ký tự thủ ngữ mơ hình thực so với thực tế 72 Bảng 5.6 Bảng kết thực nghiệm thu âm khoảng cách khác 73 Bảng 5.7 Bảng dự tốn chi phí thi cơng mơ hình cánh tay robot 75 iv DANH MỤC TỪ VIẾT TẮT Từ viết tắt Ý nghĩa AI Artifical Intelligence CNNs Convolution Neural Networks EEPROM Electrically Erasable Programmable Read - Only Memory GRUs Gated Recurrent Units I2C Inter-Integrated Circuit USB Universal Serial Bus UART Universal Asynchronous Receiver - Transmitter MLP Multilayer Perception PWM Pulse Width Modulation YOLO You Only Look Once RNNs Recurrent Neural Network GRUs Gated Recurrent Units LSTM Long Short-Term Memory v BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH THƠNG TIN KẾT QUẢ NGHIÊN CỨU CỦA ĐỀ TÀI Thông tin chung - Tên đề tài: Nghiên cứu, thiết kế chế tạo thiết bị hỗ trợ dạy học thủ ngữ cho trẻ em thông qua cánh tay robot - Chủ nhiệm đề tài: Trương Nghệ Nhân Mã số SV: 18161125 - Lớp: 18161CLDT2B Khoa: Đào tạo Chất lượng cao - Thành viên đề tài: STT Họ tên Lê Nguyễn Thiên Sang MSSV 18161139 Lớp 18161CLDT2B Khoa Đào tạo Chất lượng cao - Người hướng dẫn: PGS TS Lê Mỹ Hà Mục tiêu đề tài: Nghiên cứu thiết kế để tạo thiết bị hồn chỉnh giúp trẻ em câm điếc tự học tự kiểm tra, đánh giá kiến thức ngôn ngữ kí hiệu mà khơng cần đến giáo viên hướng dẫn Tính sáng tạo: - Sử dụng công nghệ in 3D để chế tạo cánh tay robot có khả chuyển động để thực thao tác thủ ngữ từ cho phép việc học trở nên trực quan - Áp dụng thuật toán nhận diện cử tay dựa công nghệ thị giác máy tính qua đánh giá hiệu q trình học ngơn ngữ mà khơng cần đến giáo viên - Xây dựng giao diện tương tác với người học để triển khai chức phù hợp với q trình học ngơn ngữ Kết nghiên cứu: Thiết kế chế tạo thành công mơ hình phần cứng cánh tay robot thực 36/44 kí hiệu ngơn ngữ kí hiệu Việt Nam Các mơ hình học sâu có khả nhận diện cử tĩnh 11 cử động bảng chữ thủ ngữ với độ xác 97% Giao diện người học ưa nhìn, dễ sử dụng thiết kế với chế độ bao gồm: “Học chữ”, “Kiểm tra”, “Phiên dịch” Đóng góp mặt giáo dục đào tạo, kinh tế - xã hội, an ninh, quốc phòng khả áp dụng đề tài: Với thành công định dựa kết nghiên cứu cho thấy thiết bị phát triển hồn thiện để ứng dụng cho việc giáo dục ngơn ngữ kí hiệu cho trẻ em vi câm, điếc Khi áp dụng thực tế, thiết bị hứa hẹn mang lại lợi ích đáng kể cho trung tâm trẻ em mồ côi khuyết tật giải vấn đề thiếu hụt giáo viên ngơn ngữ kí hiệu Và nhờ đó, tất trẻ em câm, điếc khiếm thính có hội tiếp thu kiến thức nhân loại thông qua việc tiếp xúc sớm với ngôn ngữ Công bố khoa học SV từ kết nghiên cứu đề tài: Bài báo “A Vision-based Hand-sign Language Teaching System using Deep Neural Network: Methodology and Experiments” công bố kỉ yếu hội nghị The International Workshop on Intelligent Systems (IWIS 2022), Ulsan, Korea TP Hồ Chí Minh, ngày 10 tháng 11 năm 2022 SV chịu trách nhiệm thực đề tài Nhận xét người hướng dẫn đóng góp khoa học SV thực đề tài (phần người hướng dẫn ghi): TP Hồ Chí Minh, ngày 10 tháng 11 năm 2022 Người hướng dẫn vii