(Đồ án hcmute) hệ thống trí tuệ nhân tạo hỗ trợ tập gym và yoga tại nhà

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH HỆ THỐNG TRÍ TUỆ NHÂN TẠO HỖ TRỢ TẬP GYM VÀ YOGA TẠI NHÀ GVHD: TS TRẦN VŨ HOÀNG SVTH: TỐNG XUÂN VƯƠNG NGUYỄN MINH TÙNG SKL009824 Tp Hồ Chí Minh, Tháng 7/ 2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP HỆ THỐNG TRÍ TUỆ NHÂN TẠO HỖ TRỢ TẬP GYM VÀ YOGA TẠI NHÀ SVTH: SVTH: KHOÁ: TỐNG XUÂN VƯƠNG 18119136 NGUYỄN MINH TÙNG 18119131 18 NGÀNH: CƠNG NGHỆ KỸ THUẬT MÁY TÍNH GVHD: TS TRẦN VŨ HOÀNG TP.HCM, tháng năm 2022 I TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP HỆ THỐNG TRÍ TUỆ NHÂN TẠO HỖ TRỢ TẬP GYM VÀ YOGA TẠI NHÀ SVTH: SVTH: KHOÁ: TỐNG XUÂN VƯƠNG 18119136 NGUYỄN MINH TÙNG 18119131 18 NGÀNH: CÔNG NGHỆ KỸ THUẬT MÁY TÍNH GVHD: TS TRẦN VŨ HỒNG TP.HCM, tháng năm 2022 II CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc -*** - NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Tống Xuân Vương Họ tên sinh viên: Nguyễn Minh Tùng Ngành: Công Nghệ Kỹ Thuật Máy Tính Giảng viên hướng dẫn: TS Trần Vũ Hồng Ngày nhận đề tài: 1/3/2022 MSSV: 18119136 MSSV: 18119131 Lớp: 18119CL3A ĐT: ……………… Ngày nộp đề tài: 9/7/2022 Tên đề tài: Hệ thống trí tuệ nhân tạo hỗ trợ tập Gym Yoga nhà Các số liệu tài liệu ban đầu: Lập trình C, Python Nội dung thực đề tài: - Nghiên cứu, lựa chọn mô hình học sâu trích xuất đặc trưng khung xương phù hợp với độ xác cao - Phân tích đặc trưng, tính tốn góc động tác Yoga, Gym - Hỗ trợ tính tốn calo xếp lịch trình tập luyện, chế độ dinh dưỡng cho người tập - Nghiên cứu thiết kế giao diện ứng dụng, âm cho hệ thống Sản phẩm: Phần mềm hỗ trợ tập luyện nhà GIẢNG VIÊN HƯỚNG DẪN III CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc -*** - PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên: Tống Xuân Vương MSSV:18119136 Họ tên sinh viên: Nguyễn Minh Tùng MSSV:18119131 Ngành: Công Nghệ Kỹ Thuật Máy Tính Tên đề tài: Hệ thống trí tuệ nhân tạo hỗ trợ tập Gym Yoga nhà Họ tên giáo viên hướng dẫn: TS Trần Vũ Hoàng NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Nội dung khối lượng phù hợp với đồ án tốt nghiệp sinh viên Đề tài mang tính ứng dụng cao Đề tài phát triển thêm nhiều tính so với đề tài cơng bố trước Ưu điểm: - Đề tài phát triển thêm nhiều tính so với đề tài cơng bố trước - Tính ứng dụng cao Nhược điểm: Bài báo cáo cịn nhiều lỗi tả nhiều đoạn diễn đạt chưa rõ nghĩa Đánh giá loại: Giỏi Điểm: (Bằng chữ: Tám) Tp Hồ Chí Minh, tháng năm 2022 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) IV CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc -*** - PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên: Tống Xuân Vương MSSV:18119136 Họ tên sinh viên: Nguyễn Minh Tùng MSSV:18119131 Ngành: Công Nghệ Kỹ Thuật Máy Tính Tên đề tài: Hệ thống trí tuệ nhân tạo hỗ trợ tập Gym Yoga nhà Họ tên giáo viên hướng dẫn: TS Trần Vũ Hoàng NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Nhược điểm: Đánh giá loại: Điểm: (Bằng chữ: ) Tp Hồ Chí Minh, tháng năm 2022 Giáo viên phản biện (Ký & ghi rõ họ tên) V LỜI CẢM ƠN Trong trình thực đồ án tốt nghiệp, nhóm thực nhận nhiều quan tâm, giúp đỡ, ý kiến hướng dẫn nhiệt tình thầy bạn bè Nhóm thực xin gửi lời cảm ơn đến TS Trần Vũ Hoàng, giảng viên Khoa Điện - Điện tử, người dẫn dắt đưa góp ý bổ ích cho nhóm suốt q trình thực đề tài Nhóm thực xin gửi lời cảm ơn đến thầy Bộ mơn Kỹ Thuật Máy Tính – Viễn Thơng tận tình giảng dạy, truyền đạt cung cấp kiến thức quý báu cho nhóm mơn học trường Nhóm thực xin gửi lời cảm ơn đến gia đình bạn bè, người động viên, quan tâm, giúp đỡ nhóm suốt thời gian thực khố luận Mặc dù hồn thành đề tài, khơng tránh sai sót, nhóm thực đề tài mong nhận góp ý phê bình thầy để hồn thiện đề tài Nhóm thực đề tài Nguyễn Minh Tùng – Tống Xuân Vương VI TÓM TẮT Hiện nay, AI thành tựu văn minh nhân loại, biết cách ứng dụng chúng đóng góp phần lớn đến phát triển đất nước Thêm vào đó, ứng dụng AI như: nhận diện cử chỉ, giọng nói, khn mặt, ước tính tư thế… phát triển mạnh mẽ, đem lại nhiều lợi ích cơng nghiệp, nông nghiệp đời sống hàng ngày Là đất nước phát triển, việc áp dụng AI cách thông minh, hợp lý tiền đề để đất nước ta phát triển mạnh mẽ mở hội cạnh tranh với nước khác khu vực giới Đặc biệt tình hình dịch bệnh COVID-19 diễn phức tạp, nhiễm bệnh, việc tập luyện thể dục hàng ngày để nâng cao sức khoẻ tăng cường hệ miễn dịch bảo vệ thể trước xâm hại virus COVID-19 khuyến cáo hàng đầu Bộ Y Tế nước ta Trước tình hình nhóm thức mong muốn đóng góp phần nhỏ cho xã hội, nhóm tiến hành khảo sát phát triển đề tài “Hệ thống trí tuệ nhân tạo hỗ trợ tập Gym Yoga nhà” Mục tiêu hệ thống đạt chức như: đếm số động tác thực tập, đánh giá động tác thực sai, đếm thời gian cho động tác Yoga tập đúng, hỗ trợ xếp lịch trình tập thiết lập chế độ ăn uống, tính toán lượng calo cần nạp vào thể tính nhắn tin trao đổi với người hướng dẫn Sau trình nghiên cứu thực hiện, hệ thống hoàn thành đáp ứng tất u cầu đề Ngồi ra, hệ thống cịn giúp người tập xếp lịch trình tập luyện, tính toán lượng calo cần thiết thiết lập chế độ dinh dưỡng Hệ thống thiết kế chạy Windows với thời gian khởi động xấp xỉ giây, FPS đạt 18 khung hình/giây, độ xác cao đạt 90% suốt trình thực nghiệm, tin nhắn cho người hướng dẫn truyền với tốc độ khoảng 200ms đến 500ms VII MỤC LỤC DANH MỤC HÌNH……………………………………………………….XI DANH MỤC BẢNG XIII CÁC TỪ VIẾT TẮT XIII CHƯƠNG 1: TỔNG QUAN 1.1: Giới thiệu 1.2: Lý chọn đề tài 1.3: Mục tiêu đề tài 1.4: Giới hạn đề tài 1.5: Phương pháp nghiên cứu 1.6: Đối tượng phạm vi nghiên cứu 1.6.1: Đối tượng nghiên cứu 1.6.2: Phạm vi nghiên cứu .2 1.7: Bố cục báo cáo CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1: Thư viện mã nguồn mở MediaPipe 2.1.1: Tổng quan MediaPipe .4 2.1.2: Model BlazePose MediaPipe 2.1.3: Máy phát tư - Pose Detector 2.1.4: Máy theo dõi tư - Pose Tracker 2.1.5: Pose landmark Model 2.1.6: Các thông số Model Pose 2.2: Góc vecto 2.2.1: Định nghĩa 2.2.2: Tính chất 2.2.3: Cơng thức tính góc vecto 2.2.4: Ứng dụng 10 2.3: Phần mềm lập trình Pycharm 10 VIII 2.4: Phần mềm thiết kế giao diện ứng dụng 11 2.5: Tổng quan GYM 11 2.5.1: Lịch sử đời việc tập GYM 11 2.5.2: Lợi ích việc tập GYM 12 2.6: Tổng quan YOGA 12 2.6.1: Yoga môn thể thao nào? 12 2.6.2: Lợi ích việc tập Yoga ngày 12 2.7: Tổng quan calo 13 2.8: Socket .14 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 15 3.1: Yêu cầu hệ thống 15 3.1.1: Yêu cầu 15 3.1.2: Sơ đồ khối chức khối 15 3.1.3: Chức hệ thống 16 3.2: Khối tiếp nhận hình ảnh 16 3.3: Khối nhận diện 17 3.3.1: So sánh độ phân giải .17 3.3.2: So sánh OpenPose BlazePose tốc độ xử lý 18 3.3.3: Độ xác 18 3.4: Khối server 19 3.4.1: Q trình truyền/nhận gói tin 19 3.4.2: Các bước cấu hình port-forwarding 20 3.5: Khối phân tích xử lý 23 3.5.1: Nhiệm vụ 23 3.5.2: Phương pháp thực 23 3.6: Khối ứng dụng tương tác 26 3.6.1: Phương pháp thực 26 3.7: Khối lưu trữ 27 IX Hình 4.19 Bài tập Hình 4.20 Bài tập tam giác Hình 4.21 Bài tập Plank tay cao 39 Hình 4.22 Bài tập Plank tay thấp Hình 4.23 Bài tập thuyền Hình 4.24 Bài tập rắn 40 4.2: ĐÁNH GIÁ HỆ THỐNG Để đánh giá tổng quan ứng dụng, nhóm thực thực kiểm nghiệm tập máy tính có cấu hình thơng dụng thực khảo sát trải nghiệm 20 người dùng giao diện chức Kết thể bảng 4.1 đồ thị hình 4.2 Quá trình theo dõi độ tin cậy ứng dụng trình nhận diện, đồng thời đánh giá tài nguyên sử dụng cho việc tính tốn xử lý Các tập Số lần thực Số lần nhận Số lần nhận diện dúng diện sai CPU Cuộn tay trước 20 20 46% Hít đất 20 20 45% Tay trước 20 18 44% Vai 20 20 43% Swat 20 20 48% Tay sau 20 20 47% Gập bụng 20 16 44% Gập bụng 20 19 42% Yoga 20 19 51% Bảng 4.1 Giá trị kiểm nghiệm động tác 41 Hình 4.25 Biểu đồ tỉ lệ xác động tác Chạy thực nghiệm ứng dụng chip intel core I7 2.0Ghz, hệ thống hoạt động ổn định với hiệu CPU mức độ 42-48% cho động tác Dựa vào bảng 4.1 hình 4.25, hệ thống cịn xảy tượng nhận diện sai ảnh hưởng góc camera điều kiện mơi trường Với động tác Yoga, xảy tượng nhận diện sai nguyên nhân độ dốc từ camera nhận diện, nhiều trường hợp hạ thân người xuống, camera khơng nhìn rõ mặt, nên xảy tượng lỗi thể hình 4.26 Như đề cập trên, BlazePose đôi lúc detect nhầm đồ vật hình 4.27 Chính vậy, yếu tố background phần ảnh hưởng tới độ xác hệ thống Hình 4.26 Hệ thống nhận diện lỗi mặt bị che khuất 42 Hình 4.27 Hệ thống nhận diện lỗi Nhận xét: - Hệ thống hoạt động tốt, đạt 90% độ xác điều kiện mơi trường thuận lợi - FPS đạt 18 khung hình giây, giảm thiểu giật lag hệ thống hoạt động tảng Windows - Tốc độ nhận diện nhanh - Hệ thống nhận dạng dễ bị nhiễu có vật cản xung quanh mặt bị che khuất - Thời gian khởi động hệ thống khoảng giây - Các tin nhắn truyền với tốc độ khoảng 200ms đến 500ms - Lịch trình tập luyện chế độ ăn uống thiết lập dễ dàng, đơn giản với “click” chuột - Lượng calo có thực phẩm tính tốn xác 43 4.3: KHẢO SÁT Ý KIẾN NGƯỜI SỬ DỤNG ỨNG DỤNG Nhóm thực tiến hành thực khảo sát 20 người trải ngiệm sử dụng ứng dụng, đối tượng sử dụng chủ yếu sinh viên với mong muốn lấy ý kiến người dùng để hoàn thiện hệ thống Nội dung khảo sát tập trung vào cảm nhận giao diện chức hệ thống Hình 4.27 Khảo sát giao diện trải nghiệm hoạt động ứng dụng 44 Hình 4.29 Cảm nhận chung ứng dụng Kết khảo sát từ hình 4.28 cho thấy ứng dụng đạt 90% độ hài lòng giao diện người sử dụng, số (10%) cho giao diện đơn giản Về trình sử dụng hệ thống, 98% đánh giá hệ thống hoạt động ổn định, độ xác cao, ghi nhận trường hợp bị nhiễu dẫn đến nhận diện sai Nguyên 45 nhân xuất nhiều người lúc phần ánh sáng làm giảm độ xác nhận diện Nhìn chung, cảm nhận người dùng ứng dụng tích cực từ kết ghi nhận hình 4.29 Có tới 95% đánh giá ứng dụng dễ dàng sử dụng đạt 100% hữu ích chúng Sau q trình thực khảo sát, nhóm thực nhận nhiều đóng góp ý kiến từ người trải nghiệm, sơ sở để nhóm cải thiện hệ thống ngày tốt 46 CHƯƠNG 5: KẾT LUẬN, HẠN CHẾ VÀ HƯỚNG PHÁT TRIỂN 5.1: KẾT LUẬN Trong thời gian nghiên cứu, tìm hiểu lý thuyết liên quan tiến hành thực hiện, nhóm thực xây dựng thành cơng hệ thống dựa mục tiêu ban đầu đề Sau hồn thành hệ thống, nhóm nghiên cứu rút số ưu điểm nhược điểm sau: Ưu điểm Nhược điểm - Ứng dụng hoạt động tốt, khả - Hệ thống hoạt động laptop, khó di chuyển gây khó khăn cho người nhận diện xác - Chức thời khoá biểu giúp cho tập người tập trở nên khoa học có kế - Thơng tin thức ăn cịn ít, cần thêm nhiều liệu thức ăn hoạch Từ đó, người tập biết cần tập động tác gì, ăn uống - Các tập chưa đa dạng, cần thêm nhiều tập thời gian - Trao đổi với người hướng dẫn thông qua nhắn tin, giúp người tập giải đáp thắc mắc trình tập luyện - Giao diện ứng dụng thiết kế đơn giản, dễ sử dụng 5.2: HẠN CHẾ CỦA ĐỀ TÀI Ngoài ưu điểm nêu trên, đề tài nhóm thực có số hạn chế như: - Khơng tính tốn lượng calo đốt cháy tập - Điều kiện nhận diện phải thấy rõ mặt thân người tập - Hệ thống nhận diện người, chưa thể nhận diện nhiều người lúc - Hệ thống xảy cố giật lag - Hệ thống gửi tin nhắn tối đa 500 từ 47 5.3: HƯỚNG PHÁT TRIỂN - Nghiên cứu cải tiến hệ thống nhận diện nhiều người lúc - Phát triển thêm chức video call để linh hoạt việc trao đổi với người hướng dẫn - Thêm nhiều tập giúp cải thiện sức khoẻ toàn diện cho người tập - Thêm thức ăn để đa dạng ăn cho người tập chọn - Phát triển thành ứng dụng mobile để người tập sử dụng tiện lợi, dễ dàng linh hoạt 48 TÀI LIỆU THAM KHẢO [1] Google Research, “Mediapipe,” Google, 2020 [Online] Available: https://github.com/google/mediapipe [2] Valentin Bazarevsky and Fan Zhang, “MediaPipe BlazePose,” 13 August 2020 [Online] Available: https://ai.googleblog.com/2020/08/on-device-real-time-body-posetracking.html [3] Valenten Bazareevsky, Mathias Grundnam, “BlazeFace,” Yury Kartynick, Long Beach, CA, USA, 11 Jul 2019 [4] Google Research, “Mediapipe Pose,” Google, 2020 [Online] Available: https://bom.so/JJoSeW [5] Le Vo Dung, “Goc giua vecto khong gian,” May 2022 [Online] Available: https://verbalearn.com/toan-lop-12/goc-giua-2vecto/ [6] VietTuts Team, “VietTuts,” 2016 [Online] Available: https://viettuts.vn/python-number/ham-atan2-trong-python [7] BSCKI Dương Ngọc Vân, “GYM,” 09 December 2020 [Online] Available: http://surl.li/cjlxl [8] Pham Hang, “Yoga,” 02 December 2020 [Online] Available: http://surl.li/cgerr [9] Coleman, Justine, “Vietnam reports first coronavirus cases,” 23 January 2020 [Online] Available: https://bom.so/7NcV1E [10] Fitness Center, “Calo,” 14 September 2020 [Online] Available: http://surl.li/cjlwt 49 PHỤ LỤC Kết “Hệ thống trí tuệ nhân tạo hỗ trợ tập GYM YOGA nhà” nhóm thực tiến hành đăng lên Github theo đường link sau: Link github: https://github.com/tung2111/DoAnTotNghiep Form khảo sát ý kiến người dùng: Link Google biểu mẫu: https://forms.gle/qQTmgr7ZSSszrqwN9 50 51 ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự Do – Hạnh phúc Tp HCM, ngày tháng năm 2022 BẢN GIẢI TRÌNH CHỈNH SỬA ĐỒ ÁN TỐT NGHIỆP NGÀNH: CNKT MÁY TÍNH Tên đề tài: Hệ Thống Trí Tuệ Nhân Tạo Hỗ Trợ Tập Gym Và Yoga Tại Nhà Tên sinh viên: Tống Xuân Vương MSSV: 18119136 Tên sinh viên: Nguyễn Minh Tùng MSSV: 18119131 GVHD: TS Trần Vũ Hoàng Hội đồng bảo vệ HĐ 1, phòng A4-401, ngày tháng năm 2022 Giải trình chỉnh sửa báo cáo đồ án tốt nghiệp: TT Nội dung góp ý Hội đồng Kết chỉnh sửa, bổ sung Đã bổ sung công thức dùng Thể rõ kỹ thuật để xác định khớp nối, kết cụ thể dùng để ước lượng trình bày bổ sung khớp nối trang Ghi Mục tiêu cần giới hạn Đã chỉnh sửa mục tiêu đề tài lại vừa sức làm rõ ràng trang Bổ sung cơng thức tính Đã bổ sung trang 13 calo Khơng trích dẫn tài liệu Đã chỉnh sửa tất đề tham khảo đề mục mục có tài liệu tham khảo Xác nhận Xác nhận GVHD Nhóm thực báo trưởng ngành (Ký họ tên) cáo (Ký họ tên) (Ký họ tên) 52 S K L 0