(Luận văn thạc sĩ) thiết kế hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG NHẬN DIỆN CỬ CHỈ h GVHD: PGS.TS PHAN VĂN CA SVTH: NGUYỄN THẮNG PHONG NGUYỄN HẢI HƯNG SKL009835 Tp Hồ Chí Minh, Tháng 8/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH h THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG NHẬN DIỆN CỬ CHỈ SVTH: NGUYỄN THẮNG PHONG MSSV: 18119106 NGUYỄN HẢI HƯNG MSSV: 18119083 TP HỒ CHÍ MINH – 08/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH h THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG NHẬN DIỆN CỬ CHỈ SVTH: NGUYỄN THẮNG PHONG MSSV: 18119106 NGUYỄN HẢI HƯNG MSSV: 18119083 GVHD: PGS.TS PHAN VĂN CA TP HỒ CHÍ MINH – 08/2022 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 25 tháng năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên Sinh viên: Nguyễn Thắng Phong MSSV: 18119106 Nguyễn Hải Hưng MSSV: 18119083 Ngành: Công nghệ kỹ thuật máy tính Lớp: 18119CL1B Giảng viên hướng dẫn: PGS.TS Phan Văn Ca Ngày nhận đề tài: 29/02/2022 Ngày nộp đề tài: 31/07/2022 Tên đề tài: THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG NHẬN DIỆN CỬ CHỈ h Các số liệu, tài liệu ban đầu: ……………………………………………… …………………………………………………………………………… …………………………………………………………………………… Sản phẩm: …………………………………………………………………………… …………………………………………………………………………… …………………………………………………………………………… ……………………………………………………………………………… TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN h CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 25 tháng năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Nguyễn Thắng Phong MSSV: 18119106 Nguyễn Hải Hưng MSSV: 18119083 Ngành: Công nghệ kỹ thuật máy tính Tên đề tài: Thiết kế hệ thống điều khiển thiết bị điện nhận diện cử Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: h Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: ………… (Bằng chữ: ) GIẢNG VIÊN PHẢN BIỆN LỜI CẢM ƠN Để hoàn thành khóa luận tốt nghiệp này, khơng nỗ lực riêng thân tơi, mà cịn nhờ vào giúp đỡ nhiều người, qua cho xin gửi lời cảm ơn chân thành đến người giúp đỡ Trước hết “Cho gửi lời cảm ơn sâu sắc tới Cha – Mẹ nuôi dưỡng tạo điều kiện học tập tốt cho ngày hôm nay” Tôi xin gửi tới thầy cô trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh nói chung thầy khoa Đào tạo chất lượng cao nói riêng lời cảm ơn chân thành tận tụy truyền đạt cho kiến thức quý báu suốt năm tháng học trường Kiến thức, kỹ mà tơi tiếp thu qua trình học tập giúp cho tơi có sở lý thuyết vững vàng hành trang cho bước vào đời cách vững tự tin h Đặc biệt, xin gửi lời cảm ơn sâu sắc đến thầy Phan Văn Ca, người hướng dẫn giúp đỡ cho tơi suốt q trình thực đề tài Thầy tận tình dẫn truyền đạt cho kiến thức quý báu để tơi hồn thành đề tài tốt nghiệp Xin cám ơn người bạn, người đồng hành suốt quãng đường Đại học, bên giúp đỡ tơi lúc khó khăn Cuối cùng, xin chúc quý thầy cô trường Đại Học Sư phạm Kỹ thuật TP.HCM nói chung q thầy Khoa Đào tạo chất lượng cao nói riêng dồi sức khỏe thành công nghiệp cao quý, toàn thể bạn bè, khách hàng, đồng nghiệp nhiều sức khoẻ, may mắn, thành công hạnh phúc Tôi xin chân thành cảm ơn! iv LỜI CAM ĐOAN Nhóm thực cam đoan đồ án tốt nghiệp nhóm thực thiết kế thi cơng, không chép nội dung hay kết đồ án tốt nghiệp hay cơng trình nghiên cứu khác Đề tài THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG NHẬN DIỆN CỬ CHỈ nhóm thực trao đổi với giáo viên hướng dẫn lựa chọn trình định hướng đề tài Các nội dung tham khảo trích dẫn đầy đủ Đại diện nhóm thực đồ án tốt nghiệp (ký ghi rõ họ tên) Nguyễn Thắng Phong h v Nguyễn Hải Hưng TÓM TẮT Đề tài thiết kế hệ thống điều khiển thiết bị điện hộ gia đình sử dụng nhận diện cử Các thiết bị điều khiển cử chỉ, cử nhận diện từ mơ hình nhận diện cử mà nhóm tham khảo, nghiên cứu thiết kế Sẽ có nhiều cử cho phép người dùng tùy chọn để thực điều khiển thiết bị Ngoài hệ thống cịn điều khiển trực tiếp nút nhấn phần cứng vật lý Phần mềm hệ thống gồm có mơ hình nhận diện cử giao diện điều khiển thiết bị Hệ thống có khối điều khiển máy chủ điều khiển dùng để nhận diện cử tương tác trực tiếp với người dùng (tùy chọn cử chỉ, điều khiển giao diện), khối lại máy khách, máy khách nhận tín hiệu điều khiển từ máy chủ thông qua Wifi để điều khiển thiết bị Kết đồ án tốt nghiệp triển khai hệ thống lên phần cứng có huấn h luyện mơ hình sử dụng mơ hình điều khiển thiết bị điện mơ vi ABSTRACT The abstract must fully introduce the objectives, research and implementation content, and the results of the graduation project Abstracts are presented in writing without the use of illustrative images or charts The thesis designs a control system for household electrical appliances using gesture recognition The devices will be controlled by gestures, which are recognized by the gesture recognition model that the team referenced, researched, and designed There will be a lot of gestures that give users the option to perform device control In addition, the system can be controlled directly with the push of a physical hardware button The system's software includes a gesture recognition model and a device control interface The system will have main control blocks: a control máy chủ used to recognize gestures and interact directly with users (gesture options, control on the interface); the other block is a máy khách, a computer This máy khách receives the control signal from the máy chủ via Wifi to control the device h The result of this graduate project is to deploy the system to the trained hardware to create a model and use that model to control the simulated electrical equipment vii để phản hồi cho máy chủ biết máy khách hoạt động máy chủ sau nhận tín hiệu kết nối từ máy khách tiếp tục thực chu trình truyền nhận h 40 CHƯƠNG KẾT QUẢ 4.1 KẾT QUẢ THỰC HIỆN MƠ HÌNH Kết mơ hình nhận diện cử h Hình 4-1 Mơ hình nhận diện cử chạy phần cứng laptop Phần cứng laptop mạnh mẽ hỗ trợ tốt cho mơ hình nhận diện Từ thấy số khung hình giây hoạt động laptop nhanh khoảng từ 28 đến 32 khung hình giây 41 Hình 4-2 Mơ hình nhận diện cử chạy phần cứng Raspberry Pi h Mơ hình nhận diện cử chạy phần cứng Raspberry Pi ( máy chủ) Khi mơ hình nhận diện cử hoạt động phần cứng hệ thống (cụ thể Raspberry Pi 4) số khung hình giây giảm gần lần so với phần cứng laptop Số khung hình giây phần cứng hệ thống giao động mức từ đến 12 khung hình dây Đây số lí tưởng mơ hình học sâu thực máy tính nhúng Raspberry Tuy không nhanh phần cứng laptop với số khung hình giây từ đến 12 đủ đề nhận diện điều khiển thiết bị Hệ thống phần cứng hồn thiện q trình thiết kế Có tất hộp mica hộp để chứa mạch thiết bị khối điều khiển máy khách Một hộp lại khối điều khiển máy chủ gồm hình hiển thị giao diện tương tác với người dùng thiết bị ghi hình để nhận diện hình ảnh 42 Hình 4-3 Phần cứng khối điều khiển máy khách mặt Nhóm thực hàn mạch PCB Sau hoàn thành thiết kế mạch cho khối điều khiển phần cứng nhóm thực cắt hộp Mica để hoàn lắp ráp thành hệ khối phần cứng hồn chỉnh h Hình 4-4 Khối điều khiển máy khách lắp vào hộp Mica 43 Hình 4-5 Khối điều khiển máy chủ lắp vào hộp Mica h Hình 4-6 Hệ thống hồn thiệt khối điều khiển máy chủ máy khách 44 Hình 4-7 Hệ thống điêu khiển bật thiết bị 4, tắt thiết bị Đèn thứ đèn thứ khối điều khiển máy khách sáng, đồng hóa với thiết bị thứ thứ giao diện bật h Hình 4-8 Hệ thống điều khiển tắt thiết bị Tất đèn khối điều khiển tắt giao diện hiển thị thiết bị tắt 45 Hình 4-9 Hệ thơng điều khiển bật thiết bị Tất thiết bị điều khiển bật giao diện hiển thị thiết bị bật Bảng tỉ lệ điều khiển thiết bị điều kiện ánh sáng môi trường khoảng cách từ người điều khiển tới thiết bị ghi nhận hình ảnh Bảng 4-1 Tỉ lệ nhận diện theo điều kiện ánh sáng khoảng cách h Khoảng cách điều khiển Đủ ánh sáng (6 đến Thiếu ánh sáng (16 15 giờ) đến giờ) Từ 1m đến 2m 90% 60% Từ 2m đến 3m 80% 40% Từ 3m đến 4m 60% 10% Với khoảng cách từ 1m đến 3m đủ ánh sáng mơ hình nhận diện trả giá trị điều khiển Tuy nhiên cần môi trường thiếu ánh sáng tỉ lệ nhận diện thành cơng giảm cách rõ rệt Ở khoảng cách lớn 4m thiết bị thu hình ảnh khơng đủ đáp ứng độ phân giải để nhận diện bàn tay người dùng khung hình, giới hạn mơ hình nhận diện đề tài Bảng tỉ lệ nhận diện cử điều kiện đầy đủ ánh sáng 46 Bảng 4-2 Tỉ lệ nhận diện cho cử điều khiển điều kiện lý tưởng Đủ ánh sáng khoảng cách 3m 90% 89% 86% 88% 81% 80% 87% 90% 78% 10 77% 11 91% 12 88% 13 90% h Cử 14 87% 15 79% 16 89% Trong điều kiện đầy đủ ánh sáng tỉ lệ nhận diện điều khiển thiết bị có độ xác cao, nhiên cịn số cử có độ xác bị trùng lặp với số cử khác Nếu gần khoảng từ 2m đến 3m mơ hình nhận diện cử nhạy cảm người dùng nhầm lẫn thành cử khác 4.2 ĐÁNH GIÁ MƠ HÌNH 4.2.1 Đánh giá phần cứng Hệ thống phần cứng hoàn thiện cách chỉnh chu, hoàn chỉnh, đáp ứng yêu cầu thẩm mĩ phần đáp ứng yêu cầu điều khiển Các hoạt động 47 điều khiển nút nhấn điều khiển giao diện người dùng hình cảm ứng đáp ứng an toàn thiết bị điện 4.2.2 Đánh giá phần mềm Phần mềm thân thiện với người dùng phù hợp với đối tượng sử dụng Sự tương tác máy khách máy chủ xác với tốc độ cao tín hiệu điều khiển trả nhanh chóng với tốc độ trễ thấp Hạn chế mơ hình nhận diện cử chỉ: người dùng sử dụng cử bất kì, cử mà khác với 16 cử nhóm thực huấn luyện cử nhận diện trùng với cử gần giống 16 cử 4.2.3 Đánh giá hoạt động tổng quan Các hoạt động đáp ứng yêu cầu đề ra, tốc độ phản hồi mơ hình nhận diện tương đối cao điều kiện lý tưởng, với độ xác cao điều kiện Ngược lại môi trường điều kiện ánh sáng hạn chế, khoảng cách cử xa khung hình mơ hình nhận diện có độ nhận diện h tương đối thấp 48 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Kết nhóm đạt sau thời gian tháng thực đề tài, mơ hình hệ thống hồn thiện theo yêu cầu đạt số kết sau - Mơ hình nhận diện cử có độ xác cao - Điều khiển thiết bị theo yêu cầu hệ thống: cử chỉ, giao diện, nút nhấn phần cứng - Giao diện tương tác với người dùng ưa nhìn, nịnh mắt, phù hợp với phần lớn đối tượng thành viên gia đình bình thường - Phần cứng mơ thiết kế chỉnh chu hoàn thiện trực quan 5.2 HƯỚNG PHÁT TRIỂN h Sau tiến hành nghiên cứu triển khai đề tài, nhóm nhận đề tài cịn nhiều thiếu sót, thiết sót hướng phát triển tương lai để hoàn thiện hệ thống - Hệ thống cần phải thực mơ hình lớn để đảm bảo tính xác - Mơ hình nhận diện cử cần phải phát triển để nhận diện nhiều cử hơn, từ ta điều khiển nhiều thiết bị - Phát triển hệ thống lên web máy chủ mobile để phát triển ứng dụng lên công nghiệp 49 TÀI LIỆU THAM KHẢO [1] A K Talukdar, "A Vision-based System for Recognition of Words used in Indian Sign Language Using MediaPipe," IEEE, 2021 [2] A Vani, R Raajan, D H Winmalar and R Sudharsan, "Using the Keras Model for Accurate and Rapid Gender Identification through Detection of Facial Features," IEEE, 2020 [3] Z Gu, J Wang and S Luo, "Investigation on the quality assurance procedure and evaluation methodology of machine learning building energy model systems," IEEE, 2020 [4] J Mawa, "How to build a GUI with PyQt," Logrocket, 2021 [5] Tài liệu tham khảo linh kiện https://hshop.vn/ [6] Tài liệu tham khảo linh kiện https://randomnerdtutorials.com/esp32- [7] h pinout-reference-gpios/ Tài liệu tham khảo linh kiện https://www.thegioiic.com/ 50 PHỤ LỤC h 51 ĐẠI HỌC SƯ PHẠM KỸ THUẬT CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM THÀNH PHỐ HỒ CHÍ MINH Độc lập – Tự Do – Hạnh phúc KHOA ĐÀO TẠO CHẤT LƯỢNG CAO Tp HCM, ngày 15 tháng năm 2022 BẢN GIẢI TRÌNH CHỈNH SỬA ĐỒ ÁN TỐT NGHIỆP NGÀNH: CNKT MÁY TÍNH Tên đề tài: THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN BẰNG NHẬN DIỆN CỬ CHỈ Tên sinh viên: Nguyễn Thắng Phong MSSV 18119106 Tên sinh viên: Nguyễn Hải Hưng MSSV 18119083 GVHD: PGS.TS Phan Văn Ca Hội đồng bảo vệ HĐ 1, phòng A4.401, ngày tháng năm 2022 h Giải trình chỉnh sửa báo cáo đồ án tốt nghiệp: TT Nội dung góp ý Hội đồng Kết chỉnh sửa, bổ sung Khắc phục lỗi tả Đã khắc phục lỗi tả Ghi Đã chỉnh sửa tất lưu đồ theo góp Chỉnh sửa tất lưu đồ cho ý hội đồng, hình 3-14, hình 3và đủ 23, hình 3-24, hình 3-25, hình 3-26, hình 3-27 Bổ sung phần định nghĩa hình Đã bổ sung phần định nghĩa hình ảnh cho 16 kiểu cử bàn tay ảnh cho 16 kiểu cử bàn tay và tập lệnh điều khiển thiết bị tập lệnh điều khiển thiết bị thông thông qua hình ảnh từ cử bàn qua hình ảnh từ cử bàn tay, hình tay 3-19 hình 3-20 52 Đã làm rõ trình huấn luyện mơ Làm rõ mơ hình huấn luyện hình, trang 29 Sơ đồ hình 3-2 hình 3-10 cần lớn để nhìn rõ thơng số Xác nhận trưởng ngành Sơ đồ hình 3-2 hình 3-10 chỉnh lớn để nhìn rõ thơng số Xác nhận GVHD (Ký họ tên) (Ký họ tên) Nhóm thực báo cáo (Ký họ tên) h 53 h S K L 0