Ứng dụng thuật toán nhận dạng chuyển động của người trong môi trường 3d để huấn luyện cho robot chơi cầu lông

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ TRẦN QUANG VINH ỨNG DỤNG THUẬT TOÁN NHẬN DẠNG CHUYỂN ĐỘNG CỦA NGƯỜI TRONG MÔI TRƯỜNG 3D ĐỂ HUẤN LUYỆN CHO ROBOT CHƠI CẦU LÔNG NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 SKC007527 Tp Hồ Chí Minh, tháng 10/2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ TRẦN QUANG VINH ỨNG DỤNG THUẬT TOÁN NHẬN DẠNG CHUYỂN ĐỘNG CỦA NGƯỜI TRONG MÔI TRƯỜNG 3D ĐỂ HUẤN LUYỆN CHO ROBOT CHƠI CẦU LÔNG NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Tp Hồ Chí Minh, tháng 10 / 2017 QUYẾT ĐỊNH GIAO ĐỀ TÀI i ii iii iv v vi XÁC NHẬN CỦA CÁN BỘ HƯỚNG DẪN vii LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƯỢC: Họ tên: Trần Quang Vinh Giới tính: Nam Ngày, tháng, năm sinh: 18-10-1987 Nơi sinh: Sông Bé Quê quán: Thuận An, Bình Dương Dân tộc: Kinh Chỗ riêng địa liên lạc: Kp Bình Đáng, P Bình Hịa, Tx Thuận An, Bình Dương Điện thoại quan: Điện thoại: 0907268889 Fax: E-mail: quangvinhmilan89@gmail.com II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: …… Nơi học (trường, thành phố): Ngành học: Đại học: Thời gian đào tạo từ ……/…… đến ……/ Hệ đào tạo: Đại Học Chính Quy Thời gian đào tạo từ ……/2007 đến ……/ 2013 Nơi học (trường, thành phố): Đại Học Sư Phạm Kỹ Thuật TP.HCM Ngành học: Kỹ thuật Điện- Điện tử Tên đồ án, luận án mơn thi tốt nghiệp: THIẾT KẾ VÀ THI CƠNG HỆ THỐNG BĂNG CHUYỀN XẾP TRỨNG TỰ ĐỘNG Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 2013 – ĐH SPKT TPHCM Người hướng dẫn: Ths Lưu Văn Quang III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Từ 2013 đến 2016 Từ 2016 đến Nơi công tác Làm việc Trung tâm giáo dục Thường xuyên Kỹ thuật hướng nghiệp Dĩ An, tỉnh Bình Dương Làm việc Công Ty Estec Vina – Khu CN Visip Thuận An Bình Dương viii Cơng việc đảm nhiệm Chun viên thiết bị trường học Kỹ sư điện tử Hình 4.1: Giao diện thiết kế tổng quan Để tìm hiểu kỹ cách lấy tọa độ cách phân bố giao diện đồ họa ta vào chi tiết phần sau Phần thứ nhất: - Khung ảnh chiều sâu: Khung ảnh chiều sâu hình có tọa độ 320x240 pixcel 320 chiều rộng tương đương với trục x, 240 chiều cao tương đương với trục y, z khoảng cách từ đối tượng đến camera 47 Hình 4.2: Tọa độ khung hình chiều sâu - Khung sân cầu lơng Khung sân cầu lơng tuyến tính theo kích thước thực tế đề tài tác giả chọn kích thước mét rộng mét dài phù hợp với vùng hoạt động camera 3D, sân hiển thị vị trí người chơi vị trí điểm cầu rơi Do kích thước tương đối nên vị trí hiển thị tương đối theo kích thước thực tế sân cầu lơng 48 Hình 4.3: Sân cầu lơng tuyến tính theo kích thước thực tế Khi người chơi di chuyển sân, vị trí người chơi đánh dấu nét màu đỏ Hình 4.4 49 Hình 4.4: Đường màu đỏ vẽ lại vị trí người chơi di chuyển sân - Các đối tượng điều khiển hiển thị Các đối tượng điều khiển dùng để điều khiển Hình 4.5: Đối tượng điều khiển hiển thị Các tọa độ người chơi tọa độ cầu rơi hiển thị trên 4.2 Cách sử dụng chương trình Khi nhấn Nút nhấn START trình lấy liệu tọa độ người chơi sân bắt đầu máy tính tính tốn tọa độ cầu rơi sau gửi liệu góc xoay trái, xoay phải, tốc độ xuống máy phát cầu Khi nhấn Nút nhấn STOP tất trình dừng lại 50 Chương KẾT QUẢ VÀ THẢO LUẬN 5.1 Kết đạt Sau thời gian nghiên cứu thực nghiệm kết thu được: - Thiết kế viết chương trình giao diện - Thiết kế viết chương trình nhận dạng xác định tọa độ người chơi tính tốn tọa độ cầu rơi chạy theo thời gian thực - Chương trình giải tốn ứng dụng thuật toán nhận dạng chuyển động người, xác định vị trí người chơi sân cầu lơng Đánh dấu vị trí người chơi di chuyển sân theo thời gian thực - Các kết chạy chương trình Hình 4.5 hiển thị vị trí người chơi tọa độ (X = 3.04 m, Y = 1.86 m) tọa độ phát cầu chương trình tính tốn (X = m, Y = m) Đường màu đỏ vị trí vận động viên di chuyển trước Hình 5.1: Hình ảnh 3D – Vị trí di chuyển – Tọa độ người chơi tọa độ điểm cầu rơi mà máy chọn bắn đến 51 5.2 Thực nghiệm đánh giá độ xác hệ thống Tác giả kiểm chứng thực tế phòng Lab với khoảng cách từ 1.2 đến 3m so với vị trí đặt camera chương trình nhận dạng bắt tọa độ người sai lệch so với vị trí thật từ 0,1 m đến 0.3 m Cách kiểm chứng tác giả so sánh vị trí tọa độ vận động viên mà chương trình đọc so với vị trí thật vận động viên sân dùng thước đo khoảng cách từ vận động viên đến biên sân theo chiều dài rộng Ngồi phạm vi khơng nhận dạng được tọa độ người chơi giới hạn camera Một số hình ảnh thực nghiệm: Hình 5.2: Hình ảnh thực nghiệm 52 Hình 5.3: Hình ảnh thực nghiệm 53 5.3 Thảo luận - Khi vận động viên di chuyển sát lưới (gần camera) di chuyển cuối sân chương trình đánh dấu vị trí chuyển động khơng xác rơi vào vùng mù camera ( camera nhận diện tốt từ khoảng cách 0.8 m đến m) Hình 5.2 minh họa vị trí người chơi đứng gần Camera, nên Camera tracking khung xương Hình 5.4: Khi người chơi đứng cách Camera < 0.8 m nên không tracking khung xương - Tương tự người chơi đứng cách Camera xa tracking khung xương, tham khảo Hình 5.3 54 Hình 5.5: Khi người chơi đứng cách Camera > m nên không tracking khung xương 55 Hình 5.6: Khi người chơi đứng cách xa Camera phạm vi nhỏ 6m nên camera tracking khung xương - Ảnh 3D vận động viên bị lỗ đen vùng biên cảm biến hồng ngoại nguồn phát hồng ngoại đặt cách xa đoạn nên có điểm phát hồng ngoại chiếu tới đối tượng cảm biến hồng ngoại khơng thu Hình 5.5 minh họa điểu 56 Hình 5.7: Lỗi hố đen xuất ảnh độ sâu 57 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận văn giải tốn phát vận động viên tính tọa độ vận động viên sân cầu lông Luận văn phát triển thêm cách tracking vẽ quỹ đạo bay trái cầu đến điểm rơi từ điều khiển máy phát cầu lơng tốt Trong tương lai hãng công nghệ phát triển thêm sản phẩm camera 3D có chất lượng tốt áp dụng vào chương trình cho ứng dụng phần mềm tốt Do thời gian có hạn nên tác giả cố gắng giải tốn để hồn thành luận văn tốt nghiệp cho tiến độ Trong tương lai tác giả tìm hiểu thuật tốn tốt để phát triển luận văn theo hướng Machine learing để điều khiển máy phát cầu lông tốt 58 TÀI LIỆU THAM KHẢO [1] Jonathan Taryoto, “Shuttlcock launcher and method for launching”, Apr 12, 2002 [2] Shinobu Sakai, Ryota Nobeand Koetsu Yamazaki, “A Study on Projection Performance of Roller Type Badminton Machine and Its Optimization”, June 13 17, 2011, Shizuoka, Japan [3] Trần Nguyên Soái, luận văn Thạc sĩ “THIẾT KẾ VÀ THI CÔNG ROBOT THÔNG MINH HUẤN LUYỆN CHƠI CẦU LƠNG SỬ DỤNG THUẬT TỐN NHẬN DẠNG CHUYỂN ĐỘNG 3D” Đại Học Sư Phạm Kỹ Thuật TPHCM (2017) [4] Baptiste Darbois Texier, Caroline Cohen, David Quere, Christophe Clanet; “Shuttlecock dynamics”, Accepted 05 March 2012 [5] Caroline Cohen, Baptiste Darbois Texier, David Quere and Christophe Clanet, “The physics of badminton”, New J Phys 17 (2015) [6] Armando Nava, Leonardo Garrido and Ramon F Brena; “Recognizing Activities Using a Kinect Skeleton tracking and Hidden Markov Models” (2014) [7] Pei-Fu Tsou, Chao-Cheng Wu; “Estimation of Calories Consumption for Aerobics Using Kinect based Skeleton Tracking” Washington, May 26-30, 2015 [8] Michael Fleder, Sudeep Pillai, Jeremy Scott “3D Object Tracking Using the Kinect” - MIT CSAIL, 6.870 [9] Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake; “Real-Time Human Pose Recognition in Parts from Single Depth Images” CVPR 2011 [10] Liang-Chia Chen, Nguyen Van Thai, Hung-Fa Shyu, Hsien-I Lin In situ clouds-powered 3-D radiation detection and localization using novel color-depth- 59 radiation (CDR) mapping Advanced Robotics, Vol 28, Issue 12, pp 841-857, 2014 60 S K L 0 ... phần cứng Robot) Ứng dụng thuật toán nhận dạng chuyển động người môi trường 3D để huấn luyện cho robot chơi cầu lơng (Xây dựng thuật tốn, viết chương trình để lấy liệu liệu điều khiển robot –... TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ TRẦN QUANG VINH ỨNG DỤNG THUẬT TOÁN NHẬN DẠNG CHUYỂN ĐỘNG CỦA NGƯỜI TRONG MÔI TRƯỜNG 3D ĐỂ HUẤN LUYỆN CHO ROBOT CHƠI CẦU... chọn đề tài ? ?ỨNG DỤNG THUẬT TOÁN NHẬN DẠNG CHUYỂN ĐỘNG CỦA NGƯỜI TRONG MÔI TRƯỜNG 3D ĐỂ HUẤN LUYỆN CHO ROBOT CHƠI CẦU LÔNG” làm đề tài tốt nghiệp thạc sĩ chuyên ngành Kỹ Thuật Điện Tử Mục đích