BÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Kinect SensorBased Motion Control for Humanoid Robot Hands

Tài liệu bao gồm file Doc+ pptBÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Kinect SensorBased Motion Control for Humanoid Robot HandsCHƯƠNG 1. ROBOT DẠNG TAY NGƯỜI1.1Giới thiệu chungNgành công nghiệp robot đã không ngừng nỗ lực hướng tới phát triển những con robot cùng tồn tại với con người. Xã hội robot, khác với các đối tượng khác hoạt động trong dây chuyền lắp ráp ở hầu hết các khóa cạnh trừ tính từ robot. Xã hội robot thường được phân loại là robot tương tác với con người, cho thấy chúng phải có hình thái giống người để phù hợp với chỉ định này. Hình 1.1 Cánh tay robotTrong bối cảnh thao tác của robot liên quan đến robot xã hội hoạt động trong môi trường đô thị, tiến bộ đạt được trong lĩnh vực này về mặt thực hiện phần cứng là đáng chú ý. Mức độ khéo léo của bàn tay robot hấp dẫn người dùng cuối bởi vì nó mang lại sự quen thuộc với quan niệm chung về các chi của robot, do đó làm cho công nghệ được chấp nhận nhiều hơn từ quan điểm xã hội, đặc biệt là khi nói đến tích hợp sinh học và phục hồi chức năng chân tay giả.Tuy nhiên, giá thành của công nghệ này cao do độ phức tạp của phần cứng và kích thước. Các ứng dụng đô thị khác, chẳng hạn như hoạt động tìm kiếm và cứu nạn hoặc cảnh sát, ưu tiên khả năng chịu tải cao hơn của cánh tay và bộ phận hiệu ứng cuối so với mức độ thao tác và khéo léo cao hơn. Lựa chọn giữa khả năng tải trọng và sự khéo léo là một quyết định mà người dùng phải thực hiện khi chọn một hệ thống robot. Với công nghệ thiết bị truyền động hiện nay, hai thông số này dường như tỷ lệ nghịch, hệ thống cung cấp cái này hay cái kia, nhưng hiếm khi cả hai. Nhận thức của xã hội về cánh tay hoặc bàn tay robot cũng bị ảnh hưởng bởi mức độ tự chủ mà nó có thể cung cấp. Nói chung, sự phức tạp của chuyển động học liên quan đến các hệ thống này làm cho việc điều khiển thời gian thực của chúng trở nên phức tạp khi hoạt động trong vòng kín với cảm biến phản hồi.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI BÁO CÁO MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ THÔNG MINH Project: Kinect Sensor-Based Motion Control for Humanoid Robot Hands LÊ XUÂN TRUNG letrungcn1hust@gmail.com Ngành Kỹ thuật điện tử Chuyên ngành Hệ thống Cơ điện tử thông minh Giảng viên hướng dẫn: SSHV: Bộ mơn: Viện: TS Hồng Hồng Hải 20202742M Cơ điện tử Cơ khí Chữ ký GVHD HÀ NỘI, 02/2021 MỤC LỤC CHƯƠNG ROBOT DẠNG TAY NGƯỜI 1.1 Giới thiệu chung CHƯƠNG CẢM BIẾN 2.1 Công nghệ cảm biến 2.2 Cảm biến Kinect CHƯƠNG ĐỘNG HỌC VÀ ĐỘNG LỰC HỌC ROBOT 3.1 Động học robot 3.2 Động lực học robot CHƯƠNG PHÂN ĐOẠN VÀ NHẬN DẠNG CỬ CHỈ TAY 4.1 Phân đoạn cử tay .7 4.2 Nhận dạng cử tay .8 4.3 Đánh giá hệ thống 10 KẾT LUẬN .12 TÀI LIỆU THAM KHẢO 13 DANH MỤC HÌNH VẼ Hình 1.1 Cánh tay robot Hình 1.2 Cánh tay robot Hình 2.1 Kinect sensor Hình 2.2 Ứng dụng cảm biến Kinect khung xương người Hình 3.1 Sơ đồ cấu trúc ngón tay robot Hình 4.1 Khung hệ thống nhận dạng cử tay .7 Hình 4.2 Phương pháp lọc trung vị .7 Hình 4.3 Cấu trúc mơ hình DBN Hình 4.4 Cấu trúc RBM Hình 4.5 Cấu trúc mơ hình DBN Hình 4.6 Mơ hình Softmax Regression dạng Neural netwwork 10 Hình 4.7 Hình ảnh cử tay thu 11 Hình 4.8 Robot nhận dạng cử 11 DANH MỤC BẢNG Bảng So sánh kết thí nghiệm .11 CHƯƠNG ROBOT DẠNG TAY NGƯỜI 1.1 Giới thiệu chung Ngành công nghiệp robot không ngừng nỗ lực hướng tới phát triển robot tồn với người Xã hội robot, khác với đối tượng khác hoạt động dây chuyền lắp ráp hầu hết khóa cạnh trừ tính từ robot Xã hội robot thường phân loại robot tương tác với người, cho thấy chúng phải có hình thái giống người để phù hợp với định Hình 1.1 Cánh tay robot Trong bối cảnh thao tác robot liên quan đến robot xã hội hoạt động môi trường đô thị, tiến đạt lĩnh vực mặt thực phần cứng đáng ý Mức độ khéo léo bàn tay robot hấp dẫn người dùng cuối mang lại quen thuộc với quan niệm chung chi robot, làm cho cơng nghệ chấp nhận nhiều từ quan điểm xã hội, đặc biệt nói đến tích hợp sinh học phục hồi chức chân tay giả Tuy nhiên, giá thành công nghệ cao độ phức tạp phần cứng kích thước Các ứng dụng thị khác, chẳng hạn hoạt động tìm kiếm cứu nạn cảnh sát, ưu tiên khả chịu tải cao cánh tay phận hiệu ứng cuối so với mức độ thao tác khéo léo cao Lựa chọn khả tải trọng khéo léo định mà người dùng phải thực chọn hệ thống robot Với công nghệ thiết bị truyền động nay, hai thông số dường tỷ lệ nghịch, hệ thống cung cấp hay kia, hai Nhận thức xã hội cánh tay bàn tay robot bị ảnh hưởng mức độ tự chủ mà cung cấp Nói chung, phức tạp chuyển động học liên quan đến hệ thống làm cho việc điều khiển thời gian thực chúng trở nên phức tạp hoạt động vòng kín với cảm biến phản hồi Hình 1.2 Cánh tay robot Mặc dù găng tay liệu nhận dạng tốt cử tay người vận hành, găng tay liệu bất tiện đắt tiền Nếu cử tay người điều khiển sử dụng để điều khiển trực tiếp bàn tay robot hình người, điều mang lại nhiều tiện lợi giảm đáng kể khó khăn vận hành Do đó, báo đề xuất phương pháp tiếp cận dựa cảm biến Kinect Microsoft để điều khiển hoạt động cho bàn tay robot hình người, người vận hành khơng cần thiết bị bổ sung khơng cần phải có nhiều kiến thức chun mơn để dễ dàng điều khiển robot hình bàn tay người Các phương pháp thơng thường để phân đoạn cử tay người dựa phát màu da phân loại tính Haar Tuy nhiên, độ xác nhận dạng bị ảnh hưởng nhiều thay đổi ánh sáng giao thoa đối tượng gần với màu da bàn tay, đặc biệt bàn tay khn mặt người thường khó phân biệt, việc phân chia cử tay dựa độ sâu hình ảnh khắc phục vấn đề Phân đoạn cử tay dựa độ sâu anh thường sử dụng ngưỡng kép phương pháp theo dõi khung xương, báo kết hợp hai phương pháp để phân đoạn cử tay Nói chung, phương pháp nhận dạng cử chia thành hai loại: nhận dạng cử tĩnh nhận dạng cử động, phương pháp trước chủ yếu nghiên cứu hình dạng tư bàn tay, phương pháp sau chủ yếu nghiên cứu quỹ đạo chuyển động bàn tay phương pháp trước thường sử dụng RBF, DBN, Tính PNN, SVM, HOG, tính hình học, v.v., sau sử dụng phương pháp, ví dụ, DTW, HMM, v.v Zhou Ren đề xuất FEMD (khoảng cách ngón tay ), phân biệt rõ cử bàn tay có khác biệt nhỏ, khớp với ngón tay khơng khớp với tồn hình dạng bàn tay, đó, khơng thể đánh giá hướng bàn tay Ngoài ra, từ đặc điểm thuật tốn thấy, camera khơng đối diện với lịng bàn tay dẫn đến việc nhận dạng không thành công lỗi nhận dạng CHƯƠNG CẢM BIẾN 2.1 Công nghệ cảm biến Cảm biến yếu tố quan trọng hệ thống điện tử chúng xác định trạng thái đầu hệ thống Bộ cảm biến khuếch đại thiết kế để hoạt động với hiệu suất công suất thấp Một cảm biến lý tưởng trích xuất thơng tin từ hệ thống mà không hấp thụ nguồn điện cung cấp thơng tin cho hệ thống khác với cơng suất hữu hạn Nếu nói khuếch đại phần tử điều hịa tín hiệu hệ thống điện tử, nhận tín hiệu đầu vào mức công suất gần không ảnh hưởng đến hệ thống khác mức công suất cao nhiều Sự khác biệt cảm biến đầu dò thường gây nhầm lẫn Đầu dò định nghĩa phần tử mà chịu số thay đổi vật lý ảnh hưởng đến thay đổi khác có liên quan đến thay đổi vật lý 2.2 Cảm biến Kinect Kinect (tên mật thời gian phát triển Project Natal) thiết bị cảm biến ngoại vi thu chuyển động phát triển Microsoft dành cho máy console Xbox 360 Windows Khi kết nối vào Xbox 360, người chơi điều khiển tương tác với máy console mà không cần tay cầm điều khiển, thông qua giao diện người dùng tự nhiên sử dụng cử lệnh thoại Hình 2.3 Kinect sensor Cảm biến có máy ảnh RGB, cảm biến độ sâu 3D mặt trước nhiều dãy micrô hai bên Cảm biến bao gồm độ nghiêng giới phạm vi ±27o Thuật toán Kinect phát khớp người cảm biến trường xem biểu diễn chúng vị trí (x; y; z) khơng gian 3D Nó đo khoảng cách từ vật cách 1,2–3 m theo thứ tự xác cm Nó rẻ so với cảm biến RGB-D khác Kinect sử dụng với máy tính mạnh mẽ Microsoft Kinect SDK C # ngôn ngữ lập trình để sử dụng SDK Nó cung cấp thơng tin xương với 20 điểm chung cho người Việc lựa chọn cảm biến Kinect để cung cấp thông tin chi tiết điểm bàn tay người cách tốt Hình 2.4 Ứng dụng cảm biến Kinect khung xương người Để kích hoạt tính nhận dạng cử tay mạnh mẽ hơn, cách hiệu sử dụng cảm biến khác để ghi lại cử chuyển động bàn tay, ví dụ: thơng qua găng tay liệu Không giống cảm biến quang học, cảm biến thường đáng tin cậy không bị ảnh hưởng điều kiện ánh sáng nhiều sinh từ Tuy nhiên, u cầu người dùng đeo găng tay liệu yêu cầu hiệu chuẩn, bất tiện để sử dụng cản trở tự nhiên khớp cử tay Ngoài ra, găng tay liệu thường đắt cảm biến quang học, ví dụ: máy ảnh Kết là, khơng phải cách phổ biến để nhận dạng cử tay Nhờ phát triển gần máy ảnh độ sâu rẻ tiền, ví dụ, cảm biến Kinect, hội để nhận dạng cử tay xuất Thay đeo găng tay liệu, sử dụng cảm biến Kinect phát phân đoạn bàn tay cách mạnh mẽ, cung cấp sở hợp lệ để nhận dạng cử Trong có nhiều thành cơng gần việc áp dụng cảm biến Kinect cho nhận dạng khuôn mặt khớp, theo dõi thể người công nhận hành động người, cịn vấn đề mở để sử dụng Kinect để nhận dạng cử tay Do độ phân giải thấp đồ độ sâu Kinect, thường có 640x480, hoạt động tốt để theo dõi vật thể lớn, ví dụ: thể người, khó phát phân đoạn vật thể nhỏ khỏi hình ảnh với độ phân giải này, ví dụ: bàn tay người chiếm nhiều phần nhỏ hình ảnh với nhiều khớp phức tạp Trong trường hợp vậy, phân đoạn bàn tay thường khơng xác, ảnh hưởng đáng kể đến bước nhận dạng CHƯƠNG ĐỘNG HỌC VÀ ĐỘNG LỰC HỌC ROBOT 3.1 Động học robot Dựa khả linh hoạt khớp robot để điều khiển theo ý muốn Việc mơ hình D-H phương pháp đơn giản để mơ hình hóa khớp robot, sử dụng để biểu diễn cấu hình robot phức tạp nào, thường sử dụng mơ hình động học robot hình người Một bàn tay robot hình người với 15 DOF (bậc tự do), tổng cộng ngón tay, ngón có khớp ngón tay khớp ngón tay (khớp xa ngón tay ghép với cử động khớp giữa) Để thuận tiện cho việc sản xuất công nghiệp điều khiển chuyển động, ngón tay có cấu tạo giống Trong phân tích động học điều khiển tác vụ thao tác robot tự động, mục tiêu tạo ma trận chuyển đổi toàn cục ánh xạ động học cục (chẳng hạn vị trí tốc độ) điểm liên kết cụ thể thành khung qn tính tồn cục Mọi khớp i người thao tác bàn tay gán khung cục i - Do đó, rơ bốt có n liên kết, tồn n khung, khung n thường gán cho liên kết cuối đầu ngón tay tồn hiệu ứng cuối Hình 3.5 Sơ đồ cấu trúc ngón tay robot Ma trận chuyển đổi toàn cục 0nT cho khung tồn cầu thiết lập Denavit-Hartenberg thông số sau: n −1 T =∏ 0nT =i+1i¿ 01T 12T … n−1nT ¿ i=0 Với ma trận khâu khớp tương ứng với: i i+1 T= [ i i+1 R i i +1 d ] Với i+1i R ma trận cosin phương Từ ta có kết tọa độ điểm cuối khâu thao tác robot x y =¿ z [] Bài toán nghịch đảo động học ngón tay gọi vị trí robot hình người bàn tay hệ tọa độ sở để giải biến khớp khác Toàn trình giải vấn đề phi tuyến tính, hay khơng giải pháp phụ thuộc vào việc ngón tay chạm tới vị trí xác định Theo cấu trúc sinh lý bàn tay người, chuyển động khớp xa ngón tay không độc lập, h4 = 2h3 / thích hợp θi (i = 1, 2, 4) biểu thị bằng: y tan −1( ) x θ1 √ A 2+ B 2−D2 ) −1 θ2 = tan (− AB ± B 2−D2 θ4 2θ 3 [] [ ] x Trong đó: A= C −a , B=z , D=a2 +a3 cos ( θ )+ a4 cos ( θ3 +θ4 ) 1 θ3 nhận phương pháp số cos ( θ3 ) cos ( θ3 +θ ) cos ( θ4 ) x + + = −a1 + z 2−a22−a 23−a24 /(2a a a ) a4 a3 a2 C1 [( ) ] 3.2 Động lực học robot Một mơ hình chung thể hành vi động phía trước cánh tay bàn tay robot với n-liên kết minh họa dạng bảo toàn theo tọa độ tổng quát q (t) sau: M ( q , t ) q´ + F ( q´ , t ) q´ +C ( q , q´ ,t ) q´ +G ( q , t )=τ (t) Trong ma trận M, F, C, G ma trận khối lượng robot, F ma trận lực ma sát, giảm xóc tác động lên robot, ma trận C ma trận Coriolis G ma trận robot Do đó, mục tiêu sơ đồ điều khiển động tính tốn lịch sử thời gian luật điều khiển τ (t) cho phép liên kết cánh tay bàn tay tuân theo ý muốn quỹ đạo trì vị trí (hoặc tốc độ) mong muốn cách vượt qua lực cản từ môi trường Lược đồ điều khiển bao gồm phương pháp tương quan với vectơ đầu vào với vị trí liên kết, gọi điều khiển vị trí phương pháp tương quan với vectơ đầu vào vận tốc liên kết, gọi điều khiển tốc độ Trong hai trường hợp, phản hồi phụ thuộc vào thời gian biến khơng gian làm việc vị trí vận tốc cần tích hợp điều khiển để đảm bảo tính ổn định chương trình CHƯƠNG PHÂN ĐOẠN VÀ NHẬN DẠNG CỬ CHỈ TAY 4.1 Phân đoạn cử tay Sử dụng cảm biến Kinect làm thiết bị đầu vào, để chụp ảnh màu đồ độ sâu độ phân giải 640x480 Nói chung chiều sâu thông tin bắt nguồn từ cảm biến Kinect sử dụng khơng xác chi tiết Hình 4.6 Khung hệ thống nhận dạng cử tay Để phân đoạn hình dạng bàn tay, trước tiên cần xác định vị trí bàn tay cách sử dụng chức theo dõi bàn tay Kinect windows SDK Sau đó, cách đặt ngưỡng từ vị trí bàn tay với khoảng độ sâu định, thu vùng bàn tay thô Phương pháp lọc trung vị sử dụng để đối phó với nhiễu kết hợp với hình thái mở đóng hoạt động làm cho hình ảnh đầy đủ rõ ràng Hình 4.7 Phương pháp lọc trung vị Thuật toán đầu nguồn phương pháp phân đoạn hình thái học dựa lý thuyết topology Khi phần lại thể đối tượng xung quanh bàn tay robot độ sâu, thơng qua hình ảnh phân đoạn ngưỡng kép, khơng có cử phận khác thể đối tượng xung quanh, thuật tốn đầu nguồn sử dụng để có cử Nếu kết tính tốn có số vùng phân đoạn, đặc điểm hình thái, kích thước khía cạnh khác vùng kết hợp để xác định vùng cử Lấy điều khiển bên trái làm ví dụ, bước xử lý hệ thống sau: (1) Nhận hình ảnh chiều sâu thông tin khớp xương từ cảm biến Kinect (2) Nếu điểm xương bên trái thu nhận, giá trị độ sâu chúng DL nhận Nếu không bắt điểm tay trái, bắt điểm khớp vai, độ sâu giá trị DS khớp vai sử dụng để trừ ngưỡng threshol1 (theo tình hình thực tế kinh nghiệm, thử nghiệm lấy 390 mm) làm chiều sâu bên trái DL (DL = DS-threshold1) Nếu khớp vai chưa bắt, ghi Dmin độ sâu tối thiểu hình ảnh độ sâu, thêm Dmin vào ngưỡng giá trị độ sâu threshold2 (theo tình hình thực tế kinh nghiệm, thử nghiệm 68 mm) làm độ sâu bên trái DL (DL = Dmin + threshold2) Theo trải nghiệm lấy hai ngưỡng D1, D2, giá trị độ sâu [DL-D1, DL + D2] vùng dạng cử chỉ, hình ảnh chiều sâu thay đổi thành hình ảnh nhị phân theo cách Thuật toán water-shed phương pháp lọc trung vị sử dụng cho hình ảnh để phân đoạn xử lý giúp thu liệu tốt hơn, tránh nhiễu ảnh hướng tới trình nhận dạng Có thể yêu cầu người dùng đeo đai đen cổ tay cử bàn tay để phân chia hình dạng bàn tay cách xác Sau phát pixel màu đen, sử dụng RANSAC để điều chỉnh đường thẳng để xác định vị trí vành đai đen Hình dạng bàn tay thường có độ phân giải 100x100 pixel, bị biến dạng nghiêm trọng 4.2 Nhận dạng cử tay Deep Belief Networks (DBNs) phát minh giải pháp cho vấn đề gặp phải sử dụng đào tạo mạng nơ-ron truyền thống mạng phân lớp sâu, chẳng hạn học chậm, bị mắc kẹt minima cục lựa chọn tham số yêu cầu nhiều tập liệu đào tạo Hình 4.8 Cấu trúc mơ hình DBN RBM (Restricted Boltzmann Machines) bao gồm lớp hiển thị (lớp đầu vào) lớp ẩn (lớp trích xuất tính năng) Mạng DBN bao gồm nhiều lớp RBM lớp dịch, đào tạo từ lớp lên lớp theo lớp DBN huấn luyện trọng số nơ-ron để toàn DBN phù hợp với xác suất tối đa tạo liệu huấn luyện Hình 4.9 Cấu trúc RBM Trong báo cáo này, DBN bao gồm lớp RBM lớp softmax, cấu trúc mô hình DBN thể Hình 4.2 Vectơ đầu vào có 10000 chiều K số cử Các vectơ đặc trưng thu từ Hình 4.2 có kích thước nhỏ, xác định xử lý nhanh chóng Các tính trích xuất RBM nhiều lớp có hiệu tốt so với RBM lớp, nhiều lớp thu kết tốt hơn, so sánh thực nghiệm thấy lớp RBM đạt kết tốt hơn, thời gian đào tạo khơng q lâu Số nút lớp có ảnh hưởng lớn đến kết cuối cùng, cần chọn giá trị hợp lý qua thí nghiệm Qua số lượng lớn kết thí nghiệm thấy n1 = 1000 n2 = 300, n3 = 500, tốt kết nhận Hình 4.10 Cấu trúc mơ hình DBN Vì thí nghiệm cử khác loại trừ lẫn nhau, nên sử dụng mơ hình hổi quy softmax để phân loại phù hợp Hình 4.11 Mơ hình Softmax Regression dạng Neural netwwork Softmax Regression với Support Vector Machine hai classifier phổ biến dùng Softmax Regression đặc biệt sử dụng nhiều mạng Neural có nhiều lớp (Deep Neural Networks hay DNN) Những lớp phía trước coi Feature Extractor, lớp cuối DNN cho toán classification thường Softmax Regression Trong hồi quy softmax, xác suất để x xếp vào loại j là: k T T P ( y j = j|x (i ) ; θ ) =exp (θ j )/ ∑ exp ⁡(θl ¿ ) ¿ x ( i) x ( i) l=1 Trong đó: k số cử chỉ, x vector đặc trứng trích xuất lớp RBM Để giải vấn đề đặt tham số dư thừa” hồi quy softmax đảm bảo giải pháp nhất, thuật ngữ giảm trọng số thêm vào để sửa đổi hàm chi phí sửa đổi định nghĩa là: J ( θ )= −1 ¿ m Trong đó: m đại diện cho số mẫu đào tạo, k tổng số loại, n kích thước vector đặc trưng x, tương ứng với n3 hình 4.5 J ( θ ) hàm lồi, L-BFGS sử dụng để có giải pháp tối ưu Trong cơng thức trên, λ có ảnh hưởng đáng kể đến kết quả, qua nhiều thí nghiệm nhận thấy λ = 1,5 x 10−4 để đạt tỷ lệ xác nhận dạng tốt 4.3 Đánh giá hệ thống Các tập liệu phịng thí nghiệm thu thập, bao gồm 16 loại cử hiển thị Hình 4.3, cử 820 hình ảnh, tổng số 13120 hình ảnh (tập huấn luyện có 9220 hình ảnh tập kiểm tra có 3900 hình ảnh, kích thước tất 100x100) Độ phân giải hình ảnh chiều sâu 640x480 cảm biến Kinect Microsoft Kết DBN, máy mã hóa tự động thưa thớt CNN thể Bảng Các thông số kỹ thuật phần cứng CPU Intel Core i56200U 2,30 GHz kép, RAM GB DDR3L 1600 MHz Từ kết thực nghiệm thấy độ xác tính kịp thời đáp ứng yêu cầu điều khiển thời gian thực Bảng So sánh kết thí nghiệm Phương pháp DBN Máy mã hóa tự động CNN Độ xác 95.573% 92.318% 94.065% Thời gian (ms) 72.169 81.703 70.521 Hình 4.12 Hình ảnh cử tay thu Hình 4.13 Robot nhận dạng cử KẾT LUẬN Robot dạng bàn tay người sản phẩm hệ thống điện tử, tích hợp thêm cảm biến Kinect, hệ thống trở nên thơng minh Nó cho thấy với kỹ thuật nhận dạng cử tay, bắt chước giao tiếp người liên quan đến bàn tay cử cách tự nhiên trực quan để tương tác với máy móc Do đó, có lợi cho sống hàng ngày nhiều khía cạnh như cung cấp thiết bị trợ giúp cho người khiếm thính trì vơ trùng tuyệt đối mơi trường chăm sóc sức khỏe giao diện không chạm thông qua cử Phương pháp điều khiển chuyển động dựa cảm biến Kinect cho bàn tay robot hình người đề xuất, thơng qua hành động bàn tay người để điều khiển chuyển động hai bàn tay robot hình người, loại tương tác người máy tính phát triển nhiều tương lai Mặc dù phương pháp tiếp cận đề xuất nhận dạng tốt cử tay, cịn thiếu sót sau: kiểu nhận dạng cử hạn chế thử nghiệm, nhiều loại cử bổ sung; cảm biến Kinect đơi khơng nắm bắt điểm khung xương người, điều dẫn đến việc giảm độ xác nhận dạng cử chỉ, cải thiện cách sử dụng số phương pháp khác, chẳng hạn kết hợp với hình ảnh chiều sâu, thơng tin khớp xương hình ảnh RGB để định vị người tay, để có xác hơn, tách tay cử chỉ; nhận dạng cử động không thảo luận báo TÀI LIỆU THAM KHẢO [1] Bo Hu, Nan-feng Xiao: “Kinect Sensor-Based Motion Control for Humanoid Robot Hands”, F Qiao et al (eds.), Recent Developments in Mechatronics and Intelligent Robotics, Advances in Intelligent Systems and Computing 690, DOI 10.1007/978-3-319-65978-7_81 [2] Rochdi Merzouki, Arun Kumar Samantaray Pushparaj Mani Pathak, Belkacem Ould Bouamama: “Intelligent Mechatronic Systems Modeling, Control and Diagnosis” [3] Janeza Trdine 9, 51000 Rijeka, Croatia: “INTELLIGENT MECHATRONICS”, Edited by Ganesh R Naik, 2011, chaper [4] Zhou Ren, Junsong Yuan, Jingjing Meng, Zhengyou Zhang member IEEE: “Robust Part-Based Hand Gesture Recognition Using Kinect Sensor”, IEEE TRANSACTIONS ON MULTIMEDIA, VOL 15, NO 5, AUGUST 2013 [5] Emrehan Yavsan, Aysegỹl Uỗar: Gesture imitation and recognition using Kinect sensor and extreme learning machines”, Science Direct, 2015