Điều khiển chuyển động của cánh tay robot 6 DOF bằng giọng nói dựa trên phương pháp học sâu

Bài viết này trình bày bài toán điều khiển chuyển động của cánh tay robot 6 bậc tự do bằng giọng nói dựa trên phương pháp học sâu (Deep Learning - DL). Thuật toán nhận dạng giọng nói được thực hiện dựa trên việc chuyển đổi dữ liệu âm thanh thành văn bản thông qua mô hình DL1. Thư viện dữ liệu học của mạng DL1 được xây dựng trên cơ sở ngôn ngữ tiếng Việt và không phụ thuộc vào việc kết nối Internet.

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) ĐIỀU KHIỂN CHUYỂN ĐỘNG CỦA CÁNH TAY ROBOT DOF BẰNG GIỌNG NÓI DỰA TRÊN PHƯƠNG PHÁP HỌC SÂU Dương Xuân Biên Phịng Thí nghiệm Cơng nghệ Tiên tiến Trung tâm Cơng nghệ, Học viện Kỹ thuật Quân Email: duongxuanbien@lqdtu.edu.vn Tóm tắt - Bài báo trình bày tốn điều khiển chuyển động cánh tay robot bậc tự giọng nói dựa phương pháp học sâu (Deep Learning - DL) Thuật tốn nhận dạng giọng nói thực dựa việc chuyển đổi liệu âm thành văn thơng qua mơ hình DL1 Thư viện liệu học mạng DL1 xây dựng sở ngôn ngữ tiếng Việt không phụ thuộc vào việc kết nối Internet Mơ hình học máy (Machine Learning - ML) xây dựng để trích xuất thông tin điều khiển chuyển động cánh tay robot từ văn đầu mơ hình DL1 Bộ liệu vị trí chuyển động khả thi robot không gian làm việc xây dựng dựa việc mơ hình hóa động học cánh tay robot 6DOF với hệ phương trình động học xây dựng Các kết mơ hình hóa động học kết đầu mơ hình ML sử dụng để tính tốn tín hiệu điều khiển chuyển động cho cánh tay robot thơng qua mơ hình DL2 Kết nghiên cứu có ý nghĩa quan trọng việc ứng dụng thuật toán điều khiển giọng nói cho hệ thống robot hệ thống tự động khác mà không yêu cầu phải kết nối mạng Internet Mặt khác, hệ điều khiển giọng nói kết hợp chặt chẽ với kỹ thuật thị giác máy tính để nâng cao khả hệ điều khiển Điều giúp robot thông minh hơn, linh hoạt mở rộng cho nhiều ứng dụng khác điều khiển hệ thống phức tạp Ngược lại, hệ điều khiển thông minh cho phép robot thực nhiệm vụ với độ xác cao cấu trúc hệ điều khiển phức tạp, chi phí cao Xu hướng thiết kế hệ điều khiển năm gần hướng tới hệ điều khiển ngày thông minh, đáp ứng nhanh linh hoạt thời gian thực với yêu cầu điều khiển thay đổi liên tục, tương tác với người, độ xác cao Robot điều khiển giọng nói [11-21] thơng qua mơ đun nhận dạng giọng nói thơng minh (sử dụng mơ hình trí tuệ nhân tạo Machine Learning Deep Learning), điều khiển thông qua kỹ thuật thị giác máy tính đại giải pháp hiệu đáp ứng nhu cầu thực tế nêu Hệ điều khiển giọng nói cho robot ứng dụng lĩnh vực khác công nghiệp sản xuất [13], sinh hoạt [17], y tế [19] Điều khiển robot giọng nói dựa thuật tốn trí tuệ nhân tạo xem xét [11] Thiết kế tai thông minh cho robot nhằm xác định hướng âm phát thưc [12] Trong sản xuất công nghiệp, hệ thống điều khiển giọng nói đề xuất thiết kế phục vụ điều khiển máy gia công robot [13] Robot phục vụ tương tác với người thông qua nhận dạng cử phản hồi giọng nói giới thiệu [14], [15], [16] Đề xuất thiết kế hệ điều khiển giọng nói cho robot phục vụ nhà (Household Robots) thể [17] Kỹ thuật nhận dạng giới tính thơng qua giọng nói dựa thuật tốn học sâu đề xuất [18] Vấn đề thiết kế hệ điều khiển giọng nói cho cánh tay giả robot (prosthetic robot arm) phục vụ ngành y tế xem xét [19] Robot điều khiển giọng nói thơng qua giao tiếp ánh sáng nhìn thấy trình bày [20] Robot tự hành điều khiển giọng nói thơng qua cơng cụ ứng dụng Google Assistant sở kỹ thuật IoT thể [21] Bài báo tập trung vào việc xây dựng hệ điều khiển chuyển động cánh tay robot 6DOF giọng nói (tiếng Việt) mà khơng u cầu kết nối mạng Từ khóa - nhận dạng giọng nói, học sâu, học máy, điều khiển, cánh tay robot I ĐẶT VẤN ĐỀ Trong kỹ thuật robot, toán điều khiển ln tốn quan trọng đảm bảo robot thực nhiệm vụ cách xác Có nhiều hệ điều khiển robot phát triển từ trước đến nay, từ hệ điều khiển cổ điển PID [1], Sliding Mode Control [2], Backstepping [3], Robust control [4], Fuzzy logic [5], đến thuật tốn điều khiển thơng minh Adaptive control [6], Neural Network [7], Machine Learning [8], Reinforcement Learning [9], Deep Learning [10] Mỗi thuật tốn có ưu điểm hạn chế định Nếu hệ điều khiển truyền thống thiết kế đơn giản, chi phí thấp khó đảm bảo độ xác cao ISBN 978-604-80-5958-3 299 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thơng tin (REV-ECIT2021) Internet Giọng nói nhận dạng dựa thuật tốn học sâu (DL1) Dựa tín hiệu nhận từ liệu đầu mô hình DL1, mơ hình ML xây dựng để trích xuất thơng tin điều khiển mã hóa chúng Mơ hình DL2 thiết kế để tính tốn giá trị tín hiệu điều khiển động truyền động, tương ứng với chuyển động khớp robot Các mơ hình DL1, ML, DL2 xây dựng kiểm tra ngôn ngữ PYTHON thư viện hỗ trợ Mơ hình robot bậc tự chế tạo thực tế để thực nghiệm mơ hình II B Tiền xử lý giọng nói Vấn đề giải thông qua bước: lọc nhiễu, tách từ, chuyển đổi dao động âm thành phổ tần số, biến đổi phổ tần số thành liệu đầu vào cho mạng Nơ ron Bài toán lọc nhiễu xử lý thông qua số phương pháp giảm nhiễu dựa thiết kế phần cứng micro thu âm, lọc nhiễu phần tử điện mạch thu âm, lọc nhiễu chương trình hiệu chỉnh Trong phạm vi báo điều kiện thực tế, phương án sử dụng đầu thu âm để giảm nhiễu sử dụng Mỗi câu nói người gồm nhiều từ gộp lại Việc cần phân tích để tách từ câu nói Trong thử nghiệm ban đầu thuật tốn, câu nói: “Bốn, năm, sáu” gồm ba từ “bốn”, “năm”, “sáu” dùng để làm ví dụ minh họa Ví dụ dùng xuyên suốt tồn phần Câu nói thơng qua Micro ghi âm nhờ ứng dụng thông thường Void Recorder có sẵn hệ điều hành Windows Microsoft File âm đọc ghi liệu thư viện Scipy phần mềm lập trình PYTHON Giá trị biên độ dao động âm chuẩn hóa nhằm chuẩn hóa liệu đầu vào cho bước sau, đảm bảo hội tụ nhanh, tránh tượng giá trị hàm lỗi lớn dẫn tới không cập nhật thông số mạng tránh lỗi không hội tụ mô hình DL Theo đó, đồ thị dao động âm chuẩn hóa câu nói thể hình Dễ thấy, vùng dao động âm phân biệt rõ ràng chưa nói nói vùng có biên độ lớn vượt trội từ nói, vùng khác có biên độ nhỏ khoảng ngắt từ, mô tả tạp âm từ môi trường xung quanh (có thể coi tín hiệu nhiễu) NỘI DUNG NGHIÊN CỨU A Bài toán điều khiển cánh tay robot giọng nói Cánh tay robot nhận lệnh giọng nói từ người điều khiển modul nhận dạng giọng nói Sau đó, hệ điều khiển tự động phân tích, tính tốn đưa tín hiệu điều khiển động khớp, robot thực chuyển động theo yêu cầu (hình 1) Hình Sơ đồ tốn điều khiển cánh tay robot giọng nói Cụ thể, module nhận dạng chuyển đổi từ giọng nói người có chứa thơng tin điều khiển thành văn định dạng văn chương trình Các thơng tin điều khiển robot có giọng nói bao gồm thông tin như: hướng chuyển động robot (quay bên trái hay quay bên phải), hành động robot cần thực (hành động gắp thả), xác định vật thể tiếp nhận hành động (bánh xe, khay chứa, thùng, hộp, …), đặc điểm phân biệt loại vật thể (màu sắc, hình dạng, kích thước, …) Hình Đồ thị biên độ dao động âm chuẩn hóa Căn vào thay đổi biên độ âm theo thời gian, sử dụng phương pháp Gradient [24] xác định thay đổi biên độ dao động âm để tách từ Sau tách từ câu, dao động âm chúng phân tích lượng âm miền tần số thông qua biến đổi Fourier Giá trị lượng âm sử dụng để chuyển đổi thành Input Tensor cho mô hình DL Âm từ giọng nói người thực chất tổng hợp nhiều tín hiệu hàm lượng giác với tần số khác Hàm dao động âm f (t ) theo thời gian mô tả thông qua phép biến đổi Fourier sau đây: Hình Các bước thực tốn điều khiển robot giọng nói Để giải mục tiêu điều khiển robot, ta xác định đầu vào giọng nói, đầu tín hiệu điều khiển động truyền động Các bước thực toán điều khiển robot giọng nói mơ tả hình ISBN 978-604-80-5958-3 300 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021)  f (t ) = a +  [an cos(n t)+bn sin(n t)] n =1 phi tuyến sử dụng Một số hàm phi tuyến sử dụng Sigmoid, Tanh, Relu [27] Lớp đầu sử dụng hàm kích hoạt Softmax [27] để tính phân phối xác suất phân lớp Để huấn luyện mạng DL, tiêu chí để xác định mơ hình học hay sai để học cần nêu rõ Vì vậy, phương pháp tính lỗi Sparse Categorical Crossentropy (SCC) sử dụng [28] Trong ví dụ, nhãn giọng nói cần phân lớp ‘bốn’, ‘năm’, ‘sáu’ Như vậy, đầu Tensor gồm phần tử, phần tử đại diễn xác suất phân lớp (hình 6a) Giả sử, kết đầu mà mơ hình cần học để đạt tới Tensor (1) (chính thứ hình 6c) kết thực tế mơ hình mơ tả hình 6b (ơ thứ có xác suất 0.5 lớn nhất) Thực chất, hàm SCC tính lỗi sau: Tensor (1) có nghĩa index (chỉ số) số Tensor đầu có xác suất cịn xác suất vị trí khác Nó tương đương với Tensor ([0,1,0]) (hình 6c) (1) Trong đó, a biên độ âm bản, a n bn số Fourier, n hệ số tỉ lệ tần số,  vận tốc góc dao động âm Từ Eq (1), giá trị lượng âm miền tần số xác định [20] Hình mơ tả lượng âm miền tần số từ “Quay” (tiếng Việt) Hình Đồ thị lượng âm từ miền tần số Năng lượng âm đặc trưng âm Giá trị dùng để chuyển đổi thành liệu đầu vào cho mơ hình DL Xem xét giá trị lượng âm tần số cách khoảng 1(Hz ) , Hình (a) Tensor đầu ra; (b) xác suất phân lớp Tensor đầu ra; (c) Xác suất mong đợi phân lớp Hàm tối ưu ADAM [29] sử dụng để cập nhật mạng DL Hàm kế thừa, kết hợp hai phương pháp Momentum với RMSprop có tốc độ học (Learning rate) thay đổi theo thời gian tìm giá trị tối ưu tồn cục (Global Minimum) thay giá trị tối ưu cục (Local Minimum) Để đánh giá mơ hình DL xây dựng, mạng huấn luyện với số lượng 100 lần kiểm tra kết huấn luyện dựa việc so sánh đồ thị lượng âm giá trị mong muốn giá trị thực tế Mơ hình DL cho ví dụ minh họa xây dựng thông qua thư viện xây dựng kiến trúc NN Tensorflow PYTHON (hình 7) giới hạn tần số khoảng từ  2(KHz ) Tensor input véc tơ giá trị lượng âm theo thứ tự tăng dần tần số (hình 5a) Tensor input sau tạo thường mang giá trị lớn Để mơ hình DL học tốt hơn, mức liệu Tensor input cần chuẩn hóa cách chia tất thành phần cho giá trị định lớn giá trị lớn lượng thu Tensor input cho mơ hình DL sau chuẩn hóa có dạng hình 5b Hình Input Tensor chiều trước sau chuẩn hóa ứng với tần số tăng dần C Xây dựng mô hình DL Sau xây dựng Tensor chiều trình bày trên, mơ hình DL xây dựng với nhiều đầu vào nhiều đầu [26] Số lượng đầu vào phụ thuộc vào số lượng tham số véc tơ Tensor input Lớp đầu mạng DL nút mạng khác nút biểu thị cho từ định Các từ đầu có xác suất xuất nằm khoảng [0,1] Từ có xác suất cao chọn kết q trình chuyển từ giọng nói sang văn Các lớp ẩn bên mơ hình DL có nhiệm vụ xác định giá trị xác suất xuất từ kết đầu xác Các phần tử bên Tensor đầu vào đầu đại lượng vơ hướng có giá trị liên tục nằm khoảng [0,1] nên hàm kích hoạt ISBN 978-604-80-5958-3 Hình Mơ hình DL xây dựng thư viện Tensorflow Hình 8, 10 thể lượng âm huấn luyện thực tế với từ “Bốn”, “Năm”, “Sáu” Hình Đồ thị lượng âm miền tần số “Bốn” 301 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) xuất mã hóa dạng số truyền tới mạch điều khiển robot thông qua giao tiếp SERIAL E Tính tốn thơng số điều khiển robot sử dụng mạng DL Dữ liệu cho mơ hình mạng DL tính tốn thơng số số tọa độ khơng gian thơng số góc quay tương ứng thu thập đưa vào mạng DL huấn luyện nhiều lần mơ hình đưa tín hiệu điều khiển cho robot xác, đáp ứng yêu cầu toán Sau huấn luyện đánh giá khả đáp ứng tốt, mơ hình DL đưa vào sử dụng làm mơ hình dự đốn giá trị góc quay robot với vị trí vật thể khơng gian làm việc robot Hình 12 mơ tả tồn q trình nêu Mơ hình DL xây dựng với đầu vào tín hiệu yêu cầu nhận sau vecto hóa văn liệu vị trí khả thi robot khơng gian làm việc Đầu mơ hình giá trị góc khớp tương ứng Hình Đồ thị lượng âm miền tần số “Năm” Hình 10 Đồ thị lượng âm miền tần số “Sáu” Kết đánh giá Tensor đầu dự đoán Tensor đầu mong đợi thể hình 11 Với từ “Bốn”, xác suất rơi vào vị trí số cao nhất, từ “Năm” có xác suất rơi vào vị trí số cao nhất, từ “Sáu” có xác suất rơi cao vào vị trí số Hình 12 Q trình xây dựng mạng DL III A Mơ hình thực nghiệm Mơ hình mơ cánh tay robot thể hình 13 Sơ đồ động học cánh tay robot 6DOF mơ tả hình 14 Hệ tọa độ cố định (OXYZ )0 Các hệ tọa độ địa phương Hình 11 Kết so sánh Tensor đầu Như vậy, mạng DL xây dựng hồn tồn đảm bảo nhiệm vụ nhận dạng giọng nói, chuyển đổi liệu nhận dạng sang văn có chứa thơng tin đặc trưng Giọng nói sau tách thành từ đơn mơ hình mạng DL phân lớp Các từ ghép lại với để thành câu theo thời gian (OXYZ )i ,(i =  6) đặt tương ứng khâu Các biến khớp i ký hiệu q i Cánh tay robot 6DOF thực mơ tả hình 15 D Trích xuất thơng tin điều khiển từ văn hồn chỉnh sử dụng mơ hình ML, mã hóa thơng tin Dữ liệu đầu vào cho mơ hình đoạn văn hoàn chỉnh sau module ghép từ, đầu mơ hình thơng tin điều khiển robot hướng chuyển động, dạng hành động (gắp, thả, ), tên vật thể tiếp nhận hành động, đặc điểm nhận dạng vật thể (màu sắc đỏ, vàng, xanh, ) Để thực mục đích trên, mơ hình ML xây dựng để tách từ, cụm từ tiếng việt có nghĩa Trong đó, thuật tốn TF-IDF sử dụng để trích đặc trưng văn bản, thuật tốn Naive Bayes dùng để thực phân lớp từ, cụm từ đặc trưng văn thuộc lớp thơng tin điều khiển Mơ hình ML xây dựng ngôn ngữ PYTHON kết hợp sử dụng thư viện tốn học Sklearn, Pyvi Các trường thơng tin sau trích ISBN 978-604-80-5958-3 KẾT QUẢ THỰC NGHIỆM VÀ THẢO LUẬN Hình 13 Mơ hình 3D robot Hình 14 Mơ hình động học Hình 15 Mơ hình Robot thực Các thông số động học cánh tay robot 6DOF xác định theo quy tắc DH [25] thể Bảng Các ma trận chuyển đổi Hi ,(i =  6) khâu dễ dàng xác định [25] Vị trí hướng khâu so với hệ tọa độ cố định thể qua ma trận chuyển đổi D Ma trận tính tốn sau: 302 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) D6 = H1H2 H3 H4 H5 H6 Mạng DL nhận dạng câu lệnh giọng nói thiết kế gồm ba lớp ẩn với hàm kích hoạt Relu Mỗi lớp có số nút tương ứng 150, 100 50 nút Số lượng đầu 18 Số đầu đại diện cho 18 từ thông dụng khuôn khổ câu lệnh điều khiển giọng nói chia làm nhóm (Bảng 2) (2) Định nghĩa q = [q1 q q q q q ]T véc T tơ tọa độ suy rộng x = x E yE z  véc tơ vị  E  trí điểm thao tác cuối Hệ phương trình động học xác định: x = f (q) TABLE I CÁC THÔNG SỐ DH i di i Link q1 d0 + d1  Link q2 a2 Link q3 d3  − q4 Nhóm hành động Quay, chạy, gắp, thả, lấy, qua, sang (3) Parameters Link TABLE II d4 Link q5 a5 Link q6 0 Nhóm hướng Nhóm màu sắc Trái, phải Xanh, đỏ, vàng Nhóm đối tượng Khay, hộp, bánh xe Nhóm khác bên, màu C Kết xây dựng mơ hình DL điều khiển robot Thông số mạng DL điều khiển robot mô tả hình 32 với đầu tương ứng góc quay khớp robot Mạng bao gồm lớp ẩn với hàm kích hoạt Relu Số nút lớp tương ứng hình 17 − PHÂN LOẠI CÁC TỪ 2 Các thơng số hình học robot: d0 = 57mm, d1 = 36mm, a2 = 120mm, d3 = 90mm, d4 = 30mm, a = 38mm Hình 17 Mơ hình mạng DL điều khiển robot Giới hạn biến khớp: −900  qi  900 Các vị Kiểm tra liệu kiểm tra với đầu vào véc tơ trí điểm thao tác cuối robot T động truyền động Servo MG995, mạch Arduino Nano, Camera Logitech B525-720p, Laptop Dell Precision M680, Microphone Razer Seiren Mini x = 0 20  (mm ) , đầu liệu kiểm tra   ứng với giá trị biến khớp B Kết xử lý lệnh điều khiển robot giọng nói Lệnh giọng nói toán điều khiển robot là: “Quay bên phải, lấy bánh xe màu vàng” Kết dao động âm thu mơ tả hình 16 Năng lượng âm miền tần số từ tách tương tự trình Phần q real = 90.17 50.65 104.74 89.19 79.69  (deg)   Như vậy, độ xác đạt 98,67% tập liệu học Kết học kiểm tra lỗi tín hiệu điều khiển động thể hình 18 T q = 90 50 105 90 79  (deg) Giá trị góc khớp   thu từ mơ hình véc tơ T Hình 18 Kết huấn luyện dự đốn tập liệu kiểm tra Mơ hình thực tế thiết kế, chế tạo thể hình 19 Cần ý rằng, mơ hình có tham gia modul nhận dạng hình ảnh (thị giác máy tính) [22], [23] Chỉ hệ điều khiển nhận dạng đối tượng cần tác động (bánh xe màu vàng) Hình 16 Đồ thị biên độ dao động âm chuẩn hóa ISBN 978-604-80-5958-3 303 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) hành động “gắp” thực Tuy nhiên, modul không nhắc đến phạm vi viết chưa đề cập đến modul thị giác máy tính Kết nghiên cứu có ý nghĩa quan trọng việc nghiên cứu, phát triển nâng cao thuật tốn thơng minh kết hợp nhận dạng giọng nói, thị giác máy tính tích hợp hệ thống IoT Trong thực tế, nghiên cứu làm tảng để phát triển ứng dụng cho nhiều loại robot khác (robot nối tiếp, robot song song, robot lai, mobile robot) phục vụ sản xuất công nghiệp (robot hàn, robot in 3D, robot gia công cắt gọt), quân sự, y tế, ngành dịch vụ, sinh hoạt gia đình (robot phẫu thuật, robot đàn hồi, robot mềm, robot sinh học, uav, robot nước, robot phục vụ gia đình, nhà hàng, robot giống người) Hình 19 Mơ hình hệ thống thực nghiệm TÀI LIỆU THAM KHẢO [1] Giá trị góc khớp để điều khiển robot đến vị trí có vật thể (bánh xe màu vàng) thể hình 20 [2] [3] [4] [5] [6] Hình 20 Giá trị biến khớp nhận theo lệnh điều khiển giọng nói [7] IV KẾT LUẬN Hệ điều khiển giọng nói cho cánh tay robot 6DOF xây dựng kiểm chứng mơ hình thực nghiệm Theo đó, module nhận dạng giọng nói thơng qua xây dựng mơ hình mạng DL1 với thư viện liệu tiếng Việt hoàn thành Dao động âm giọng nói chuyển đổi thành văn Mơ hình ML xây dựng để trích xuất thơng tin điều khiển từ văn hoàn chỉnh mã hóa chúng Việc tính tốn tín hiệu điều khiển truyền tới động truyền động robot thực mơ hình DL2 Hơn nữa, kết việc mơ hình hóa động học tập liệu vị trí chuyển động khả thi cánh tay robot không gian làm viêc sử dụng làm thư viện huấn luyện mơ hình DL2 Hệ thống điều khiển giọng nói cho cánh tay robot hồn tồn không phụ thuộc vào việc kết nối mạng Internet Kết thực nghiệm mơ hình thực tế cho thấy tính đắn tin cậy thuật toán Tuy nhiên, nghiên cứu chưa xem xét việc đánh giá độ xác chuyển động cánh tay robot sai số chế tạo, tốc độ xử lý hệ thống điều khiển thời gian thực, ISBN 978-604-80-5958-3 [8] [9] [10] [11] [12] [13] 304 S Zhen, Z Zhao, X Liu, F Chen, H Zhao, Y Chen, “A Novel Practical Robust Control Inheriting PID for SCARA Robot”, IEEE Access, 8, pp 227409 - 227419, 2020 D Nicolis, F Allevi, P Rocco, “Operational Space Model Predictive Sliding Mode Control for Redundant Manipulators”, IEEE Transaction on Robotics, pp 1-8, 2020 C Pezzato, R Ferrari, C H Corbato, “A Novel Adaptive Controller for Robot Manipulators, Based on Active Inference”, IEEE Robotics and Automation Letters, (2), pp 2973-2980, 2020 M T Ziabari, A R Sahab, V Afsar, “Stability in A Flexible Manipulator Using Optimal Nonlinear Controller”, Journal of Basic and Applied Scientific Research, 3(2), pp 323-329, 2013 T Zebin, M S Alam, “Dynamic modeling and fuzzy logic control of a two-link flexible manipulator using genetic optimization techniques”, Journal of Computers, 7(3), 578585, 2012 C Hwang, W Yu, “Tracking and Cooperative Designs of Robot Manipulators Using Adaptive Fixed-Time FaultTolerant Constraint Control”, IEEE Access, 8, pp 5641556428, 2020 M Hwang, B Thananjeyan, S Paradis, D Seita, J Ichnowski, D Fer, T Low, K Goldberg, “Efficiently Calibrating CableDriven Surgical Robots with RGBD Fiducial Sensing and Recurrent Neural Networks”, IEEE Robotics and Automation Letters, 5(4), pp 5937 - 5944, 2020 H Huang, C Chuang, “Artificial Bee Colony Optimization Algorithm Incorporated with Fuzzy Theory for Real-Time Machine Learning Control of Articulated Robotic Manipulators”, IEEE Access, 8, pp 192481-192492, 2020 R Liu, Q Zhang, Y Chen, J Wang, L Yang, “A Biologically Constrained Cerebellar Model with Reinforcement Learning for Robotic Limb Control”, IEEE Access, 8, pp 222199222210, 2020 J Luo, E Solowjow, C Wen, J A Ojea, A M Agogino, “Deep Reinforcement Learning for Robotic Assembly of Mixed Deformable and Rigid Objects”, International Conference on Intelligent Robots and Systems (IROS), pp 2062-2069, Madrid, Spain, October 1-5, 2018 D P Mital, G W Leng, “A Voice-activated Robot with Artificial Intelligence”, Robotics and Autonomous Systems, 4, pp 339-344, 1989 S Hwang, Y Park, Y S Park, “Sound direction estimation using an artificial ear for robots”, Robotics and Autonomous Systems, 59, pp 208-217, 2011 Rogowski, “Industrial oriented voice control system”, Robotics and Computer-Integrated Manufacturing, 28, pp 303-315, 2012 Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) [14] V Alvarez-Santos, R Iglesias, X.M Pardo, C.V Regueiro, A Canedo-Rodriguez, “Gesture-based interaction with voice feedback for a tour-guide robot”, J Vis Commun Image R, 25, pp 499-509, 2014 [15] S S Turakne, P Loni, “Intelligent Interactive Robot with Gesture Recognition and Voice Feedback”, International Journal of Engineering Research & Technology, 5(4), pp 276280, 2016 [16] M Meghana, Ch U Kumari, J S Priya, P Mrinal, K A V Sai, S P Reddy, K Vikranth, T S Kumar, A K Panigrahy, “Hand gesture recognition and voice-controlled robot”, Materials Today: Proceedings, https://doi.org/10.1016/j.matpr.2020.06.553, 2020 [17] M F Rafael, D S Manuel, “Design in Robotics Based in the Voice of the Customer of Household Robots”, Robotics and Autonomous Systems, 79, pp 99-107, 2016 [18] M Buyukyilmaz, A O Cibikdiken, “Voice Gender Recognition Using Deep Learning”, Advances in Computer Science Research, 58, pp 409-411, 2017 [19] K Gundogdu, S Bayrakdar, I Yucedag, “Developing and Modeling of Voice Control System for Prosthetic Robot Arm in Medical Systems”, Journal of King Saud University Computer and Information Sciences, 30(2), pp 198-205, 2018 [20] V P Saradi, P Kailasapathi, “Voice-based motion control of a robotic vehicle through visible light communication”, Computers and Electrical Engineering, 76, pp 154-167, 2019 [21] S Sachdeva, J Macwana, C Patela, N Doshia, “VoiceControlled Autonomous Vehicle Using IoT”, 3rd International Workshop on Recent Advances on the Internet of Things: ISBN 978-604-80-5958-3 [22] [23] [24] [25] [26] [27] [28] [29] 305 Technology and Application Approaches (IoT-T&A 2019), 160, pp 712-717, November 4-7, Coimbra, Portugal, 2019 B ỗimen, H Atasoy, Y Kutlu, S Yldrm, E Yldrm, Smart Robot Arm Motion Using Computer Vision”, ELEKTRONIKA IR ELEKTROTECHNIKA, 21(6), pp 3-7, 2015 X Chen, X Huang, Y Wang, X Gao, “Combination of Augmented Reality-Based Brain-Computer Interface and Computer Vision for High-Level Control of a Robotic Arm”, IEEE Transactions on Neural Systems and Rehabilitation Engineering, DOI 10.1109/TNSRE.2020.3038209, 2020 Garzelli, L Capobianco, F Nencini, “Fusion of multispectral and panchromatic images as an optimization problem”, Book: Image Fusion Algorithms and Applications, Academic Press, pp 223-250, 2008 M W Spong, S Hutchinson, M Vidyasagar, “Robot modeling and Control”, First edition, New York, USA, 2001 https://www.securityinfowatch.com/video-surveillance/videoanalytics/article/21069937/deep-learning-to-the-rescue (Access in Oct 14, 2021) https://www.programmersought.com/article/10025152444/ (Access in Oct 14, 2021) https://www.Tensorflow.org/api_docs/python/tf/keras/losses/s parse_categorical_crossentropy (Access in Oct 14, 2021) https://www.programmersought.com/article/33553292079/ (Access in Oct 14, 2021)  ... toán điều khiển cánh tay robot giọng nói Cánh tay robot nhận lệnh giọng nói từ người điều khiển modul nhận dạng giọng nói Sau đó, hệ điều khiển tự động phân tích, tính tốn đưa tín hiệu điều khiển. .. thực tốn điều khiển robot giọng nói Để giải mục tiêu điều khiển robot, ta xác định đầu vào giọng nói, đầu tín hiệu điều khiển động truyền động Các bước thực tốn điều khiển robot giọng nói mơ tả... khiển động khớp, robot thực chuyển động theo yêu cầu (hình 1) Hình Sơ đồ toán điều khiển cánh tay robot giọng nói Cụ thể, module nhận dạng chuyển đổi từ giọng nói người có chứa thơng tin điều khiển