0

ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

6 39 1
  • ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

Tài liệu liên quan

Thông tin tài liệu

Ngày đăng: 14/01/2021, 14:10

Các tác giả đã trình bày một phương pháp để điều khiển robot, sử dụng cử chỉ tay, trong đó các cử chỉ được một mạng thần kinh nhân tạo dạng CNN nhận ra từ hình ảnh được chụp bằng cam[r] (1)ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CƠNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT Rỗn Văn Hóa*, Đinh Thọ Long Trường Đại học Kinh tế - Kỹ thuật Cơng nghiệp TĨM TẮT Trong báo này, tác giả trình bày hệ thống điều khiển cánh tay robot cách nhận dạng cử tay từ người điều khiển Hệ thống dựa ba bước chính: xác định vị trí cử tay hình ảnh nhận được, xác định đường viền cử tay nhận diện cử sử dụng mạng thần kinh nhân tạo công nghệ học sâu (Deep Learning) Việc sử dụng trích xuất vùng quan tâm phát đường viền giúp giảm khối lượng tính tốn, từ tăng tốc q trình nhận dạng cử tay, giúp cánh tay robot thực thao tác theo thời gian thực Kết thực nghiệm cho thấy hiệu tích cực phương pháp đề xuất Từ khóa: Trí tuệ nhân tạo; cơng nghệ học sâu; hệ thống điều khiển cánh tay robot; thị giác máy tính; phát cạnh. Ngày nhận bài: 17/3/2020; Ngày hoàn thiện: 27/4/2020; Ngày đăng: 11/5/2020 ROBOTIC ARM CONTROL BY USING COMPUTER VISION ALGORITHMS WITH CONVOLUTIONAL NEURAL NETWORK Roan Van Hoa*, Dinh Tho Long University of Economics - Technology Industrial ABSTRACT In this paper, we present a robotic arm control system by recognizing hand gestures from the operator The system is based on three main steps: locating hand gestures on received images from webcam, determining the contours of hand gestures and recognizing these gestures using artificial neural networks and Deep Learning technology The use of area ripping and contour detection reduces the computational weight, thereby speeding up the hand gesture recognition process, enabling the robotic arm to perform real-time operations Experimental results show the positive effect of the proposed method Keywords: Artificial intelligence; deep learning technology; robot arm control system; computer vision; edge detection. Received: 17/3/2020; Revised: 27/4/2020; Published: 11/5/2020 (2)1 Giới thiệu Trong thời đại công nghệ 4.0, cơng nghệ Trí tuệ nhân tạo ngày phát triển với nhiều ứng dụng đời sống thực tế Một ứng dụng điển hình cơng nghệ này, lĩnh vực Thị giác máy tính, xử lý hình ảnh nhận diện hình thái Các hệ thống vậy, tích hợp vào thao tác điều khiển robot, sử dụng rộng rãi hoạt động lắp ráp tự động, hình thành hệ thống hoạt động mơi trường có cấu trúc khơng cấu trúc, thơng qua việc sử dụng chế phản hồi cảm giác tiên tiến Các hệ thống tự động đưa định thông qua việc sử dụng thuật toán tự học (learning phase) lý luận Một hệ thống phổ biến, tập trung nghiên cứu thời gian gần cánh tay robot tích hợp hệ thống điều khiển chuyển động có kiểm sốt, thơng qua cử tay Các hệ thống tích hợp chức phân tích tọa độ, xử lý thời gian thực để tăng hiệu hệ thống Phương pháp chọn triển khai chụp phát vùng quan tâm khung hình, thực kỹ thuật kết hợp tính điểm (Point Feature Matching) Bên cạnh đó, tác giả kết hợp giảm nhiễu trình thu nhận hình ảnh việc sử dụng so sánh bốn kỹ thuật lọc hình ảnh: Canny, Sobel, Prewitt Roberts Bước cuối thực phân loại hình ảnh cơng nghệ Trí tuệ nhân tạo, bao gồm mạng thần kinh nhân tạo Convolutional Neural Network (CNN) Phương pháp đảm bảo nhận dạng tồn hình ảnh khung hình, thỏa mãn giả định đặt mô robot Ngoài ra, cấu trúc phát triển cho phép cánh tay robot trì thay đổi hình thành quỹ đạo xác định thực nhiệm vụ thao tác riêng lẻ Bài báo chia thành phần, phần trình bày vấn đề thảo luận các giải pháp thực Vấn đề giải thuật toán giới thiệu phần với phương pháp thống kê để xác minh độ tin cậy Các kết sau áp dụng đề xuất trình bày phần kết luận phần 2 Tình hình nghiên cứu nước Trong [1], tác giả trình bày việc ứng dụng mạng thần kinh nhân tạo việc điều khiển cánh tay robot – đối tượng động học phi tuyến Bài báo giới thiệu bước chất việc thiết kế điều khiển mạng nơ-ron theo mơ hình mẫu Các kết mô thể đắn phương pháp mở khả ứng dụng vào thực tiễn (3)sử dụng thiết bị tự động mà không bị phân tâm giảm số vụ tai nạn giao thơng liên quan đến việc tập trung lái xe Trong báo [8], tác giả Gupta sử dụng kỹ thuật nhận dạng cử tay cho giao diện trực quan ô tô Trong báo này, tác giả cử tay thực tay vô lăng bánh xe gần với dẫn đến tập trung vật lý thấp Từ nghiên cứu trên, báo phát triển phương pháp để di chuyển cánh tay robot cử tay, thời gian thực Phương pháp trình bày chi tiết phần 3 Thuật tốn điều khiển robot thơng qua hình ảnh Trong phần này, cấu trúc hệ thống giới thiệu Bước thu thập lưu trữ cử tay, sau hình ảnh phân tích thuật tốn phân loại mạng thần kinh nhân tạo 3.1 Cấu trúc hệ thống Hệ thống sử dụng webcam để thu gửi hình ảnh cho hệ thống máy tính Sau đó, phương pháp nhận dạng dựa chuỗi bước cho phép theo dõi thời gian thực Các bước bắt đầu thuật toán để thiết lập vùng quan tâm, phát cạnh so sánh với đặc điểm xác định phân loại Sau đó, từ cử nhận diện, hệ thống truyền tín hiệu để điều khiển cánh tay robot thực số hành động định dựa cử Một số thuật toán phát triển để hỗ trợ độ tin cậy hệ thống Phương thức đề xuất giới thiệu (hình 1) 3.2 Xác định khu vực quan tâm ảnh Phương pháp xác định cử tay từ hình ảnh nhận từ webcam lập trình thử nghiệm sử dụng thư viện OpenCV Node.js Hình Sơ đồ cấu trúc hệ thống Trước hết, hình ảnh xử lý để tạo mặt nạ nhị phân (binary mask) đường viền bàn tay Sau đó, hình ảnh phân đoạn dựa màu da tay cách sử dụng thao tác theo bậc Từ đó, khung hình chuyển đổi từ định dạng BGR mặc định OpenCV sang không gian màu HLS (Hue, Lightness, Saturation) Kênh Hue mã hóa thơng tin màu thực tế Bằng cách này, phạm vi giá trị Hue thích hợp da tính tốn sau sử dụng để điều chỉnh giá trị cho Độ bão hòa (Saturation) Độ sáng (Lightness) Cuối cùng, hàm OpenCV áp dụng để tìm đường viền mặt nạ nhị phân (binary mask) bàn tay Một ví dụ thuật tốn mơ tả (hình 2) Hình Thuật tốn xác định vùng quan tâm, mặt nạ nhị phân đường viền cử tay Thuật tốn lập trình thử nghiệm sử dụng OpenCV (4)3.3 Tổng quan cánh tay robot Cánh tay robot (hình 3) sử dụng gồm bốn bậc tự do, liên kết có biên độ 180 độ Để điều khiển cánh tay robot, tám cử tay sử dụng (bảng 1) Bảng Tám cử tay sử dụng cho cánh tay robot Cử Khớp nối Góc xoay (độ) G1 - 180 G2 180 - G3 - 160 G4 160 - G5 - 120 G6 120 - G7 - 150 G8 150 - Hình Cánh tay robot bốn bậc tự 3.4 Bộ phân loại Bước cuối hệ thống đào tạo phân loại chịu trách nhiệm thực nhận dạng cử Thuật toán mạng thần kinh nhân tạo CNN sử dụng thuật tốn chứng minh tính ưu việt vấn đề phức tạp Chính vậy, cơng nghệ học sâu với mạng thần kinh nhân tạo ngày trở nên phổ biến, đặc biệt lĩnh vực thị giác máy tính Kiến trúc CNN sử dụng AlexNet [5] AlexNet nhận đầu vào 227 x 227 pixel kênh Trong lớp chập đầu tiên, sử dụng lọc 11 x 11 x 3, lớp thứ hai x x lớp thứ ba, x x Ngoài lớp thứ ba, thứ tư thứ năm kết nối mà không sử dụng lớp gộp pooling Cuối cùng, mạng có hai lớp kết nối đầy đủ Fully Connected với 2048 nơ-ron lớp lớp đầu có 1000 nơ-ron, số lớp phân loại Hình Kiến trúc mạng nơ-ron nhân tạo AlexNet (Nguồn: [5]) Đối với công việc này, kỹ thuật học chuyển giao (transfer learning) áp dụng để tăng tốc trình đào tạo, sử dụng cấu trúc mạng Alexnet, thay đổi lớp đầu thành 08 nơ-ron theo loại cử phân loại, tác giả khơng phải đào tạo tất trọng số lớp mạng Nếu q trình tốn kém, AlexNet mơ hình trọng số sử dụng tập hợp gồm 1000 danh mục ImageNet (đây sở liệu hình ảnh phổ biến nay) Tổng cộng có 800 hình ảnh sử dụng, 60 phần trăm (480) số sử dụng trình đào tạo CNN, 40 phần trăm cịn lại (320) sử dụng để thử nghiệm kiểm tra độ xác phân loại Các hình ảnh sử dụng cho đào tạo kiểm tra CNN điều chỉnh từ cơng trình điều khiển sử dụng cử tay phổ biến, cử hiển thị (hình 5) Hình Một số cử tay sử dụng báo Theo thứ tự tư trái qua phải, từ xuống cử từ G1 đến G8 3.5 Thỏa thuận phân loại (5)Giống công cụ phân loại, ma trận nhầm lẫn (confusion matrix) sử dụng để cung cấp sở để mô tả tính xác phân loại mơ tả lỗi, giúp tinh chỉnh phân loại Từ ma trận nhầm lẫn rút số biện pháp để tính tốn độ xác phân loại, số Kappa sử dụng để giải vấn đề Ma trận nhầm lẫn hình thành mảng vng xếp theo hàng cột biểu thị số lượng đơn vị mẫu loại, phân loại suy từ thuật toán so sánh với liệu phân loại xác Thơng thường, bên cột liêu tham chiếu, liệu so sánh với liệu phân loại thể dòng Các số thu từ ma trận nhầm lẫn là: độ xác tổng quan, độ xác lớp, số Kappa số số khác Tổng độ xác tính cách chia tổng đường chéo ma trận lỗi , cho tổng số mẫu thu thập n Theo phương trình (1) Phân phối độ xác lớp riêng lẻ không hiển thị tổng độ xác, nhiên độ xác lớp riêng lẻ có cách chia tổng số mẫu phân loại xác danh mục cho tổng số mẫu danh mục Trong báo này, biện pháp Kappa sử dụng để mô tả cường độ thỏa thuận, dựa số lượng phản hồi phù hợp Kappa thước đo thỏa thuận interobserver đo lường mức độ thỏa thuận vượt q xảy Đây kỹ thuật đa biến rời rạc sử dụng để đánh giá độ xác theo chủ đề sử dụng tất yếu tố ma trận nhầm lẫn tính tốn Hệ số Kappa (K) thước đo thỏa thuận thực tế (được biểu thị yếu tố đường chéo ma trận nhầm lẫn) trừ thỏa thuận hội (được biểu thị tổng tích hàng và cột, khơng bao gồm mục khơng nhận dạng) Hệ số Kappa tính từ phương trình 2: Thước đo thỏa thuận có giá trị tối đa 1, giá trị đại diện cho tổng thỏa thuận giá trị gần 0, cho biết khơng có thỏa thuận nào, thỏa thuận tạo cách xác tình cờ Giá trị cuối Kappa nhỏ 0, âm, cho thấy thỏa thuận tìm thấy mong đợi Do đó, cho thấy bất đồng Việc giải thích giá trị Kappa thể (bảng 2) Bảng Bảng giá trị Kappa Giá trị Kappa Cấp độ thỏa thuận < Không thỏa thuận 0-0,19 Thỏa thuận 0,20-0,39 Thỏa thuận công 0,40-0,59 Thỏa thuận vừa phải 0,60-0,79 Thỏa thuận đáng kể 0,80-1,00 Thỏa thuận gần hoàn hảo 4 Kết thực nghiệm Bảng Độ xác phương pháp thời gian đào tạo Phương pháp Độ xác trung bình Thời gian đào tạo (training) theo giây Truyền thống 99,60% 161,30 Prewitt 95,60% 45,59 Roberts 94,00% 39,45 Sobel 94,00% 43,58 Canny 98,10% 44,26 (6)phát cạnh Tham số MaxEpochs (một Epoch tương ứng với lần hoàn thành toàn liệu) đặt 15 Tham số Mini-Batch Sizetương ứng với số lượng quan sát thực lần lặp đặt 80 Trong bảng 3, xác minh ảnh gốc (có màu) cho độ xác tốt 99,60% thí nghiệm Tuy nhiên, thời gian đào tạo mạng CNN lại cao khoảng bốn lần so với toán tử Canny, vị trí thứ hai với độ xác 98,10%, phương pháp trích xuất cạnh Prewitt, Roberts Sobel, với thời gian xử lý ngắn cho phương pháp Roberts Trong (bảng 4), tác giả thể kết phân tích phù hợp với số Kappa, giá trị K cho phương pháp thể đồng thuận gần hoàn hảo cho tất phương pháp sử dụng Có thể thấy, phương pháp Canny có độ xác thỏa thuận thấp không đáng kể so với phương pháp truyền thống có thời gian đào tạo thấp nhiều Bảng Giá trị số Kappa Phương pháp Thỏa thuận phân loại K Truyền thống 0,9915 Prewitt 0,9523 Roberts 0,9571 Sobel 0,9523 Canny 0,9843 5 Kết luận Bài báo trình bày hệ thống điều khiển cánh tay robot thông qua việc nhận diện cử tay người điều khiển phương pháp trí tuệ nhân tạo Độ xác phương pháp chứng minh giảm khoảng bốn lần thời gian đào tạo CNN nhờ việc giảm khối lượng liệu thông qua ứng dụng lọc để nhận biết đường viền, với độ xác giảm tương đối so với việc nhận dạng thơng qua ảnh gốc Thuật tốn đưa giải pháp xử lý video thời gian thực, giúp việc đánh giá chuyển hành động người vận hành thành hành động cho cánh tay robot hiệu Trong thời gian tới, tác giả dự định tăng số lượng cử hình ảnh, nghiên cứu sử dụng cử tay gần với ứng dụng cơng nghiệp Bên cạnh đó, tác giả dự định thử nghiệm phương pháp xác định đường viền khác, để cải thiện độ xác phương pháp TÀI LIỆU THAM KHẢO/ REFERENCES [1] H C Nguyen, “Research on the application of Neural Networks in identification and control of robotic arms-A nonlinear dynamic object,” Journal of Science and Technology – University of Da Nang, vol 5, pp 14-18, 2016 [2] A Saraiva, R Melo, V Filipe, J Sousa, N.M Fonseca Ferreira, and A Valente, “Mobile multirobot manipulation by image recognition,” International Journal of Systems Applications, Engineering Development, vol 12, pp 63-68, 2018 [3] V A Nguyen, “Comparison of Edge Detection Techniques,” Vietnam National University Journal of Science: Natural Sciences and Technology, vol 31, no pp 1-7, 2015 [4] S S Rautaray and A Agrawal, “Vision based hand gesture recognition for human computer interaction: a survey,” Artificial Intelligence Review, vol 43, no 1, pp 1-54, 2015 [5] A Krizhevsky, S Ilya, and G E Hinton, “ImageNet Classification with Deep ConvolutionalNeural Networks,” Advances in Neural Information Processing Systems, vol 25, pp 1097-1105, 2012 [6] G B Choudhary, and C B V Ram, “Real time robotic arm control using hand gestures,” in High Performance Computing and Applications (ICHPCA), 2014 International Conference on IEEE, 2014, pp 1-3 [7] F Parada-Loira, E Gonz´alez-Agulla, and J L Alba-Castro, “Hand gestures to control infotainment equipment in cars,” in Intelligent Vehicles Symposium Proceedings, 2014 IEEE IEEE, 2014, pp 1-6
- Xem thêm -

Xem thêm: ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT, ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

Hình ảnh liên quan

Hình 1. Sơ đồ cấu trúc hệ thống - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

Hình 1..

Sơ đồ cấu trúc hệ thống Xem tại trang 3 của tài liệu.
Phương pháp xác định các cử chỉ tay từ hình ảnh nhận được từ webcam được lập trình thử  nghiệm sửdụng thư viện OpenCV và Node.js. - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

h.

ương pháp xác định các cử chỉ tay từ hình ảnh nhận được từ webcam được lập trình thử nghiệm sửdụng thư viện OpenCV và Node.js Xem tại trang 3 của tài liệu.
Bảng 1. Tám cử chỉ tay sử dụng cho cánh tay robot Cử chỉKhớp nốiGóc xoay (độ) - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

Bảng 1..

Tám cử chỉ tay sử dụng cho cánh tay robot Cử chỉKhớp nốiGóc xoay (độ) Xem tại trang 4 của tài liệu.
Hình 3. Cánh tay robot bốn bậc tự do - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

Hình 3..

Cánh tay robot bốn bậc tự do Xem tại trang 4 của tài liệu.
Cánh tay robot như trên (hình 3) được sử dụng gồm bốn bậc tự do, mỗi liên kết có biên  độ 180 độ - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

nh.

tay robot như trên (hình 3) được sử dụng gồm bốn bậc tự do, mỗi liên kết có biên độ 180 độ Xem tại trang 4 của tài liệu.
Ma trận nhầm lẫn được hình thành bởi một mảng các ô vuông được sắp xếp theo hàng và  cột biểu thị số lượng đơn vị mẫu của một loại,  phân loại được suy ra từ thuật toán và so sánh  với  dữ  liệu  phân  loại  chính  xác - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

a.

trận nhầm lẫn được hình thành bởi một mảng các ô vuông được sắp xếp theo hàng và cột biểu thị số lượng đơn vị mẫu của một loại, phân loại được suy ra từ thuật toán và so sánh với dữ liệu phân loại chính xác Xem tại trang 5 của tài liệu.
Trong (bảng 4), tác giả thể hiện kết quả phân tích phù hợp với chỉ số Kappa, trong đó giá trị  - ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀ CÔNG NGHỆ TRÍ TUỆ NHÂN TẠO TRONG HỆ THỐNG ĐIỀU KHIỂN CÁNH TAY ROBOT

rong.

(bảng 4), tác giả thể hiện kết quả phân tích phù hợp với chỉ số Kappa, trong đó giá trị Xem tại trang 6 của tài liệu.

Từ khóa liên quan