Điều khiển robot sử dụng công cụ xử lý ảnh

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Điều khiển Robot sử dụng công cụ xử lý ảnh ĐẶNG NGỌC LỰC Luc.dn212580M@sis.hust.edu.vn Ngành Kỹ thuật Điều khiển & Tự Động Hóa Giảng viên hướng dẫn: TS Dương Minh Đức Trường: Điện – Điện tử HÀ NỘI, 04/2023 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Đặng Ngọc Lực Đề tài luận văn: Điều khiển Robot sử dụng công cụ xử lý ảnh Chuyên ngành: Kỹ thuật Điều khiển Tự động hóa Mã số SV: 20212580M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 28/05/2023 với nội dung sau: - Bổ sung danh mục viết tắt - Bổ sung trích dẫn nguồn gốc số ảnh tư liệu Chỉnh sửa lại trích dẫn tài liệu tham khảo theo quy chuẩn đủ thông tin - Chỉnh sửa tên nội dung chương từ “Thực nghiệm hệ thống” thành “Mơ hình thực nghiệm” - Tr18, Bổ sung bước nhận dạng đối tượng sử dụng thuật toán YOLOv3 áp dụng thực tiễn đề tài Tr31, Bổ sung bước xác định vị trí đối tượng áp dụng thực tiễn đề tài - Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG Mẫu 1c ĐỀ TÀI LUẬN VĂN Điều khiển Robot sử dụng công cụ xử lý ảnh Giáo viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Luận văn thạc sĩ với đề tài “Điều khiển Robot sử dụng công cụ xử lý ảnh” kết q trình cố gắng khơng ngừng nghỉ thân, giúp đỡ em sinh viên lab nghiên cứu nhận hướng dẫn tận tình thầy Dương Minh Đức Tôi xin chân thành cảm ơn biết ơn sâu sắc đến thầy Dương Minh Đức, em sinh viên hỗ trợ tơi hồn thành luận văn tốt nghiệp Tuy nhiên, với điều kiện thời gian kinh nghiệm cịn hạn chế, luận văn khơng thể tránh thiếu xót Tơi mong nhận bảo, đóng góp ý kiến thầy bạn đọc để tơi có điều kiện bổ sung, nâng cao kiến thức cho thân để ứng dụng luận văn vào thực tiễn Tóm tắt nội dung luận văn Luận văn với đề tài “Điều khiển Robot sử dụng công cụ xử lý ảnh” đưa yêu cầu sử dụng công cụ xử lý ảnh để xác định vật thể vị trí vật thể thời gian thực để linh hoạt việc điều khiển Robot, hạn chế tác động nhân lực Robot sử dụng để thực nghiệm Robot hãng Mitsubishi với công cụ xử lý ảnh camera 3D sử dụng ngơn ngữ lập trình python Luận văn gồm chương: Chương 1: Giới thiệu chung Chương 2: Xử lý ảnh cho nhận dạng đối tượng Chương 3: Xác định vị trí đối tượng Chương 4: Mơ hình thực nghiệm Chương 5: Kết luận MỤC LỤC CHƯƠNG GIỚI THIỆU CHUNG 1.1 Tổng quan Robot 1.2 Tổng quan xử lý ảnh 1.3 Mục tiêu đề tài CHƯƠNG XỬ LÝ ẢNH CHO NHẬN DẠNG ĐỐI TƯỢNG 2.1 Giới thiệu chung 2.2 Tìm hiểu lớp mơ hình họ R-CNN 10 2.3 2.4 2.2.1 Giới thiệu mơ hình CNN 10 2.2.2 Lớp mơ hình họ R-CNN 12 Tìm hiểu lớp mơ hình họ YOLO 13 2.3.1 Giới thiệu mơ hình họ YOLO 13 2.3.2 CNN cho mơ hình YOLO 16 2.3.3 Output YOLO 16 2.3.4 Dự báo tạo bounding box 17 2.3.5 Hạn chế YOLO 18 Nhận dạng bàn tay (Hand tracking) 19 2.4.1 Công cụ Machine Learning pipeline (ML pipeline) 20 2.4.2 Phát lòng bàn tay (Palm detection) 20 2.4.3 Phát khớp bàn tay (Hand landmarks identification) 21 CHƯƠNG XÁC ĐỊNH VỊ TRÍ ĐỐI TƯỢNG 25 3.1 3.2 Giới thiệu Depth Camera 25 3.1.1 Khái niệm 25 3.1.2 Các loại máy ảnh độ sâu 25 Xác định vị trí đối tượng 29 CHƯƠNG MƠ HÌNH THỰC NGHIỆM 32 4.1 Cấu trúc hệ thống 32 4.1.1 Robot RV-2FR-Q 33 4.1.2 Bộ điều khiển CR800-2VQ 33 4.1.3 Teaching pendant R33TB 34 4.1.4 CPU Robot Q172DSRCPU 35 4.1.5 CPU PLC Q03UDVCPU 35 4.1.6 Depth Camera 36 4.1.7 4.2 Máy tính 37 Mô tả hoạt động 38 4.2.1 Cách thức điều khiển Robot RV-2FR-Q 39 4.2.2 Chương trình điều khiển Robot PLC 42 4.3 Lưu đồ chương trình điều khiển 45 4.4 Vận hành hệ thống 49 4.5 Kết thực nghiệm 53 4.5.1 Đánh giá xử lý ảnh camera 3D 53 4.5.2 Đánh giá chuyển động robot 55 CHƯƠNG KẾT LUẬN 56 5.1 Kết luận 56 5.2 Hướng phát triển hệ thống 56 TÀI LIỆU THAM KHẢO 58 PHỤ LỤC 59 DANH MỤC HÌNH VẼ Hình 1.1 Cánh tay Robot cơng nghiệp [1] Hình 1.2 Ứng dụng cánh tay Robot [2] Hình 1.3 Ứng dụng xử lý ảnh điều khiển robot [3] Hình 1.4 Ví dụ khả giảm nhiễu xử lý ảnh [4] Hình 1.5 Ví dụ khả điều chỉnh độ tương phản xử lý ảnh [4] Hình 1.6 Ví dụ khả tìm cạnh xử lý ảnh [4] Hình 1.7 Ví dụ khả nén ảnh xử lý ảnh [4] Hình 1.8 Ví dụ khả phân vùng xử lý ảnh [4] Hình 1.9 Ví dụ khả khôi phục ảnh xử lý ảnh [4] Hình 1.10 Mối quan hệ xử lý ảnh ngành liên quan [4] Hình 1.11 Tổng quan hệ thống Hình 2.1 Quá trình xử lý ảnh Hình 2.2 Xác định khung tên đối tượng [8] Hình 2.3 Mơ hình CNN [9] 10 Hình 2.4 Đầu vào lớp tích chập [9] 11 Hình 2.5 Ví dụ Input Output ReLU layer [9] 11 Hình 2.6 Ví dụ đầu vào đầu lớp gộp [9] 11 Hình 2.7 Cấu trúc R-CNN [9] 12 Hình 2.8 Cấu trúc Fast R-CNN [9] 13 Hình 2.9 Kiến trúc mơ hình Faster R-CNN [9] 13 Hình 2.10 Cách mơ hình YOLO xử lý hình ảnh [10] 14 Hình 2.11 Quy trình YOLO 14 Hình 2.12 Kiến trúc mạng YOLOv3 [11] 15 Hình 2.13 CNN cho mơ hình YOLO [10] 16 Hình 2.14 Kiến trúc output model YOLO [10] 17 Hình 2.15 Các feature map hình ảnh kích thước 17 Hình 2.16 Chọn anchor box có nhiều anchor box bao quanh vật thể [10] 18 Hình 2.17 Import thư viện YOLOv3 liệu training 18 Hình 2.18 Khởi tạo Depth camera nhận ảnh đầu vào 19 Hình 2.19 Nhận diện đối tượng 19 Hình 2.20 Nhận dạng bàn tay (Hand tracking) [12] 19 Hình 2.21 Phát lòng bàn tay (Palm detection) [12] 21 Hình 2.22 Nhận dạng khớp bàn tay (Hand landmarks) [12] 21 Hình 2.23 Nhập khởi tạo chương trình nhận diện bàn tay 23 Hình 2.24 Chụp đầu vào hình ảnh xử lý ảnh 23 Hình 2.25 Làm việc với tay 24 Hình 2.26 Vẽ mốc bàn tay 24 Hình 2.27 Kết trình nhận diện bàn tay [12] 24 Hình 3.1 Ảnh chiều sâu 25 Hình 3.2 Nguyên lý Structure light [13] 26 Hình 3.3 Ví dụ Structure light [13] 26 Hình 3.4 Nguyên lý Stereo depth [13] 27 Hình 3.5 Nguyên lý Time of flight [13] 28 Hình 3.6 FOV camera 29 Hình 3.7 Chuyển gốc tọa độ vào tâm camera 29 Hình 3.8 Chuyển hệ tọa độ Depth camera sang robot 30 Hình 3.9 Xác định bounding box kích thước vật thể 31 Hình 3.10 Khai báo biến gốc tọa độ camera so với Robot 31 Hình 3.11 Tính tốn, quy đổi vị trí vật thể 31 Hình 4.1 Sơ đồ kết nối hệ thống 32 Hình 4.2 Vị trí thực tế thiết bị 32 Hình 4.3 Robot RV-2FR-Q 33 Hình 4.4 Bộ điều khiển CR800-02-VQ 33 Hình 4.5 Hình ảnh Teaching pendant R33TB 34 Hình 4.6 Q172DSRCPU 35 Hình 4.7 PLC Q03UDVCPU 35 Hình 4.8 Depth Camera Orbbec Astra Pro 36 Hình 4.9 Máy tính chạy chương trình 37 Hình 4.10 Bảng điện sau lắp đặt 38 Hình 4.11 Bảng điều khiển 38 Hình 4.12 Lưu đồ tổng quan chương trình 39 Hình 4.13 Kết nối T/B với điều khiển 40 Hình 4.14 Sequencer Direct [16] 41 Hình 4.15 Minh họa chức Seqquencer Direct [16] 41 Hình 4.16 Lưu đồ kết nối module 43 Hình 4.17 Chương trình điều khiển cánh tay PLC mẫu 44 Hình 4.18 Lưu đồ điều khiển Robot PLC 45 Hình 4.19 Lưu đồ tổng quan chương trình xử lý ảnh 47 Hình 4.20 Lưu đồ giao diện kết nối 48 Hình 4.21 Giao diện vận hành 48 Hình 4.22 Cấu hình trạm kết nối PLC với giao diện máy tính 49 Hình 4.23 Chai, cốc sử dụng hệ thống 50 Hình 4.24 Hình ảnh camera RGB thu 50 Hình 4.25 Giao diện lúc khởi động 50 Hình 4.26 Giao diện lựa chọn đối tượng 51 Hình 4.27 Nhận diện bàn tay (Hand detection) 51 Hình 4.28 Robot di chuyển đến vị trí chuẩn bị gắp 52 Hình 4.29 Robot gắp vật 52 Hình 4.30 Robot đưa vật tới vị trí định 52 Hình 4.31 Người nhận đưa tay lấy vật 53 Hình 4.32 Robot trở vị trí sẵn sàng 53 Hình 4.33 Nhận dạng chai, cốc 53 Hình 4.34 Nhận dạng bàn tay 54 Hình 4.35 Độ trễ hệ thống 55 DANH MỤC BẢNG BIỂU Bảng 2.1 Lựa chọn cấu hình cho nhận diện khớp bàn tay 22 Bảng 4.1 Thông số kỹ thuật Teaching Pendant R33TB 34 Bảng 4.2 Thông số kỹ thuật camera Orbbec Astra Pro 36 Bảng 4.3 Dữ liệu vị trí chức Sequencer Direct 40 Bảng 4.4 Kết xử lý ảnh 54 phép J5 0.18(0.27) J6 0.04(0.1) Bán kinh tiếp cận với canh tay robot từ tâm trục p mm 504 649 Dây nối Hand input điểm/hand output điểm Ống khí nén Mặt chính(primary side) I 4*4 Áp lực cung cấp Mpa Tiêu chuẩn bảo vệ 0.5±10% IP30(all axis) Degree of cleanliness Màu sơn Xám nhạt A2 Thông số kỹ thuật điều khiển CR800-2VQ Item Đơn vị Type Thông số kỹ thuật CR800- VQ CR800-04VJQ CR800-07VLQ Số lượng hệ trục điều khiển Đồng thời trục Dung lượng nhớ Các điểm Điểm lập trình 26000 Số lượng bước 52000 Bước Số lương chương trình Remarks “ ” thể tải trọng CR800-04VJQ dành cho 4FLJR CR800-07VLQ dành cho 7FRLL RVchỉ RV- Có thể thêm trục 512 Ngôn ngữ robot MELFa-BASIC V,VI Công nghệ dạy học Pose method, method Đầu Đầu vào đầu Điểm vào đầu Đầu vào 0/0 teaching MDI Tối đa 256/256 lựa chọn Được định với Số tín hiệu tín 60 ngồi chuyên dụng mục đích chung đầu hiệu đầu vào vào đầu “STOP” đước sửa chữa Hand close output 4/4 (RV-2FR) open/ Điểm input/ Đầu vào dừng Điểm khẩn cấp Đầu dừng Điểm khẩn cấp Đầu vào Điểm chuyển đổi chọn chế độ Chế đô đầu Điểm Đầu lỗi Điểm Đầu vào đồng Điểm hóa trục bổ sung Door input switch Điểm Đầu encoder Cổng giao tiếp 8/8(các loại lại) Sink/Source chuyển đổi với tham số vào channel Thêm trục, channel cảm biến lực Đầu vào remote channel Tương thích với 1.0/2.0 USB Port Chỉ thiết bị có chức tốc độ cao 2.0 USB mini-B Ethernet Port Đối với người sử dụng: 1000BASET/ 100BASE-TX/ 10BASE-T Cổng T/B chuyên dụng: 100BASETX/ 10BASE-T 61 Option slot Nguồn lượng slot Slot thẻ nhớ Slot SD Để mở rộng nhớ RS-422 Cổng T/B chuyên dụng Port Khoảng điện V áp đầu vào RV-2FR/4FR/7FR Tỷ lệ dao động điện series: AC pha áp 10% 200-230 RV-13FR series: AC pha 230, AC pha 200-230 Công suất kVA RV-2FR series: 0.5 RV-4FR series: 1.0 Khơng bao gồm dịng khởi động RV-7FR series: 2.0 RV-13FR series: 3.0 Tần số điện Hz 50/60 Kích thước mm 430(W) x 425(D) x Không bao 99.5(H) phần nhô Khối lượng kg Khoảng 12.5 gồm A3 Thiết kế sơ đồ mạch điện Bản vẽ bảng điều khiển 62 Bản vẽ bảng điện Sơ đồ mạch lực Sơ đồ đấu nối Controller CR800-2VQ 63 Bảng điều khiển sau lắp đặt Bảng điều khiển bao gồm: x Power Switch: Cấp điện cho toàn hệ thống x Emergency Stop (Nút dừng khẩn cấp): dừng khẩn cấp hoạt động hệ thống có cố xảy liên quan đến hoạt động Robot, PLC, băng tải,… x Power Light: đèn báo sáng hệ thống cấp nguồn x Run Light: đèn báo sáng hệ thống bắt đầu hoạt động x Emergency Light: Khi nút E -Stop tác động đèn báo phát sáng x Error Light: đèn báo phát sáng có lỗi hệ thống xảy trình hoạt động liên quan đến Robot, PLC, băng tải,… x AUT/MAN Switch (chuyển chế độ Auto/Manual): Chuyển chế độ Auto được sử dụng trình vận hành tự động Robot Chế độ Manual sử dụng điều khiển Robot Teaching Pendant x IOENA Button: Cho phép đặt quyền điều khiển cho tín hiệu ngồi Khi có tín hiệu IOENA Input, điều khiển đặt chế độ Auto x SAFE_POS Button: Nút nhấn cho phép đưa Robot vị trí an tồn khởi tạo mặc định x SERVO_ON: Tín hiệu được tác động theo sườn, cho phép cấp nguồn cho động khớp, đưa Robot chế độ hoạt động Auto A4 Cấu hình kết nối Robot PLC - Thiết lập cấu hình Robot RT Toolbox Trình tự thiết lập cấu hình Robot RT Toolbox thực sau: Chọn tab [Workspace] o Click chọn [New] Cửa số New Workspace lên, điền thông tin địa lưu Workspace, Tên thư mục 64 Chỉnh sửa thông số Robot Series: FR-Q Series CR800-Q Type: RV Vertical (6-axis) Robot Model: RV-2FR-Q Lựa chọn thông số Communication Network of the Robot IP Address: 192.168.0.20 Subnet Mask: 255.255.255.0 Default Gateway: 192.168.0.254 Connection Method: TCP/IP 65 Lựa chọn Language Program Language: MELFA-BASIC-VI Các lựa chọn Travel Axis, Robot Additional Axis, Tool, Weight and Size cài đặt theo mặc định phần mềm - Thiết lập cấu hình điều khiển CR800-Q qua RT Toolbox Trình tự thiết lập cấu hình điều khiển CR800-VQ thực theo bước sau: Thiết lập cấu hình Multiple CPU Trong mục [Parameter], chọn [PLC Cooperation Paramter] , chọn[Multiple CPU] 66 Chọn No.CPU (QMLTCPUN) = CPU No.1: 1K (Word) CPU No.2: 1K (Word) Chọn Write để tải cấu hình thơng số xuống điều khiển CR800 A5 Thiết lập cấu hình Multiple CPU GX Work Trình tự thiết lập cấu hình Q172DSRCPU GX Works2 thực theo bước sau: Thiết lập cấu hình Multiple CPU Settings Trong mục Project, chọn [Parameter], chọn tiếp [PLC Paramter], xuất cửa số Q Parameter Setting Trong mục [Multiple CPU Settings], chọn No of PLC = CPU Specific Send Range PLC No.1:1 PLC No 2:1 67 Tải cấu hình cài đặt GX Works2 xuống PLC Thiết lập tham số IQMEM điều khiển CR800 Thông số “ IQMEM “ thiết lập để cài đặt chức mở rộng CPU cách giao tiếp thông qua nhớ đệm ( CPU Buffer Memory Extended Functions ), thể dạng 16 bit Cài bit lên để sử dụng chức mở rộng (giám sát, chức chuyển động) Cài bit lên để sử dụng chức điều khiển trực tiếp từ PLC Ví dụ minh họa sau sử dụng Teaching Pendant R33TB để cài đặt thông số IQMEM Trong mục [MENU] screen Teaching Pendant, chọn phím [3] để vào mục Parameter Trong mục [NAME], nhập [IQMEM] nhấn [EXE], hình LCD hiển thị hình Nhấn phím Function Key [F1] để chỉnh sửa Data Parameter 68 A6 Bảng ghi đệm Sequencer Direct Tham số Tên đầu vào Tên đầu Stop Input Pausing STOP Output Controller RCREADY Power ON Remote ATEXTMD Mode Output Teaching TEACHMD Mode Output Automatic ATTOPMD Mode Output Operation right Operation IOENA Input right output Star Input Operating START Output Stop Signal STOPSTS Input Program Reset Program selection enabled SLOTINIT Error Reset Error ERRRESET Input occuring Servo On Input In Servo ON SRVON SRVOFF CYCLE SAFEPOS HLVLERR LLVLERR CLVLERR Servo Off Cycle Stop Safe point return - thường dùng chức PLC Output U3E0\G10000.0 PLC Input U3E1\G10000.0 - U3E1\G10000.1 - U3E1\G10000.2 - U3E1\G10000.3 - U3E1\G10000.4 U3E0\G10000.5 U3E1\G10000.5 U3E0\G10000.6 U3E1\G10000.6 - U3E1\G10000.7 U3E0\G10000.0 U3E1\G10000.8 U3E0\G10000.9 U3E1\G10000.9 U3E0\G10000.A U3E1\G10000.A Servo On U3E0\G10000.B U3E1\G10000.B disable In Cycle stop U3E0\G10000.C U3E1\G10000.C operation In safe point U3E0\G10000.D U3E1\G10000.D return High level U3E1\G10001.0 error Low level U3E1\G10001.1 Error Warning U3E1\G10001.2 level error 69 A7 Bảng chức đầu vào/ra Tham số Loại Chức RCREADY Input Output ATEXTMD Input Output TEACHMD Input Output ATTOPMD Input Output Input IOENA START Output Input Output STOP Input Output Input SLOTINIT Output ERRRESET Input Output Input SRVON Output Đầu tác động điều khiển Robot cấp nguồn, nhận tín hiệu Đầu tác động điều khiển chế độ AUTOMATIC chế độ Remote từ PLC Đầu tác động điều khiển chế độ Teaching Đầu tác động điều khiển chế độ AUTOMATIC Đặt quyền điều khiển cho tín hiệu ngồi Đầu tác động có tín hiệu IOENA Input, đồng thời điều khiển chế độ AUTO Tín hiệu cho phép thực thi chương trình Thơng báo chương trình thực thi Tác động - Mức - Sườn - Tín hiệu cho phép dừng thực thi chương trình Thơng báo chương trình bị dừng Mức Tín hiệu cho phép xóa bỏ trạng thái dừng chương trình, đưa chương trình điểm bắt đầu Đầu tác động chương trình chưa thực trạng thái dừng Cho phép xóa lỗi xảy Sườn Đầu tác động có lỗi xảy - Sườn - Tín hiệu cho phép cấp nguồn động Servo Sườn khớp Đầu ON động Servo cấp nguồn 70 Input SRVOFF Output Input SAFEPOS Output HLVLERR - Input Output LLVLERR Mức Tín hiệu cho phép ngắt nguồn động Servo khớp Tín hiệu SRVON bị vơ hiệu trạng thái SRVOFF giữ Thông báo trạng thái chưa cấp nguồn động tất khớp Đưa tín hiệu yêu cầu Robot quay trở lại điểm Sườn Safe point Vị trí điểm Safe point cài đặt tham số “JSAFE” điều khiển Thông báo hoạt động trở lại điểm Safe point thực thi Input Chỉ điều khiển có lỗi, mã lỗi H - Chỉ điểu khiển có lỗi, mã lỗi L Output A8 Các ghi đệm thực điều khiển chuyển động Robot Địa Mơ tả Tín hiệu yêu cầu thực lệnh Thanh ghi G10520 gồm 16 bit Bit 15 U3E0\G10520 Bit signal 0000000000000000 ( Bit điều khiển) Bit =1, gửi tín hiệu yêu cầu thực lệnh đến Robot U3E0\G10521 U3E0\G10522 U3E0\G10523 Command No Thông tin ghi G10524 tương ứng với câu lệnh MELFA-BASIC-VI -1: Lệnh Mov U3E0\G10524 -2: Lênh MovA -11: Lệnh Mvs -12: Lệnh MvsA 71 Command data (Thanh ghi chứa mã lệnh) U3E0\G10525 U3E0\G10526 U3E0\G10530 U3E0\G10531 U3E0\G10532 U3E0\G10535 U3E0\G10536 U3E0\G10537 U3E0\G10538 Command condition data ( Thanh ghi trạng thái chuyển động ) U3E1\G10520 Bit signal ( Bit phản hồi ) Command data Thông tin ghi G10525 tương ứng với điểm đích đến câu lệnh chuyển động Giá trị đưa vào ghi khoảng: 1) 1-999 : Điểm Teaching mục SQ DIRECT điều khiển CR800-Q 2) 5100-5102: Điểm xác định với điều khiển PLC Command data Giá trị offset trục Z Tool so với điểm tọa độ đích Nếu giá trị offset 0, câu lệnh xác định di chuyển tới điểm đích Override [%: 1-100.0] Acceleration rate [%: 1-100.0] Deceleration rate [%: 1-100.0] Speed Setting [ mm/s: – 10000.0] Shortcut/rounabout specification Auxiliary operation specification Tool setting [0: Current Tool/1-4: Tool Number] Tín hiệu báo trạng thái hồn thành Robot chuyển động thành công Thanh ghi U3E1\G10520 gồm 16 bit Bit 15 0000000000000000 Bit =1, Completed Bit =1, Working U3E1\G10521 U3E1\G10522 Command data Thanh ghi U3E1\G10522 chứa thông tin trạng thái chuyển động, bao gồm trạng thái thành công, tạm dừng lỗi Mỗi mã lỗi tương ứng với số lưu ghi 72 TÓM TẮT LUẬN VĂN THẠC SĨ Đề tài: Điều khiển Robot sử dụng công cụ xử lý ảnh (Control the Robot using image processing) Tác giả luận văn: Đặng Ngọc Lực Khóa: 2021B Người hướng dẫn: TS Dương Minh Đức Từ khóa (Keyword): Điều khiển Robot sử dụng cơng cụ xử lý ảnh, Control the robot using image processing, Robot xử lý ảnh, nhận dạng đối tượng, nhận dạng bàn tay, xác định tọa độ đối tượng không gian 3D Nội dung tóm tắt: a) Lý chọn đề tài Robot ngày sử dụng phổ biến nhiều lĩnh vực khác đặc biệt công nghiệp Tuy nhiên, yêu cầu việc sử dụng robot đối tượng tương tác với robot phải đặt cố định vị trí xác định khai báo xác Điều làm hạn chế phạm vi ứng dụng robot Trong năm gần đây, công nghệ xử lý ảnh phát triển mạnh đạt nhiều thành tựu to lớn việc nhận biết đối tượng cụ thể xác định vị trí xác đối tượng thực tế Việc ứng dụng xử lý ảnh vào lĩnh vực robot cho phép giải hạn chế phạm vi ứng dụng robot khơng cơng nghiệp mà tiến tới phát triển hệ thống robot thông minh phục vụ người đời sống hàng ngày Vì lý này, chọn đề tài kết hợp xử lý ảnh robot để phát triển hệ thống tự động hóa thơng minh linh hoạt đáp ứng yêu cầu công nghiệp thực tế hàng ngày b) Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu - Mục đích nghiên cứu luận văn xây dựng hệ thống kết hợp công nghệ xử lý ảnh robot để thực cơng việc tự động hóa cụ thể Hệ thống xử lý ảnh cho phép nhận biết đối tượng/vật thể xác định vị trí đối tượng/vật thể Hệ thống robot có khả lấy vật thể theo yêu cầu đưa đến vị trí xác định - Đối tượng nghiên cứu: Sử dụng công cụ xử lý ảnh để nhận diện vật thể cốc, chai, bàn tay từ xác định tọa độ vật thể cốc, chai không gian 3D Tọa độ gửi sang cho cánh tay Robot để điều khiển hoạt động gắp đưa vật tới vị trí xác định Đồng thời, bàn tay nhận diện để coi cảm biến, bàn tay đưa vào khu vực cho phép, hệ thống xử lý ảnh nhận diện gửi tín hiệu thơng báo cho robot chương trình hồn thành để robot trở vị trí sẵn sàng Tồn q trình hệ thống điều khiển, giám sát qua giao diện máy tính 73 - Phạm vi nghiên cứu: Hệ thống sử dụng thuật toán nhận diện đối tượng R-CNN, YOLOv3,… để nhận diện vật thể, sử dụng thuật toán Hand tracking để nhận diện bàn tay Hệ thống sử dụng Depth camera để xác định tọa độ vật thể khơng gian 3D Sau có tọa độ vật thể, chương trình xử lý ảnh gửi liệu tọa độ lên cổng IP, từ chương trình điều khiển, giám sát hệ thống lấy liệu tọa độ gửi xuống điều khiển cánh tay Robot Mitsubishi đến gắp vật đưa đến vị trí xác định c) Tóm tắt đọng nội dung đóng góp tác giả Nội dung nghiên cứu: - Xây dựng hệ thống phát nhận biết đối tượng/vật thể cụ thể thông qua công cụ xử lý ảnh - Xây dựng hệ thống điều khiển Robot có khả di chuyển theo quỹ đạo đến điểm cho trước theo yêu cầu - Kết hợp hệ thống phát hiện, nhận biết đối tượng hệ thống robot để thực việc vận chuyển, cung cấp vật thể cụ thể đến vị trí mong muốn đối tượng tương ứng Đóng góp tác giả: - Thực thành công kết hợp hệ thống phát hiện, nhận biết đối tượng hệ thống robot để thực việc vận chuyển, cung cấp vật thể cụ thể đến vị trí mong muốn đối tượng tương ứng d) Phương pháp nghiên cứu Phương pháp nghiên cứu lý thuyết: - Nghiên cứu tư liệu: Nghiên cứu tài liệu, giáo trình, báo khoa học tài liệu liên quan Nghiên cứu công cụ xử lý ảnh sử dụng chúng cho việc nhận biết đối tượng Nghiên cứu hệ thống robot công nghiệp lập trình cho robot - Xây dựng tích hợp hệ thống xử lý ảnh hệ thống robot Phương pháp thực nghiệm: - Triển khai công cụ xử lý ảnh robot thực tế Tiến hành thực nghiệm đánh giá kết thu e) Kết luận Qua trình thực đề tài, em nghiên cứu, tìm hiểu nắm bắt thêm kiến thức lĩnh vực robot công nghiệp kết hợp xử lý ảnh Về mặt ý nghĩa khoa học: Luận văn minh chứng cho khả kết hợp công cụ xử lý ảnh robot để nâng cao khả linh hoạt phạm vi ứng dụng robot xử lý ảnh Về mặt ý nghĩa thực tiễn: Xây dựng hệ thống tự động hóa có khả ứng dụng cao vào tốn công nghiệp thực tế 74